通話から聞き取った質問
トラフィックの多いAPIのレートリミッターをどう設計しますか?
YoodaAIの回答案あなただけに表示
- APIキーごとにトークンバケットを用意し、Redisに保存して、すべてのゲートウェイノードが同じカウントを参照できるようにします。
- 制限はゲートウェイで適用し、Retry-Afterヘッダー付きの429を返して、クライアントが再試行のタイミングをわかるようにします。
- そのうえで拒否率を監視し、負荷の高いエンドポイントにはより厳しい個別の制限を設けます。
ここまでの通話内容をもとに作成