Live-Assistent
Jede Frage wird mitgeschrieben, während sie gestellt wird, und Sekunden später erscheint eine kurze Antwort, die Sie laut sagen können.
So funktioniert der Live-AssistentIm Gespräch gehört
Wie würden Sie einen Rate Limiter für eine API mit hohem Traffic entwerfen?
YoodaAI schlägt vornur für Sie sichtbar
- Ich würde einen Token Bucket pro API-Key nutzen, gespeichert in Redis, damit jeder Gateway-Knoten denselben Zählerstand sieht.
- Das Gateway setzt das Limit durch und gibt einen 429 mit Retry-After-Header zurück, damit Clients wissen, wann sie es erneut versuchen können.
- Dann würde ich die Ablehnungsrate überwachen und den teuren Endpunkten eigene, strengere Limits geben.
Basierend auf allem, was bisher im Gespräch gesagt wurde