Zuverlässigkeit, Wiederholungsversuche und Timeouts

Jede Anfrage wird vom Start bis zum ersten Token überwacht. Wenn ein Pfad zum Modell stockt oder ausfällt, wird die Anfrage auf einen anderen umgeleitet, bevor dich etwas erreicht.

Automatische Wiederherstellung

• Die meisten Modelle sind über mehrere Pfade erreichbar. Eine Anfrage startet auf dem zuverlässigsten Pfad.
• Wenn ein Pfad einen Fehler liefert oder nicht erreichbar ist, wird er für diese Anfrage verworfen und ein anderer versucht. Auf einen funktionierenden Pfad warten wir, auch wenn eine große Anfrage lange dauert; bleibt er 3 Minuten lang völlig still (5 bei hohem Reasoning-Aufwand), gilt der Versuch als fehlgeschlagen.
• Pfade, die wiederholt ausfallen, rücken für alle ans Ende der Warteschlange. Ein Pfad, der bei einem Fünftel oder mehr seiner Anfragen still bleibt, landet hinter einem Pfad, der zuverlässig antwortet. Sobald er sich erholt, wird er erneut versucht.
• Erst wenn ein echter Token eingetroffen ist, erreicht dich etwas. All das bleibt für dich unsichtbar: Du bekommst eine etwas langsamere Antwort statt eines Fehlers.

Die Modellseite zeigt den aktuellen Status jedes Modells (verfügbar, eingeschränkt oder ausgefallen), basierend auf echten Anfragen und unseren eigenen Prüfungen: Jedes Chat-Modell wird mindestens alle 10 Minuten getestet.

Zeitlimits

Ein Stream sendet in den ersten 20 Sekunden ohne ersten Token nichts. Danach beginnt er mit Keep-Alive-Kommentaren, bis die Antwort startet. Eine Anfrage ohne Streaming sendet bis zum Abschluss nichts. Streaming eignet sich daher für Clients, die bei langsam eintreffenden Headern abbrechen (Node’s fetch wartet 5 Minuten darauf). Setze das Zeitlimit deines Clients für langes Reasoning, lange Ausgaben und Bilder auf mindestens 10 Minuten. Die OpenAI SDKs verwenden standardmäßig 10 Minuten; bei manchen HTTP-Clients sind es 30 oder 60 Sekunden.

Ratenlimits

Für deinen Account gibt es kein globales Ratenlimit: Keys sind nur begrenzt, wenn du selbst ein Ratenlimit für sie festlegst. Ein Workspace kann 32 Anfragen gleichzeitig ausführen; bei einer weiteren erhältst du 429 concurrency_limit_exceeded mit retry-after. Ist ein Modell überlastet, werden seine anderen Pfade versucht; antwortet keiner, erhältst du 503 model_unavailable mit retry-after. Warte kurz und versuche es erneut oder aktiviere intelligentes Routing.

Wenn ein Modell ausfällt

Selten fallen alle Pfade zu einem Modell aus. Ohne intelligentes Routing endet die Anfrage mit 503 model_unavailable und retry-after. Wenn die Pfade Fehler liefern, das Modell aber noch andere Anfragen beantwortet, ist das meist eine kurze Störung, die nach wenigen Sekunden vorbei ist. Deshalb versuchen wir es zunächst bis zu 2 Minuten lang weiter. Ist das Modell für alle ausgefallen, kommt der Fehler sofort; bleiben die Pfade still, innerhalb von 10 Minuten. Mit intelligentem Routing antwortet stattdessen eine passende Alternative.