Betrouwbaarheid, nieuwe pogingen en time-outs

Elk verzoek wordt gevolgd vanaf de start tot het eerste token. Als een route naar het model vastloopt van uitvalt, gaat het verzoek naar een andere route voordat je iets ontvangt.

Zelfherstellend

• De meeste modellen zijn via meerdere routes beschikbaar. Een verzoek begint op de best werkende route.
• Een route die een fout geeft of onbereikbaar is, wordt voor dat verzoek overgeslagen. Het verzoek wordt via een andere route opnieuw geprobeerd. Op een werkende route blijven we wachten, hoe lang een groot verzoek ook duurt; een route die 3 minuten helemaal stil blijft (5 bij een hoge redeneerinspanning), geldt als mislukt.
• Routes die blijven falen, krijgen voor iedereen een lagere prioriteit. Een route die bij een vijfde of meer van de verzoeken stilvalt, komt achter een route die probleemloos antwoordt. Zodra een route hersteld is, wordt die opnieuw geprobeerd.
• Je ontvangt niets totdat er een echt token binnen is, dus dit gebeurt allemaal onzichtbaar: je krijgt een iets trager antwoord, geen foutmelding.

De modellenpagina toont de actuele status van elk model (operationeel, verstoord van uitgevallen), op basis van echte verzoeken en onze eigen controles: elk chatmodel wordt minstens elke 10 minuten getest.

Time-outs

Een stream verstuurt de eerste 20 seconden niets zolang er geen eerste token is. Daarna opent de stream met keep-alive-comments totdat het antwoord begint. Een verzoek zonder streaming verstuurt pas iets als het klaar is. Streaming is daarom geschikt voor clients die afhaken als headers te lang op zich laten wachten (fetch in Node wacht er 5 minuten op). Stel de time-out van je client in op minstens 10 minuten voor lang redeneren, lange antwoorden en afbeeldingen. De OpenAI SDK's gebruiken standaard 10 minuten; sommige HTTP-clients gebruiken standaard 30 van 60 seconden.

Aanvraaglimieten

Er is geen algemene aanvraaglimiet voor je account: sleutels worden alleen beperkt als je er zelf een aanvraaglimiet voor instelt. Een workspace kan 32 verzoeken tegelijk uitvoeren; een extra verzoek krijgt 429 concurrency_limit_exceeded met retry-after. Bij een overbelast model wordt het verzoek opnieuw geprobeerd via de andere routes; als geen enkele route antwoordt, krijg je 503 model_unavailable met retry-after. Wacht even en probeer het opnieuw, of schakel slimme routering in.

Als een model uitvalt

Heel soms vallen alle routes naar een model uit. Zonder slimme routering eindigt het verzoek met 503 model_unavailable en retry-after. Als de routes fouten geven terwijl het model nog wel andere verzoeken beantwoordt, is dat meestal een korte storing die binnen enkele seconden voorbij is. Daarom blijven we het eerst tot 2 minuten opnieuw proberen. Als het model voor iedereen is uitgevallen, krijg je de fout meteen; als routes stil blijven, binnen 10 minuten. Met slimme routering antwoordt een vergelijkbaar alternatief.