Güvenilirlik, yeniden denemeler ve zaman aşımları

Her istek, başlangıcından ilk token gelene kadar izlenir. Modele giden bir yol takılır veya hata verirse, size hiçbir şey ulaşmadan istek başka bir yola aktarılır.

Kendi kendini iyileştirme

• Çoğu modele birden fazla yoldan erişilir. İstek, en sağlıklı yolda başlar.
• Hata veren veya erişilemeyen yol, o istek için devre dışı bırakılır ve istek başka bir yolda yeniden denenir. Çalışan bir yol, büyük bir istek ne kadar sürerse sürsün beklenir; 3 dakika boyunca (yüksek akıl yürütme düzeyinde 5) hiç veri göndermeyen yol ise başarısız sayılır.
• Sürekli başarısız olan yollar, herkes için sıranın sonuna alınır. İsteklerinin beşte birinde veya daha fazlasında hiç veri göndermeyen bir yol, sorunsuz yanıt veren bir yolun arkasına alınır. Her yol, düzeldiğinde yeniden denenir.
• Gerçek bir token gelene kadar size hiçbir şey gönderilmez. Bu yüzden tüm bunlar arka planda kalır: hata yerine biraz daha yavaş gelen bir yanıt görürsünüz.

Modeller sayfası, gerçek isteklere ve kendi kontrollerimize dayanarak her modelin anlık durumunu (çalışıyor, aksıyor veya erişilemiyor) gösterir: her sohbet modeli en az 10 dakikada bir test edilir.

Zaman aşımları

Bir akışta ilk token gelmemişse ilk 20 saniye hiçbir şey gönderilmez; ardından akış açılır ve yanıt başlayana kadar bağlantıyı açık tutan yorumlar gönderilir. Akışsız bir istekte işlem bitene kadar hiçbir şey gönderilmez. Bu yüzden akış, yanıt başlıkları geciktiğinde beklemeyi bırakan istemciler için uygundur (Node'un fetch işlevi bunları 5 dakika bekler). Uzun akıl yürütme, uzun çıktılar ve görseller için istemcinizin zaman aşımını en az 10 dakika olarak ayarlayın. OpenAI SDK'larında varsayılan süre 10 dakikadır; bazı HTTP istemcilerinde ise 30 veya 60 saniyedir.

İstek hızı sınırları

Hesabınızın genel bir istek hızı sınırı yoktur: anahtarlar yalnızca siz bir hız sınırı belirlerseniz sınırlandırılır. Bir çalışma alanında aynı anda 32 istek çalışabilir; fazladan bir istek retry-after ile birlikte 429 concurrency_limit_exceeded alır. Aşırı yüklenen bir model diğer yollarında yeniden denenir; hiçbiri yanıt vermezse retry-after ile birlikte 503 model_unavailable alırsınız. Biraz bekleyip yeniden deneyin veya akıllı yönlendirmeyi açın.

Model erişilemez olduğunda

Nadiren, bir modele giden tüm yollar başarısız olur. Akıllı yönlendirme kapalıysa istek 503 model_unavailable ve retry-after ile sonlanır. Model diğer isteklere hâlâ yanıt verirken yollar hata veriyorsa bu, genellikle saniyeler içinde geçen kısa bir aksaklıktır; bu yüzden önce en fazla 2 dakika boyunca yeniden deneriz. Model herkes için erişilemez olduğunda hata hemen, yollar hiç veri göndermediğinde ise 10 dakika içinde döner. Akıllı yönlendirme açıksa benzer bir alternatif model yanıt verir.