विश्वसनीयता, दोबारा कोशिश और टाइमआउट

हर रिक्वेस्ट पर शुरुआत से पहले टोकन तक नज़र रखी जाती है. अगर मॉडल तक पहुँचने का कोई रास्ता अटक जाता है या काम नहीं करता, तो आपके पास कुछ भी पहुँचने से पहले रिक्वेस्ट दूसरे रास्ते पर भेज दी जाती है.

अपने-आप ठीक होना

• ज़्यादातर मॉडल कई रास्तों से उपलब्ध होते हैं. रिक्वेस्ट उस रास्ते से शुरू होती है जो सबसे बेहतर काम कर रहा हो.
• जिस रास्ते पर गड़बड़ी आती है या जिससे कनेक्ट नहीं हो पाता, उस रिक्वेस्ट के लिए उसे छोड़कर दूसरे रास्ते से फिर कोशिश की जाती है. जो रास्ता काम कर रहा हो, उस पर इंतज़ार किया जाता है, भले ही बड़ी रिक्वेस्ट में कितना भी समय लगे; जिस रास्ते से पूरे 3 मिनट तक कुछ नहीं आता (ज़्यादा रीज़निंग एफर्ट पर 5 मिनट), उसे नाकाम माना जाता है.
• जो रास्ते बार-बार नाकाम होते हैं, उन्हें सभी के लिए प्राथमिकता में पीछे कर दिया जाता है. जिस रास्ते से पाँचवें हिस्से या उससे ज़्यादा रिक्वेस्ट पर कुछ नहीं आता, उसे ठीक से जवाब दे रहे रास्ते के पीछे रखा जाता है. हर रास्ते के ठीक होने पर उसे फिर आज़माया जाता है.
• असली टोकन आने तक आप तक कुछ भी नहीं पहुँचता, इसलिए यह सब आपको दिखाई नहीं देता: आपको गड़बड़ी के बजाय थोड़ी देर से जवाब मिलता है.

मॉडल पेज पर असली रिक्वेस्ट और हमारी जाँचों के आधार पर हर मॉडल की मौजूदा स्थिति दिखाई जाती है (काम कर रहा है, धीमा या बाधित है, या बंद है): हर चैट मॉडल की जाँच कम-से-कम हर 10 मिनट में की जाती है.

टाइमआउट

पहला टोकन न आने पर स्ट्रीम शुरुआती 20 सेकंड तक कुछ नहीं भेजती, फिर कीप-अलाइव कमेंट के साथ शुरू होती है और जवाब आने तक उन्हें भेजती रहती है. नॉन-स्ट्रीमिंग रिक्वेस्ट पूरी होने तक कुछ नहीं भेजती, इसलिए स्ट्रीमिंग उन क्लाइंट के लिए बेहतर है जो हेडर मिलने में देर होने पर इंतज़ार छोड़ देते हैं (Node का fetch इनके लिए 5 मिनट इंतज़ार करता है). लंबी रीज़निंग, लंबे आउटपुट और इमेज के लिए अपने क्लाइंट का टाइमआउट कम-से-कम 10 मिनट रखें. OpenAI SDK का डिफ़ॉल्ट टाइमआउट 10 मिनट है; कुछ HTTP क्लाइंट में यह 30 या 60 सेकंड होता है.

रेट लिमिट

आपके खाते पर कोई ग्लोबल रेट लिमिट नहीं है: की पर सीमा तभी लगती है जब आप उनके लिए रेट लिमिट तय करते हैं. एक वर्कस्पेस में एक साथ 32 रिक्वेस्ट चल सकती हैं; एक और रिक्वेस्ट भेजने पर retry-after के साथ 429 concurrency_limit_exceeded मिलता है. किसी मॉडल पर ज़्यादा लोड होने पर उसके दूसरे रास्तों से फिर कोशिश की जाती है; किसी से भी जवाब न मिलने पर आपको retry-after के साथ 503 model_unavailable मिलता है. थोड़ा रुककर फिर कोशिश करें, या स्मार्ट राउटिंग चालू करें.

जब कोई मॉडल बंद हो

कभी-कभार मॉडल तक पहुँचने के सभी रास्ते नाकाम हो जाते हैं. स्मार्ट राउटिंग के बिना, रिक्वेस्ट 503 model_unavailable और retry-after के साथ खत्म हो जाती है. जब रास्तों पर गड़बड़ी आती है लेकिन मॉडल दूसरी रिक्वेस्ट का जवाब दे रहा होता है, तो यह आमतौर पर कुछ सेकंड में ठीक होने वाली अस्थायी दिक्कत होती है, इसलिए हम पहले 2 मिनट तक फिर कोशिश करते रहते हैं. जब मॉडल सभी के लिए बंद हो, तो गड़बड़ी तुरंत मिलती है, और जब रास्तों से कुछ न आए, तो 10 मिनट के भीतर. स्मार्ट राउटिंग चालू होने पर, मिलता-जुलता वैकल्पिक मॉडल जवाब देता है.