स्मार्ट रूटिंग

जब किसी रिक्वेस्ट में दिया गया मॉडल उपलब्ध नहीं होता, तो स्मार्ट राउटिंग गड़बड़ी दिखाने के बजाय मिलते-जुलते विकल्प से जवाब दिलाती है। सेवा ठप होने पर भी आपका ऐप चलता रहता है, और आपको दोबारा कोशिश करने के लिए कोई कोड नहीं लिखना पड़ता। ऑटोमैटिक मोड चैट और इमेज मॉडल के लिए काम करता है। स्पीच में मॉडल तभी बदला जाता है जब आप खुद विकल्प चुनते हैं, और वीडियो में मॉडल कभी नहीं बदला जाता।

यह कैसे काम करता है

1. हर रिक्वेस्ट पहले आपके चुने हुए मॉडल पर जाती है। ज़्यादातर समस्याएँ यहीं हल हो जाती हैं: अगर मॉडल तक पहुँचने का कोई रास्ता अटक जाए या उसमें गड़बड़ी आए, तो आपको कुछ दिखने से पहले ही दूसरे रास्ते से दोबारा कोशिश की जाती है।
2. स्मार्ट राउटिंग तभी काम में आती है जब मॉडल खुद जवाब नहीं दे पाता (सभी रास्ते नाकाम हो गए हों, या कोई रास्ता उपलब्ध न हो)।
3. यह विकल्पों को क्रम से आज़माती है, और हर विकल्प में भी गड़बड़ी से अपने-आप उबरने का यही तरीका अपनाती है, जब तक कोई जवाब न दे दे।
4. जवाब में बताया जाता है कि किस मॉडल ने जवाब दिया (बॉडी में model, और x-zurelay-model व x-zurelay-routed-from हेडर में), और शुल्क उसी मॉडल की कीमत के हिसाब से लगता है।

कोई विकल्प आज़माने से पहले आपके चुने हुए मॉडल तक पहुँचने के हर रास्ते को मौका मिलता है, इसलिए दूसरा मॉडल तभी मिलता है जब आपका मॉडल वाकई जवाब नहीं दे पाता। अगर सभी कोशिशें जल्दी नाकाम हो जाएँ, तो गड़बड़ी दिखाने से पहले मॉडल और उसके हर विकल्प को एक और मौका मिलता है। जिस मॉडल के अनुपलब्ध होने की जानकारी हो, उसे तुरंत छोड़ दिया जाता है।

इसे चालू करना

किसी की की सेटिंग इनमें से एक होती है:

हर रिक्वेस्ट के लिए

विकल्पों की सूची

model के साथ models भेजें: अधिकतम तीन विकल्प, जिन्हें model उपलब्ध न होने पर क्रम से आज़माया जाता है, चाहे की की सेटिंग या हेडर कुछ भी हो। यह कभी मॉडल को नहीं भेजा जाता। OpenAI Python SDK इसे extra_body के ज़रिए भेजता है। इमेज और स्पीच रिक्वेस्ट भी इसे स्वीकार करती हैं, और फ़ॉर्म के रूप में भेजे गए इमेज एडिट में इसे models फ़ील्ड के तौर पर भेजा जाता है (बार-बार, या कॉमा से अलग की गई एक सूची के रूप में)।

import os
from openai import OpenAI
client = OpenAI(
    base_url="https://api.zurelay.com/v1",
    api_key=os.environ["ZURELAY_API_KEY"],
)
response = client.chat.completions.create(
    model="gpt-6-sol",
    messages=[
      {
        "role": "user",
        "content": "Summarize this ticket in one line: ..."
      }
    ],
    extra_body={
      "models": [
        "gpt-6.1-sol",
        "gpt-6-astra"
      ]
    },
)
print(response.choices[0].message.content)

हेडर

x-zurelay-fallback: off    # never reroute this request
x-zurelay-fallback: auto   # use the automatic alternatives (chat and image models)

लागू होने का क्रम: पहले रिक्वेस्ट का models, फिर हेडर, फिर की की सेटिंग, और आखिर में वर्कस्पेस का डिफ़ॉल्ट।

कौन-से विकल्प जवाब दे सकते हैं

• वे उसी तरह के मॉडल होते हैं। चैट मॉडल के विकल्प चैट मॉडल होते हैं, इमेज मॉडल के विकल्प इमेज मॉडल होते हैं, और स्पीच मॉडल के विकल्प स्पीच मॉडल होते हैं। किसी भी अन्य मॉडल (*) के नियम में कई तरह के मॉडल हो सकते हैं; हर रिक्वेस्ट अपने ही तरह के मॉडल इस्तेमाल करती है।
• वे आपके भेजे हुए इनपुट को पढ़ सकते हैं। PDF या वीडियो वाली रिक्वेस्ट सिर्फ़ उन विकल्पों पर जाती है जो उसे पढ़ सकते हैं। अगर कोई भी ऐसा नहीं कर सकता, तो आपकी फ़ाइल को नज़रअंदाज़ करने वाले जवाब के बजाय आपको गड़बड़ी मिलती है।
• की को उनका इस्तेमाल करने की अनुमति होती है। की के लिए अनुमति वाले मॉडल में शामिल न होने वाले विकल्प छोड़ दिए जाते हैं।
• वे एंडपॉइंट के साथ काम करते हैं। /v1/messages पर, विकल्प Claude मॉडल होते हैं।
• रिक्वेस्ट में कोई समस्या नहीं होती। अगर मॉडल ने रिक्वेस्ट अस्वीकार की हो (गलत पैरामीटर, बहुत लंबा प्रॉम्प्ट, ऐसा प्रॉम्प्ट जिसकी तस्वीर वह नहीं बनाएगा या ऐसा टेक्स्ट जिसे वह बोलकर नहीं सुनाएगा), तो उसे दूसरे मॉडल पर नहीं भेजा जाता: विकल्प भी उसे अस्वीकार कर देंगे।

इमेज

ऑटोमैटिक मोड में इमेज पहले उसी फ़ैमिली के मॉडल पर जाती है (GPT Image 2.5 Sunburst से Flare, Nano Banana Pro से Nano Banana 2.1), और सिर्फ़ उन मॉडल पर जो लगभग उतनी ही अच्छी तस्वीरें बनाते हैं। ऑटोमैटिक विकल्प की कीमत आपके माँगे गए साइज़ पर आपके चुने हुए मॉडल की कीमत के 1.5 गुना से ज़्यादा कभी नहीं होती। आपके अपने नियमों और रिक्वेस्ट की models सूची पर ऐसी कोई सीमा नहीं है। दोनों ही मामलों में:

• वही साइज़ और आकार। Nano Banana मॉडल size और aspect_ratio को एक ही तरह से समझते हैं। GPT Image किसी Nano Banana साइज़ की जगह तभी लेता है जब दोनों एक जैसी तस्वीर बनाते हों: 1K वर्गाकार (1024x1024), 1K 3:2 या 2:3, 2K वर्गाकार, 4K 16:9 या 9:16। Nano Banana किसी GPT Image पिक्सेल साइज़ की जगह तभी लेता है जब वह ठीक उतने ही पिक्सेल बनाए (1024x1024, 2048x2048), या जब आपने कोई साइज़ न माँगा हो।
• आपकी रेफ़रेंस इमेज। विकल्प को उतनी इमेज स्वीकार करनी होंगी जितनी आपने भेजी हैं (Nano Banana 14, GPT Image 16)।
• आपके विकल्प। पारदर्शी background सिर्फ़ GPT Image मॉडल पर जाता है।
• हर जवाब के लिए एक ही मॉडल। n का मान 1 से ज़्यादा होने पर, हर इमेज एक ही मॉडल से बनती है।

आवाज़

स्पीच में मॉडल सिर्फ़ आपके नियमों या रिक्वेस्ट की models सूची के आधार पर बदलते हैं, ऑटोमैटिक मोड में कभी नहीं। हर स्पीच मॉडल में वही आवाज़ें उपलब्ध हैं, इसलिए वैकल्पिक मॉडल आपका टेक्स्ट आपके चुने हुए voice में, आपके instructions के साथ पढ़ता है। इनपुट और आउटपुट टोकन हेडर जवाब देने वाले मॉडल के होते हैं।

ऑटोमैटिक विकल्प

सीधे कैटलॉग से: ऑटोमैटिक मोड में हर चैट और इमेज मॉडल की जगह इस्तेमाल होने वाले वैकल्पिक मॉडल।

जानने लायक बातें

• वैकल्पिक मॉडल की लागत आपके चुने हुए मॉडल से ज़्यादा या कम हो सकती है। आपकी रिक्वेस्ट के लॉग में जवाब देने वाला मॉडल और उसकी लागत दिखती है।
• स्ट्रीमिंग भी वैसे ही काम करती है: जब तक कोई मॉडल जवाब देना शुरू नहीं करता, कुछ भी नहीं भेजा जाता, और हर चंक में उसी मॉडल का नाम होता है।
• इमेज और स्पीच के जवाबों में भी वही x-zurelay-model और x-zurelay-routed-from हेडर होते हैं, और आपकी लाइब्रेरी की इमेज पर उन्हें बनाने वाले मॉडल का नाम होता है।
• वीडियो किसी दूसरे मॉडल पर नहीं भेजे जाते: वीडियो जॉब आपके चुने हुए मॉडल पर ही रहता है और वीडियो बनने या जॉब फ़ेल होने तक दोबारा सबमिट होता रहता है (बिना शुल्क)।