Smart Routing

Wenn das angefragte Modell ausfällt, liefert Smart Routing die Antwort eines ähnlichen Modells statt eines Fehlers. Deine App läuft auch bei einem Ausfall weiter – ganz ohne Retry-Code. Der automatische Modus unterstützt Chat- und Bildmodelle. Bei Sprachmodellen wird nur gewechselt, wenn du selbst Alternativen festlegst. Bei Videomodellen gibt es keinen Wechsel.

So funktioniert’s

1. Jede Anfrage geht zuerst an das Modell, das du ausgewählt hast. Die meisten Probleme werden schon hier abgefangen: Wenn ein Zugangsweg zum Modell hängt oder einen Fehler liefert, wird ein anderer versucht, bevor du etwas davon bemerkst.
2. Erst wenn das Modell selbst nicht antworten kann (weil alle Zugangswege fehlgeschlagen sind oder keiner verfügbar ist), springt Smart Routing ein.
3. Die Alternativen werden der Reihe nach versucht, jeweils mit derselben automatischen Fehlerbehebung, bis eine antwortet.
4. An der Antwort erkennst du, welches Modell geantwortet hat (model im Body, x-zurelay-model- und x-zurelay-routed-from-Header). Abgerechnet wird zum Preis dieses Modells.

Bevor eine Alternative versucht wird, kommen alle Zugangswege zu deinem Modell an die Reihe. Du erhältst also nur dann eine Antwort von einem anderen Modell, wenn deines wirklich nicht antworten kann. Falls alles schnell fehlschlägt, bekommen dein Modell und seine Alternativen je einen weiteren Versuch, bevor du einen Fehler siehst. Ein Modell, von dem bekannt ist, dass es ausgefallen ist, wird sofort übersprungen.

So aktivierst du es

Für einen Key gibt es diese Einstellungen:

Pro Anfrage

Eine Liste mit Alternativen

Übergib models zusammen mit model: bis zu drei Alternativen, die der Reihe nach versucht werden, wenn model ausfällt – unabhängig von der Key-Einstellung oder dem Header. Die Liste wird nie an das Modell gesendet. Das OpenAI Python SDK übermittelt sie über extra_body. Auch Bild- und Sprachanfragen unterstützen sie. Bei einer Bildbearbeitung, die als Formular gesendet wird, kannst du sie als models-Feld übergeben (mehrfach oder als eine kommagetrennte Liste).

import os
from openai import OpenAI
client = OpenAI(
    base_url="https://api.zurelay.com/v1",
    api_key=os.environ["ZURELAY_API_KEY"],
)
response = client.chat.completions.create(
    model="gpt-6-sol",
    messages=[
      {
        "role": "user",
        "content": "Summarize this ticket in one line: ..."
      }
    ],
    extra_body={
      "models": [
        "gpt-6.1-sol",
        "gpt-6-astra"
      ]
    },
)
print(response.choices[0].message.content)

Der Header

x-zurelay-fallback: off    # never reroute this request
x-zurelay-fallback: auto   # use the automatic alternatives (chat and image models)

Es gilt diese Reihenfolge: zuerst models aus der Anfrage, dann der Header, dann die Key-Einstellung und zuletzt der Workspace-Standard.

Welche Alternativen antworten können

• Sie sind vom selben Modelltyp. Alternativen für ein Chatmodell sind Chatmodelle, für ein Bildmodell Bildmodelle und für ein Sprachmodell Sprachmodelle. Eine Regel für jedes andere Modell (*) kann mehrere Typen enthalten; jede Anfrage verwendet nur Alternativen ihres eigenen Typs.
• Sie können deine Eingaben verarbeiten. Eine Anfrage mit einem PDF oder Video geht nur an Alternativen, die es lesen können. Gibt es keine, erhältst du einen Fehler statt einer Antwort, die deine Datei ignoriert.
• Der Key darf sie verwenden. Alternativen, die für den Key nicht zugelassen sind, werden übersprungen.
• Sie unterstützen den Endpoint. Bei /v1/messages kommen nur Claude-Modelle als Alternativen infrage.
• Die Anfrage selbst ist gültig. Wenn das Modell die Anfrage ablehnt (wegen eines ungültigen Parameters, eines zu langen Prompts, eines Bildmotivs, das es nicht zeichnen will, oder eines Texts, den es nicht sprechen will), wird sie nicht umgeleitet: Die Alternativen würden sie ebenfalls ablehnen.

Bilder

Im automatischen Modus wird bei Bildern zuerst innerhalb derselben Familie gewechselt (GPT Image 2.5 Sunburst zu Flare, Nano Banana Pro zu Nano Banana 2.1) und nur zu Modellen, die Bilder in etwa gleicher Qualität erzeugen. Eine automatische Alternative kostet bei der angefragten Größe nie mehr als das 1,5-Fache des angefragten Modells. Für deine eigenen Regeln und die models-Liste einer Anfrage gilt diese Grenze nicht. In beiden Fällen gilt:

• Dieselbe Größe und dasselbe Format. Nano Banana-Modelle interpretieren size und aspect_ratio gleich. GPT Image kann eine Nano Banana-Größe nur ersetzen, wenn beide dasselbe Bildformat erzeugen: 1K quadratisch (1024x1024), 1K im Format 3:2 oder 2:3, 2K quadratisch, 4K im Format 16:9 oder 9:16. Nano Banana kann eine GPT Image-Pixelgröße nur ersetzen, wenn es exakt dieselbe Pixelzahl erzeugt (1024x1024, 2048x2048) oder du keine Größe angegeben hast.
• Deine Referenzbilder. Eine Alternative muss so viele verarbeiten können, wie du gesendet hast (Nano Banana 14, GPT Image 16).
• Deine Optionen. Ein transparentes background wird nur an GPT Image-Modelle gesendet.
• Ein Modell pro Antwort. Bei n über 1 stammen alle Bilder vom selben Modell.

Sprache

Bei Sprache wird das Modell nur durch deine eigenen Regeln oder die models-Liste einer Anfrage gewechselt, nie im automatischen Modus. Alle Sprachmodelle bieten dieselben Stimmen. Ein alternatives Modell liest deinen Text also mit der gewünschten voice und deinem instructions vor. Die Header für Eingabe- und Ausgabetokens stammen vom antwortenden Modell.

Automatische Alternativen

Direkt aus dem Katalog: die Alternativen, auf die Chat- und Bildmodelle im automatischen Modus zurückgreifen.

Gut zu wissen

• Ein alternatives Modell kann mehr oder weniger kosten als das angefragte Modell. In deinem Anfragenprotokoll siehst du, welches Modell geantwortet hat und was es gekostet hat.
• Streaming funktioniert genauso: Es wird nichts gesendet, bis ein Modell antwortet. Die Chunks nennen dieses Modell.
• Bild- und Sprachantworten enthalten dieselben x-zurelay-model- und x-zurelay-routed-from-Header. Bilder in deiner Bibliothek sind mit dem Modell gekennzeichnet, das sie erstellt hat.
• Videos werden nicht umgeleitet: Ein Videoauftrag bleibt beim angefragten Modell und wird erneut eingereicht, bis das Video erstellt wurde oder der Auftrag fehlschlägt (kostenlos).