Perutean cerdas

Saat model yang diminta tidak tersedia, perutean cerdas memberikan respons dari alternatif yang setara, bukan pesan error. Aplikasi Anda tetap berjalan selama gangguan tanpa perlu kode percobaan ulang. Mode otomatis mencakup model chat dan gambar. Untuk suara, model hanya diganti jika Anda menentukan sendiri alternatifnya, sedangkan model video tidak pernah diganti.

Cara kerja

1. Setiap permintaan pertama-tama dikirim ke model yang Anda minta. Sebagian besar masalah selesai di sini: jika satu jalur ke model macet atau mengalami error, permintaan dicoba ulang melalui jalur lain sebelum Anda melihat apa pun.
2. Perutean cerdas baru bekerja ketika model itu sendiri tidak bisa merespons (semua jalur gagal, atau tidak ada yang tersedia).
3. Alternatif dicoba secara berurutan, masing-masing dengan mekanisme pemulihan otomatis yang sama, hingga salah satunya merespons.
4. Respons menunjukkan model yang menjawab (model di isi respons, header x-zurelay-model dan x-zurelay-routed-from), dan biayanya dihitung sesuai harga model tersebut.

Semua jalur ke model yang Anda minta dicoba sebelum mencoba alternatif, jadi model lain hanya digunakan saat model Anda benar-benar tidak bisa merespons. Jika semua percobaan gagal dengan cepat, model tersebut dan setiap alternatifnya dicoba sekali lagi sebelum Anda menerima pesan error. Model yang diketahui sedang tidak tersedia langsung dilewati.

Cara mengaktifkan

Pengaturan kunci dapat berupa salah satu dari berikut:

Per permintaan

Daftar alternatif

Sertakan models bersama model: hingga tiga alternatif, yang dicoba secara berurutan jika model tidak tersedia, terlepas dari pengaturan kunci atau header. Daftar ini tidak pernah dikirim ke model. OpenAI Python SDK mengirimkannya melalui extra_body. Permintaan gambar dan suara juga menerimanya, dan pengeditan gambar yang dikirim sebagai formulir menerimanya sebagai field models (berulang, atau satu daftar yang dipisahkan koma).

import os
from openai import OpenAI
client = OpenAI(
    base_url="https://api.zurelay.com/v1",
    api_key=os.environ["ZURELAY_API_KEY"],
)
response = client.chat.completions.create(
    model="gpt-6-sol",
    messages=[
      {
        "role": "user",
        "content": "Summarize this ticket in one line: ..."
      }
    ],
    extra_body={
      "models": [
        "gpt-6.1-sol",
        "gpt-6-astra"
      ]
    },
)
print(response.choices[0].message.content)

Header

x-zurelay-fallback: off    # never reroute this request
x-zurelay-fallback: auto   # use the automatic alternatives (chat and image models)

Urutan prioritas pengaturan: models pada permintaan, lalu header, lalu pengaturan kunci, lalu default ruang kerja.

Alternatif yang dapat merespons

• Jenis modelnya sama. Alternatif model chat adalah model chat, alternatif model gambar adalah model gambar, dan alternatif model suara adalah model suara. Aturan untuk model lain apa pun (*) dapat mencantumkan beberapa jenis; setiap permintaan menggunakan alternatif yang sejenis.
• Dapat membaca yang Anda kirim. Permintaan dengan PDF atau video hanya dikirim ke alternatif yang dapat membacanya. Jika tidak ada, Anda menerima pesan error, bukan respons yang mengabaikan file Anda.
• Diizinkan untuk kunci tersebut. Alternatif di luar model yang diizinkan untuk suatu kunci akan dilewati.
• Mendukung endpoint yang digunakan. Pada /v1/messages, alternatifnya adalah model Claude.
• Permintaannya sendiri valid. Jika model menolak permintaan (parameter tidak valid, prompt terlalu panjang, prompt yang tidak mau digambarnya, atau teks yang tidak mau dibacakannya), permintaan tidak dialihkan: alternatifnya juga akan menolak.

Gambar

Dalam mode otomatis, permintaan gambar diprioritaskan ke model dari keluarga yang sama (GPT Image 2.5 Sunburst ke Flare, Nano Banana Pro ke Nano Banana 2.1), dan hanya ke model dengan kualitas gambar yang kurang lebih setara. Biaya alternatif otomatis tidak pernah melebihi 1.5 kali biaya model yang Anda minta pada ukuran yang Anda minta. Aturan Anda sendiri dan daftar models pada permintaan tidak memiliki batasan ini. Dalam kedua kasus:

• Ukuran dan bentuk yang sama. Model Nano Banana membaca size dan aspect_ratio dengan cara yang sama. GPT Image hanya menggantikan ukuran Nano Banana jika keduanya menghasilkan gambar dengan ukuran dan bentuk yang sama: 1K persegi (1024x1024), 1K 3:2 atau 2:3, 2K persegi, 4K 16:9 atau 9:16. Nano Banana hanya menggantikan ukuran piksel GPT Image jika menghasilkan dimensi piksel yang persis sama (1024x1024, 2048x2048), atau jika Anda tidak meminta ukuran tertentu.
• Gambar referensi Anda. Alternatif harus mendukung setidaknya sebanyak gambar yang Anda kirim (Nano Banana 14, GPT Image 16).
• Opsi Anda. background transparan hanya diteruskan ke model GPT Image.
• Satu model per respons. Jika n lebih dari 1, semua gambar berasal dari model yang sama.

Suara

Model suara hanya berganti sesuai aturan Anda sendiri atau daftar models dalam permintaan, tidak pernah dalam mode otomatis. Semua model suara mendukung pilihan suara yang sama, jadi model alternatif membacakan teks Anda dalam voice yang Anda minta, dengan instructions Anda. Header token input dan output mengacu pada model yang merespons.

Alternatif otomatis

Langsung dari katalog: model alternatif yang digunakan setiap model chat dan gambar dalam mode otomatis.

Yang perlu diketahui

• Biaya model alternatif bisa lebih tinggi atau lebih rendah daripada model yang Anda minta. Log permintaan Anda menampilkan model yang merespons beserta biayanya.
• Streaming tetap sama: tidak ada yang dikirim sampai model mulai merespons, dan setiap potongan data mencantumkan nama model tersebut.
• Respons gambar dan suara menyertakan header x-zurelay-model dan x-zurelay-routed-from yang sama, dan gambar di koleksi Anda diberi label model yang membuatnya.
• Video tidak dialihkan: tugas video tetap menggunakan model yang Anda minta, dan dikirim ulang sampai selesai atau gagal (gratis).