Keandalan, percobaan ulang dan batas waktu

Setiap permintaan dipantau sejak awal hingga token pertama. Jika jalur ke model macet atau gagal, permintaan dialihkan ke jalur lain sebelum apa pun dikirim ke Anda.

Pemulihan otomatis

• Sebagian besar model dilayani melalui beberapa jalur. Permintaan dimulai di jalur dengan kondisi terbaik.
• Jalur yang mengalami error atau tidak dapat dijangkau tidak lagi dipakai untuk permintaan tersebut, lalu permintaan dicoba ulang di jalur lain. Jalur yang masih bekerja tetap ditunggu, berapa pun waktu yang dibutuhkan permintaan besar; jalur yang sama sekali tidak merespons selama 3 menit (5 pada tingkat penalaran tinggi) dianggap gagal.
• Jalur yang terus gagal diturunkan prioritasnya untuk semua pengguna. Jalur yang tidak merespons pada seperlima atau lebih permintaannya ditempatkan di belakang jalur yang menjawab tanpa masalah. Masing-masing dicoba lagi setelah pulih.
• Tidak ada yang dikirim ke Anda sebelum token sungguhan diterima, jadi semua ini terjadi tanpa terlihat: Anda mendapat jawaban yang sedikit lebih lambat, bukan error.

Halaman model menampilkan status terkini setiap model (normal, terganggu, atau tidak tersedia), berdasarkan permintaan nyata dan pemeriksaan kami sendiri: setiap model chat diuji setidaknya setiap 10 menit.

Batas waktu

Stream tidak mengirim apa pun selama 20 detik pertama jika token pertama belum diterima, lalu dibuka dengan komentar keep-alive hingga jawaban dimulai. Permintaan non-streaming tidak mengirim apa pun hingga selesai, jadi streaming cocok untuk klien yang berhenti menunggu jika header terlambat (fetch pada Node menunggu header selama 5 menit). Atur batas waktu klien Anda setidaknya 10 menit untuk penalaran lama, output panjang, dan gambar. SDK OpenAI menggunakan batas waktu bawaan 10 menit; beberapa klien HTTP menggunakan 30 atau 60 detik.

Batas laju

Tidak ada batas laju global pada akun Anda: kunci hanya dibatasi jika Anda menetapkan batas laju untuk kunci tersebut. Workspace dapat menjalankan 32 permintaan sekaligus; permintaan tambahan mendapat 429 concurrency_limit_exceeded dengan retry-after. Model yang kelebihan beban dicoba ulang melalui jalur lainnya; jika tidak ada yang menjawab, Anda mendapat 503 model_unavailable dengan retry-after. Tunggu sejenak lalu coba lagi, atau aktifkan perutean cerdas.

Saat model tidak tersedia

Meski jarang, semua jalur ke suatu model bisa gagal. Tanpa perutean cerdas, permintaan berakhir dengan 503 model_unavailable dan retry-after. Jika jalur mengalami error sementara model masih menjawab permintaan lain, biasanya itu gangguan sesaat yang pulih dalam hitungan detik, jadi kami terus mencoba ulang hingga 2 menit terlebih dahulu. Jika model tidak tersedia untuk semua pengguna, error langsung dikirim, dan jika jalur terus tidak merespons, error dikirim dalam 10 menit. Dengan perutean cerdas, model alternatif yang serupa akan menjawab.