Penyelesaian chat

Chat Completions API dari OpenAI, untuk semua model teks: permintaan dan respons yang sama, streaming yang sama, SDK yang sama.

Permintaan

Respons

{
  "id": "chatcmpl-AbC123...",
  "object": "chat.completion",
  "created": 1790870400,
  "model": "claude-opus-5-5",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Here's the summary..."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 1204,
    "completion_tokens": 312,
    "total_tokens": 1516,
    "prompt_tokens_details": { "cached_tokens": 1024 },
    "completion_tokens_details": { "reasoning_tokens": 128 }
  }
}

• model adalah model yang menjawab. Model ini sesuai permintaan Anda, kecuali perutean cerdas menggunakan model alternatif.
• Model penalaran dapat menambahkan reasoning_content ke pesan: proses berpikir model, jika dibagikan.
• usage adalah penggunaan yang ditagihkan kepada Anda. cached_tokens adalah token input yang dibaca dari cache prompt model, ditagihkan dengan harga cache jika model menyediakan harga tersebut.

Setiap respons juga menyertakan header berikut:

Streaming

Dengan stream: true, jawaban diterima sebagai server-sent events dalam format chunk OpenAI, diakhiri dengan data: [DONE]. Setiap SDK membacanya untuk Anda.

import os
from openai import OpenAI
client = OpenAI(
    base_url="https://api.zurelay.com/v1",
    api_key=os.environ["ZURELAY_API_KEY"],
)
stream = client.chat.completions.create(
    model="claude-sonnet-5-5",
    messages=[
      {
        "role": "user",
        "content": "Write a limerick about databases."
      }
    ],
    stream=True,
    stream_options={
      "include_usage": True
    },
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

• Jawaban baru dikirim setelah model menghasilkan token pertama, sehingga percobaan ulang atau perpindahan ke jalur lain tidak terlihat oleh Anda.
• Saat tidak ada data (model berpikir di antara langkah), baris komentar SSE (: keep-alive) dikirim setiap 15 detik. Klien mengabaikannya; baris ini mencegah proxy menutup koneksi. Jika token pertama membutuhkan lebih dari 20 detik (prompt panjang, atau jalur yang macet dan sedang diganti), stream dibuka saat itu: header dan komentar keep-alive dikirim selama Anda menunggu. Setiap jalur diberi waktu hingga 3 menit untuk mulai (5 pada tingkat penalaran tinggi) sebelum jalur berikutnya dicoba, jadi atur timeout klien Anda ke 10 menit.
• Stream yang dibuka sebelum token pertama hanya menyertakan x-zurelay-model jika tidak ada model lain yang dapat menjawab (perutean cerdas nonaktif), dan error setelah stream dibuka dikirim sebagai event error di dalam stream (dengan struktur yang sama seperti body error), bukan sebagai status error.
• Dengan include_usage, chunk terakhir sebelum [DONE] berisi daftar choices kosong dan usage.

Pemanggilan alat

Jelaskan fungsi dalam tools; saat model ingin memanggil fungsi, model merespons dengan tool_calls, bukan teks. Jalankan fungsi, kirim kembali hasilnya sebagai pesan tool dengan ID pemanggilan tersebut, lalu model melanjutkan.

import os
from openai import OpenAI
client = OpenAI(
    base_url="https://api.zurelay.com/v1",
    api_key=os.environ["ZURELAY_API_KEY"],
)
response = client.chat.completions.create(
    model="gpt-6-sol",
    messages=[
      {
        "role": "user",
        "content": "What's the weather in Lisbon right now?"
      }
    ],
    tools=[
      {
        "type": "function",
        "function": {
          "name": "get_weather",
          "description": "Current weather for a city",
          "parameters": {
            "type": "object",
            "properties": {
              "city": {
                "type": "string"
              }
            },
            "required": [
              "city"
            ]
          }
        }
      }
    ],
)
print(response.choices[0].message.content)

Output terstruktur

Minta JSON dengan response_format. json_schema memastikan model yang mendukungnya mengikuti skema Anda; json_object meminta JSON valid dalam bentuk apa pun (nyatakan juga di prompt Anda).

import os
from openai import OpenAI
client = OpenAI(
    base_url="https://api.zurelay.com/v1",
    api_key=os.environ["ZURELAY_API_KEY"],
)
response = client.chat.completions.create(
    model="gpt-6.1-sol",
    messages=[
      {
        "role": "user",
        "content": "Extract the people: 'Ana met Ben and Chloe in Porto.'"
      }
    ],
    response_format={
      "type": "json_schema",
      "json_schema": {
        "name": "people",
        "schema": {
          "type": "object",
          "properties": {
            "names": {
              "type": "array",
              "items": {
                "type": "string"
              }
            }
          },
          "required": [
            "names"
          ]
        }
      }
    },
)
print(response.choices[0].message.content)

Penalaran

Model penalaran berpikir sebelum menjawab. Atur reasoning_effort untuk menyeimbangkan kecepatan dan biaya dengan kedalaman penalaran: tingkat yang lebih tinggi membuat model berpikir lebih lama, membutuhkan lebih banyak waktu, dan menggunakan lebih banyak token output. Setiap model mendukung tingkat yang didokumentasikan oleh labnya, mulai dari none (tanpa berpikir), lalu minimal, low, medium, high dan xhigh (sangat tinggi), hingga max; semuanya tercantum dalam tabel di bawah. Jika tidak diisi, model menggunakan pengaturan defaultnya. Cara kerjanya sama dengan SDK OpenAI apa pun, dan Anda dapat mencoba setiap tingkat di Playground dasbor.

from openai import OpenAI
client = OpenAI(base_url="https://api.zurelay.com/v1", api_key="YOUR_ZURELAY_KEY")
response = client.chat.completions.create(
    model="zurelay-auto",
    reasoning_effort="high",
    messages=[{"role": "user", "content": "How many primes are there below 1,000?"}],
)
message = response.choices[0].message
print(getattr(message, "reasoning_content", None))  # the thinking, when the model shares it
print(message.content)

Untuk model yang membagikannya, proses berpikir dikembalikan bersama jawaban dalam message.reasoning_content (saat streaming, dalam delta.reasoning_content); beberapa model menamai kolomnya reasoning. Proses ini ditagih sebagai token output dan selalu termasuk dalam completion_tokens; completion_tokens_details.reasoning_tokens menghitungnya secara terpisah jika model melaporkannya. Pada tingkat penalaran tinggi, jawaban bisa membutuhkan waktu beberapa menit sebelum mulai muncul, jadi beri klien Anda batas waktu yang cukup longgar (lihat Keandalan dan batas waktu).

Tingkat untuk setiap model

Bersumber dari dokumentasi resmi masing-masing lab. Tingkat yang tidak didukung model akan dijalankan pada tingkat terdekat yang didukung (jika ada dua yang sama dekat, dipilih yang lebih rendah; dan proses berpikir hanya dinonaktifkan jika Anda mengirim none), jadi satu permintaan bisa digunakan untuk semua model, termasuk dengan perutean cerdas. Header respons x-zurelay-reasoning-effort menunjukkan tingkat yang dijalankan. Kata yang bukan merupakan tingkat akan ditolak dengan 400 yang mencantumkan tingkat yang didukung model.

Proses berpikir Claude

Melalui endpoint ini, Claude menerima reasoning_effort seperti model lainnya: low, medium, high, xhigh atau max (Opus 4.6 tidak mendukung xhigh). Dalam format asli Anthropic, Claude berpikir secara adaptif pada tingkat tertentu: kirim thinking: { type: "adaptive", display: "summarized" } dengan output_config: { effort: "xhigh" } dan baca blok pemikirannya. Lihat Anthropic Messages.