LiteLLM dengan Zurelay

Siapkan

1. 1

   Instal dengan pip install litellm untuk Python SDK, atau pip install 'litellm[proxy]' untuk server proxy.

2. 2

   Awali ID model Zurelay dengan openai/ dan atur api_base ke base URL, lengkap dengan /v1.

3. 3

   Untuk proxy, daftarkan model di config.yaml lalu jalankan litellm --config config.yaml. Proxy ini melayani http://localhost:4000 bagi klien OpenAI maupun Anthropic.

4. 4

   Biarkan use_chat_completions_api dan use_chat_completions_url_for_anthropic_messages tetap aktif. Tanpa keduanya, LiteLLM mengubah permintaan Responses dan Anthropic Messages (seperti dari Claude Code) menjadi panggilan ke Responses API milik OpenAI, yang tidak disediakan Zurelay.

Konfigurasi

model_list:
  - model_name: claude-opus-5-5
    litellm_params:
      model: openai/claude-opus-5-5
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
    model_info:
      input_cost_per_token: 0.0000014
      output_cost_per_token: 0.000007
      cache_read_input_token_cost: 0.00000007
  # Every other Zurelay model, as zurelay/<model ID>
  - model_name: zurelay/*
    litellm_params:
      model: openai/*
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
litellm_settings:
  use_chat_completions_url_for_anthropic_messages: true
  check_provider_endpoint: true
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Kami menjalankan pengaturan ini dari awal sampai akhir dengan DeepSeek dan Claude. Panduan LiteLLM memuat setiap error yang kami temui, cara memperbaikinya, dan biaya tiap tugas uji.

Dokumentasi resmi LiteLLM