LiteLLM proxy dan SDK dengan DeepSeek, Claude, dan API apa pun yang kompatibel dengan OpenAI

Fungsi LiteLLM

• SDK adalah satu fungsi Python, completion(), yang memanggil provider mana pun dalam format OpenAI. Awalan pada nama model menentukan providernya: openai/ berarti API apa pun yang kompatibel dengan OpenAI.
• Proxy adalah server yang Anda jalankan sendiri, secara default di http://localhost:4000. Aplikasi memanggilnya dalam format OpenAI atau Anthropic, lalu proxy menambahkan kunci, anggaran, logging, dan fallback di depan provider Anda.

Menyiapkan proxy

1. Instal di virtual environment. LiteLLM 1.106 membutuhkan Python 3.10 atau lebih baru.

python -m venv .venv
source .venv/bin/activate        # Windows: .venv\Scripts\activate
pip install "litellm[proxy]"

2. Tulis config.yaml. Inilah file yang kami uji: DeepSeek V4.1 Flash lewat endpoint yang kompatibel dengan OpenAI, Claude Sonnet 5.5 lewat provider Anthropic milik LiteLLM, dan wildcard yang menjangkau semua model lain sebagai zurelay/<model ID>. Harga model_info adalah harga Zurelay saat ini.

model_list:
  - model_name: deepseek-v4.1-flash
    litellm_params:
      model: openai/deepseek-v4.1-flash
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
    model_info:
      input_cost_per_token: 0.00000003
      output_cost_per_token: 0.00000012
      cache_read_input_token_cost: 0.00000000074
  - model_name: claude-sonnet-5-5
    litellm_params:
      model: anthropic/claude-sonnet-5-5
      api_base: https://api.zurelay.com
      api_key: os.environ/ZURELAY_API_KEY
    model_info:
      input_cost_per_token: 0.00000079
      output_cost_per_token: 0.00000395
      cache_read_input_token_cost: 0.000000079
  - model_name: zurelay/*
    litellm_params:
      model: openai/*
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
litellm_settings:
  use_chat_completions_url_for_anthropic_messages: true
  check_provider_endpoint: true
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

3. Jalankan dengan kunci Zurelay Anda dan master key milik Anda sendiri. Klien mengirim master key; LiteLLM mengharapkan kunci yang diawali sk-.

export ZURELAY_API_KEY="zr_live_..."
export LITELLM_MASTER_KEY="sk-choose-a-long-random-key"
litellm --config config.yaml

4. Panggil seperti API kompatibel OpenAI lainnya, dengan model_name dari konfigurasi.

curl http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-v4.1-flash", "messages": [{"role": "user", "content": "Hello"}]}'

Atau gunakan Python SDK

Tanpa proxy, sertakan base URL dan kunci pada setiap panggilan. Untuk Claude lewat provider anthropic/ milik LiteLLM, base URL-nya adalah https://api.zurelay.com, tanpa /v1.

import os
from litellm import completion
response = completion(
    model="openai/deepseek-v4.1-flash",
    api_base="https://api.zurelay.com/v1",
    api_key=os.environ["ZURELAY_API_KEY"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)
claude = completion(
    model="anthropic/claude-sonnet-5-5",
    api_base="https://api.zurelay.com",
    api_key=os.environ["ZURELAY_API_KEY"],
    messages=[{"role": "user", "content": "Hello"}],
)

Claude Code melalui LiteLLM

Proxy ini juga melayani Messages API milik Anthropic, sehingga Claude Code dapat berjalan di model apa pun dalam konfigurasi. Arahkan Claude Code ke proxy dan sebutkan model yang harus digunakan:

export ANTHROPIC_BASE_URL="http://localhost:4000"
export ANTHROPIC_AUTH_TOKEN="$LITELLM_MASTER_KEY"
export ANTHROPIC_MODEL="deepseek-v4.1-flash"
export ANTHROPIC_DEFAULT_OPUS_MODEL="claude-sonnet-5-5"
export ANTHROPIC_DEFAULT_SONNET_MODEL="claude-sonnet-5-5"
export ANTHROPIC_DEFAULT_HAIKU_MODEL="deepseek-v4.1-flash"
claude

Untuk model Claude saja, Anda tidak perlu LiteLLM: Claude Code berbicara langsung ke Zurelay, seperti yang ditunjukkan harga Claude Code. Untuk router dengan halaman web, bukan file YAML, lihat Claude Code Router.

Pengaturan yang membuatnya gagal

1. Claude Code gagal di DeepSeek dengan Unknown request URL: POST /v1/responses. Untuk model openai/, LiteLLM mengubah permintaan Anthropic Messages menjadi panggilan ke Responses API milik OpenAI, yang tidak dilayani Zurelay. Setelah satu kegagalan, LiteLLM juga menempatkan model dalam masa jeda (cooldown), sehingga permintaan berikutnya mendapat 429 No deployments available for selected model. use_chat_completions_url_for_anthropic_messages: true di bawah litellm_settings mengalihkannya ke Chat Completions.
2. Klien Responses API gagal dengan cara yang sama. Permintaan ke /v1/responses milik proxy, atau litellm.responses() di SDK, diteruskan ke upstream tanpa perubahan sampai use_chat_completions_api: true diatur pada model.
3. Claude dengan /v1 di base URL memanggil /v1/v1/messages dan mendapat 404. Provider anthropic/ menambahkan /v1/messages sendiri; model openai/ membutuhkan /v1.
4. Wildcard menampilkan model yang salah. Dengan openai/*, /v1/models milik proxy menampilkan daftar bawaan LiteLLM berisi 216 nama OpenAI (gpt-3.5-turbo, babbage-002) dan tidak satu pun milik Zurelay. Permintaan dengan ID model asli tetap berfungsi. check_provider_endpoint: true membuatnya menampilkan model Zurelay.
5. Di Windows, proxy crash saat dijalankan dengan UnicodeEncodeError: 'charmap' codec can't encode characters ketika outputnya diarahkan ke file log: banner berisi karakter yang tidak ada di code page default. Mode UTF-8 Python mengatasinya: PYTHONUTF8=1 di environment, atau python -X utf8.

Pelacakan biaya

Pelacakan pengeluaran LiteLLM menghitung harga setiap permintaan dari daftarnya sendiri. Untuk model yang dikenalnya, itu adalah harga resmi lab: permintaan Claude Sonnet 5.5 kami dihitung dengan tarif Anthropic, sekitar 2,5 kali lipat dari yang ditagihkan Zurelay. Untuk model yang tidak dikenalnya, seperti DeepSeek V4.1 Flash di balik openai/, biaya tidak dicatat sama sekali. Baris model_info pada konfigurasi di atas memperbaiki keduanya: dengan baris itu, biaya yang dikembalikan LiteLLM di header x-litellm-response-cost cocok dengan tagihan kami.

Biaya dalam pengujian kami

Melalui proxy, Claude Code menulis file Python kecil di DeepSeek V4.1 Flash, lalu mengeditnya di Claude Sonnet 5.5. Keduanya menggunakan alat file Claude Code dengan benar. Zurelay menagihkan:

Setiap permintaan membawa instruksi dan definisi alat Claude Code sebanyak 13.000 hingga 18.000 token, dan mulai dari permintaan kedua sebagian besarnya dibaca dari cache. Perkiraan Claude Code sendiri untuk tugas Claude adalah $0.054, dengan harga resmi Anthropic. Panggilan SDK sebelumnya, masing-masing satu jawaban singkat, berbiaya $0.000006 di DeepSeek dan $0.0003 di Claude Sonnet 5.5.

Yang perlu diketahui

• Proxy mendengarkan di semua antarmuka jaringan (0.0.0.0) kecuali Anda menyertakan --host 127.0.0.1. Pastikan master key tetap diatur, atau siapa pun di jaringan Anda dapat menghabiskan kredit Anda.
• Model wildcard mengambil ID aslinya setelah prefiks: zurelay/gpt-6.1-terra dalam permintaan menjadi gpt-6.1-terra di Zurelay.
• Di Windows, instal ke path folder yang pendek. Virtual environment yang berada jauh di dalam folder temp gagal dengan ModuleNotFoundError: No module named 'openai.types...' karena beberapa path file melewati batas 260 karakter Windows.

Harga model yang akan Anda pasang di belakangnya

Harga resmi lab dan harga Zurelay per 1M token:

Diuji pada 3 November 2026 dengan LiteLLM 1.106.6 di Python 3.12 dan Claude Code 2.1.317, di Windows, terhadap API Zurelay. Panduan singkat penyiapan ada di LiteLLM di dokumentasi. Dokumentasi LiteLLM sendiri: Endpoint kompatibel OpenAI dan konfigurasi proxy.