LiteLLM-Proxy und SDK mit DeepSeek, Claude und jeder OpenAI-kompatiblen API

Was LiteLLM macht

• Das SDK ist eine einzige Python-Funktion, completion(), die jeden Anbieter im OpenAI-Format aufruft. Das Präfix im Modellnamen bestimmt den Anbieter: openai/ steht für jede OpenAI-kompatible API.
• Der Proxy ist ein Server, den du selbst betreibst, standardmäßig auf http://localhost:4000. Apps rufen ihn im Format von OpenAI oder Anthropic auf, und er ergänzt vor deinen Anbietern Keys, Budgets, Logging und Fallbacks.

Den Proxy einrichten

1. Installiere ihn in einer virtuellen Umgebung. LiteLLM 1.106 braucht Python 3.10 oder neuer.

python -m venv .venv
source .venv/bin/activate        # Windows: .venv\Scripts\activate
pip install "litellm[proxy]"

2. Schreibe die config.yaml. Das ist die Datei, die wir getestet haben: DeepSeek V4.1 Flash über den OpenAI-kompatiblen Endpoint, Claude Sonnet 5.5 über den Anthropic-Provider von LiteLLM und ein Wildcard-Eintrag, der alle anderen Modelle als zurelay/<model ID> erreichbar macht. Die model_info-Preise sind die aktuellen von Zurelay.

model_list:
  - model_name: deepseek-v4.1-flash
    litellm_params:
      model: openai/deepseek-v4.1-flash
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
    model_info:
      input_cost_per_token: 0.00000003
      output_cost_per_token: 0.00000012
      cache_read_input_token_cost: 0.00000000074
  - model_name: claude-sonnet-5-5
    litellm_params:
      model: anthropic/claude-sonnet-5-5
      api_base: https://api.zurelay.com
      api_key: os.environ/ZURELAY_API_KEY
    model_info:
      input_cost_per_token: 0.00000079
      output_cost_per_token: 0.00000395
      cache_read_input_token_cost: 0.000000079
  - model_name: zurelay/*
    litellm_params:
      model: openai/*
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
litellm_settings:
  use_chat_completions_url_for_anthropic_messages: true
  check_provider_endpoint: true
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

3. Starte ihn mit deinem Zurelay-Key und einem eigenen Master-Key. Clients senden den Master-Key; LiteLLM erwartet Keys, die mit sk- beginnen.

export ZURELAY_API_KEY="zr_live_..."
export LITELLM_MASTER_KEY="sk-choose-a-long-random-key"
litellm --config config.yaml

4. Ruf ihn auf wie jede OpenAI-kompatible API, mit dem model_name aus der Config.

curl http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-v4.1-flash", "messages": [{"role": "user", "content": "Hello"}]}'

Oder nutze das Python-SDK

Ohne den Proxy übergibst du Base-URL und Key bei jedem Aufruf. Für Claude über den anthropic/-Provider von LiteLLM lautet die Base-URL https://api.zurelay.com, ohne /v1.

import os
from litellm import completion
response = completion(
    model="openai/deepseek-v4.1-flash",
    api_base="https://api.zurelay.com/v1",
    api_key=os.environ["ZURELAY_API_KEY"],
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)
claude = completion(
    model="anthropic/claude-sonnet-5-5",
    api_base="https://api.zurelay.com",
    api_key=os.environ["ZURELAY_API_KEY"],
    messages=[{"role": "user", "content": "Hello"}],
)

Claude Code über LiteLLM

Der Proxy bedient auch die Messages API von Anthropic, sodass Claude Code mit jedem Modell aus der Config laufen kann. Richte Claude Code auf den Proxy aus und gib die Modelle an, die es verwenden soll:

export ANTHROPIC_BASE_URL="http://localhost:4000"
export ANTHROPIC_AUTH_TOKEN="$LITELLM_MASTER_KEY"
export ANTHROPIC_MODEL="deepseek-v4.1-flash"
export ANTHROPIC_DEFAULT_OPUS_MODEL="claude-sonnet-5-5"
export ANTHROPIC_DEFAULT_SONNET_MODEL="claude-sonnet-5-5"
export ANTHROPIC_DEFAULT_HAIKU_MODEL="deepseek-v4.1-flash"
claude

Nur für Claude-Modelle brauchst du LiteLLM nicht: Claude Code spricht direkt mit Zurelay, wie Claude-Code-Preise zeigt. Für einen Router mit Weboberfläche statt YAML-Datei siehe Claude Code Router.

Die Einstellungen, an denen es gescheitert ist

1. Claude Code ist mit DeepSeek gescheitert mit Unknown request URL: POST /v1/responses. Bei openai/-Modellen übersetzt LiteLLM Anthropic-Messages-Anfragen in Aufrufe der Responses API von OpenAI, die Zurelay nicht anbietet. Nach einem Fehler setzte LiteLLM das Modell außerdem in den Cooldown, sodass die nächsten Anfragen 429 No deployments available for selected model bekamen. use_chat_completions_url_for_anthropic_messages: true unter litellm_settings leitet sie stattdessen an Chat Completions.
2. Clients der Responses API scheiterten genauso. Eine Anfrage an /v1/responses des Proxys oder litellm.responses() im SDK ging unverändert an den Upstream, bis use_chat_completions_api: true am Modell gesetzt war.
3. Claude mit /v1 in der Base-URL rief /v1/v1/messages auf und bekam einen 404. Der anthropic/-Provider hängt /v1/messages selbst an; bei openai/-Modellen brauchst du /v1.
4. Die Wildcard listete die falschen Modelle. Mit openai/* zeigte /v1/models des Proxys die in LiteLLM eingebaute Liste mit 216 OpenAI-Namen (gpt-3.5-turbo, babbage-002) und keinen von Zurelay. Anfragen mit echten Modell-IDs funktionierten weiterhin. check_provider_endpoint: true sorgte dafür, dass stattdessen die Modelle von Zurelay gelistet wurden.
5. Unter Windows ist der Proxy beim Start abgestürzt mit UnicodeEncodeError: 'charmap' codec can't encode characters, als seine Ausgabe in eine Logdatei ging: Das Banner enthält Zeichen, die in der Standard-Codepage fehlen. Der UTF-8-Modus von Python hat das behoben: PYTHONUTF8=1 in der Umgebung oder python -X utf8.

Kosten-Tracking

Das Spend-Tracking von LiteLLM berechnet jede Anfrage anhand der eigenen Preisliste. Bei bekannten Modellen ist das der Listenpreis des Labs: Unsere Claude-Sonnet-5.5-Anfrage wurde zum Tarif von Anthropic gezählt, rund 2,5-mal so hoch wie bei Zurelay. Bei unbekannten Modellen, etwa DeepSeek V4.1 Flash hinter openai/, erfasst es gar keine Kosten. Die model_info-Zeilen in der Config oben beheben beides: Mit ihnen stimmten die Kosten, die LiteLLM im x-litellm-response-cost-Header zurückgab, mit unserer Rechnung überein.

Was es in unserem Test gekostet hat

Über den Proxy schrieb Claude Code mit DeepSeek V4.1 Flash eine kleine Python-Datei und bearbeitete sie dann mit Claude Sonnet 5.5. Beide nutzten die Datei-Tools von Claude Code korrekt. Zurelay berechnete:

Jede Anfrage enthielt die Anweisungen und Tool-Definitionen von Claude Code, 13.000 bis 18.000 Tokens, und ab der zweiten Anfrage wurde das meiste davon aus dem Cache gelesen. Die eigene Schätzung von Claude Code für die Claude-Aufgabe lag bei $0.054, zu den Listenpreisen von Anthropic. Die SDK-Aufrufe davor, jeweils eine kurze Antwort, kosteten $0.000006 bei DeepSeek und $0.0003 bei Claude Sonnet 5.5.

Gut zu wissen

• Der Proxy lauscht auf allen Netzwerkschnittstellen (0.0.0.0), sofern du nicht --host 127.0.0.1 übergibst. Lass den Master-Key gesetzt, sonst kann jeder in deinem Netzwerk dein Guthaben verbrauchen.
• Bei Wildcard-Modellen steht nach dem Präfix die echte ID: zurelay/gpt-6.1-terra in einer Anfrage wird bei Zurelay zu gpt-6.1-terra.
• Installiere unter Windows in einen kurzen Ordnerpfad. Eine virtuelle Umgebung tief in einem Temp-Ordner scheiterte mit ModuleNotFoundError: No module named 'openai.types...', weil manche Dateipfade das 260-Zeichen-Limit von Windows überschritten.

Preise für die Modelle, die du dahinter einsetzen würdest

Pro 1M Token: der Listenpreis des Anbieters und der Preis bei Zurelay:

Getestet am 3. November 2026 mit LiteLLM 1.106.6 unter Python 3.12 und Claude Code 2.1.317, unter Windows, gegen die API von Zurelay. Die Kurzanleitung steht in LiteLLM in der Doku. Die eigene Dokumentation von LiteLLM: OpenAI-kompatible Endpoints und Proxy-Config.