LiteLLM mit Zurelay

Einrichtung

1. 1

   Installiere es: pip install litellm für das Python-SDK oder pip install 'litellm[proxy]' für den Proxy-Server.

2. 2

   Setze Zurelay-Modell-IDs openai/ voran und setze api_base auf die Base-URL, mit /v1.

3. 3

   Für den Proxy listest du die Modelle in config.yaml auf und startest litellm --config config.yaml. Er läuft unter http://localhost:4000 und bedient OpenAI- und Anthropic-Clients gleichermaßen.

4. 4

   Lass use_chat_completions_api und use_chat_completions_url_for_anthropic_messages aktiviert. Sonst macht LiteLLM aus Responses- und Anthropic-Messages-Anfragen (wie die von Claude Code) Aufrufe an die Responses API von OpenAI, die Zurelay nicht bereitstellt.

Konfiguration

model_list:
  - model_name: claude-opus-5-5
    litellm_params:
      model: openai/claude-opus-5-5
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
    model_info:
      input_cost_per_token: 0.0000014
      output_cost_per_token: 0.000007
      cache_read_input_token_cost: 0.00000007
  # Every other Zurelay model, as zurelay/<model ID>
  - model_name: zurelay/*
    litellm_params:
      model: openai/*
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
litellm_settings:
  use_chat_completions_url_for_anthropic_messages: true
  check_provider_endpoint: true
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Wir haben dieses Setup komplett mit DeepSeek und Claude durchgespielt. Im LiteLLM-Guide findest du jeden Fehler, auf den wir gestoßen sind, die passende Lösung und was die einzelnen Testaufgaben gekostet haben.

Docs von LiteLLM