LiteLLM met Zurelay

Instellen

1. 1

   Installeer het met pip install litellm voor de Python SDK, van met pip install 'litellm[proxy]' voor de proxyserver.

2. 2

   Zet openai/ voor de Zurelay-model-ID's en stel api_base in op de basis-URL, inclusief /v1.

3. 3

   Zet voor de proxy de modellen in config.yaml en start met litellm --config config.yaml. De proxy draait op http://localhost:4000 voor zowel OpenAI- als Anthropic-clients.

4. 4

   Laat use_chat_completions_api en use_chat_completions_url_for_anthropic_messages aan staan. Anders zet LiteLLM Responses- en Anthropic Messages-verzoeken (zoals die van Claude Code) om in aanroepen van de Responses API van OpenAI, en die biedt Zurelay niet aan.

Configuratie

model_list:
  - model_name: claude-opus-5-5
    litellm_params:
      model: openai/claude-opus-5-5
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
    model_info:
      input_cost_per_token: 0.0000014
      output_cost_per_token: 0.000007
      cache_read_input_token_cost: 0.00000007
  # Every other Zurelay model, as zurelay/<model ID>
  - model_name: zurelay/*
    litellm_params:
      model: openai/*
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
litellm_settings:
  use_chat_completions_url_for_anthropic_messages: true
  check_provider_endpoint: true
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

We hebben deze setup van begin tot eind getest met DeepSeek en Claude. In de LiteLLM-handleiding staan alle fouten die we tegenkwamen, hoe je ze oplost en wat elke testtaak kostte.

De eigen documentatie van LiteLLM