LiteLLM avec Zurelay

Mise en place

1. 1

   Installez-le : pip install litellm pour le SDK Python, ou pip install 'litellm[proxy]' pour le serveur proxy.

2. 2

   Préfixez les ID de modèle Zurelay par openai/ et définissez api_base sur l’URL de base, avec /v1.

3. 3

   Pour le proxy, listez les modèles dans config.yaml et lancez litellm --config config.yaml. Il sert http://localhost:4000 aussi bien aux clients OpenAI qu’Anthropic.

4. 4

   Laissez use_chat_completions_api et use_chat_completions_url_for_anthropic_messages activés. Sinon, LiteLLM transforme les requêtes Responses et Anthropic Messages (celles de Claude Code) en appels à l’API Responses d’OpenAI, que Zurelay ne propose pas.

Configuration

model_list:
  - model_name: claude-opus-5-5
    litellm_params:
      model: openai/claude-opus-5-5
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
    model_info:
      input_cost_per_token: 0.0000014
      output_cost_per_token: 0.000007
      cache_read_input_token_cost: 0.00000007
  # Every other Zurelay model, as zurelay/<model ID>
  - model_name: zurelay/*
    litellm_params:
      model: openai/*
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
litellm_settings:
  use_chat_completions_url_for_anthropic_messages: true
  check_provider_endpoint: true
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Nous avons testé cette configuration de bout en bout avec DeepSeek et Claude. Le guide LiteLLM recense toutes les erreurs rencontrées, comment les corriger et ce qu'a coûté chaque tâche de test.

La documentation de LiteLLM