LiteLLM con Zurelay

Configúralo

1. 1

   Instálalo: pip install litellm para el SDK de Python, o pip install 'litellm[proxy]' para el servidor proxy.

2. 2

   Añade el prefijo openai/ a los ID de modelo de Zurelay y establece api_base con la URL base, incluyendo /v1.

3. 3

   Para el proxy, enumera los modelos en config.yaml y ejecuta litellm --config config.yaml. Sirve en http://localhost:4000 tanto a clientes de OpenAI como de Anthropic.

4. 4

   Mantén activados use_chat_completions_api y use_chat_completions_url_for_anthropic_messages. Sin ellos, LiteLLM convierte las solicitudes de Responses y de Anthropic Messages (las de Claude Code) en llamadas a la API Responses de OpenAI, que Zurelay no ofrece.

Configuración

model_list:
  - model_name: claude-opus-5-5
    litellm_params:
      model: openai/claude-opus-5-5
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
    model_info:
      input_cost_per_token: 0.0000014
      output_cost_per_token: 0.000007
      cache_read_input_token_cost: 0.00000007
  # Every other Zurelay model, as zurelay/<model ID>
  - model_name: zurelay/*
    litellm_params:
      model: openai/*
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
litellm_settings:
  use_chat_completions_url_for_anthropic_messages: true
  check_provider_endpoint: true
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Probamos esta configuración de principio a fin con DeepSeek y Claude. La guía de LiteLLM incluye cada error que encontramos, cómo solucionarlo y cuánto costó cada tarea de prueba.

Documentación propia de LiteLLM