Zurelay के साथ LiteLLM

सेट अप करें

1. 1

   इसे इंस्टॉल करें: Python SDK के लिए pip install litellm, या प्रॉक्सी सर्वर के लिए pip install 'litellm[proxy]'।

2. 2

   Zurelay के मॉडल ID के आगे openai/ लगाएँ और api_base को /v1 सहित बेस URL पर सेट करें।

3. 3

   प्रॉक्सी के लिए मॉडलों को config.yaml में सूचीबद्ध करें और litellm --config config.yaml चलाएँ। यह http://localhost:4000 पर OpenAI और Anthropic, दोनों क्लाइंट को सर्व करता है।

4. 4

   use_chat_completions_api और use_chat_completions_url_for_anthropic_messages चालू रखें। इनके बिना LiteLLM Responses और Anthropic Messages अनुरोधों (जैसे Claude Code के) को OpenAI के Responses API पर कॉल में बदल देता है, जो Zurelay उपलब्ध नहीं कराता।

कॉन्फ़िगरेशन

model_list:
  - model_name: claude-opus-5-5
    litellm_params:
      model: openai/claude-opus-5-5
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
    model_info:
      input_cost_per_token: 0.0000014
      output_cost_per_token: 0.000007
      cache_read_input_token_cost: 0.00000007
  # Every other Zurelay model, as zurelay/<model ID>
  - model_name: zurelay/*
    litellm_params:
      model: openai/*
      api_base: https://api.zurelay.com/v1
      api_key: os.environ/ZURELAY_API_KEY
      use_chat_completions_api: true
litellm_settings:
  use_chat_completions_url_for_anthropic_messages: true
  check_provider_endpoint: true
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

हमने इस सेटअप को DeepSeek और Claude के साथ शुरू से अंत तक चलाकर देखा। LiteLLM गाइड में हमारे सामने आई हर एरर, उसका समाधान और हर टेस्ट टास्क की लागत दी गई है।

LiteLLM के अपने दस्तावेज़