可靠性、重试与超时

每个请求都会从发起到首个 token 返回全程监控。如果通往模型的某条线路卡住或失败，请求会在任何内容返回给你之前切换到另一条线路。

自动恢复

• 大多数模型都有多条服务线路。请求会优先使用状态最好的一条。
• 如果某条线路报错或无法连接，当前请求就会放弃该线路，转到其他线路重试。只要线路仍在正常处理，就会继续等待，无论大型请求需要多久；如果连续 3 分钟完全没有响应（高推理强度下为 5 分钟），则视为失败。
• 持续失败的线路会对所有用户降为低优先级。如果某条线路有至少五分之一的请求完全没有响应，它的优先级就会低于正常响应的线路。线路恢复后，都会重新尝试使用。
• 只有收到实际的 token 后，才会向你返回内容，因此这些切换过程对你完全无感：你看到的只是回答稍慢，而不是报错。

模型页面根据实际请求和我们的主动检测，显示各模型的实时状态（正常、性能下降或不可用）：每个聊天模型至少每 10 分钟检测一次。

超时

如果尚未收到首个 token，流式响应在最初 20 秒内不会发送任何内容，之后会建立连接并发送保活注释，直到回答开始。非流式请求在完成前不会发送任何内容，因此对于等待响应头过久就会超时的客户端，流式更合适（Node 的 fetch 等待响应头的时限为 5 分钟）。对于长时间推理、长输出和图像请求，请将客户端超时设为至少 10 分钟。OpenAI SDK 默认超时为 10 分钟；部分 HTTP 客户端默认为 30 或 60 秒。

速率限制

你的账户没有全局速率限制：只有你为密钥设置了速率限制，密钥才会受限。一个工作区最多可同时运行 32 个请求；超出的请求会收到 429 concurrency_limit_exceeded，并附带 retry-after。模型过载时，会通过其他线路重试；如果所有线路都未响应，你会收到 503 model_unavailable，并附带 retry-after。请退避重试，或开启智能路由。

模型不可用时

极少数情况下，模型的所有线路都会失败。未开启智能路由时，请求会以 503 model_unavailable 和 retry-after 结束。如果线路报错，但模型仍能响应其他请求，通常只是几秒内就会恢复的短暂故障，因此我们会先持续重试，最长 2 分钟。如果模型对所有用户都不可用，会立即返回错误；如果线路始终没有响应，则会在 10 分钟内返回错误。开启智能路由后，会由相近的替代模型作答。