信頼性、再試行、タイムアウト

各リクエストを開始から最初のトークンが届くまで監視します。モデルへの経路が停止したり失敗したりした場合は、応答を返す前に別の経路へ切り替えます。

自動復旧

• ほとんどのモデルには複数の経路があります。リクエストは最も安定した経路から開始します。
• エラーが発生した経路や接続できない経路は、そのリクエストでは使わず、別の経路で再試行します。動作中の経路は、大きなリクエストに時間がかかっても待ち続けます。ただし、3分間（推論負荷が高い場合は5分間）まったく応答がない経路は失敗とみなします。
• 失敗が続く経路は、すべてのユーザーに対して優先順位を下げます。リクエストの5分の1以上で応答が途絶える経路は、正常に応答する経路より後に回します。復旧した経路は再び試します。
• 実際のトークンが届くまで応答は返さないため、この切り替えはユーザーには見えません。エラーではなく、少し遅い応答として届きます。

モデルページには、実際のリクエストと独自のチェックに基づく各モデルの稼働状況（正常、性能低下、停止）をリアルタイムで表示します。すべてのチャットモデルを少なくとも10分ごとにテストしています。

タイムアウト

ストリームは最初のトークンが届かない場合、最初の20秒間は何も送信しません。その後は応答が始まるまでキープアライブコメントを送信します。非ストリーミングのリクエストは完了まで何も送信しないため、ヘッダーの到着が遅いとタイムアウトするクライアントにはストリーミングが適しています（Nodeのfetchはヘッダーを5分間待ちます）。長い推論、長い出力、画像には、クライアントのタイムアウトを少なくとも10分に設定してください。OpenAI SDKのデフォルトは10分ですが、HTTPクライアントによっては30秒または60秒です。

レート制限

アカウント全体のレート制限はありません。キーに制限を設定した場合にのみ、そのキーが制限されます。ワークスペースでは最大32件のリクエストを同時に実行できます。それを超えると、429 concurrency_limit_exceededとretry-afterが返されます。モデルが過負荷の場合は別の経路で再試行します。どの経路も応答しなければ、503 model_unavailableとretry-afterが返されます。間隔を空けて再試行するか、スマートルーティングを有効にしてください。

モデルが停止している場合

まれに、モデルへのすべての経路が失敗することがあります。スマートルーティングが無効な場合、リクエストは503 model_unavailableとretry-afterで終了します。モデルがほかのリクエストには応答しているのに経路でエラーが出る場合は、通常数秒で収まる一時的な問題のため、まず最大2分間再試行します。モデルがすべてのユーザーに対して停止している場合はすぐにエラーを返し、経路から応答がない場合は10分以内に返します。スマートルーティングが有効なら、代わりに近いモデルが応答します。