1. テストを通過する中で最も小さいモデルを使う
モデルの料金には約100倍の開きがありますが、分類、抽出、短い回答なら、高性能モデルと同じくらい高速な低価格モデルでも対応できます。実際のプロンプトをいくつか選び、2～3種類のモデルで試して、公開できる品質を満たす最も安いモデルを選びましょう。最も安い LLM API のページでは、同じ処理条件で全モデルを比較できます。
2. 繰り返す部分をキャッシュする
プロンプトの変わらない部分を先頭に置くと、次のリクエストからキャッシュ料金が適用されます。多くの場合、入力料金の10分の1です。詳しくはプロンプトキャッシュの仕組みをご覧ください。
3. 出力と思考に上限を設ける
出力は入力の数倍の料金がかかり、推論モデルの思考も出力として課金されます。max_tokens を設定して短い回答を求め、reasoning_effort はタスクを正しくこなせる最も低いレベルに設定しましょう。
4. コンテキストを減らす
長いチャットでは、それまでの会話が毎回送信されます。古いやり取りを要約し、取得する文章の数と長さを減らし、リクエストに不要なツール定義は省きましょう。
5. 難易度に応じて振り分ける
ほとんどのリクエストは難しくありません。日常的なリクエストは高速なモデルに送り、難しいものだけ高性能モデルに送ります。Zurelay Auto はリクエストごとに振り分け、回答したモデルの料金で請求します。
6. リトライの費用をなくす
不正な JSON や指定形式に合わない出力が返ると、再リクエストが必要になります。JSON スキーマを使った構造化出力なら、最初から正しい形式で受け取れます。Zurelay では、あるルートで失敗したリクエストは別のルートに切り替わり、失敗した試行には課金されません。
7. 同じトークンをより安く使う
同じモデルを定価より安く利用できます。Zurelay では、OpenAI と Anthropic の SDK を通じて、チャットモデルを各社の定価より 3–90% 安く利用できます。コスト計算ツールで実際の使用量を入力してみてください。
まずは使用量を測る
各レスポンスには、プロンプト、キャッシュ済み、出力の各トークン数と、モデルが報告する場合は推論トークン数が含まれます。変更する前に機能ごとの使用量を1週間記録し、実際に費用がかかっているところから削減しましょう。