1. 使用能通过测试的最小模型
模型价格跨度可达两个数量级,而在分类、信息提取和简短回答任务上,快速档模型的表现不输旗舰模型。用一组真实提示词测试两到三个档位,选出回答质量达到上线标准的最便宜模型。最便宜的 LLM API 页面按同一工作负载对所有模型进行排名。
2. 缓存重复内容
把提示词中固定不变的部分放在开头,下次请求时就会按缓存价格计费,通常只需输入价格的十分之一。了解提示词缓存的工作原理。
3. 限制输出和思考用量
输出价格是输入的数倍,推理模型的思考过程也按输出计费。设置 max_tokens,要求简短回答,并将 reasoning_effort 设为仍能正确完成任务的最低级别。
4. 减少发送的上下文
长对话每次都会重新发送此前的全部内容。可以总结较早的对话轮次,减少检索片段的数量和长度,并移除当前请求不需要的工具定义。
5. 按难度路由
大多数请求都不复杂。将日常请求交给快速模型,只把难题交给旗舰模型。Zurelay Auto 会逐个请求进行路由,并按实际回答的模型价格计费。
6. 不再为重试买单
JSON 格式错误或模型未按要求的格式回答,都会导致再次请求。使用带 JSON schema 的结构化输出,首次响应就能符合所需结构。在 Zurelay 上,某条路由尝试失败后会自动切换到其他路由,失败的尝试不计费。
7. 同样的 token,更低的费用
同一个模型,低于标价就能省钱。在 Zurelay 上,聊天模型的价格比各实验室标价低 3–90%,可通过 OpenAI 和 Anthropic 的 SDK 调用。在费用计算器中代入你的用量试算。
先衡量用量
每次响应都包含用量信息:提示词、缓存和输出 token,以及模型提供的推理 token 用量。做任何调整前,先按功能记录一周用量,找出钱真正花在哪里,再有针对性地优化。