1. Utilisez le plus petit modèle qui réussit vos tests
Les prix varient d'un facteur cent, et un modèle rapide gère la classification, l'extraction et les réponses courtes aussi bien qu'un modèle phare. Testez un échantillon de prompts réels sur deux ou trois niveaux de modèles et gardez le moins cher dont les réponses sont assez bonnes pour la production. La page des API LLM les moins chères classe tous les modèles sur une même charge de travail.
2. Mettez en cache ce qui se répète
Placez en premier les parties du prompt qui ne changent jamais : à la requête suivante, elles seront facturées au tarif du cache, souvent un dixième du prix d'entrée. Comment fonctionne la mise en cache des prompts.
3. Limitez la sortie et le raisonnement
La sortie coûte plusieurs fois plus cher que l'entrée, et le raisonnement d'un modèle est facturé comme de la sortie. Définissez max_tokens, demandez des réponses courtes et réglez reasoning_effort au niveau le plus bas qui permet encore de réussir la tâche.
4. Envoyez moins de contexte
Les longues conversations renvoient tout l'historique à chaque requête. Résumez les anciens échanges, récupérez des passages moins nombreux et plus courts, et retirez les définitions d'outils inutiles à la requête.
5. Routez selon la difficulté
La plupart des requêtes sont simples. Envoyez les requêtes courantes à un modèle rapide et réservez le modèle phare aux plus difficiles. Zurelay Auto fait ce choix pour chaque requête et facture au tarif du modèle qui a répondu.
6. Ne payez plus pour les nouvelles tentatives
Un JSON mal formé ou un format non respecté impose une deuxième requête. Une sortie structurée avec un schéma JSON garantit le bon format dès la première tentative. Sur Zurelay, les tentatives qui échouent sur une route sont redirigées vers une autre et ne sont pas facturées.
7. Payez moins pour les mêmes tokens
Le même modèle revient moins cher avec un tarif inférieur au prix catalogue. Sur Zurelay, les modèles de chat sont proposés à 3–90% de moins que le prix catalogue de chaque laboratoire, via les SDK OpenAI et Anthropic. Testez vos chiffres dans le calculateur de coûts.
Mesurez d'abord
Chaque réponse contient ses données d'utilisation : tokens du prompt, en cache et de sortie, ainsi que les tokens de raisonnement lorsque le modèle les indique. Consignez-les par fonctionnalité pendant une semaine avant de changer quoi que ce soit, pour réduire les coûts là où vous dépensez réellement.