1. Gebruik het kleinste model dat je tests doorstaat
Prijzen verschillen tot een factor honderd, en een snel model kan classificatie, extractie en korte antwoorden net zo goed aan als een topmodel. Test twee of drie modelklassen met een steekproef van echte prompts en kies het goedkoopste model waarvan je de antwoorden in productie zou gebruiken. De pagina met de goedkoopste LLM-API's vergelijkt alle modellen op basis van dezelfde werklast.
2. Cache wat zich herhaalt
Zet de delen van de prompt die nooit veranderen vooraan. Bij het volgende verzoek betaal je daarvoor het cachetarief, vaak een tiende van de inputprijs. Zo werkt promptcaching.
3. Begrens de output en het denkwerk
Output kost meerdere keren zoveel als input, en het denkwerk van een redeneermodel wordt als output berekend. Stel max_tokens in, vraag om korte antwoorden en zet reasoning_effort op het laagste niveau waarop het model de taak nog goed uitvoert.
4. Stuur minder context mee
Bij lange chats wordt alles wat tot dan toe is gezegd opnieuw verstuurd. Vat oudere berichten samen, haal minder en kortere passages op en laat tooldefinities weg die een verzoek niet nodig heeft.
5. Routeer op moeilijkheid
De meeste verzoeken zijn eenvoudig. Stuur alledaagse verzoeken naar een snel model en alleen de lastige naar een topmodel. Zurelay Auto doet dit per verzoek en berekent het tarief van het model dat antwoord gaf.
6. Stop met betalen voor herhaalpogingen
Ongeldige JSON en antwoorden die niet aan het gevraagde formaat voldoen, kosten een tweede verzoek. Gestructureerde output met een JSON-schema zorgt meteen voor de juiste vorm. Op Zurelay worden pogingen die op een route mislukken via een andere route afgehandeld, zonder dat je voor de mislukte pogingen betaalt.
7. Betaal minder voor dezelfde tokens
Hetzelfde model kost minder als je onder de catalogusprijs betaalt. Bij Zurelay liggen de tarieven voor chatmodellen 3–90% onder de catalogusprijs van elk lab, via de SDK's van OpenAI en Anthropic. Probeer je eigen cijfers in de kostencalculator.
Meet eerst
Elke respons bevat verbruiksgegevens: prompttokens, gecachete tokens en completiontokens, en redeneertokens als het model die rapporteert. Log ze een week lang per functie voordat je iets verandert, zodat je bespaart waar het geld daadwerkelijk naartoe gaat.