1. Usa el modelo más pequeño que pase tus pruebas
Los precios abarcan dos órdenes de magnitud, y un nivel rápido gestiona clasificación, extracción y respuestas cortas igual de bien que un flagship. Prueba una muestra de prompts reales con dos o tres niveles y quédate con el más barato cuyas respuestas enviarías. La página de las APIs de LLM más baratas clasifica todos los modelos con una misma carga de trabajo.
2. Cachea lo que se repite
Pon primero las partes del prompt que nunca cambian, y se facturarán al precio en caché en la siguiente solicitud, a menudo una décima parte del precio de entrada. Cómo funciona el prompt caching.
3. Limita la salida, y el razonamiento
La salida cuesta varias veces más que la entrada, y el razonamiento de un modelo de razonamiento se factura como salida. Configura max_tokens, pide respuestas cortas y ajusta reasoning_effort al nivel más bajo que aún haga bien la tarea.
4. Envía menos contexto
Los chats largos reenvían todo lo dicho hasta el momento. Resume los turnos antiguos, recupera menos pasajes y más cortos, y descarta las definiciones de herramientas que una solicitud no necesita.
5. Enruta según la dificultad
La mayor parte del tráfico es fácil. Envía las solicitudes del día a día a un modelo rápido y solo las difíciles a un flagship. Zurelay Auto lo hace solicitud por solicitud y factura el precio del modelo que respondió.
6. Deja de pagar por reintentos
Un JSON mal formado y los formatos rechazados cuestan una segunda solicitud. La salida estructurada con un esquema JSON acierta la forma a la primera. En Zurelay, los intentos que fallan en una ruta pasan a otra y no se facturan.
7. Paga menos por los mismos tokens
El mismo modelo cuesta menos que el precio de lista. En Zurelay, los modelos de chat se ejecutan 3–90% por debajo del precio de lista de cada laboratorio, a través de los SDK de OpenAI y Anthropic. Prueba tus cifras en la calculadora de costes.
Mide primero
Cada respuesta incluye su uso: tokens de prompt, en caché y de finalización, y tokens de razonamiento cuando el modelo los informa. Regístralos por función durante una semana antes de cambiar nada, para recortar donde de verdad se va el dinero.