Calculadora de costes de API de LLM. Todos los modelos, una carga de trabajo.

Multiplica los tokens que envías por el precio de entrada y los tokens que recibes por el precio de salida, ambos por 1M de tokens, y luego por el número de solicitudes. La entrada leída de la caché de prompts se cobra a la tarifa reducida de caché, y algunos modelos cobran los prompts largos a una tarifa superior. La calculadora hace todo eso para todos los modelos a la vez.

Un fragmento de palabra. En inglés, 1,000 tokens son aproximadamente 750 palabras, pero el tokenizer de cada laboratorio divide el texto de forma algo distinta, y las imágenes, los PDF y el audio también cuentan como tokens. Las respuestas de tu API indican las cifras exactas en el campo usage.

Para un chatbot de 50,000 solicitudes al mes (1,500 tokens de entrada y 300 de salida), el modelo de chat más barato en Zurelay ahora mismo es Ministral 3 3B, a $2.70 al mes. Cambia la carga de trabajo de arriba para ver cómo se mueve la clasificación: los trabajos con mucha salida y los que usan mucha caché ordenan los modelos de forma distinta.

Generar un token exige mucha más computación que leerlo, así que los laboratorios ponen a la salida un precio varias veces mayor. Limitar max_tokens y pedir respuestas cortas suele ahorrar más que cualquier otra cosa.

De los precios de API que publica cada laboratorio. La entrada en caché de la columna de lista se descuenta con la misma proporción que usa el precio de caché de Zurelay, y los prompts largos pasan al tramo superior del laboratorio cuando lo tiene.