1. Testlerinizi geçen en küçük modeli kullanın
Fiyatlar arasında 100 kata varan fark vardır; hızlı bir model, sınıflandırma, bilgi çıkarma ve kısa yanıtlarda amiral gemisi bir model kadar iyi iş çıkarabilir. Gerçek istemlerinizden bir örneklemi iki veya üç model seviyesinde deneyin ve yanıtlarını kullanıma sunabileceğiniz en ucuz modeli seçin. En ucuz LLM API'leri sayfası, tüm modelleri aynı iş yüküne göre sıralar.
2. Tekrarlanan içeriği önbelleğe alın
İstemin hiç değişmeyen bölümlerini başa koyun; sonraki istekte bu bölümler, genellikle girdi fiyatının onda biri olan önbellek fiyatından ücretlendirilir. İstem önbellekleme nasıl çalışır.
3. Çıktıyı ve düşünmeyi sınırlayın
Çıktı, girdiden birkaç kat daha pahalıdır ve bir akıl yürütme modelinin düşünme süreci de çıktı olarak ücretlendirilir. max_tokens değerini ayarlayın, kısa yanıtlar isteyin ve reasoning_effort değerini görevi hâlâ doğru tamamlayan en düşük seviyeye getirin.
4. Daha az bağlam gönderin
Uzun sohbetlerde o ana kadar söylenen her şey yeniden gönderilir. Eski mesajları özetleyin, daha az ve daha kısa metin parçaları getirin ve isteğin ihtiyaç duymadığı araç tanımlarını çıkarın.
5. Zorluğa göre yönlendirin
İsteklerin çoğu kolaydır. Günlük istekleri hızlı bir modele, yalnızca zor olanları amiral gemisi bir modele gönderin. Zurelay Auto bunu her istek için yapar ve yanıt veren modelin fiyatını uygular.
6. Yeniden denemeler için ödeme yapmayın
Hatalı JSON ve uyulmayan biçim talepleri, ikinci bir istek maliyeti doğurur. JSON şemasıyla yapılandırılmış çıktı, ilk denemede doğru biçimi sağlar. Zurelay'de bir rotada başarısız olan denemeler başka bir rotaya aktarılır ve ücretlendirilmez.
7. Aynı token'lara daha az ödeyin
Aynı modeli liste fiyatının altında kullanarak daha az ödeyebilirsiniz. Zurelay'de sohbet modellerini OpenAI ve Anthropic SDK'ları üzerinden, her laboratuvarın liste fiyatından 3–90% daha ucuza kullanabilirsiniz. Kendi rakamlarınızı maliyet hesaplayıcısında deneyin.
Önce ölçün
Her yanıt kullanım bilgilerini içerir: istem, önbellek ve tamamlama token'ları ile modelin bildirdiği durumlarda akıl yürütme token'ları. Bir şeyi değiştirmeden önce bunları bir hafta boyunca özellik bazında kaydedin; böylece tasarrufu gerçekten para harcadığınız yerde yaparsınız.