1. Gunakan model terkecil yang lolos pengujian Anda
Harga bisa berbeda hingga seratus kali lipat, dan model kelas cepat mampu menangani klasifikasi, ekstraksi, dan jawaban singkat sebaik model unggulan. Uji sampel prompt nyata pada dua atau tiga kelas model, lalu pilih yang termurah dengan jawaban yang layak Anda gunakan. Halaman API LLM termurah memeringkat semua model dengan beban kerja yang sama.
2. Simpan bagian yang berulang di cache
Letakkan bagian prompt yang tidak pernah berubah di awal, agar pada permintaan berikutnya bagian itu ditagih dengan harga cache, yang sering kali hanya sepersepuluh harga input. Cara kerja cache prompt.
3. Batasi output, juga penalarannya
Biaya output beberapa kali lebih mahal daripada input, dan proses berpikir model penalaran ditagih sebagai output. Atur max_tokens, minta jawaban singkat, dan atur reasoning_effort ke tingkat terendah yang masih bisa menyelesaikan tugas dengan benar.
4. Kirim lebih sedikit konteks
Percakapan panjang mengirim ulang semua pesan sebelumnya. Ringkas pesan lama, ambil lebih sedikit cuplikan yang lebih pendek, dan hapus definisi alat yang tidak dibutuhkan permintaan.
5. Rutekan berdasarkan tingkat kesulitan
Sebagian besar permintaan mudah ditangani. Kirim permintaan sehari-hari ke model cepat dan hanya permintaan sulit ke model unggulan. Zurelay Auto melakukannya untuk setiap permintaan dan menagih sesuai harga model yang menjawab.
6. Berhenti membayar percobaan ulang
JSON yang tidak valid dan format yang ditolak membuat Anda perlu mengirim permintaan kedua. Output terstruktur dengan skema JSON menghasilkan format yang tepat sejak percobaan pertama. Di Zurelay, percobaan yang gagal pada satu rute dialihkan ke rute lain dan tidak ditagih.
7. Bayar lebih murah untuk token yang sama
Model yang sama lebih hemat jika harganya di bawah harga resmi. Di Zurelay, harga model chat 3–90% lebih rendah dari harga resmi masing-masing lab, melalui SDK OpenAI dan Anthropic. Coba masukkan angka Anda di kalkulator biaya.
Ukur terlebih dahulu
Setiap respons menyertakan data penggunaannya: token prompt, cache, dan completion, serta token penalaran jika dilaporkan oleh model. Catat per fitur selama seminggu sebelum mengubah apa pun, agar Anda memangkas biaya pada bagian yang memang paling banyak menghabiskan anggaran.