Cara kerja
Model membaca prompt dari awal. Saat permintaan baru dimulai dengan token yang sama seperti permintaan sebelumnya yang masih baru, penyedia dapat menggunakan kembali hasil pemrosesan itu alih-alih mengulangnya, lalu menagih token tersebut dengan harga cache yang lebih rendah. Hanya bagian awal yang cocok yang dihitung: satu token berubah, dan semua yang mengikutinya kembali dihitung sebagai input baru.
Agen, aplikasi chat, dan tanya jawab dokumen mengirim instruksi, definisi alat, dan dokumen yang sama berulang kali, jadi bagi mereka harga cache lebih berpengaruh daripada harga input.
Biaya token cache
| Model | Input / 1M | Cache / 1M | Rasio harga cache |
|---|---|---|---|
| Claude Opus 5.5 | $1.40 | $0.07 | 5% |
| Claude Sonnet 5.5 | $0.79 | $0.079 | 10% |
| GPT-6 Astra | $2.50 | $0.25 | 10% |
| GPT-6 Sol | $0.50 | $0.05 | 10% |
| Gemini 3.1 Pro | $0.50 | $0.08 | 16% |
| Gemini 3.8 Flash | $0.22 | $0.032 | 14.5% |
| DeepSeek V4.1 Flash | $0.03 | $0.00074 | 2.5% |
| Qwen 3.8 Max | $1.20 | $0.15 | 12.5% |
Harga terkini di Zurelay. Daftar harga lengkap tersedia di halaman setiap model.
Claude menyimpan bagian yang Anda tandai ke cache
Claude menyimpan blok yang Anda tandai dengan cache_control ke cache selama lima menit, atau satu jam dengan "ttl": "1h". Penulisan ke cache dikenai biaya 1.25 kali harga input untuk lima menit dan 2 kali untuk satu jam. Di Anthropic, pembacaannya dikenai biaya sepersepuluh harga input pada model lama, 0.05 kali pada Opus dan Sonnet 5.5, serta 0.025 kali pada Fable 5.1; harga cache Zurelay tersedia di halaman setiap model. Claude Code menandai prompt secara otomatis untuk Anda. Sebagian besar model lain otomatis menyimpan bagian awal yang berulang ke cache.
Cara agar cache digunakan
- Letakkan bagian yang tidak berubah di awal: instruksi, definisi alat, dokumen referensi. Lalu percakapan, kemudian pertanyaan baru.
- Pastikan bagian awal itu sama persis hingga setiap byte. Stempel waktu, ID permintaan, atau daftar alat yang diubah urutannya di bagian awal membuat setiap permintaan gagal menggunakan cache.
- Kirim tindak lanjut segera. Cache kedaluwarsa dalam hitungan menit, jadi rentetan permintaan dapat menggunakan cache, sedangkan permintaan satu jam kemudian harus memulai dari awal (kecuali Anda meminta durasi satu jam pada Claude).
Pastikan sudah berfungsi
Data penggunaan di setiap respons menunjukkan berapa banyak yang berasal dari cache: usage.prompt_tokens_details.cached_tokens pada Chat Completions, serta cache_read_input_tokens dan cache_creation_input_tokens pada Messages API Anthropic. Jika jumlah token dari cache tetap nol saat permintaan diulang, ada bagian di awal prompt yang berubah.
Untuk melihat dampak cache selama sebulan penuh, atur porsi token dari cache di kalkulator biaya LLM.