Tingkat Cache Hit OpenCode dengan Model Claude

Poin penting

• Angka normal: 97.6%, median dari 20 pengguna dalam percakapan berjalan; separuh di tengah 97.1%–98.9%
• Semua request: 95.1%, termasuk routing, kedaluwarsa, dan chat baru
• Penyebab cache miss terbesar: percakapan baru, 34% dari cache miss
• Di antara antarmuka: selisih 0.6 poin, Aplikasi desktop, CLI (terminal)

Berapa tingkat cache hit yang normal untuk tiap klien

Minggu 2026-11-03 – 2026-11-09 (UTC)

• Tingkat hit percakapan berjalan (median pengguna): 97.6%
• Separuh pengguna di tengah: 97.1%–98.9%
• Pengguna yang memenuhi syarat: 20 (minimal 20 giliran lanjutan dalam seminggu)
• Tingkat hit dari semua request: 95.1%

Tingkat hit OpenCode per antarmuka

CLI, ekstensi IDE, dan aplikasi desktop dari satu klien mengirim request yang hampir identik, sehingga tingkat hit-nya seharusnya berdekatan.

• Aplikasi desktop: 98.0% (7)
• CLI (terminal): 97.4% (6)

Tingkat hit OpenCode per versi

Rilis yang mengubah prefiks request menunjukkan tingkat hit yang jelas lebih rendah daripada versi lain, pada minggu rilis itu keluar.

• 2.2.5: 97.5% (10)

Median mingguan

• 2026-09-29: 96.5% (7 pengguna)
• 2026-10-06: 97.6% (8 pengguna)
• 2026-10-13: 98.8% (11 pengguna)
• 2026-10-20: 97.4% (10 pengguna)
• 2026-10-27: 96.4% (13 pengguna)
• 2026-11-03: 97.6% (20 pengguna)

Kenapa tingkat cache hit OpenCode saya rendah? Cache miss per penyebab

4.9% input minggu ini tidak dibaca dari cache. Berikut rinciannya per penyebab, beserta apa yang bisa Anda lakukan untuk masing-masing.

Percakapan baru, atau menganggur lebih dari satu jam: 34% dari cache miss, sekitar 1.7% dari seluruh input

Request pertama dari percakapan baru, atau request setelah menganggur satu jam, harus menulis cache lagi.

Konten baru dan perubahan prefiks dalam percakapan yang berjalan: 31% dari cache miss, sekitar 1.5% dari seluruh input

Konten yang baru muncul di sebuah giliran hanya bisa ditulis, tidak bisa dibaca, dan ini tidak bisa dihindari; system prompt atau daftar tool yang berubah, atau riwayat yang ditulis ulang, juga membuat prefiks tidak berlaku.

Jeda lebih dari 5 menit, cache kedaluwarsa: 31% dari cache miss, sekitar 1.5% dari seluruh input

Lebih dari 5 menit berlalu di antara dua request, sehingga entri cache sebelumnya mungkin sudah kedaluwarsa.

Dirutekan ke akun atau endpoint upstream lain: 3% dari cache miss, sekitar 0.2% dari seluruh input

Prompt cache tersimpan di akun upstream yang melayani request. Ketika relay atau gateway multi-akun mengirim giliran berikutnya ke akun lain, seluruh konteks ditulis ulang. Koneksi langsung ke vendor tidak pernah mengalami penyebab ini.

Request paralel (request sebelumnya masih berjalan): 0% dari cache miss, sekitar 0.0% dari seluruh input

Request yang dikirim sebelum request sebelumnya selesai (subagent, pemanggilan tool paralel) tidak bisa membaca cache yang masih ditulis oleh request sebelumnya.

Ganti model: 0% dari cache miss, sekitar 0.0% dari seluruh input

Setiap model punya cache sendiri, sehingga request pertama setelah ganti model membaca ulang seluruh riwayat.

Selisih beberapa poin tingkat hit, tagihan berlipat-lipat

Dengan harga resmi Claude Opus 5.5, dan cache miss ditulis ke cache 5 menit, biaya efektif per satu juta token input:

• Median minggu ini, 97.6%: $0.32 (×1.0)
• 90%: $0.68 (×2.1)
• 80%: $1.16 (×3.7)
• 50%: $2.60 (×8.2)

Hitung dengan angka Anda sendiri di kalkulator biaya API Claude

Cara mengecek tingkat cache hit OpenCode Anda

• Format Anthropic: cache_read_input_tokens ÷ (input_tokens + cache_read_input_tokens + cache_creation_input_tokens).
• Format OpenAI: cached_tokens (di prompt_tokens_details atau input_tokens_details) ÷ prompt_tokens / input_tokens.
• Di Wokey, setiap request di log request konsol menampilkan baca cache dan tulis cache-nya.

Kenapa tingkat hit turun di balik relay

• Pergantian akun: cache dimiliki akun upstream, sehingga giliran yang dikirim ke akun lain menulis ulang semuanya. Penyebab paling umum pada relay; koneksi langsung tidak pernah mengalaminya.
• Konversi format: menerjemahkan antara format Anthropic dan OpenAI dapat mengubah prefiks atau menghilangkan breakpoint cache_control.
• Claude Code sebelum v2.1.181, pada base URL kustom, menaruh token yang berbeda di setiap request dalam blok atribusi di awal system prompt, sehingga gateway yang meng-cache berdasarkan body request selalu meleset; perbarui, atau setel CLAUDE_CODE_ATTRIBUTION_HEADER=0.
• Uji sendiri: kirim dua request dengan prefiks yang sama dan lebih panjang dari panjang minimum cache; baca cache pada request kedua seharusnya mendekati panjang prefiks.

Wokey sebisa mungkin merutekan request lanjutan dari sebuah percakapan ke akun upstream yang sama. Dari 2026-10-04 hingga 2026-10-10, pengguna biasa Wokey mencapai 92.8% pada Claude Opus 5.5 dari semua request, dibanding 87.8% untuk OpenRouter secara keseluruhan.

Bandingkan dengan tingkat cache hit OpenRouter · Live: API publik tingkat cache hit Wokey (7 hari terakhir)

Cara kami mengukur

• Request nyata pengguna melalui gateway Wokey; setiap Senin pukul 05:00 UTC kami menghitung minggu sebelumnya (Senin sampai Minggu).
• Klien dikenali dari User-Agent request. Request dari SDK, library HTTP, dan relay hilir, yang klien aslinya tidak diketahui, tidak disertakan; begitu pula akun enterprise.
• Giliran lanjutan memiliki model dan akun upstream yang sama dengan request sebelumnya dalam percakapannya dan dimulai dalam 5 menit setelah request itu selesai. Tingkat tiap pengguna adalah baca cache ÷ input pada giliran-giliran tersebut (input mencakup baca dan tulis cache); kami melaporkan median dari pengguna yang punya minimal 20 giliran seperti itu dalam seminggu.
• Sebuah sel dipublikasikan jika punya minimal 5 pengguna yang memenuhi syarat; perubahan lebih dari 3 poin dari minggu lalu diperiksa manual terlebih dahulu.
• Bias yang diketahui: hanya pengguna Wokey; kebiasaan pemakaian sangat beragam; tingkat hit dari semua request mencakup kehilangan akibat routing gateway itu sendiri (penyebab “dirutekan ke akun upstream lain”).

Pertanyaan umum