Berapa tingkat cache hit yang normal? Hasil pengukuran klien AI coding

Pada minggu 2026-11-03, klien AI coding populer mencapai tingkat cache hit 95%–98% dalam percakapan berjalan dengan model Claude, dan Codex sekitar 95% dengan GPT. Perbedaan antarklien kecil; jika angka Anda jauh lebih rendah, penyebabnya biasanya pergantian akun, jeda lebih dari 5 menit, atau percakapan baru.

Minggu 2026-11-03 – 2026-11-09 (UTC)

Poin penting

  • Angka normal dengan model Claude: 95%–98%, median percakapan berjalan, 7 klien
  • Codex dengan GPT: 94.8%, median dari 71 pengguna
  • Penyebab cache miss paling umum: cache kedaluwarsa, 37% dari cache miss Claude Code × Claude
  • Kombinasi yang dipublikasikan: 20, klien × model, masing-masing dengan 5+ pengguna yang memenuhi syarat

Berapa tingkat cache hit yang normal untuk tiap klien

Tingkat hit percakapan berjalan hanya menghitung request dalam percakapan yang sama, dengan model dan akun upstream yang sama, yang dikirim dalam 5 menit setelah request sebelumnya selesai: inilah yang dicapai klien itu sendiri. Tingkat hit dari semua request juga mencakup routing, kedaluwarsa, dan chat baru, sehingga lebih dekat dengan yang terlihat di tagihan Anda.

Tingkat hit percakapan berjalan adalah median pengguna; rentangnya mencakup separuh pengguna di tengah.
Klien × modelPercakapan berjalanSemua requestPengguna
Z Code × Claude98.5% (97.7%–99.0%)94.3%13
Magpie × DeepSeek98.3% (95.6%–98.8%)91.4%7
DeepSeek Harness × DeepSeek98.2% (96.6%–98.9%)94.8%27
Magpie × Claude98.2% (97.0%–98.8%)93.6%25
OpenCode × DeepSeek98.2% (92.2%–98.5%)97.7%8
Claude Code × Claude98.1% (96.9%–98.8%)94.6%343
WorkBuddy × Claude97.8% (96.6%–98.3%)88.2%20
OpenCode × Claude97.6% (97.1%–98.9%)95.1%20
Claude Code × DeepSeek97.5% (95.6%–98.8%)96.5%12
DeepSeek Harness × Claude97.2% (93.6%–98.0%)92.0%38
Codex × DeepSeek96.9% (95.4%–98.3%)97.2%12
WorkBuddy × GPT96.4% (91.4%–97.4%)92.4%10
DeepSeek Harness × Kimi96.4% (95.3%–97.4%)93.9%6
Codex × GPT94.8% (91.2%–96.9%)91.8%71
Codex × Claude94.7% (87.0%–97.8%)93.5%21
OpenCode × GPT94.6% (90.8%–96.2%)90.8%11
Magpie × GPT94.3% (91.5%–95.5%)87.0%7
DeepSeek Harness × GPT93.9% (92.5%–96.3%)91.9%11
DeepSeek Harness × Other90.3% (88.4%–94.2%)80.8%5
Claude Code × GPT78.8% (78.6%–94.4%)77.4%5

Masih mengambil sampel

  • OpenCode × Other: Pengambilan sampel: 4 dari 5 pengguna yang memenuhi syarat (9 pengguna minggu ini)
  • pi × Claude: Pengambilan sampel: 4 dari 5 pengguna yang memenuhi syarat (7 pengguna minggu ini)
  • Claude Code × GLM: Pengambilan sampel: 4 dari 5 pengguna yang memenuhi syarat (7 pengguna minggu ini)
  • Magpie × Kimi: Pengambilan sampel: 4 dari 5 pengguna yang memenuhi syarat (4 pengguna minggu ini)
  • WorkBuddy × Kimi: Pengambilan sampel: 3 dari 5 pengguna yang memenuhi syarat (4 pengguna minggu ini)
  • DeepSeek Harness × Grok: Pengambilan sampel: 3 dari 5 pengguna yang memenuhi syarat (3 pengguna minggu ini)
  • Claude Code × Other: Pengambilan sampel: 2 dari 5 pengguna yang memenuhi syarat (5 pengguna minggu ini)
  • WorkBuddy × DeepSeek: Pengambilan sampel: 2 dari 5 pengguna yang memenuhi syarat (5 pengguna minggu ini)

Kenapa tingkat cache hit saya rendah? Cache miss per penyebab, per klien

  • Claude Code × Claude: Jeda lebih dari 5 menit, cache kedaluwarsa 37%, Konten baru dan perubahan prefiks dalam percakapan yang berjalan 23%, Percakapan baru, atau menganggur lebih dari satu jam 17%
  • Codex × GPT: Konten baru dan perubahan prefiks dalam percakapan yang berjalan 57%, Dirutekan ke akun atau endpoint upstream lain 19%, Percakapan baru, atau menganggur lebih dari satu jam 16%
  • DeepSeek Harness × Claude: Konten baru dan perubahan prefiks dalam percakapan yang berjalan 48%, Jeda lebih dari 5 menit, cache kedaluwarsa 32%, Percakapan baru, atau menganggur lebih dari satu jam 16%
  • DeepSeek Harness × DeepSeek: Dirutekan ke akun atau endpoint upstream lain 44%, Konten baru dan perubahan prefiks dalam percakapan yang berjalan 30%, Percakapan baru, atau menganggur lebih dari satu jam 22%

Kenapa tingkat hit turun di balik relay

  • Pergantian akun: cache dimiliki akun upstream, sehingga giliran yang dikirim ke akun lain menulis ulang semuanya. Penyebab paling umum pada relay; koneksi langsung tidak pernah mengalaminya.
  • Konversi format: menerjemahkan antara format Anthropic dan OpenAI dapat mengubah prefiks atau menghilangkan breakpoint cache_control.
  • Claude Code sebelum v2.1.181, pada base URL kustom, menaruh token yang berbeda di setiap request dalam blok atribusi di awal system prompt, sehingga gateway yang meng-cache berdasarkan body request selalu meleset; perbarui, atau setel CLAUDE_CODE_ATTRIBUTION_HEADER=0.
  • Uji sendiri: kirim dua request dengan prefiks yang sama dan lebih panjang dari panjang minimum cache; baca cache pada request kedua seharusnya mendekati panjang prefiks.

Wokey sebisa mungkin merutekan request lanjutan dari sebuah percakapan ke akun upstream yang sama. Dari 2026-10-04 hingga 2026-10-10, pengguna biasa Wokey mencapai 92.8% pada Claude Opus 5.5 dari semua request, dibanding 87.8% untuk OpenRouter secara keseluruhan.

Bandingkan dengan tingkat cache hit OpenRouter · Live: API publik tingkat cache hit Wokey (7 hari terakhir)

Cara kami mengukur

  • Request nyata pengguna melalui gateway Wokey; setiap Senin pukul 05:00 UTC kami menghitung minggu sebelumnya (Senin sampai Minggu).
  • Klien dikenali dari User-Agent request. Request dari SDK, library HTTP, dan relay hilir, yang klien aslinya tidak diketahui, tidak disertakan; begitu pula akun enterprise.
  • Giliran lanjutan memiliki model dan akun upstream yang sama dengan request sebelumnya dalam percakapannya dan dimulai dalam 5 menit setelah request itu selesai. Tingkat tiap pengguna adalah baca cache ÷ input pada giliran-giliran tersebut (input mencakup baca dan tulis cache); kami melaporkan median dari pengguna yang punya minimal 20 giliran seperti itu dalam seminggu.
  • Sebuah sel dipublikasikan jika punya minimal 5 pengguna yang memenuhi syarat; perubahan lebih dari 3 poin dari minggu lalu diperiksa manual terlebih dahulu.
  • Bias yang diketahui: hanya pengguna Wokey; kebiasaan pemakaian sangat beragam; tingkat hit dari semua request mencakup kehilangan akibat routing gateway itu sendiri (penyebab “dirutekan ke akun upstream lain”).

Pertanyaan umum

Berapa tingkat cache hit yang normal?

Dalam percakapan berjalan dengan model Claude, median pengguna klien populer berada di 95%–98%; dari semua request, termasuk routing, kedaluwarsa, dan chat baru, biasanya beberapa poin lebih rendah. Di bawah 90%, penyebabnya jarang klien itu sendiri.

Apa arti cache hit dan cache miss?

Prompt cache menyimpan bagian awal request yang tidak berubah: system prompt, definisi tool, giliran sebelumnya. Ketika request berikutnya diawali dengan cara yang sama, bagian itu dibaca dari cache (cache hit) dan ditagih sebagian kecil dari harga input; ketika awalnya berbeda atau cache sudah kedaluwarsa, bagian itu diproses penuh (cache miss) dan biasanya ditulis lagi ke cache.

Apakah tingkat cache hit yang lebih tinggi lebih baik?

Ya, makin tinggi makin baik. Input yang di-cache ditagih sekitar 0.1× harga input (lebih rendah pada beberapa model baru) dan token pertama tiba lebih cepat; pada langganan Claude, baca cache hampir tidak memakan batas penggunaan Anda.

Kenapa tingkat cache hit saya sangat rendah?

Penyebab yang umum adalah request yang dirutekan ke akun upstream lain (sering terjadi pada relay), jeda lebih dari 5 menit yang membuat cache kedaluwarsa, request paralel seperti subagent, pergantian model, dan percakapan baru. Setiap halaman klien mencantumkannya menurut porsi hasil pengukuran, beserta apa yang bisa dilakukan.

Apakah tingkat cache hit antarklien jauh berbeda?

Tidak banyak. Dengan model yang sama, Claude Code, pi, OpenCode, dan lainnya hanya berselisih beberapa poin dalam percakapan berjalan. Vendor lebih berpengaruh: cache OpenAI mengharuskan seluruh prefiks sama, sehingga Codex dengan GPT berada beberapa poin di bawah klien Claude.

Kenapa tingkat cache hit di relay lebih rendah?

Cache dimiliki akun upstream. Relay yang menyebar satu percakapan ke beberapa akun, atau mengubah prefiks saat mengonversi format, menulis ulang cache berkali-kali. Ujilah dengan mengirim dua request berprefiks sama dan memeriksa apakah request kedua membaca dari cache kira-kira sepanjang prefiks.

Apakah tingkat cache hit yang rendah membuat limit paket Claude saya lebih cepat habis?

Ya. Dalam pengukuran kami atas batas penggunaan paket Claude, baca cache hampir tidak memakan batas, sedangkan tulis cache dihitung kurang lebih seperti input tanpa cache. Konteks yang ter-cache hampir tidak memakan apa-apa; konteks yang meleset dihitung penuh lagi. Batas tiap paket ada di halaman batas penggunaan Claude (/claude-usage-limits).

Bagaimana tingkat cache hit dihitung?

Token baca cache ÷ token input, dengan input mencakup input tanpa cache, tulis cache, dan baca cache. Pada format Anthropic itu adalah cache_read_input_tokens; pada format OpenAI, cached_tokens.

Kenapa Cline, Roo Code, atau Cursor tidak ada di tabel?

Sebuah sel memerlukan minimal 5 pengguna dengan giliran lanjutan yang cukup dalam seminggu. Request Cursor dengan key sendiri berasal dari server Cursor, sehingga gateway tidak bisa melihat kliennya; request melalui SDK dan relay juga tidak bisa diatribusikan.