Daromadlar:
- Tezkor keshlashning prefiksga mos keladigan mantiqini tushuntiring
- Ruxsat etilgan kontekstni birinchi va o'zgaruvchan kontekstni keyin qo'yish orqali kesh urishini oshiradi
- Keshni yozish/o'qish iqtisodini va zarar nuqtasini hisoblay oladi
LLM mahsuloti prototipda arzon ko'rinadi; O'lchovga qadam qo'yganingizda, hisob ajablantiradi. Ko'pgina ish yuklarida hisob-kitoblarning aksariyati har bir so'rov bilan qayta-qayta yuboriladigan bir xil qat'iy kontekstdan keladi: uzoq tizim so'rovi, qoidalar kitobi, ma'lumotnoma hujjatlari. Tezkor keshlash aynan shu chiqindilarni yo'q qiladi. Ushbu bo'limda siz kesh qanday ishlashini, urish taklifini qanday tartibga solishni va kesh iqtisodiyotining zararsizlanish nuqtasini qanday hisoblashni bilib olasiz. To'g'ri o'rnatilgan bo'lsa, uning o'zi sizning hisobingizni yarmiga yoki hatto kamroq qisqartirishi mumkin.
Kesh qanday ishlaydi? Yagona o'zgarmas qoida
Tezkor keshlash prefiksga mos keladi. Provayder sizning so'rovingiz boshlanganidan beri qayta ishlagan tokenlarni vaqtincha saqlaydi. Agar so'rov keyingi so'rovda bir xil prefiks bilan boshlansa, bu umumiy qism qayta hisoblanmaydi; Keshdan ko'ra o'qish ancha arzon.
Bundan bitta o'zgarmas qoida kelib chiqadi: agar bitta bayt prefiksning istalgan joyida o'zgartirilsa, shu nuqtadan boshlab butun kesh yaroqsiz bo'ladi. Ya'ni, sobit tarkib boshida va o'zgaruvchan tarkib oxirida bo'lishi kerak. Agar siz tizim so'rovining boshiga har bir so'rov bilan o'zgarib turadigan qatorni qo'ysangiz, masalan, "Bugungi sana: 18.07.2026", uning orqasidagi hamma narsa keshga kira olmaydi.
Qayta ishlash tartibi odatda: asboblar → tizim taklifi → xabarlar. Kesh nuqtasini (uzilish nuqtasini) sobit bo'limning oxiriga qo'yasiz.
Kesh iqtisodiyoti
Kesh uchta narx darajasiga ega:
- Kesh yozish: birinchi marta saqlash. ~1,25x oddiy kirish narxi (5 daqiqa saqlash uchun).
- Kesh o'qilishi: keyingi so'rovlarni o'qish. Oddiy kirish narxidan ~ 0,1 baravar - ya'ni o'ndan biri.
- Oddiy kiritish: keshga kirmaydigan va har safar to'liq narxda qayta ishlanadigan qism.
Zararsizlanish nuqtasi: Birinchi so'rov yozish uchun mukofot (1,25 ×) to'laydi. Ikkinchi so'rovdan o'qish (0,1 ×) o'yinga kiradi. Taxminan, siz ikkita so'rov bo'yicha bo'yin va bo'yin bo'lasiz; Shundan so'ng, bu aniq tejash. Ruxsat etilgan kontekst qanchalik katta bo'lsa va undan ko'p so'rovlar qayta ishlatilsa, daromad shunchalik katta bo'ladi.
Ssenariy
Kesh ishlaydimi?
Katta sobit tizim so'rovi, minglab so'rovlar
Ha - eng yuqori daromad
Xuddi shu ma'lumotnoma hujjatlari bo'yicha ko'plab savollar
Ha
Har bir so'rov uchun butunlay boshqacha qisqa matn
Yo'q - yozish bonusi behuda ketmoqda
Bir martalik so'rov
Yo'q - umuman o'qilmaydi
Sana/identifikator har bir so'rov bilan tizim taklifida o'zgaradi
Yo'q - prefiks buzilgan, urish nolga teng
Bosqichma-bosqich: Hit so'rovini qanday sozlash kerak?
- Doimiy va o'zgaruvchini ajrating. Qaysi tarkib hech qachon o'zgarmaydi (tizim taklifi, qoidalar kitobi, hujjatlar)? Har bir so'rovda nima o'zgaradi (foydalanuvchi savoli, sana, ID)?
- Boshiga doimiyni qo'ying. Qayta ishlash jarayonida birinchi navbatda keladigan qism (asboblar, tizim) barqaror bo'lishi kerak.
- O'zgaruvchini oxiriga qo'ying. Foydalanuvchining joriy savoli, oxirgi.
- Belgini chegaraning oxiriga qo'ying. Kesh nuqtasini sobit qismning oxirgi blokiga qo'ying.
- Xitni tasdiqlang. Javobdagi foydalanish maydonida cache_read_input_tokens noldan katta ekanligini tekshiring. Agar nol bo'lsa, prefiksda yashirin buzuvchi mavjud.
{ "tizim": [ { "turi": "matn", "matn": "{{large_constant_system_promptu_and_reges}}", "kesh_nazorati": { "turi": "efemer" } } ], "xabarlar": [ { "rol": "foydalanuvchi", "{{_}kontent" "r": ]}
Maslahat: kesh hitlarini taxmin qilmang, ularni o'lchang. Agar ketma-ket so‘rovlarda usage.cache_read_input_tokens hali ham nolga teng bo‘lsa, jim o‘chirgich (tizim so‘rovidadatetime.now(), tartibsiz JSON, har bir so‘rov bilan o‘zgaruvchan asboblar ro‘yxati) ishlayapti. Ikki so'rovning xom so'rovini bayt-bayt bilan solishtiring va farqni toping.
Ovozsiz buzuvchilar
Keshni bilmagan holda buzadigan odatiy naqshlar:
# BREAKER: har bir soʻrov bilan oʻzgarib turadigan tizim taklifiga maʼlumotlarni joylashtirish “Bugungi sana: {{hozir}}. Siz yordamchisiz...” ← prefiks har bir soʻrovda oʻzgaradi, urilganda nolga teng# TRUE: oʻzgaruvchini xabarlar tizimiga oʻtkazing: “Siz yordamchisiz...” ← doimiysi foydalanuvchi [:{content:day”ga kiradi, is:{roles:day: {{hozir}} Savol: ..."}] ← o'zgaruvchisi oxirida
Boshqa to'xtatuvchilar: JSON har bir so'rov bo'yicha turlicha tartiblangan (kalitlarni belgilangan tartibda saqlang), foydalanuvchiga qarab o'zgarib turadigan asboblar ro'yxati (asboblar birinchi navbatda qayta ishlanadi; ular o'zgartirilsa, keshga hech narsa tushmaydi), suhbat o'rtasida modelni o'zgartirish (keshlar modelga xosdir).
Zaif taklif / Kuchli taklif (keshga qulay tuzilma)
# WEAK (keshni buzish) tizimi: "Sana: 18.07.2026 14:32. Foydalanuvchi: Ahmet (id 8842). Siz qo'llab-quvvatlash botisiz. Qoidalar: ...(2000 ta token)..."
# STRONG (kesh-do'st tuzilma) tizimi: "Siz qo'llab-quvvatlash botisiz. Qoidalar: ...(2000 ta token, hech qachon o'zgarmas)..." [kesh belgisi]xabarlar: [ { rol: foydalanuvchi, kontent: "Sana: 18.07.2026 14:32. Foydalanuvchi identifikatori: 8842. Savol: to'lovni qanday qaytarishim kerak?" }]
Zaif versiyada 2000 ta tokendan iborat qoida bloki har bir so'rov bo'yicha to'liq narxda qayta ishlanadi. Kuchli versiyada bir xil blok bir marta yoziladi va narxning o'ndan bir qismi uchun keyingi barcha so'rovlar bo'yicha o'qiladi.
Uchta mini korpus
1-holat - Qoidalar kitobini keshlash. Buxgalteriya hisobini avtomatlashtirish har bir hisob-fakturaga 12 000 ta token qoidalarini qo'shish edi; Kuniga 5000 ta so'rov. Keshsiz kiritish kuniga ~ 180 dollar turadi. Ular qoidalar kitobini doimiy ravishda ushlab turishdi va uni keshlashdi: birinchi so'rovlar yozish uchun mukofot to'lashdi, keyingi o'qishlar uchun 0,1 ×. Kirish narxi kuniga ~90% ga tushib, ~18 dollarga tushdi.
2-holat - Yashirin sana qatorining narxi. Bir jamoa kesh o'rnatdi, lekin hech qanday zarba olmagan; cache_read_input_tokens har doim nolga teng edi. Sababi: Tizim so'rovining birinchi qatorida datetime.now() mavjud edi, har bir so'rov bilan prefiks o'zgarib turardi. Biz sanani foydalanuvchi xabariga o'tkazganimizda, urish tezligi birdan 0% dan 94% gacha ko'tarildi.
3-holat - kesh noto'g'ri joylashtirilgan. Qidiruv ilovasi har bir so'rov bilan butunlay boshqacha qisqa so'rovlarni yuborgan; Ular ishtiyoq bilan kesh belgisini qo'shdilar. Umumiy prefikssiz, har bir so'rov faqat yozish uchun mukofot to'laydi, o'qishlar yo'q - narxni oshiradi. Ular belgini olib tashladilar. Dars: kesh faqat qayta ishlatiladigan katta va doimiy prefiks bo'lsa to'laydi.
Umumiy xatolar
- Doimiy va o'zgaruvchini aralashtirish: o'zgaruvchan tarkib prefiksda bo'lsa, zarba qayta o'rnatiladi.
- Sana/identifikatorni tizim taklifiga kiritish: eng keng tarqalgan jim buzuvchi.
- Xitni o'lchamaslik: Agar cache_read_input_tokens belgilanmagan bo'lsa, isrofgarchilik sezilmaydi.
- Umumiy prefiks bo'lmaganda kesh qo'shish: Siz faqat yozish uchun mukofot to'laysiz, xarajat oshadi.
- Avtomobil ro'yxatini yoki modelini o'zgartirish: Prefiks boshidan buzilgan; hamma narsa qayta yoziladi.
- Minimal kesh hajmini unutish: Juda qisqa keshlar (modelga qarab ~1–4k tokendan past) keshga jimgina kirmaydi.
Chuqurroq: Ish yuki turi bo'yicha keshni loyihalash
Keshlashning haqiqiy to'lovi sizning ish yukingizning xususiyatiga qarab o'zgaradi; shuning uchun avval traffikingiz bilan tanishing. Uchta odatiy naqsh va to'g'ri o'rnatish:
Umumiy tizim so'rovi, turli savollar. Eng keng tarqalgan korporativ namuna: foydalanuvchining yuzlab turli savollariga ega bo'lgan katta tizim so'rovi (rol, qoidalar, ehtimol ma'lumotnoma). Bu erda sobit qism (tizim) dastlab keshlanadi; har bir yangi savol faqat o'zining kichik qismi uchun to'liq narxni to'laydi. Daromad juda yuqori, chunki katta qism narxning o'ndan birida qayta-qayta o'qiladi.
Ko'p bosqichli monolog. Suhbat davom etar ekan, har bir yangi davr avvalgi barcha tarixga asoslanadi. Agar siz oxirgi turning oxiriga kesh bayrog'ini qo'ysangiz, har bir so'rov oldingi suhbat prefiksini qayta ishlatadi; suhbat o'sishi bilan xitlar to'planadi. Bu uzoq yordamchi seanslar narxini keskin kamaytiradi.
Umumiy prefiks o'zgartirilishi kerak bo'lgan oxirgi qismdir. Bir nechta so'rovlar katta miqdordagi qat'iy belgilangan oldingi (namuna to'plami, ko'rsatmalar) almashadi, lekin oxirida bitta savol bilan ajratiladi. Kesh ko'rsatkichini umumiy qismning oxiriga qo'yasiz; Aks holda, har bir so'rov o'zining alohida keshini yozadi va ularning hech biri o'qilmaydi.
Bitta ogohlantirish: kesh modelga va ma'lum bir minimal hajmga bog'liq. Juda kichik prefikslar (modelga qarab bir necha ming token ostida) siz ularni belgilasangiz ham keshga jimgina kirmaydi - cache_creation_input_tokens nol bo'lib qoladi. Shuningdek, suhbat o'rtasida modelni o'zgartirish butun keshni bekor qiladi; Agar boshqa vazifa arzon modelni talab qilsa, asosiy oqimni bitta modelda saqlang va yon ishni alohida chaqiruvga qo'ying.
Xulosa
Tezkor keshlash - bu prefiksga mos keladi: qattiq tarkib boshida, o'zgaruvchan kontent oxirida bo'lishi kerak. Katta, qayta foydalanilgan kontekst uchun o'qish narxi to'liq narxning o'ndan bir qismini tashkil qiladi, taxminan ikkita so'rovda ham buziladi. Eng ko'p uchraydigan xato - bu tizim so'roviga o'zgaruvchan ma'lumotlarni kiritish orqali prefiksni buzish; Siz urishni foydalanish maydonida o'lchash orqali tasdiqlaysiz.
Ilova vazifasi
Ish yukini tanlang. (1) Tarkibni ikkita ustunga bo'ling: "hech qachon o'zgarmaydi" va "har bir so'rov bilan o'zgaradi". (2) O'zgarmas qismini boshiga va o'zgaruvchan qismini oxiriga qo'yib, tezkor tuzilmani qayta chizing. (3) Ruxsat etilgan qismning token hajmini hisoblang va oylik xarajatlarni kesh bilan/keshsiz solishtiring. (4) Qaysi maydondan (cache_read_input_tokens) zarbani tekshirishingizga e'tibor bering.
nazorat ro'yxati
- [ ] Kesh bu prefiksga mos kelishi va yagona o'zgarmas qoida ekanligini tushuntira olaman.
- [ ] Ruxsat etilgan tarkibni boshida va o'zgaruvchini oxiriga qo'yish orqali aniqlikni oshirishim mumkin.
- [ ] Men yozish/o‘qish iqtisodini va ikki so‘rovli zararni yo‘qotish nuqtasini bilaman.
- [ ] Men jim buzuvchilarni taniy olaman (sana, tartibsiz JSON, transport vositalari roʻyxatini oʻzgartirish).
- [ ] Hitni usage.cache_read_input_tokens bilan tekshirishim mumkin.