Пайдалар:
- Ыкчам кэштөөнүн префикс логикасын түшүндүрүңүз
- Туруктуу контекстти биринчи, ал эми кийин өзгөрмө контекстти коюу менен кэш соккусун жогорулатат
- Кэш жазуу/окуу экономикасын жана зыянсыздык чекин эсептей алат
LLM продукт прототиби боюнча арзан көрүнөт; Сиз масштабга көтөрүлгөндө, мыйзам долбоору таң калтырат. Көпчүлүк жүктөмдө мыйзам долбоорунун көпчүлүгү ар бир сурам менен кайра-кайра жөнөтүлгөн ошол эле туруктуу контексттен келет: узун система сунушу, эрежелер китеби, маалымдама документтери. Ыкчам кэш так ушул калдыктарды жок кылат. Бул бөлүмдө сиз кэш кантип иштей турганын, соккуну кантип уюштурууну жана кэш экономикасынын зыянсыздык чекин кантип эсептөөнү үйрөнөсүз. Туура орнотулганда, ал жалгыз эсепти жарымына же андан да азыраак кыскартат.
Кэш кантип иштейт? Бир өзгөрүлгүс эреже
Ыкчам кэштөө префикс дал келет. Провайдер сиздин кайрылууңуз башталгандан бери иштеткен токендерди убактылуу сактайт. Эгерде сунуш кийинки суроо-талапта ошол эле префикс менен башталса, бул жалпы бөлүк кайра эсептелбейт; Бул кэшке караганда окуу бир топ арзан.
Мындан бир өзгөрүлгүс эреже келип чыгат: Эгерде бир байт префикстин каалаган жеринде өзгөрсө, ошол учурдан тартып бүт кэш жараксыз болуп калат. Башкача айтканда, туруктуу мазмун башында болушу керек жана өзгөрмө мазмуну аягында болушу керек. Эгерде сиз системанын сунушунун башына ар бир суроо-талапка жараша өзгөргөн сапты койсоңуз, мисалы, "Бүгүнкү күн: 18.07.2026", анын артындагы баары кэшке кире албайт.
Иштеп чыгуу тартиби адатта: куралдар → тутум сунушу → билдирүүлөр. Сиз кэш чекити (үзүлүү чекити) белгиленген бөлүмдүн аягында койду.
Кэш экономикасы
Кэш үч баа деңгээли бар:
- Кэш жазуу: биринчи жолу сактоо. ~1,25x нормалдуу киргизүү баасы (5 мүнөттүк сактоо үчүн).
- Кэш окуу: Кийинки суроо-талаптар боюнча окуу. ~0,1 эсе нормалдуу киргизүү баасы — башкача айтканда, ондон бир.
- Кадимки киргизүү: кэшке кирбеген жана ар бир жолу толук баада иштетилген бөлүк.
Затсыздык чекити: Биринчи өтүнүч жазуу үчүн премиум төлөйт (1,25 ×). Экинчи өтүнүчтөн, окуу (0,1×) ишке кирет. Болжол менен, сиз эки өтүнүч боюнча моюн жана моюн болосуз; Андан кийин, бул таза үнөмдөө болуп саналат. Туруктуу контекст канчалык чоңураак болсо жана ал канчалык көп сурам кайра колдонулса, ошончолук чоң пайда болот.
Сценарий
Кэш иштейби?
Чоң туруктуу система тез, миңдеген суроо-талаптар
Ооба - эң жогорку киреше
Ошол эле шилтеме документтер боюнча көптөгөн суроолор
Ооба
Ар бир суроо үчүн такыр башка кыска текст
Жок - жазуу бонусу текке кетти
Бир жолу өтүнүч
Жок - такыр окубайт
Дата/идентификатор системанын сунушунда ар бир суроо менен өзгөрөт
Жок — префикс бузулган, сокку нөл
Кадам кадам: Hit Prompt кантип орнотуу керек?
- Туруктуу жана өзгөрмөлөрдү бөлүңүз. Кандай мазмун эч качан өзгөрбөйт (система сунушу, эрежелер китеби, документтер)? Ар бир суроо менен кайсылар өзгөрөт (колдонуучунун суроосу, датасы, ID)?
- Башына туруктууну коюңуз. Кайра иштетүүдө биринчи келген бөлүк (куралдар, система) туруктуу болушу керек.
- Өзгөрүлүүчүнү аягына коюңуз. Колдонуучунун учурдагы суроосу, акыркы.
- Чек аранын аягында белгини коюңуз. Кэш чекитин белгиленген бөлүктүн акыркы блогуна коюңуз.
- Хитти ырастоо. Жооптун колдонуу талаасында cache_read_input_tokens нөлдөн чоң экенин текшериңиз. Эгерде нөл болсо, префиксте жашыруун бузуучу бар.
{ "система": [ { "тип": "текст", "текст": "{{large_constant_system_promptu_and_reges}}", "cache_control": { "тип": "эфемердик" } } ], "билдирүүлөр": [ { "рол": "колдонуучу", {{контент":"r. ]}
Кеңеш: Кэштин хиттерин ойлобоңуз, аларды өлчөңүз. Эгерде usage.cache_read_input_tokens ырааттуу суроо-талаптарда дагы эле нөл болсо, унчукпай өчүргүч (даtetime.now() системанын чакырыгында, ирээтсиз JSON, ар бир суроо менен өзгөрүп турган куралдардын тизмеси) иштеп жатат. Эки суроонун чийки сунушун байт менен салыштырып, айырманы табыңыз.
Silent Disruptors
Кэшти билбестен буза турган типтүү үлгүлөр:
# BREAKER: "Бүгүнкү күн: {{азыр}}. Сиз жардамчысыз..." ← префикс ар бир өтүнүч менен өзгөрөт, сокку нөлгө барабар# TRUE: өзгөрмөнү билдирүү системасына жылдыруу: "Сиз жардамчысыз..." ← константа колдонуучуга [:контент:күнгө кирет, is:{role:day]. {{азыр}} Суроо: ..."}] аягында ← өзгөрмө
Башка өчүргүчтөр: JSON ар бир суроо боюнча ар кандай иреттелген (ачкычтарды белгиленген тартипте сактаңыз), колдонуучуга жараша ар кандай куралдардын тизмеси (куралдар адегенде иштетилет; эгер алар өзгөрсө, кэшке эч нерсе кирбейт), маектин ортосундагы моделди өзгөртүү (кэштер моделге тиешелүү).
Алсыз тез / Күчтүү ыкчам (кэш түзүмү)
# WEAK (кэшти бузуу)системасы: "Дата: 18.07.2026 14:32. Колдонуучу: Ахмет (id 8842). Сиз колдоочу ботсуз. Эрежелер: ...(2000 токен)..."
# КҮЧТҮҮ (кэшке ылайыктуу түзүм) системасы: "Сиз колдоочу ботсуз. Эрежелер: ...(2000 токен, эч качан өзгөрбөйт)..." [кэш белгиси]билдирүүлөрү: [ { роль: колдонуучу, мазмун: "Дата: 18.07.2026 14:32. Колдонуучунун идентификатору: 8842. Суроо: акчаны кантип кайтарам?" }]
Алсыз версияда 2000 токендердин эреже блогу ар бир суроо-талап боюнча толук баада иштетилет. Күчтүү версияда, ошол эле блок бир жолу жазылган жана баанын ондон бир бөлүгү үчүн бардык кийинки суроо-талаптар боюнча окулат.
Үч мини Case
1-жагдай – Эрежелер китебин кэштөө. Бухгалтердик эсепти автоматташтыруу ар бир эсеп-фактурага 12 000 токен эрежелер китебин кошуп жаткан; Күнүнө 5000 суроо-талап. Кэшсиз киргизүү күнүнө ~180 доллар турат. Алар эреже китебин туруктуу сактап, аны кэштешти: биринчи өтүнүчтөр жазуу акысын төлөштү, андан кийин 0,1× окулат. Киргизүү баасы күнүнө ~90%дан ~18 долларга чейин төмөндөдү.
2-жагдай - Жашыруун күн сызыгынын баасы. Бир команда кэш орнотту, бирок эч кандай хит алган жок; cache_read_input_tokens ар дайым нөл болгон. Себеп: Системанын сунушунун биринчи сабында datetime.now() бар болчу, префикс ар бир суроо менен өзгөрүп турган. Биз колдонуучунун билдирүүсүнө датаны жылдырганда, хит көрсөткүчү күтүлбөгөн жерден 0% дан 94% га чейин өстү.
3-жагдай - Кэш туура эмес. Издөө колдонмосу ар бир суроо менен такыр башка кыска сурамдарды жөнөтүп жатты; Алар дилгирлик менен кэш белгисин кошушту. Эч кандай жалпы префикс жок, ар бир суроо-талап бир гана жазуу премиумун төлөдү, эч кандай окуу жок - бааны жогорулатат. Алар белгини алып салышты. Сабак: кэш кайра колдонулган чоң жана туруктуу префикс болгондо гана төлөйт.
Жалпы каталар
- Туруктуу жана өзгөрмөлөрдү аралаштыруу: өзгөрмөнүн мазмуну префиксте болгондо, хит баштапкы абалга келтирилет.
- Датаны/идентификаторду тутум сунушуна кыстаруу: Эң кеңири тараган үнсүз бузуучу.
- Хитти өлчөө эмес: cache_read_input_tokens текшерилбесе, ысырапкорчулук байкалбайт.
- Коомдук префикс жок болгондо кэш кошуу: Жазуу премиумун гана төлөйсүз, наркы жогорулайт.
- Унаа тизмесин же моделин өзгөртүү: префикс башынан эле бузулган; баары кайра жазылат.
- Минималдуу кэш өлчөмүн унутуу: Абдан кыска кэштер (моделине жараша ~1–4k токенге чейин) кэшке унчукпай кирбейт.
Тереңирээк: Иш жүктөө түрү боюнча кэшти долбоорлоо
Кэштөөнүн иш жүзүндөгү төлөмү сиздин жүктөмүңүздүн мүнөзүнө жараша өзгөрөт; андыктан биринчи трафикти билип алыңыз. Үч типтүү үлгү жана туура орнотуу:
Жалпы система тез, ар кандай суроолор. Ишкананын эң кеңири таралган үлгүсү: колдонуучунун жүздөгөн ар кандай суроолору бар чоң система сунушу (рол, эрежелер, балким маалымдама документи). Бул жерде стационардык бөлүк (система) башында кэштелет; ар бир жаңы суроо өзүнүн кичинекей бөлүгү үчүн гана толук бааны төлөйт. чоң бөлүгү баанын ондон бир нече жолу кайталап айтылат, анткени пайда абдан жогору.
Көп кырдуу монолог. Сүйлөшүү созулган сайын, ар бир жаңы раунд мурунку тарыхтын үстүнө курулат. Эгер сиз кэш желегин акыркы раунддун аягына койсоңуз, ар бир сурам мурунку сүйлөшүү префиксин кайра колдонот; сүйлөшүү өскөн сайын хит топтолот. Бул ассистенттин узакка созулган сессияларынын баасын кескин кыскартат.
Бөлүшүлгөн префикс өзгөртүү үчүн акыркы бит. Бир нече суроо-талаптар белгиленген алдын алалардын чоң топтомун бөлүшөт (үлгү топтому, нускамалар), бирок аягында бир суроо менен бөлүнөт. Сиз кэш көрсөткүчүн бөлүшүлгөн бөлүктүн аягына коёсуз; Болбосо, ар бир суроо өзүнүн өзүнчө кэшин жазып, анын эч бири окулбайт.
Бир эскертүү: кэш моделге жана белгилүү бир минималдуу өлчөмүнө жараша болот. Абдан кичинекей префикстер (моделине жараша бир нече миң токенге чейин) кэшке унчукпай кирбейт, атүгүл сиз аларды белгилесеңиз да — cache_creation_input_tokens нөл бойдон калууда. Ошондой эле, моделдин ортосунда сүйлөшүүнү өзгөртүү бүт кэш жараксыз; Башка тапшырма арзан моделди талап кылса, негизги агымды бир моделде сактап, кошумча жумушту өзүнчө чакырууга салыңыз.
Кыскача айтканда
Ыкчам кэштөө префикстин дал келүүсү: белгиленген мазмун башында, өзгөрүлмө мазмун аягында болушу керек. Чоң, кайра колдонулган контекст үчүн окуу баасы толук баанын ондон бир бөлүгүн түзөт, болжол менен эки суроодо да бузулат. Эң кеңири таралган жаңылыштык - системанын сунушуна өзгөрмө маалыматтарды киргизүү менен префиксти бузуу; Колдонуу талаасында аны өлчөө менен соккуну ырастайсыз.
Колдонмо тапшырмасы
Жумуш жүгүн тандаңыз. (1) Мазмунду эки тилкеге бөлүңүз: "эч качан өзгөрбөйт" жана "ар бир суроо менен өзгөрөт". (2) Туруктуу бөлүгүн башына, өзгөрмө бөлүгүн аягына коюп, ыкчам структураны кайра чийиңиз. (3) Белгиленген бөлүктүн токен өлчөмүн баалаңыз жана кэш менен/кэшсиз бир айлык бааны салыштырыңыз. (4) Кайсы талаадан (cache_read_input_tokens) соккуну ырастай турганыңызды белгилеңиз.
текшерүү тизмеси
- [ ] Мен кэш префикстердин дал келүүсү жана жалгыз өзгөрүлгүс эреже экенин түшүндүрө алам.
- [ ] Мен башына белгиленген мазмунду жана акырына өзгөрмө коюу менен тактыкты жогорулата алам.
- [ ] Мен экономиканы жазуу/окуу жана эки суроо-талаптын зыянсыздык чекин билем.
- [ ] Мен үнсүз бузукуларды тааный алам (дата, иретсиз JSON, унаа тизмесин өзгөртүү).
- [ ] Хитти usage.cache_read_input_tokens менен текшере алам.