Qligħ:
- Spjega l-loġika tat-tqabbil tal-prefiss tal-caching fil-pront
- Iżżid il-cache hit billi tpoġġi kuntest fiss l-ewwel u kuntest varjabbli wara
- Jista 'jikkalkula l-ekonomija tal-kitba/jaqra tal-cache u l-punt ta' bilanċ
Prodott LLM jidher irħis fil-prototip; Meta żżid l-iskala, il-kont jissorprendi. Fil-biċċa l-kbira tal-piżijiet tax-xogħol, il-biċċa l-kbira tal-kont ġej mill-istess kuntest fiss li jintbagħat għal darba oħra ma 'kull talba: sistema twila fil-pront, ktieb tar-regoli, dokumentazzjoni ta' referenza. Il-caching fil-pront jelimina eżattament dan l-iskart. F'din l-unità, int se titgħallem kif taħdem il-cache, kif tirranġa l-pront biex tolqot, u kif tikkalkula l-punt tal-break-even tal-ekonomija tal-cache. Meta tkun installata b'mod korrett, hija waħedha tista 'tnaqqas il-kont tiegħek bin-nofs jew saħansitra inqas.
Kif jaħdem il-cache? Ir-Regola Waħda Immutabbli
Il-caching fil-pront huwa prefiss taqbila. Il-fornitur jaħżen temporanjament it-tokens li pproċessa mill-bidu tal-pront tiegħek. Jekk il-pront jibda bl-istess prefiss fuq it-talba li jmiss, din il-parti komuni ma terġax tiġi kkalkulata; Huwa ferm irħas biex taqra minn cache.
Minn dan issegwi regola waħda immutabbli: Jekk byte wieħed jinbidel kullimkien fil-prefiss, il-cache kollu jsir invalidu minn dak il-punt 'il quddiem. Jiġifieri, il-kontenut fiss għandu jkun fil-bidu u l-kontenut varjabbli għandu jkun fl-aħħar. Jekk tpoġġi linja fil-bidu tal-pront tas-sistema li tinbidel ma 'kull talba, bħal "Data tal-lum: 18.07.2026", kollox warajha ma jkunx jista' jidħol fil-cache.
L-ordni tal-ipproċessar hija ġeneralment: għodod → sistema fil-pront → messaġġi. Tpoġġi l-punt tal-cache (punt ta 'waqfien) fl-aħħar tas-sezzjoni fissa.
Cache Ekonomija
Il-cache għandha tliet livelli ta' prezzijiet:
- Cache write: Ħażna għall-ewwel darba. ~1.25x prezz ta 'input normali (għal ħażna ta' 5 minuti).
- Cache aqra: Qari fuq talbiet sussegwenti. ~ 0.1 darbiet il-prezz normali tal-input - jiġifieri, wieħed minn għaxra.
- Input normali: Il-parti li ma tidħolx fil-cache u tiġi pproċessata bi spiża sħiħa kull darba.
Punt ta' bilanċ: L-ewwel talba tħallas premium tal-kitba (1.25×). Mit-tieni talba, jidħol fis-seħħ il-qari (0.1×). Bejn wieħed u ieħor, inti tkun għonq u għonq fuq żewġ talbiet; Wara dan, huwa tfaddil nett. Iktar ma jkun kbir il-kuntest fiss u aktar ma jerġa 'jintuża talbiet, akbar isir il-qligħ.
Xenarju
Il-cache jaħdem?
Sistema fissa kbira fil-pront, eluf ta 'talbiet
Iva — l-ogħla qligħ
Ħafna mistoqsijiet fuq l-istess dokumenti ta’ referenza
Iva
Test qasir kompletament differenti għal kull talba
Le — il-bonus tal-kitba jinħela
Talba ta' darba
Le - l-ebda qari xejn
Id-data/ID tinbidel b'kull talba fil-pront tas-sistema
Le — il-prefiss huwa miksur, il-hit huwa żero
Pass pass: Kif Twaqqaf Hit Prompt?
- Separati kostanti u varjabbli. Liema kontenut ma jinbidel qatt (pront tas-sistema, ktieb tar-regoli, dokumentazzjoni)? Liema bidliet ma' kull talba (mistoqsija tal-utent, data, ID)?
- Poġġi l-kostanti fil-bidu. Matul l-ipproċessar, il-parti li tiġi l-ewwel (għodda, sistema) għandha tkun stabbli.
- Poġġi l-varjabbli fl-aħħar. Mistoqsija attwali tal-utent, l-aħħar.
- Poġġi s-sinjal fit-tarf tal-fruntiera. Poġġi l-punt tal-cache fl-aħħar blokk tal-parti fissa.
- Ivverifika hit. Iċċekkja jekk cache_read_input_tokens huwiex akbar minn żero fil-qasam tal-użu fir-rispons. Jekk żero, hemm disruptor moħbi fil-prefiss.
{ "system": [ { "type": "test", "text": "{{large_constant_system_promptu_and_rules}}", "cache_control": { "type": "ephemeral" } } ], "messages": [ { "role": "user", "content": "{{user_current_question}]}}"
Tip: M'għandekx raden hits cache, kejjelhom. Jekk usage.cache_read_input_tokens għadu żero fuq talbiet konsekuttivi, interruttur sieket (datetime.now() fil-pront tas-sistema, JSON mhux ordnat, lista ta 'għodod li jinbidlu ma' kull talba) qed taħdem. Qabbel il-pront mhux maħdum taż-żewġ talbiet byte b'byte u sib id-differenza.
Disturbi Silenzjużi
Mudelli tipiċi li mingħajr ma jkunu jafu jikkorrompu l-cache:
# BREAKER: inkorporazzjoni ta' informazzjoni fis-sistema pront li tinbidel ma' kull talba "Data tal-lum: {{issa}}. Int assistent..." ← prefiss jinbidel ma' kull talba, hit huwa żero# VERU: ċċaqlaq il-varjabbli fis-sistema tal-messaġġi: "Inti assistent..." ← kostanti tidħol fil-cachemessages: [{role: utent tal-lum}, Mistoqsija: "llum}]. ← varjabbli fl-aħħar
Breakers oħra: JSON magħżula b'mod differenti fuq kull talba (żomm iċ-ċwievet f'ordni fissa), lista ta 'għodod li jvarjaw skont l-utent (l-għodod jiġu pproċessati l-ewwel; xejn ma jidħol fil-cache jekk jinbidel), il-bidla tal-mudell f'nofs il-konversazzjoni (il-caches huma speċifiċi għall-mudell).
Pront dgħajjef / Pront qawwi (struttura faċli għall-cache)
# DGĦAJFJA (cache busting build)sistema: "Data: 18.07.2026 14:32. Utent: Ahmet (id 8842). Inti bot ta' appoġġ. Regoli: ...(2000 tokens)..."
# STRONG (cache-friendly structure)system: "Int bot ta' appoġġ. Regoli: ...(2000 tokens, qatt ma jinbidlu)..." [cache sign]messaġġi: [ { role: user, content: "Data: 18.07.2026 14:32. User id: 8842. Mistoqsija: kif nibda rifużjoni tiegħi?" }]
Fil-verżjoni dgħajfa, il-blokk tar-regola ta '2000 tokens huwa pproċessat bi spiża sħiħa fuq kull talba. Fil-verżjoni b'saħħitha, l-istess blokk jinkiteb darba u jinqara fuq it-talbiet kollha sussegwenti għal għaxra tal-prezz.
Tliet Każijiet Mini
Każ 1 — Caching tal-ktieb tar-regoli. Awtomazzjoni tal-kontabilità kienet qed iżżid il-ktieb tar-regoli tat-token 12,000 ma 'kull fattura; 5,000 talba kuljum. L-input mingħajr cache jiswa ~ $180 kuljum. Huma żammew il-ktieb tar-regoli kostanti u ħaduh fil-cache: l-ewwel talbiet ħallsu primjum tal-kitba, jaqra sussegwenti 0.1×. L-ispiża tal-input niżlet ~90% għal ~$18 kuljum.
Każ 2 — Spiża tal-linja tad-data moħbija. Tim wieħed waqqaf cache iżda ma kienu qed jiksbu l-ebda hits; cache_read_input_tokens kien dejjem żero. Raġuni: Kien hemm datetime.now() fl-ewwel linja tal-pront tas-sistema, il-prefiss kien qed jinbidel ma 'kull talba. Meta ċċaqlaqna d-data għall-messaġġ tal-utent, ir-rata tal-hit f'daqqa żdiedet minn 0% għal 94%.
Każ 3 — Cache mhux f'postu. Applikazzjoni ta' tfittxija kienet qed tibgħat mistoqsijiet qosra kompletament differenti ma' kull talba; Huma żiedu bil-ħerqa sinjal cache. Bla ebda prefiss komuni, kull talba ħallset biss primjum tal-kitba, l-ebda qari — żiedet l-ispiża. Neħħew is-sinjal. Lezzjoni: il-cache tħallas biss jekk ikun hemm prefiss kbir u kostanti li jerġa' jintuża.
Żbalji komuni
- Taħlit kostanti u varjabbli: Meta l-kontenut varjabbli jkun fil-prefiss, il-hit huwa reset.
- Inkorporazzjoni tad-data/ID fis-sistema fil-pront: L-iktar disturb komuni sieket.
- Mhux kejl tal-hit: Jekk cache_read_input_tokens ma jiġix iċċekkjat, l-iskart ma jiġix innutat.
- Żieda tal-cache meta ma jkunx hemm prefiss pubbliku: Tħallas biss il-premium tal-kitba, l-ispiża tiżdied.
- Nibdlu l-lista jew il-mudell tal-vettura: Il-prefiss huwa miksur mill-bidu; kollox huwa miktub mill-ġdid.
- Li tinsa d-daqs minimu tal-cache: Caches qosra ħafna (taħt ~1–4k tokens skont il-mudell) mhux se jidħlu fil-cache fis-skiet.
Aktar fil-fond: Iddisinjar tal-Cache skond it-Tip ta' Tagħbija tax-Xogħol
Il-ħlas attwali tal-caching ivarja skont in-natura tax-xogħol tiegħek; sabiex issir taf it-traffiku tiegħek l-ewwel. Tliet mudelli tipiċi u installazzjoni korretta:
Sistema komuni fil-pront, mistoqsijiet differenti. L-aktar mudell komuni ta 'intrapriża: sistema kbira fil-pront (rwol, regoli, forsi dokument ta' referenza) b'mijiet ta 'mistoqsijiet differenti għall-utent. Hawnhekk il-parti fissa (sistema) hija cache inizjalment; kull mistoqsija ġdida tħallas prezz sħiħ biss għall-porzjon żgħir tagħha stess. Il-qligħ huwa għoli ħafna minħabba li l-porzjon kbir huwa reċitat ripetutament b'għaxra tal-prezz.
Monologu multi-round. Hekk kif konverżazzjoni tittratta, kull rawnd ġdid jibni fuq l-istorja kollha preċedenti. Jekk tpoġġi l-bandiera tal-cache fl-aħħar tal-aħħar rawnd, kull talba tuża mill-ġdid il-prefiss tal-konversazzjoni preċedenti; hits jakkumulaw hekk kif il-konversazzjoni tikber. Dan b'mod drammatiku jrażżan l-ispiża ta 'sessjonijiet twal assistenti.
Il-prefiss kondiviż huwa l-aħħar ftit li jinbidel. Talbiet multipli jaqsmu sett kbir ta’ priors fissi (sett ta’ kampjuni, struzzjonijiet) iżda huma separati minn mistoqsija waħda fl-aħħar. Tpoġġi l-cache pointer fl-aħħar tal-parti kondiviża; Inkella, kull talba tikteb il-cache separata tagħha u l-ebda waħda minnha ma tinqara.
Twissija waħda: il-cache tiddependi fuq il-mudell u ċertu daqs minimu. Prefissi żgħar ħafna (taħt ftit eluf ta’ tokens, skont il-mudell) mhux se jidħlu fis-skiet fil-cache anki jekk timmarkahom — cache_creation_input_tokens jibqa’ żero. Ukoll, it-tibdil tal-mudell f'nofs il-konversazzjoni jinvalida l-cache kollu; Jekk kompitu differenti jeħtieġ mudell irħis, żomm il-fluss ewlieni f'mudell wieħed u poġġi l-impjieg sekondarju f'sejħa separata.
Fil-qosor
Il-caching fil-pront huwa prefiss taqbila: il-kontenut fiss għandu jkun fil-bidu, il-kontenut varjabbli għandu jkun fl-aħħar. Għal kuntest kbir u użat mill-ġdid, l-ispiża tal-qari hija waħda minn għaxra tal-prezz sħiħ, bejn wieħed u ieħor li tkisser f'żewġ talbiet. L-iżball l-aktar komuni huwa li korrotti l-prefiss billi tiddaħħal data varjabbli fil-pront tas-sistema; Inti tivverifika l-hit billi tkejjel fil-qasam tal-użu.
Kompitu ta' applikazzjoni
Agħżel ammont ta' xogħol. (1) Aqsam il-kontenut f'żewġ kolonni: "qatt ma jinbidel" u "bidliet b'kull talba". (2) Iġbed mill-ġdid l-istruttura fil-pront, billi tpoġġi l-parti kostanti fil-bidu u l-parti varjabbli fl-aħħar. (3) Stima d-daqs tat-token tal-parti fissa u qabbel l-ispiża ta 'kull xahar bi/mingħajr cache. (4) Innota liema qasam (cache_read_input_tokens) se tivverifika l-hit minnu.
lista ta' kontroll
- [ ] Kapaċi nispjega li l-cache hija t-tqabbil tal-prefiss u l-unika regola immutabbli.
- [ ] Kapaċi nżid l-eżattezza billi npoġġi l-kontenut fiss fil-bidu u l-varjabbli fl-aħħar.
- [ ] Naf nikteb/jaqra l-ekonomija u l-punt ta' bilanċ ta' żewġ talbiet.
- [ ] Kapaċi nagħraf disruptors siekta (data, JSON mhux ordnat, lista ta' vetturi li qed tinbidel).
- [ ] Kapaċi nivverifika l-hit b'usage.cache_read_input_tokens.