Girdeji:
- Çalt keşlemegiň prefiks gabat gelýän logikasyny düşündiriň
- Kesgitlenen konteksti ilki we soňundan üýtgeýän kontekst goýup, keş keşbini artdyrýar
- Keş ýazmagy / ykdysadyýeti we arakesmäni hasaplap bilýär
LLM önümi prototipde arzan görünýär; Terezä çykanyňyzda, kanun taslamasy geň galdyrýar. Iş ýükleriniň köpüsinde kanun taslamasynyň köpüsi, her haýyş bilen gaýta-gaýta iberilýän şol bir kesgitli kontekstden gelýär: uzyn ulgam islegi, ýazgy kitaby, salgylanma resminamalary. Çalt keşleme bu galyndylary doly ýok edýär. Bu bölümde, keşiň işleýşini, urmagy haýal etmän tertipleşdirmegi we keş keşbiniň ykdysadyýetiniň kesiş nokadyny nädip hasaplamalydygyny öwrenersiňiz. Dogry gurlanda, diňe fakturaňyzy ýarym ýa-da has pes edip biler.
Keş nähili işleýär? Bir üýtgewsiz düzgün
Çalt keşleme prefiks gabat gelýär. Üpjün ediji, haýyşyňyzyň başyndan bäri gaýtadan işlenen bellikleri wagtlaýyn saklaýar. Eger haýyş indiki haýyşda şol bir prefiks bilen başlasa, bu umumy bölek gaýtadan hasaplanmaz; Keşden okamak has arzandyr.
Mundan üýtgewsiz bir düzgün bar: prefiksiň islendik ýerinde bir baýt üýtgese, ähli keş şol pursatdan başlap hakyky däl bolýar. Fixedagny, kesgitlenen mazmun başynda, üýtgeýän mazmun ahyrynda bolmaly. Ulgam isleginiň başynda "Şu günki senesi: 18.07.2026" ýaly her haýyş bilen üýtgeýän bir setir goýsaňyz, arkasyndaky hemme zat keş görnüşine girip bilmez.
Gaýtadan işlemegiň tertibi adatça: gurallar → ulgam gyssagly → habarlar. Keş nokadyny (kesiş nokady) kesgitlenen bölümiň soňuna goýýarsyňyz.
Keş ykdysadyýeti
Keşiň üç derejesi bar:
- Keş ýazyň: Ilkinji gezek saklamak. Input 1.25x adaty giriş bahasy (5 minut saklamak üçin).
- Keş oka: Soňky haýyşlary okamak. Input Adaty giriş bahasyndan 0,1 esse - ýagny ondan bir.
- Adaty giriş: Keşe girmeýän we her gezek doly çykdajyda işlenýän bölek.
Arakesme nokady: Ilkinji haýyş ýazmak baýragyny töleýär (1,25 ×). Ikinji haýyşdan okamak (0,1 ×) güýje girýär. Takmynan, iki haýyş boýunça boýnuň we boýnuň bolar; Ondan soň, bu tygşytlamakdyr. Kesgitlenen kontekst näçe uly bolsa we näçe köp ulanylsa, girdeji şonça-da köpelýär.
Ssenariýa
Keş işleýärmi?
Uly kesgitlenen ulgam islegi, müňlerçe haýyş
Hawa - iň ýokary girdeji
Şol bir resminama resminamalarynda köp sorag
Hawa
Her haýyş üçin düýbünden başga gysga tekst
Nook - ýazmak üçin bonus biderek
Bir gezek haýyş
--Ok - asla okamak ýok
Ulgam soragyndaky her haýyş bilen sene / ID üýtgeýär
--Ok - prefiksi bozuldy, urmak nol
Stepdimme-ädim: Hit teklibini nädip düzmeli?
- Aýry-aýry hemişelik we üýtgeýän. Haýsy mazmun hiç wagt üýtgemeýär (ulgam soragy, kitap ýazgysy, resminamalar)? Her haýyş (ulanyjy soragy, senesi, şahsyýetnamasy) bilen haýsy üýtgeýär?
- Hemişäni başynda goýuň. Gaýtadan işlemek wagtynda birinji orunda durýan bölek (gurallar, ulgam) durnukly bolmaly.
- Üýtgeýjini ahyrynda goýuň. Ulanyjynyň häzirki soragy, iň soňky.
- Belgini serhediň ujunda goýuň. Keş nokadyny kesgitlenen bölegiň soňky blokyna salyň.
- Hit barlaň. Cache_read_input_tokens jogapdaky ulanyş meýdanynda noldan ulydygyny barlaň. Nol bolsa, prefiksde gizlin bozujy bar.
system "ulgam":
Maslahat: Keş hitlerini çaklamaň, ölçäň. Eger use.cache_read_input_tokens yzygiderli haýyşlarda nol bolsa, ulgam haýyşynda sessiz döwüji (datime.now (), tertipsiz JSON, her haýyş bilen üýtgeýän gurallaryň sanawy) işleýär. Iki haýyşyň çig islegini baýtdan deňeşdiriň we tapawudyny tapyň.
Ümsüm bozujylar
Keşi bilmän bozýan adaty nagyşlar:
# BREAKER: "Şu günki senesi: {{indi}}" her haýyş bilen üýtgeýän ulgam islegine maglumat girizmek. Siz kömekçi ... "← prefiks her haýyş bilen üýtgeýär, hit nol # HAKYKAT: üýtgeýjini habar ulgamyna geçiriň:" Siz kömekçi ... "← hemişe kaçessesslere girýär: [{rol: ulanyjy, mazmun:" Şu gün {{üýtgeýär}}}
Beýleki döwüjiler: JSON her haýyş boýunça başgaça tertiplenýär (açarlary tertipli saklaň), ulanyjy tarapyndan üýtgeýän gurallaryň sanawy (gurallar ilki işlenýär; üýtgese hiç zat keş görnüşine girmeýär), orta söhbetdeşlik modelini üýtgedýär (keşler modellere mahsus).
Gowşak haýyş / Güýçli haýyş (keş keşbi gurluşy)
# WEAK (keş keşi gurmak) ulgamy: "Sene: 18.07.2026 14:32. Ulanyjy: Ahmet (id 8842). Siz goldaw boty. Düzgünler: ... (2000 bellik) ..."
# Güýçli (keş üçin amatly gurluş) ulgamy: "Siz goldaw boty. Düzgünler: ... (2000 belgisi, hiç haçan üýtgemez) ..." [keş keşbi] habarlary: }]
Gowşak wersiýada 2000 belginiň düzgün bloky her haýyş boýunça doly çykdajyda işlenýär. Güýçli wersiýada şol bir blok bir gezek ýazylýar we bahanyň ondan birini almak üçin indiki haýyşlarda okalýar.
Üç kiçi waka
1-nji hadysa - Kitap depderçesini keşlemek. Hasapçylyk awtomatizasiýasy, her hasap-faktura 12,000 bellik kitabyny goşýardy; Günde 5000 haýyş. Keşsiz giriş günde 180 $. Kitap depderçesini hemişe saklaýardylar we keşde sakladylar: ilki haýyşlar ýazuw tölegini töledi, soň bolsa 0,1 read okady. Giriş bahasy günde 90% ~ 18 $ -a düşdi.
2-nji hadysa - Gizlin senäniň bahasy. Bir topar keş ýasady, ýöne hiç hili hit alyp bilmedi; cache_read_input_tokens elmydama noldy. Sebäp: Ulgam isleginiň birinji setirinde datime.now () bardy, prefiks her haýyş bilen üýtgeýärdi. Sene ulanyjy habaryna geçirenimizde, urmagyň derejesi birden 0% -den 94% -e çenli ýokarlandy.
3-nji hadysa - keş keşi. Gözleg programmasy, her haýyş bilen düýbünden başga gysga talaplary iberýärdi; Keş belgisini höwes bilen goşdular. Umumy prefiks ýok, her haýyş diňe ýazmak üçin töleg töledi, okalmady - çykdajylary ýokarlandyrdy. Belligi aýyrdylar. Sapak: keş gaýtadan ulanylýan uly we hemişelik prefiks bar bolsa töleýär.
Adaty ýalňyşlyklar
- Üznüksiz we üýtgeýjini garyşdyrmak: Üýtgeýän mazmun prefiksde bolsa, hit täzeden düzülýär.
- Ulgam soragyna ornaşdyrylan senesi / ID: Iň köp ýaýran sessiz bozujy.
- Hiti ölçemän: Cache_read_input_tokens barlanmasa, galyndylar duýulmaz.
- Jemgyýetçilik prefiksi ýok wagty keş keşini goşmak: Diňe ýazuw tölegini töleýärsiňiz, çykdajy ýokarlanýar.
- Ulagyň sanawyny ýa-da modelini üýtgetmek: prefiks başyndan bozulýar; hemme zat täzeden ýazyldy.
- Keşiň iň pes ululygyny ýatdan çykarmak: Örän gysga keşler (modeline baglylykda ~ 1–4k bellikleriň aşagy) keş keşbine sessiz girmez.
Çuňňur: Keşiň iş ýük görnüşi boýunça dizaýny
Keşlemegiň hakyky netijesi, iş ýüküňize baglylykda üýtgeýär; şonuň üçin ilki bilen traffigiňiz bilen tanyşyň. Üç adaty nagyş we dogry gurnama:
Umumy ulgam gyssagly, dürli soraglar. Iň köp ýaýran kärhana nusgasy: ýüzlerçe dürli ulanyjy soraglary bilen uly ulgam islegi (rol, düzgünler, belki salgylanma resminamasy). Bu ýerde kesgitlenen bölek (ulgam) başda keş görnüşinde saklanýar; her täze sorag diňe ownuk bölegi üçin doly bahany töleýär. Girdeji gaty ýokary, sebäbi uly bölegi bahanyň ondan birinde gaýtalanýar.
Köp tegelek monolog. Gepleşik dowam edýärkä, her täze tapgyr öňki taryhyň üstünde durýar. Keş baýdagyny soňky tapgyryň ahyrynda goýsaňyz, her haýyş öňki söhbetdeşlik prefiksini gaýtadan ulanýar; gepleşikler ulaldygyça hitler ýygnanýar. Bu, uzyn kömekçi sapaklaryň bahasyna ep-esli täsir edýär.
Paýlaşylan prefiks üýtgemeli iň soňky bit. Birnäçe haýyş, kesgitlenen esasy toplumy (nusga toplumy, görkezmeler) paýlaşýar, ýöne ahyrynda ýekeje sorag bilen bölünýär. Keş görkezijisini paýlaşylan bölegiň soňuna goýýarsyňyz; Otherwiseogsam, her haýyş öz aýratyn keşini ýazardy we hiç biri okalmazdy.
Bir duýduryş: keş keş modeline we belli bir minimal ululygyna baglydyr. Örän kiçi prefiksler (modele baglylykda birnäçe müň belginiň aşagynda), bellik etseňizem keş görnüşine sessiz girip bilmez - cache_creation_input_tokens nol bolup galýar. Mundan başga-da, orta söhbetdeşlik modelini üýtgetmek tutuş keşi ýatyrýar; Başga bir mesele arzan model talap edýän bolsa, esasy akymy bir modelde saklaň we gapdal işini aýratyn jaňda goýuň.
Gysgaça
Çalt keşleme prefiks gabat gelýär: kesgitlenen mazmun başynda, üýtgeýän mazmun ahyrynda bolmaly. Uly, gaýtadan ulanylan kontekst üçin, okalýan baha doly bahanyň ondan biri bolup, hatda iki haýyşda-da takmynan döwülýär. Iň köp ýaýran ýalňyşlyk, ulgam maglumatlaryna üýtgeýän maglumatlary girizmek bilen prefiksi bozmak; Hiti ulanyş meýdanynda ölçäp, barlaýarsyňyz.
Programma meselesi
Iş ýüküni saýlaň. (1) Mazmuny iki sütüne bölüň: "hiç haçan üýtgemez" we "her haýyş bilen üýtgemez". (2) Hemişelik bölegini başynda we üýtgeýän bölegini soňunda goýup, gyssagly gurluşy çyzyň. (3) Kesgitlenen bölegiň nyşan ululygyna baha beriň we aýlyk çykdajylaryny keşsiz / bilen deňeşdiriň. (4) Haýsy meýdany (cache_read_input_tokens) hitden barlajakdygyňyza üns beriň.
gözegçilik sanawy
- [] Keşiň prefiks gabat gelýändigini we ýeke-täk üýtgewsiz düzgünini düşündirip bilerin.
- [] Başda kesgitlenen mazmuny we ahyrynda üýtgeýjini goýup, takyklygy artdyryp bilerin.
- [] Ykdysadyýeti we iki haýyşly arakesmäni ýazmagy / okamagy bilýärin.
- [] Sessiz bozujylary tanap bilerin (senesi, tertipsiz JSON, ulag sanawynyň üýtgemegi).
- [] Ulanyşy.cache_read_input_tokens bilen barlap bilerin.