Faida:
- Eleza mantiki ya kulinganisha kiambishi awali cha uakibishaji wa papo hapo
- Huongeza akiba iliyoguswa kwa kuweka muktadha thabiti kwanza na muktadha tofauti baada ya hapo
- Inaweza kukokotoa uandishi wa kache/kusoma uchumi na sehemu ya kuvunja-hata
Bidhaa ya LLM inaonekana nafuu katika mfano; Unapopiga hatua hadi kiwango, muswada huo unashangaza. Katika mzigo mwingi wa kazi, bili nyingi hutoka kwa muktadha ule ule thabiti ambao hutumwa tena na tena kwa kila ombi: kidokezo cha mfumo mrefu, kitabu cha sheria, hati za marejeleo. Uakibishaji wa haraka huondoa taka hii haswa. Katika kitengo hiki, utajifunza jinsi kache inavyofanya kazi, jinsi ya kupanga onyesho la kugonga, na jinsi ya kuhesabu sehemu ya kuvunja-hata ya uchumi wa kache. Ikisakinishwa kwa usahihi, pekee inaweza kukata bili yako kwa nusu au hata chini.
Je, Cache Inafanyaje Kazi? Kanuni Moja Isiyobadilika
Uhifadhi wa papo hapo ni ulinganifu wa kiambishi awali. Mtoa huduma huhifadhi kwa muda tokeni ambazo imechakata tangu mwanzo wa kidokezo chako. Ikiwa kidokezo kitaanza na kiambishi awali sawa kwenye ombi linalofuata, sehemu hii ya kawaida haijahesabiwa upya; Ni rahisi sana kusoma kuliko cache.
Sheria moja isiyoweza kubadilika inafuata kutoka kwa hii: Ikiwa baiti moja itabadilika popote kwenye kiambishi awali, kache nzima inakuwa batili kuanzia hatua hiyo na kuendelea. Hiyo ni, maudhui ya kudumu yanapaswa kuwa mwanzoni na maudhui ya kutofautiana yanapaswa kuwa mwishoni. Ukiweka laini mwanzoni mwa mfumo kidokezo kinachobadilika kwa kila ombi, kama vile "Tarehe ya leo: 18.07.2026", kila kitu nyuma yake hakitaweza kuingiza akiba.
Agizo la usindikaji kawaida ni: zana → arifa ya mfumo → ujumbe. Unaweka sehemu ya kache (kizuizi) mwishoni mwa sehemu iliyowekwa.
Cache Uchumi
Akiba ina viwango vitatu vya bei:
- Cache kuandika: Kuhifadhi kwa mara ya kwanza. ~ 1.25x bei ya kawaida ya kuingiza (kwa hifadhi ya dakika 5).
- Akiba ilisomwa: Kusoma kwa maombi yanayofuata. ~mara 0.1 ya bei ya kawaida ya ingizo — yaani, sehemu ya kumi.
- Ingizo la kawaida: Sehemu ambayo haiingii kwenye akiba na inachakatwa kwa gharama kamili kila wakati.
Sehemu ya mapumziko: Ombi la kwanza hulipa malipo ya uandishi (1.25×). Kutoka kwa ombi la pili, usomaji (0.1×) unakuja. Takribani, utakuwa shingo na shingo juu ya maombi mawili; Baada ya hapo, ni akiba halisi. Kadiri muktadha uliowekwa ulivyo mkubwa na jinsi maombi yanavyotumiwa tena, ndivyo faida inavyokuwa kubwa.
Mazingira
Je, kache inafanya kazi?
Uhakika mkubwa wa mfumo, maelfu ya maombi
Ndiyo - mapato ya juu zaidi
Maswali mengi kwenye hati sawa za kumbukumbu
Ndiyo
Maandishi mafupi tofauti kabisa kwa kila ombi
Hapana - bonasi ya kuandika imepotea bure
Ombi la wakati mmoja
Hapana - hakuna kusoma kabisa
Tarehe/kitambulisho kinabadilika kwa kila ombi kwa haraka ya mfumo
Hapana - kiambishi awali kimevunjwa, hit ni sifuri
Hatua kwa Hatua: Jinsi ya Kuweka Hit Prompt?
- Tenganisha mara kwa mara na kutofautiana. Ni maudhui gani ambayo hayabadiliki (uhakika wa mfumo, kitabu cha sheria, hati)? Je, ni mabadiliko gani kwa kila ombi (swali la mtumiaji, tarehe, kitambulisho)?
- Weka mara kwa mara mwanzoni. Wakati wa usindikaji, sehemu inayokuja kwanza (zana, mfumo) lazima iwe imara.
- Weka variable mwishoni. Swali la sasa la mtumiaji, mwisho.
- Weka ishara mwishoni mwa mpaka. Weka sehemu ya kache kwenye kizuizi cha mwisho cha sehemu iliyowekwa.
- Thibitisha hit. Angalia kama cache_read_input_tokens ni kubwa kuliko sufuri katika sehemu ya utumiaji katika jibu. Ikiwa sifuri, kuna kisumbufu kilichofichwa kwenye kiambishi awali.
{ "system": [ { "type": "text", "text": "{{large_constant_system_promptu_and_rules}}", "cache_control": { "type": "ephemeral" } } ], "messages": [ { "role": "user", "content": "{{user_current}_question)
Kidokezo: Usikisie vibao vya akiba, vipime. Ikiwa usage.cache_read_input_tokens bado ni sufuri kwa maombi yanayofuatana, kivunja kimya (datetime.now() kwa haraka ya mfumo, JSON isiyopangwa, orodha ya zana zinazobadilika kwa kila ombi) inaendelea. Linganisha haraka haraka ya ombi mbili byte byte na upate tofauti.
Wasumbufu wa Kimya
Mifumo ya kawaida ambayo inaharibu kache bila kujua:
# BREAKER: kupachika maelezo katika kidokezo cha mfumo ambacho hubadilika kwa kila ombi "Tarehe ya leo: {{sasa}}. Wewe ni msaidizi..." ← kiambishi awali hubadilika kwa kila ombi, hit ni sufuri# TRUE: sogeza kigezo hadi kwenye mfumo wa ujumbe: "Wewe ni msaidizi..." ← huingiza kache mara kwa mara: [{wajibu: Mtumiaji}}Leo: {{jukumu:} ← kutofautiana mwishoni
Vikiukaji vingine: JSON imepangwa kwa njia tofauti kwa kila ombi (weka funguo kwa mpangilio maalum), orodha ya zana zinazotofautiana kulingana na mtumiaji (zana huchakatwa kwanza; hakuna kinachoingia kwenye kache ikiwa itabadilika), kubadilisha muundo wa katikati ya mazungumzo (kache ni za mfano maalum).
Mwongozo dhaifu / Mwongozo mkali (muundo wa kirafiki wa kache)
# DHAIFU (uundaji wa kache): "Tarehe: 18.07.2026 14:32. Mtumiaji: Ahmet (id 8842). Wewe ni roboti ya usaidizi. Kanuni: ...(tokeni za 2000)..."
# STRONG (muundo unaohifadhi akiba): "Wewe ni roboti ya usaidizi. Kanuni: ...(tokeni za 2000, hazibadiliki kamwe)..." [alama ya akiba]ujumbe: [ { role: user, content: "Tarehe: 18.07.2026 14:32. Kitambulisho cha mtumiaji: 8842. Swali: nitaanzishaje kurejesha pesa zangu?" }]
Katika toleo dhaifu, kizuizi cha sheria cha ishara 2000 kinasindika kwa gharama kamili kwa kila ombi. Katika toleo la nguvu, kizuizi sawa kimeandikwa mara moja na kusoma juu ya maombi yote ya baadaye ya sehemu ya kumi ya bei.
Kesi Tatu Ndogo
Kesi ya 1 - Kuhifadhi kitabu cha sheria. Uendeshaji wa uhasibu ulikuwa unaongeza kitabu cha sheria cha tokeni 12,000 kwa kila ankara; Maombi 5,000 kwa siku. Ingizo lisilo na akiba hugharimu ~$180 kwa siku. Waliweka kitabu cha sheria mara kwa mara na kukihifadhi: maombi ya kwanza yalilipa malipo ya uandishi, yaliyofuata yalisomeka 0.1×. Gharama ya kuingiza imeshuka ~90% hadi ~$18 kwa siku.
Kesi ya 2 - Gharama ya mstari wa tarehe uliofichwa. Timu moja iliweka akiba lakini haikupata vibao; kache_read_input_tokens mara zote zilikuwa sufuri. Sababu: Kulikuwa na datetime.now() katika mstari wa kwanza wa arifa ya mfumo, kiambishi awali kilikuwa kikibadilika kwa kila ombi. Tulipohamisha tarehe hadi kwa ujumbe wa mtumiaji, kasi ya kugongwa iliongezeka ghafla kutoka 0% hadi 94%.
Kesi ya 3 - akiba iliyopotea. Programu ya utafutaji ilikuwa ikituma maswali mafupi tofauti kabisa kwa kila ombi; Waliongeza kwa shauku ishara ya kache. Bila kiambishi awali cha kawaida, kila ombi lililipa malipo ya uandishi tu, bila kusoma - na kuongeza gharama. Waliondoa ishara. Somo: kache hulipa tu ikiwa kuna kiambishi kikubwa na kisichobadilika ambacho kinatumika tena.
Makosa ya kawaida
- Kuchanganya mara kwa mara na kutofautisha: Wakati maudhui ya kutofautiana yapo kwenye kiambishi awali, hit inawekwa upya.
- Tarehe/kitambulisho cha kupachika katika arifa ya mfumo: Kisumbufu cha kimya kinachojulikana zaidi.
- Kutopima pigo: Ikiwa cache_read_input_tokens haitaangaliwa, upotevu hautatambuliwa.
- Kuongeza akiba wakati hakuna kiambishi awali cha umma: Unalipa tu malipo ya uandishi, gharama huongezeka.
- Kubadilisha orodha ya gari au modeli: kiambishi awali kimevunjwa tangu mwanzo; kila kitu kimeandikwa upya.
- Kusahau ukubwa wa chini wa akiba: Akiba fupi sana (chini ya tokeni ~ 1–4k kulingana na muundo) hazitaingia kwenye akiba kimya.
Kwa undani zaidi: Kubuni Cache kwa Aina ya Upakiaji wa Kazi
Malipo halisi ya kache hutofautiana kulingana na asili ya mzigo wako wa kazi; kwa hivyo fahamu trafiki yako kwanza. Mifumo mitatu ya kawaida na usakinishaji sahihi:
Mfumo wa haraka wa haraka, maswali tofauti. Muundo wa kawaida wa biashara: kidokezo kikubwa cha mfumo (jukumu, sheria, labda hati ya marejeleo) na mamia ya maswali tofauti ya watumiaji. Hapa sehemu iliyowekwa (mfumo) imehifadhiwa hapo awali; kila swali jipya hulipa bei kamili kwa sehemu yake ndogo tu. Faida ni kubwa sana kwa sababu sehemu kubwa inakaririwa mara kwa mara kwa sehemu ya kumi ya bei.
Monologue ya pande nyingi. Mazungumzo yanapoendelea, kila raundi mpya hujengwa juu ya historia yote ya awali. Ukiweka bendera ya akiba mwishoni mwa duru ya mwisho, kila ombi linatumia tena kiambishi awali cha mazungumzo; hits hujilimbikiza mazungumzo yanapokua. Hii inatawala kwa kiasi kikubwa gharama ya vikao virefu vya wasaidizi.
Kiambishi awali kilichoshirikiwa ndicho cha mwisho kubadilika. Maombi mengi hushiriki seti kubwa ya vipaumbele vilivyowekwa (seti ya sampuli, maagizo) lakini hutenganishwa na swali moja mwishoni. Unaweka pointer ya cache mwishoni mwa sehemu iliyoshirikiwa; Vinginevyo, kila ombi lingeandika kashe yake tofauti na hakuna hata moja ambalo lingesomwa.
Tahadhari moja: cache inategemea mfano na ukubwa fulani wa chini. Viambishi awali vidogo sana (chini ya tokeni elfu chache, kulingana na modeli) hazitaingia kwenye akiba kimyakimya hata ukivitia alama - cache_creation_input_tokens husalia sifuri. Pia, kubadilisha kielelezo katikati ya mazungumzo kunabatilisha kache nzima; Ikiwa kazi tofauti inahitaji mfano wa bei nafuu, weka mtiririko kuu katika mfano mmoja na uweke kazi ya upande katika simu tofauti.
Kwa muhtasari
Uakibishaji wa papo hapo ni ulinganifu wa kiambishi awali: maudhui yasiyobadilika yanapaswa kuwa mwanzoni, maudhui yanayobadilika yanapaswa kuwa mwishoni. Kwa muktadha mkubwa, uliotumika tena, gharama ya kusoma ni sehemu ya kumi ya bei kamili, takribani kuvunja hata katika maombi mawili. Kosa la kawaida ni kupotosha kiambishi awali kwa kupachika data tofauti katika arifa ya mfumo; Unathibitisha hit kwa kuipima katika uga wa matumizi.
Jukumu la maombi
Chagua mzigo wa kazi. (1) Gawanya yaliyomo katika safu wima mbili: "haibadiliki kamwe" na "hubadilika kwa kila ombi". (2) Chora upya muundo wa papo hapo, ukiweka sehemu thabiti mwanzoni na sehemu inayobadilika mwishoni. (3) Kadiria ukubwa wa tokeni wa sehemu isiyobadilika na ulinganishe gharama ya kila mwezi na/bila kache. (4) Kumbuka ni sehemu gani (cache_read_input_tokens) utathibitisha hit kutoka.
orodha ya ukaguzi
- [ ] Ninaweza kueleza kuwa kache ni kulinganisha kiambishi awali na sheria pekee isiyoweza kubadilika.
- [ ] Ninaweza kuongeza usahihi kwa kuweka yaliyomo fasta mwanzoni na kutofautisha mwishoni.
- [ ] Ninajua uandishi/usomaji wa uchumi na sehemu ya kuvunja ombi mbili.
- [ ] Ninaweza kutambua visumbufu kimya (tarehe, JSON isiyo na mpangilio, kubadilisha orodha ya magari).
- [ ] Ninaweza kuthibitisha hit kwa usage.cache_read_input_tokens.