Aonad 6 / 11

Optimization Costas: Taisce Pras

Gnóthachain:

  • Mínigh an loighic mheaitseála réimír a bhaineann le taisceadh pras
  • Méadaítear an taisce a bhuailtear trí chomhthéacs seasta a chur ar dtús agus comhthéacs athraitheach ina dhiaidh
  • Is féidir leis an eacnamaíocht taisce a scríobh/léamh agus an pointe meá ar mheá a ríomh

Breathnaíonn táirge LLM saor i bhfréamhshamhail; Nuair a théann tú suas go dtí an scála, cuireann an bille iontas ort. I bhformhór na n-ualaí oibre, tagann an chuid is mó den bhille ón gcomhthéacs seasta céanna a sheoltar arís agus arís eile le gach iarratas: leid córais fhada, leabhar rialacha, doiciméadú tagartha. Cuireann taisceadh pras deireadh leis an dramhaíl seo go díreach. San aonad seo, foghlaimeoidh tú conas a oibríonn an taisce, conas an leid chun bualadh a shocrú, agus conas pointe meá ar mheá an gheilleagair taisce a ríomh. Nuair a shuiteáiltear é i gceart, is féidir leis féin do bhille a ghearradh ina dhá leath nó fiú níos ísle.

Conas a Oibríonn Taisce? An Riail Amháin Neamh-mhothúchánach

Is cluiche réimír é taisceadh pras. Stórálann an soláthraí na comharthaí atá próiseáilte aige ó thús do leid. Má thosaíonn an leid leis an réimír chéanna ar an gcéad iarratas eile, ní dhéantar an chomhchuid seo a athríomh; Tá sé i bhfad níos saoire a léamh ná taisce.

Leanann riail neamh-inaistrithe amháin as seo: Má athraíonn beart amháin áit ar bith sa réimír, beidh an taisce ar fad neamhbhailí ón bpointe sin ar aghaidh. Is é sin, ba cheart go mbeadh ábhar seasta ag an tús agus ba cheart go mbeadh ábhar inathraithe ag an deireadh. Má chuireann tú líne ag tús an leid córais a athraíonn le gach iarratas, mar shampla "Dáta an lae inniu: 18.07.2026", ní bheidh gach rud taobh thiar de in ann dul isteach sa taisce.

Is gnách gurb é an t-ordú próiseála ná: uirlisí → leid córais → teachtaireachtaí. Cuireann tú an pointe taisce (briseadhphointe) ag deireadh an ailt sheasta.

Geilleagar Taisce

Tá trí shraith praghsanna ag taisce:

  • Scríobh taisce: Ag stóráil don chéad uair. ~ 1.25x gnáthphraghas ionchuir (le haghaidh stórála 5 nóiméad).
  • Léamh taisce: Léamh ar iarratais ina dhiaidh sin. ~0.1 uair an ghnáthphraghas ionchuir — is é sin, an deichiú cuid.
  • Gnáth-ionchur: An chuid nach dtéann isteach sa taisce agus a phróiseáiltear ar chostas iomlán gach uair.

Pointe meá ar mheá: Íocann an chéad iarratas an phréimh scríofa (1.25×). Ón dara hiarratas, tagann an léamh (0.1 ×) i bhfeidhm. Go garbh, beidh tú muineál agus muineál ar dhá iarratas; Tar éis sin, is glanchoigilteas é. Dá mhéad an comhthéacs seasta agus dá mhéad iarratas a athúsáidtear é, is ea is mó a éiríonn an gnóthachan.

Cás

An oibríonn taisce?

Córas seasta mór go pras, na mílte iarratas

Is féidir - an tuilleamh is airde

Go leor ceisteanna ar na doiciméid tagartha céanna

Téacs gearr difriúil go hiomlán do gach iarratas

Níl - scríobh bónas amú

Iarratas uair amháin

Ní hea - gan léamh ar bith

Dáta/ID ag athrú le gach iarratas ag leid an chórais

Ní hea - tá an réimír briste, buaileadh náid

Céim ar Chéim: Conas Pras Buail a Shocrú?

  1. Tairiseach agus athraitheach ar leith. Cén t-ábhar nach n-athraíonn riamh (leid an chórais, leabhar rialacha, doiciméadú)? Cé na hathruithe le gach iarratas (ceist úsáideora, dáta, ID)?
  2. Cuir an tairiseach ag an tús. Le linn na próiseála, ní mór an chuid a thagann ar dtús (uirlisí, córas) a bheith cobhsaí.
  3. Cuir an athróg ag an deireadh. Ceist reatha an úsáideora, seo caite.
  4. Cuir an comhartha ag deireadh na teorann. Cuir an pointe taisce sa bhloc deireanach den chuid seasta.
  5. Fíoraigh bhuail. Seiceáil an bhfuil cache_read_input_tokens níos mó ná nialas sa réimse úsáide sa fhreagra. Más nialas é, tá réimír folaithe sa réimír.

{ " system " : [ { " type " : " téacs " , " text " : " {{large_constant_system_promptu_and_rules }} " , " cache_control " : { " cineál " : " sealadach " } } ] , " teachtaireachtaí " : [ { " role " : " úsáideoir " , " content " : " { { } } ceist " }

Leid: Ná buille faoi thuairim amas taisce, tomhais iad. Má tá use.cache_read_input_tokens fós náid ar iarratais i ndiaidh a chéile, tá scoradán tostach (datetime.now() ag leid an chórais, JSON neamhordúil, liosta uirlisí ag athrú le gach iarratas) ag rith. Déan comparáid idir leid amh an dá iarratas beart le beart agus faigh an difríocht.

Suaitheadh Ciúin

Patrúin tipiciúla a éillíonn an taisce i ngan fhios dóibh:

# BREAKER: faisnéis á neadú i leid an chórais a athraíonn le gach iarratas "Dáta an lae inniu: {{anois}}. Is cúntóir tú..." ← athraíonn réimír le gach iarratas, buail ná náid # TRUE: bog an athróg chuig an gcóras teachtaireachta: "Is cúntóir thú..." ← téann an t-athróg isteach sna cachemessages: [{ról: úsáideora, inneachar inniu: {}: {{}} ceist: [{ role: } úsáideoir, ábhar: {} : {} : úsáideoir, {}: {}: {} : úsáideoir, inneachar, {}: {} athróg ag an deireadh

Scoradáin eile: Sórtáil JSON go difriúil ar gach iarratas (coimeád na heochracha in ord seasta), liosta na n-uirlisí a athraíonn de réir úsáideora (próiseáiltear uirlisí ar dtús; ní théann aon rud isteach sa taisce má athraíonn siad), ag athrú lárchomhrá na múnla (tá taisce sainiúil don mhúnla).

Leid lag / Leid láidir (struchtúr atá neamhdhíobhálach don taisce)

# WEAK (tógáil meirge-taisce): "Dáta: 18.07.2026 14:32. Úsáideoir: Ahmet (id 8842). Is bot tacaíochta tú. Rialacha: ...(2000 comhartha)..."

# STRONG (struchtúr atá neamhdhíobhálach don taisce): "Is bot tacaíochta tú. Rialacha: ...(2000 comharthaí, ní athraíonn riamh)..." [comhartha taisce]teachtaireachtaí: [ { role: user, content: "Dáta: 18.07.2026 14:32. ID úsáideora: 8842. Ceist: conas is féidir liom mo aisíoc a thionscnamh?" }]

Sa leagan lag, déantar an bloc rialacha de 2000 comhartha a phróiseáil ar chostas iomlán gach iarratas. Sa leagan láidir, scríobhtar an bloc céanna uair amháin agus léitear é ar gach iarratas ina dhiaidh sin ar an deichiú cuid den phraghas.

Trí Chás Mini

Cás 1 - An leabhar rialacha a thaisceadh. Bhí uathoibriú cuntasaíochta ag cur an 12,000 leabhar rialacha dearbhán le gach sonrasc; 5,000 iarratas in aghaidh an lae. Cosnaíonn ionchur gan taisce ~$180 in aghaidh an lae. Choinnigh siad an leabhar rialacha seasmhach agus thaisc siad é: íocadh préimh scríofa na chéad iarratais, léann 0.1 × ina dhiaidh sin. Thit costas ionchuir ~90% go ~$18 in aghaidh an lae.

Cás 2 — Costas na líne dáta folaithe. Chuir foireann amháin taisce ar bun ach ní raibh aon amas á fháil acu; Bhí cache_read_input_tokens i gcónaí náid. Cúis: Bhí datetime.now() sa chéad líne den leid córais, bhí an réimír ag athrú le gach iarratas. Nuair a bhogamar an dáta chuig an teachtaireacht úsáideora, mhéadaigh an ráta buailte go tobann ó 0% go 94%.

Cás 3 - Taisce curtha amú. Bhí iarratas cuardaigh ag seoladh fiosrúcháin ghearra a bhí go hiomlán difriúil le gach iarratas; Chuir siad comhartha taisce go fonnmhar leis. Gan aon réimír choiteann, níor íocadh ach préimh scríbhneoireachta le gach iarratas, gan aon léamh - ag méadú an chostais. Bhain siad an comhartha. Ceacht: ní íocann taisce ach amháin má tá réimír mhór agus tairiseach ann a athúsáidtear.

Botúin choitianta

  • Meascadh tairiseach agus athraitheach: Nuair a bhíonn an t-ábhar athróg sa réimír, athshocraítear an hit.
  • Dáta/aitheantas leabú sa leid córais: An réabóir tostach is coitianta.
  • Gan an hit a thomhas: Mura ndéantar cache_read_input_tokens a sheiceáil, ní thabharfar dramhaíl faoi deara.
  • Ag cur taisce leis nuair nach bhfuil réimír phoiblí ann: Ní íocann tú ach an phréimh scríobh, méadaíonn an costas.
  • Liosta nó samhail na feithicle a athrú: Tá an réimír briste ón tús; tá gach rud athscríofa.
  • Ag déanamh dearmad ar an íosmhéid taisce: Ní rachaidh taisce an-ghearr (faoi ~1–4k comharthaí ag brath ar an tsamhail) isteach sa taisce go ciúin.

Níos doimhne: Taisce a Dhearadh de réir Cineál Ualach Oibre

Athraíonn an íocaíocht iarbhír taisce ag brath ar nádúr d'ualach oibre; mar sin cuir aithne ar do thrácht ar dtús. Trí phatrún tipiciúil agus suiteáil cheart:

Córas coitianta leid, ceisteanna éagsúla. An patrún fiontair is coitianta: córas mór pras (ról, rialacha, b'fhéidir doiciméad tagartha) leis na céadta ceisteanna úsáideora éagsúla. Anseo tá an chuid seasta (córas) i dtaisce ar dtús; ní íocann gach ceist nua an praghas iomlán ach ar a cuid beag féin. Tá an gnóthachan an-ard mar go ndéantar an chuid mhór a aithris arís agus arís eile ag an deichiú cuid den phraghas.

Monologue il-bhabhta. De réir mar a théann comhrá ar aghaidh, cuireann gach babhta nua leis an stair roimhe seo. Má chuireann tú bratach an taisce ag deireadh an bhabhta dheireanaigh, athúsáideann gach iarratas an réimír comhrá roimhe seo; amas carnann de réir mar a théann an comhrá. Cuireann sé seo srian mór ar chostas na seisiún fada cúntóirí.

Is é an réimír roinnte an giotán deireanach le hathrú. Roinneann iarratais iolracha sraith mór de priors seasta (tacar samplaí, treoracha) ach déantar iad a scaradh le ceist amháin ag an deireadh. Cuireann tú an pointeoir taisce ag deireadh na coda roinnte; Seachas sin, scríobhfadh gach iarratas a thaisce ar leith féin agus ní léifí aon cheann de.

caveat amháin: braitheann an taisce ar an tsamhail agus íosmhéid áirithe. Ní rachaidh réimíreanna an-bheaga (faoi chúpla míle comhartha, ag brath ar an tsamhail) isteach sa taisce go ciúin fiú má bhrataíonn tú iad - fanann cache_creation_input_tokens náid. Chomh maith leis sin, trí athrú ar an tsamhail lár-chomhrá a dhéanamh neamhbhailí an taisce ar fad; Má éilíonn tasc difriúil múnla saor, coinnigh an príomhshreabhadh i múnla amháin agus cuir an post taobh i nglao ar leithligh.

Go hachomair

Is cluiche réimír é taisceadh pras: ba cheart go mbeadh ábhar seasta ag an tús, ba cheart go mbeadh ábhar athraitheach ag an deireadh. Maidir le comhthéacs mór athúsáidte, is é an costas léite ná an deichiú cuid den phraghas iomlán, rud a sháraíonn go garbh in dhá iarratas. Is é an botún is coitianta ná an réimír a éilliú trí shonraí athróg a neadú sa leid córais; Fíoraíonn tú an t-amas trína thomhas sa réimse úsáide.

Tasc feidhmchláir

Roghnaigh ualach oibre. (1) Roinn an t-ábhar ina dhá cholún: "ní athraíonn riamh" agus "athraíonn le gach iarratas". (2) Déan an struchtúr pras a tharraingt siar, ag cur an chuid leanúnach ag an tús agus an chuid athraitheach ag an deireadh. (3) Déan meastachán ar mhéid comharthaíochta na coda seasta agus cuir an costas míosúil i gcomparáid le/gan taisce. (4) Tabhair faoi deara cén réimse (cache_read_input_tokens) a dhéanfaidh tú an hit a fhíorú.

seicliosta

  • [ ] Is féidir liom a mhíniú go bhfuil an taisce ag teacht le réimír agus gurb é an t-aon riail nach féidir a mhalartú.
  • [ ] Is féidir liom an cruinneas a mhéadú tríd an ábhar seasta a chur ag an tús agus an athróg ag an deireadh.
  • [ ] Tá a fhios agam eacnamaíocht scríobh/léigh agus an pointe meá ar mheá dhá iarratas.
  • [ ] Is féidir liom réabóirí ciúine a aithint (dáta, JSON neamhordaithe, liosta feithiclí á athrú).
  • [ ] Is féidir liom an hit a fhíorú le usage.cache_read_input_tokens.