Awọn anfani:
- Ṣàlàyé ìpilẹ̀ṣẹ̀ ìjẹ́pàtàkì ìpilẹ̀ṣẹ̀ ìbámu ti caching kiakia
- Ṣe alekun kaṣe lilu nipa fifi ipo ti o wa titi lakọkọ ati ipo oniyipada lẹhin
- Le ṣe iṣiro kaṣe kikọ / ka awọn ọrọ-aje ati fifọ-paapaa aaye
Ohun LLM ọja wulẹ poku ni Afọwọkọ; Nigbati o ba gbe soke si iwọn, owo naa ṣe iyanilẹnu. Ninu ọpọlọpọ awọn ẹru iṣẹ, pupọ julọ owo naa wa lati ipo ti o wa titi kanna ti a firanṣẹ leralera pẹlu ibeere kọọkan: eto eto gigun, iwe ofin, iwe itọkasi. Ifipamọ kiakia yoo mu egbin yii kuro ni deede. Ninu ẹyọ yii, iwọ yoo kọ ẹkọ bii kaṣe naa ṣe n ṣiṣẹ, bii o ṣe le ṣeto itọsẹ lati kọlu, ati bii o ṣe le ṣe iṣiro aaye isinmi-paapaa ti ọrọ-aje kaṣe. Nigbati o ba fi sii ni deede, o le ge owo-owo rẹ ni idaji tabi paapaa isalẹ.
Bawo ni Kaṣe Ṣiṣẹ? Ofin Aileyipada Kan
Ifipamọ kiakia jẹ baramu ìpele. Olupese naa tọju awọn ami-ami ti o ti ṣiṣẹ fun igba diẹ lati ibẹrẹ ti itọsi rẹ. Ti itọsi naa ba bẹrẹ pẹlu ìpele kanna lori ibeere ti o tẹle, apakan ti o wọpọ yii ko tun ṣe iṣiro; O ti wa ni Elo din owo lati ka ju kaṣe.
Ofin aileyipada kan tẹle lati eyi: Ti baiti kan ba yipada nibikibi ninu asọtẹlẹ, gbogbo kaṣe yoo di asan lati aaye yẹn siwaju. Iyẹn ni, akoonu ti o wa titi yẹ ki o wa ni ibẹrẹ ati akoonu iyipada yẹ ki o wa ni ipari. Ti o ba fi laini kan si ibẹrẹ eto eto ti o yipada pẹlu ibeere kọọkan, gẹgẹbi “Ọjọ Oni: 18.07.2026”, ohun gbogbo ti o wa lẹhin rẹ kii yoo ni anfani lati tẹ kaṣe sii.
Ilana sisẹ jẹ igbagbogbo: awọn irinṣẹ → eto eto → awọn ifiranṣẹ. O fi aaye kaṣe (breakpoint) si opin apakan ti o wa titi.
Kaṣe Aje
Kaṣe ni awọn ipele idiyele mẹta:
- Kaṣe kọ: Titoju fun igba akọkọ. ~ 1.25x idiyele titẹ sii deede (fun ibi ipamọ iṣẹju 5).
- Kaṣe ka: Kika lori awọn ibeere ti o tẹle. ~ 0.1 ni iye owo titẹ sii deede - iyẹn ni, idamẹwa kan.
- Iṣagbewọle deede: Apakan ti ko tẹ kaṣe sii ati pe o ni ilọsiwaju ni idiyele ni kikun ni igba kọọkan.
Bireki-ani ojuami: First ìbéèrè sanwo Kọ Ere (1.25×). Lati ibeere keji, kika (0.1×) wa sinu ere. Ni aijọju, iwọ yoo jẹ ọrun ati ọrun lori awọn ibeere meji; Lẹhin iyẹn, o jẹ awọn ifowopamọ apapọ. Ti o tobi ipo ti o wa titi ati awọn ibeere diẹ sii ti o tun lo, ti ere naa pọ si.
Oju iṣẹlẹ
Ṣe kaṣe ṣiṣẹ?
Titọ eto ti o wa titi ti o tobi, ẹgbẹẹgbẹrun awọn ibeere
Bẹẹni - awọn dukia ti o ga julọ
Ọpọlọpọ awọn ibeere lori awọn iwe-itọkasi kanna
Bẹẹni
Ọrọ kukuru ti o yatọ patapata fun ibeere kọọkan
Rara — kọ ajeseku ti wa ni wasted
Ọkan akoko ìbéèrè
Rara - ko si kika rara
Ọjọ/ID iyipada pẹlu ibeere kọọkan ni eto eto
Rara — ìpele ti bajẹ, lu jẹ odo
Igbesẹ nipasẹ Igbesẹ: Bii o ṣe le Ṣeto Ifilelẹ Tọju kan?
- Lọtọ ibakan ati oniyipada. Akoonu wo ni ko yipada (itọsọna eto, iwe ofin, iwe)? Eyi ti o yipada pẹlu ibeere kọọkan (ibeere olumulo, ọjọ, ID)?
- Fi awọn ibakan ni ibẹrẹ. Lakoko sisẹ, apakan ti o wa ni akọkọ (awọn irinṣẹ, eto) gbọdọ jẹ iduroṣinṣin.
- Fi oniyipada si ipari. Ibeere lọwọlọwọ olumulo, kẹhin.
- Gbe awọn ami ni opin ti awọn aala. Fi aaye kaṣe sinu bulọọki ti o kẹhin ti apakan ti o wa titi.
- Jẹrisi lu. Ṣayẹwo boya cache_read_input_tokens tobi ju odo ni aaye lilo ninu idahun naa. Ti o ba jẹ odo, idalọwọduro ti o farapamọ wa ninu ìpele.
{"system": [ {"type": "text", "text": "{{large_constant_system_promptu_and_rules}}", "cache_control": {"type": "ephemeral"} }], "awọn ifiranṣẹ": [ {" ipa": "olumulo", "akoonu": "{_}olumulo]_}koṣe"
Imọran: Maṣe gboju awọn kaṣe deba, wọn wọn. Ti usage.cache_read_input_tokens ṣi jẹ odo lori awọn ibeere itẹlera, fifọ ipalọlọ (datetime.now() ni eto eto, JSON ti ko paṣẹ, atokọ awọn irinṣẹ ti n yipada pẹlu ibeere kọọkan) nṣiṣẹ. Ṣe afiwe itọsi aise ti awọn ibeere meji nipasẹ baiti ki o wa iyatọ naa.
Awọn apanirun ipalọlọ
Awọn ilana aṣa ti o ba kaṣe jẹ laimọọmọ:
# BREAKER: ifibọ alaye sinu awọn ọna eto ti o yipada pẹlu kọọkan ìbéèrè "Oni ká ọjọ: {{bayi}}. O ti wa ni oluranlọwọ..." ← ìpele ayipada pẹlu kọọkan ìbéèrè, hit is zero# TÒÓTỌ: gbe oniyipada si awọn ifiranṣẹsystem: "You are an assistant..." ← igbagbogbo wọ awọn cachemessages: [{ipa: olumulo, akoonu:"Loni. ni ipari
Miiran breakers: JSON lẹsẹsẹ otooto lori kọọkan ìbéèrè (pa awọn bọtini ni ti o wa titi ibere), akojọ ti awọn irinṣẹ orisirisi nipa olumulo (irinṣẹ ti wa ni ilọsiwaju akọkọ; ohunkohun lọ sinu kaṣe ti o ba ti won yi), iyipada awọn awoṣe aarin-ibaraẹnisọrọ (caches ni o wa awoṣe pato).
Ilọsiwaju ti ko lagbara / Itọpa ti o lagbara (igbekalẹ ore kaṣe)
# WEAK (cache busting build) eto: "Ọjọ: 18.07.2026 14: 32. Olumulo: Ahmet (id 8842). Iwọ jẹ bot atilẹyin. Awọn ofin: ... (awọn ami 2000) ...."
# STRONG (cache-friendly be) eto: "Iwọ jẹ bot atilẹyin. Awọn ofin: ... }]
Ninu ẹya ti ko lagbara, ilana ofin ti awọn ami ami 2000 ti ni ilọsiwaju ni idiyele ni kikun lori ibeere kọọkan. Ninu ẹya ti o lagbara, bulọọki kanna ni a kọ ni ẹẹkan ati ka lori gbogbo awọn ibeere ti o tẹle fun idamẹwa ti idiyele naa.
Mẹta Mini igba
Irú 1 - Caching awọn rulebook. Adaṣiṣẹ iṣiro kan n ṣafikun iwe ilana ofin ami 12,000 si iwe-owo kọọkan; Awọn ibeere 5,000 fun ọjọ kan. Iye owo titẹ sii laini cache ~ $180 fun ọjọ kan. Wọn tọju iwe ofin nigbagbogbo ati fipamọ: awọn ibeere akọkọ san owo-ori kikọ kan, awọn kika atẹle 0.1 ×. Iye owo igbewọle lọ silẹ ~90% si ~$18 fun ọjọ kan.
Ọran 2 - Iye owo ti laini ọjọ ti o farasin. Ọkan egbe ṣeto soke a kaṣe sugbon won si sunmọ ni ko si deba; cache_read_input_tokens jẹ odo nigbagbogbo. Idi: datetime.now() wa ni laini akọkọ ti eto itọsi, asọtẹlẹ ti n yipada pẹlu ibeere kọọkan. Nigba ti a ba gbe ọjọ lọ si ifiranṣẹ olumulo, oṣuwọn lilu lojiji pọ lati 0% si 94%.
Ọran 3 - Kaṣe ti ko tọ. Ohun elo wiwa kan n firanṣẹ awọn ibeere kukuru ti o yatọ patapata pẹlu ibeere kọọkan; Wọn fi itara kun ami kaṣe kan. Pẹlu ko si ìpele ti o wọpọ, ibeere kọọkan san owo kikọ nikan, ko si awọn kika - jijẹ idiyele naa. Wọn yọ ami naa kuro. Ẹkọ: kaṣe sanwo nikan ti ìpele nla ati igbagbogbo wa ti o tun lo.
Awọn aṣiṣe ti o wọpọ
- Dapọ igbagbogbo ati oniyipada: Nigbati akoonu oniyipada ba wa ninu ìpele, kọlu naa jẹ atunto.
- Ifibọ ọjọ/ID ni itara eto: Idalọwọduro ipalọlọ ti o wọpọ julọ.
- Ko wiwọn to buruju: Ti cache_read_input_tokens ko ba ṣayẹwo, egbin kii yoo ṣe akiyesi.
- Ṣafikun kaṣe nigbati ko si ìpele ti gbogbo eniyan: Iwọ san owo kikọ nikan, idiyele naa pọ si.
- Yiyipada atokọ ọkọ tabi awoṣe: Apejuwe ti bajẹ lati ibẹrẹ; ohun gbogbo ti wa ni atunko.
- Ngbagbe iwọn kaṣe to kere julọ: Awọn kaṣe kukuru pupọ (labẹ ~ 1-4k awọn ami ti o da lori awoṣe) kii yoo tẹ kaṣe naa ni idakẹjẹ.
Ti o jinle: Kaṣe apẹrẹ nipasẹ Iru iṣẹ-ṣiṣe
Isanwo gangan ti caching yatọ da lori iru iṣẹ ṣiṣe rẹ; nitorina gba lati mọ ijabọ rẹ akọkọ. Awọn awoṣe aṣoju mẹta ati fifi sori ẹrọ to tọ:
Ilana eto ti o wọpọ, awọn ibeere oriṣiriṣi. Ilana ile-iṣẹ ti o wọpọ julọ: itọsi eto nla kan (ipa, awọn ofin, boya iwe itọkasi) pẹlu awọn ọgọọgọrun awọn ibeere olumulo oriṣiriṣi. Nibi apakan ti o wa titi (eto) ti wa ni ipamọ lakoko; ibeere tuntun kọọkan n san owo ni kikun nikan fun ipin kekere tirẹ. Ere naa ga pupọ nitori pe ipin nla ni a ka leralera ni idamẹwa ti idiyele naa.
Olona-yika monologue. Bi ibaraẹnisọrọ kan ti n fa siwaju, iyipo tuntun kọọkan kọ lori gbogbo itan-akọọlẹ iṣaaju. Ti o ba fi asia kaṣe si opin yika ti o kẹhin, ibeere kọọkan tun lo ìpele ibaraẹnisọrọ iṣaaju; deba accumulate bi awọn ibaraẹnisọrọ gbooro. Eyi bosipo reins ni iye owo ti gun Iranlọwọ igba.
Apejuwe ti o pin jẹ diẹ ti o kẹhin lati yipada. Awọn ibeere lọpọlọpọ pin ipin nla ti awọn iṣaju ti o wa titi (ṣeto apẹẹrẹ, awọn ilana) ṣugbọn ti yapa nipasẹ ibeere kan ni ipari. O fi itọka kaṣe ni opin apakan ti a pin; Bibẹẹkọ, ibeere kọọkan yoo kọ kaṣe lọtọ tirẹ ati pe ko si ọkan ninu rẹ ti yoo ka.
Ikilọ kan: kaṣe da lori awoṣe ati iwọn to kere ju kan. Awọn ami-iṣaaju kekere pupọ (labẹ awọn ami-ami ẹgbẹrun diẹ, ti o da lori awoṣe) kii yoo tẹ kaṣe ni idakẹjẹ paapaa ti o ba ṣe asia wọn - cache_creation_input_tokens si maa wa odo. Paapaa, iyipada awoṣe aarin-ibaraẹnisọrọ sọ gbogbo kaṣe di alaiṣe; Ti iṣẹ-ṣiṣe ti o yatọ ba nilo awoṣe olowo poku, tọju ṣiṣan akọkọ ni awoṣe kan ki o fi iṣẹ ẹgbẹ sinu ipe lọtọ.
Ni akojọpọ
Caching kiakia jẹ ibaamu iṣaaju: akoonu ti o wa titi yẹ ki o wa ni ibẹrẹ, akoonu oniyipada yẹ ki o wa ni ipari. Fun titobi nla, ti o tun lo, iye owo kika jẹ idamẹwa ti idiyele ni kikun, ni aijọju fifọ paapaa ni awọn ibeere meji. Aṣiṣe ti o wọpọ julọ ni lati ba ami-iṣaaju jẹ nipa fifi data oniyipada sinu itọsẹ eto; O jẹrisi lilu nipa idiwon rẹ ni aaye lilo.
Ohun elo iṣẹ-ṣiṣe
Yan fifuye iṣẹ kan. (1) Pin akoonu naa si awọn ọwọn meji: “ko yipada rara” ati “awọn iyipada pẹlu gbogbo ibeere”. (2) Ṣe atunṣe eto kiakia, fifi apakan igbagbogbo ni ibẹrẹ ati apakan oniyipada ni ipari. (3) Ṣe iṣiro iwọn ami ti apakan ti o wa titi ki o ṣe afiwe idiyele oṣooṣu pẹlu/laisi kaṣe. (4) Ṣe akiyesi aaye wo (cache_read_input_tokens) iwọ yoo rii daju pe o buruju lati.
akojọ ayẹwo
- [] Mo le ṣe alaye pe kaṣe jẹ ibaamu iṣaaju ati ofin alaileyipada nikan.
- [] Mo le mu išedede pọ si nipa fifi akoonu ti o wa titi sii ni ibẹrẹ ati oniyipada ni ipari.
- [] Mo mọ kikọ / ka awọn ọrọ-aje ati aaye isinmi-meji ibeere paapaa.
- [] Mo ti le da ipalọlọ disruptors (ọjọ, unordered JSON, iyipada akojọ ọkọ).
- [] Mo ti le mọ daju awọn buruju pẹlu usage.cache_read_input_tokens.