Nkwalite ọnụ ahịa: Caching ngwa ngwa — API, Ọnụ na Mgbakwunye

Uru:

Kọwaa prefix dabara mgbagha nke ndochi ngwa ngwa
Na-abawanye cache kụrụ site n'itinye ọnọdụ edobere ụzọ na mgbanwe ọnọdụ ma emechaa
Nwere ike gbakọọ cache dee/gụọ akụ na ụba yana nbibi-ọbụlagodi

Ngwaahịa LLM dị ọnụ ala na prototype; Mgbe ị gbagoro n'ọkwa, ụgwọ ahụ na-eju anya. N'ọtụtụ ọrụ, ọtụtụ n'ime ụgwọ ahụ na-abịa site n'otu ọnọdụ a kapịrị ọnụ nke a na-eziga ugboro ugboro na arịrịọ ọ bụla: ogologo usoro ngwa ngwa, akwụkwọ iwu, akwụkwọ ntụaka. Idochi anya ngwa ngwa na-ewepụ ihe mkpofu a. Na nkeji a, ị ga-amụta ka cache si arụ ọrụ, otu esi ahazi ngwa ngwa ịkụ, yana otu esi agbakọ nkwụsịtụ-ọbụlagodi nke akụ na ụba cache. Mgbe arụnyere ya nke ọma, naanị ya nwere ike ibelata ụgwọ gị na ọkara ma ọ bụ ọbụna ala.

Kedu ka cache si arụ ọrụ? Otu Iwu Na-apụghị ịgbanwe agbanwe

Caching ozugbo bụ egwuregwu prefix. Onye na-eweta ya na-echekwa akara ngosi ndị ọ haziela kemgbe mmalite nke ngwa ngwa gị. Ọ bụrụ na ngwa ngwa na-amalite na otu prefix ahụ na arịrịọ na-esote, a naghị agụgharị akụkụ a na-emekarị; Ọ dị ọnụ ala karịa ịgụ akwụkwọ.

Otu iwu na-enweghị mgbanwe na-esite na nke a: Ọ bụrụ na otu byte agbanwe ebe ọ bụla na prefix, cache dum na-aghọ ihe na-abaghị uru site na mgbe ahụ gaa n'ihu. Ya bụ, ọdịnaya edobere kwesịrị ịdị na mbido na ọdịnaya agbanwe kwesịrị ịdị na njedebe. Ọ bụrụ na ị tinye ahịrị na mmalite nke usoro ngwa ngwa nke na-agbanwe na arịrịọ ọ bụla, dị ka "Ụbọchị taa: 18.07.2026", ihe niile dị n'azụ ya agaghị enwe ike ịbanye na cache.

Usoro nhazi na-abụkarị: ngwaọrụ → ngwa ngwa → ozi. Ị na-etinye ebe nchekwa (nkwụsịtụ) na njedebe nke ngalaba edoziri.

Cache Economy

Cache nwere ọkwa ọnụ ahịa atọ:

Cache dee: Na-echekwa maka oge mbụ. ~ 1.25x ọnụahịa ntinye nkịtị (maka nchekwa nkeji 5).
Cache na-agụ: Ịgụ na arịrịọ ndị ọzọ. ~ 0.1 ugboro ọnụ ahịa ntinye nkịtị - ya bụ, otu ụzọ n'ụzọ iri.
Ntinye nkịtị: Akụkụ nke na-adịghị abanye n'ime oghere ma na-ahazi ya n'uju oge ọ bụla.

Ebe nkwụsịtụ: Arịrịọ mbụ na-akwụ ụgwọ dee ego (1.25×). Site na arịrịọ nke abụọ, ọgụgụ (0.1 ×) na-abata. O siri ike, ị ga-abụ olu na olu na arịrịọ abụọ; Mgbe nke ahụ gasịrị, ọ bụ ego nkwụnye ego. Ka nnukwu ọnọdụ a kapịrị ọnụ na ka a na-eji ya eme ihe ọzọ, ka uru ahụ na-abawanye.

Ihe atụ

Cache ọ na-arụ ọrụ?

Nnukwu ngwa ngwa ngwa ngwa, ọtụtụ puku arịrịọ

Ee - ego kacha elu

Ọtụtụ ajụjụ dị n'otu akwụkwọ ntụaka

Ederede dị mkpụmkpụ dị iche iche maka arịrịọ ọ bụla

Mba - dee ego efu efu

Arịrịọ otu oge

Mba - enweghị ịgụ akwụkwọ ma ọlị

Ụbọchị/ID na-agbanwe site na arịrịọ ọ bụla na ngwa ngwa sistemụ

Mba — prefix agbajiri, kụrụ bụ efu

Kwụpụ site na Nzọụkwụ: Otu esi ahazi ngwa ngwa Hit?

Kewapụ mgbe niile na mgbanwe. Kedu ọdịnaya anaghị agbanwe agbanwe (usoro ngwa ngwa, akwụkwọ iwu, akwụkwọ)? Kedu mgbanwe na arịrịọ ọ bụla (ajụjụ onye ọrụ, ụbọchị, ID)?
Tinye ihe na-adịgide adịgide na mmalite. N'oge nhazi, akụkụ nke na-ebute ụzọ (ngwaọrụ, usoro) ga-eguzosi ike.
Tinye mgbanwe na njedebe. Ajụjụ onye ọrụ ugbu a, ikpeazụ.
Debe akara na njedebe nke oke. Tinye ebe nchekwa ahụ na ngọngọ ikpeazụ nke akụkụ ahụ edoziri.
Nyochaa kụrụ. Lelee ma cache_read_input_tokens karịrị efu na mpaghara ojiji na nzaghachi. Ọ bụrụ efu, enwere ọgbaghara zoro ezo na prefix.

{"sistemu": [ {"ụdị": "ederede", "ederede": "{{large_constant_system_promptu_and_rules}}", "cache_control": {"ụdị": "ephemeral" } } ], "ozi": [ {"ọrụ": "onye ọrụ", "ọdịnaya": "{_}onye ọrụ ]} agbanyeghị"

Ndụmọdụ: Echela na cache kụrụ akụ, tụọ ha. Ọ bụrụ na usage.cache_read_input_tokens ka bụ efu na arịrịọ na-esochi, onye na-agbachi nkịtị (datetime.now() na sistemụ ngwa ngwa, JSON enweghị iwu, ndepụta ngwaọrụ na-agbanwe na arịrịọ ọ bụla) na-agba ọsọ. Tụlee ngwa ngwa ngwa ngwa nke arịrịọ abụọ byte site byte wee chọta ihe dị iche.

Ndị na-akpaghasị nkịtị

Ụdị ụdị na-emebi oghere n'amaghị ama:

# BREAKER: itinye ozi n'ime sistemụ na-agbanwe na arịrịọ ọ bụla "Ụbọchị taa: {{ugbu a}}. Ị bụ onye inyeaka..." ← prefix na-agbanwe na arịrịọ ọ bụla, hit is zero# TRUE: bugharịa variable na sistemu ozi: "Ị bụ onye inyeaka..." ← na-abanye na cachemessages mgbe niile: [{ọrụ: onye ọrụ, ọdịnaya: ugbu a.." na njedebe

Ndị ọzọ na-agbaji: JSON na-ahazi dị iche iche na arịrịọ ọ bụla (dobe igodo ya n'usoro), ndepụta ngwaọrụ dị iche iche site na onye ọrụ (ngwaọrụ na-ebu ụzọ ahazi; ọ dịghị ihe na-abanye na cache ma ọ bụrụ na ha agbanwee), na-agbanwe mkparịta ụka n'etiti ihe nlereanya (cache bụ ihe nlereanya kpọmkwem).

Ngwa ngwa na-adịghị ike / siri ike (nhazi enyi na enyi cache)

# WEAK (cache busting build)system: "Ụbọchị: 18.07.2026 14:32. Onye ọrụ: Ahmet (id 8842). Ị bụ nkwado bot. Iwu: ... (2000 tokens)..."

# ike (cache-friendly structure)system: "Ị bụ onye nkwado bot. Iwu: ...(2000 tokens, dịghị agbanwe agbanwe)..." [ cache sign] ozi: [ {ọrụ: onye ọrụ, ọdịnaya: "Ụbọchị: 18.07.2026 14:32. Onye ọrụ id: 8842. Ajụjụ: kedu ka m ga-esi malite nkwụghachi m?" }]

Na ụdị adịghị ike, a na-ahazi ngọngọ iwu nke token 2000 na ọnụ ahịa zuru oke na arịrịọ ọ bụla. Na ụdị siri ike, a na-ede otu ngọngọ ahụ otu ugboro ma gụọ na arịrịọ niile na-esote maka otu ụzọ n'ụzọ iri nke ọnụahịa.

Obere obere atọ

Ikpe 1 - Ịdebe akwụkwọ iwu. Automation ndekọ ego nọ na-agbakwunye akwụkwọ iwu akara 12,000 na akwụkwọ ọnụahịa ọ bụla; Arịrịọ 5,000 kwa ụbọchị. Ntinye cache na-efu ~ $180 kwa ụbọchị. Ha na-edobe akwụkwọ iwu mgbe niile wee chekwaa ya: arịrịọ mbụ kwụrụ ụgwọ ndenye, na-agụ 0.1 × na-esote. Ọnụ ego ntinye gbadara ~90% ruo ~$18 kwa ụbọchị.

Ikpe 2 - Ọnụ nke ahịrị ụbọchị zoro ezo. Otu otu haziri ebe nchekwa mana ha enwetaghị hits; cache_read_input_token bụ efu mgbe niile. Ihe kpatara ya: Enwere datetime.now() n'ahịrị mbụ nke usoro ngwa ngwa, prefix na-agbanwe na arịrịọ ọ bụla. Mgbe anyị bufere ụbọchị ahụ gaa na ozi onye ọrụ, ọnụ ọgụgụ kụrụ abawanye na mberede site na 0% ruo 94%.

Ikpe 3 - oghere na-ezighi ezi. Ngwa ọchụchọ na-eziga ajụjụ dị mkpirikpi dị iche iche na arịrịọ ọ bụla; Ha ji ịnụ ọkụ n'obi tinye akara cache. Na-enweghị prefix a na-ahụkarị, arịrịọ ọ bụla na-akwụ naanị ndenye ego, enweghị agụ - ịba ụba ọnụ ahịa. Ha wepụrụ akara ahụ. Ihe nkuzi: cache na-akwụ naanị ma ọ bụrụ na enwere prefix buru ibu ma na-adịgide adịgide nke emegharịrị.

Mmejọ ndị nkịtị

Ịgwakọta mgbe niile na mgbanwe: Mgbe ọdịnaya agbanwe agbanwe dị na prefix, a na-atọgharị ihe ọkụkụ ahụ.
Ịtinye ụbọchị/ID n'ime ngwa ngwa sistemụ: Onye na-akpaghasị nkịtị na-agbachi nkịtị.
Anaghị atụ ihe ọkụkụ: Ọ bụrụ na enyochaghị cache_read_input_tokens, agaghị ahụ ihe mkpofu.
Na-agbakwụnye cache mgbe enweghị prefix ọhaneze: Ị na-akwụ naanị ụgwọ ederede, ọnụ ahịa na-abawanye.
Ịgbanwe ndepụta ụgbọ ala ma ọ bụ ihe nlereanya: agbajiri prefix site na mmalite; ihe niile ka edegharịrị.
Ichezọ nha cache kacha nta: cache dị mkpụmkpụ (n'okpuru ~ 1-4k token dabere na ihe nlereanya) agaghị abanye n'ime oghere ahụ na nzuzo.

Dị omimi: Ịmepụta cache site na ụdị arụ ọrụ

Nkwụghachi ụgwọ nke caching dịgasị iche dabere n'ụdị ọrụ gị dị; yabụ buru ụzọ mara okporo ụzọ gị. Ụkpụrụ atọ a na-ahụkarị na nrụnye ziri ezi:

Ngwa ngwa sistemu nkịtị, ajụjụ dị iche iche. Ụkpụrụ ụlọ ọrụ a na-ahụkarị: nnukwu usoro ngwa ngwa (ọrụ, iwu, ma eleghị anya akwụkwọ ntụaka) nwere ọtụtụ narị ajụjụ ndị ọrụ dị iche iche. Ebe a na-echekwa akụkụ (sistemụ) nke etinyere na mbụ; ajụjụ ọhụrụ ọ bụla na-akwụ ụgwọ zuru oke naanị maka obere akụkụ nke ya. Uru dị oke elu n'ihi na a na-agụgharị akụkụ buru ibu ugboro ugboro na otu ụzọ n'ụzọ iri nke ọnụahịa ahụ.

Otutu okirikiri monologue. Ka mkparịta ụka na-aga n'ihu, agba ọhụrụ ọ bụla na-ewuli elu n'akụkọ ihe mere eme gara aga. Ọ bụrụ na itinye ọkọlọtọ cache na njedebe nke agba ikpeazụ, arịrịọ ọ bụla na-eji prefix mkparịta ụka gara aga; hits na-agbakọta ka mkparịta ụka na-eto. Nke a na-akwụ ụgwọ n'ụzọ dị egwu na ọnụ ahịa ogologo oge inyeaka.

Ihe nganiihu nkekọrịta bụ ntakịrị ikpeazụ ịgbanwe. Arịrịọ ọtụtụ na-ekekọrịta nnukwu nhazi nke ụzọ edoziri (ihe nlele, ntuziaka) mana otu ajụjụ kewapụrụ ya na njedebe. Ị na-etinye akara cache na njedebe nke akụkụ nkekọrịta; Ma ọ bụghị ya, arịrịọ ọ bụla ga-ede ebe nchekwa dị iche iche ma agaghị agụ nke ọ bụla n'ime ya.

Otu caveat: cache na-adabere na ihe nlereanya na ụfọdụ nke kacha nta. prefixes pere mpe (n'okpuru akara puku ole na ole, dabere na ihe nlereanya) agaghị abanye n'ime oghere ahụ n'obere, ọbụlagodi na ị tulee ha - cache_creation_input_tokens ka bụ efu. Ọzọkwa, ịgbanwe ụdị mkparịta ụka etiti na-emebi cache niile; Ọ bụrụ na ọrụ dị iche na-achọ ihe nlereanya dị ọnụ ala, debe isi iyi n'otu ụdị ma tinye ọrụ n'akụkụ na oku dị iche.

Na nchịkọta

Caching ngwa ngwa bụ egwuregwu prefix: ọdịnaya edobere kwesịrị ịdị na mbido, ọdịnaya agbanwe kwesịrị ịdị na njedebe. Maka nnukwu okirikiri, ejirikwa ọzọ, ọnụ ahịa a na-agụ bụ otu ụzọ n'ụzọ iri nke ọnụahịa zuru oke, na-agbaji ọbụlagodi na arịrịọ abụọ. Ihe kachasị njọ bụ imebi prefix site na itinye data agbanwe agbanwe na ngwa ngwa usoro; Ị na-enyocha ihe ọkụkụ ahụ site n'ịtụ ya n'ọhịa ojiji.

Ọrụ ngwa

Họrọ ibu ọrụ. (1) Kewaa ọdịnaya na kọlụm abụọ: "adịghị agbanwe agbanwe" na "mgbanwe na arịrịọ ọ bụla". (2) Megharịa usoro ngwa ngwa, na-etinye akụkụ ahụ mgbe niile na mmalite na akụkụ agbanwe na njedebe. (3) Nyochaa nha akara nke akụkụ a kapịrị ọnụ wee tulee ọnụ ahịa kwa ọnwa na/enweghị oghere. (4) Rụba ama nke ubi (cache_read_input_tokens) ị ga-achọpụta na hit si.

ndetu

[] Enwere m ike ịkọwa na cache bụ prefix dakọtara yana naanị iwu na-enweghị ike ịgbanwe.
[] Enwere m ike ịbawanye izi ezi site n'itinye ọdịnaya edoziri na mmalite na mgbanwe na njedebe.
[ ] Amaara m ide / gụọ akụnụba na ebe nkwụsịtụ arịrịọ abụọ.
[] Enwere m ike ịmata ndị na-akpaghasị nkịtị (ụbọchị, JSON enweghị iwu, na-agbanwe ndepụta ụgbọ ala).
[ ] Enwere m ike iji usage.cache_read_input_tokens nyochaa ihe ọkụkụ ahụ.