ചെലവ് ഒപ്റ്റിമൈസേഷൻ: പ്രോംപ്റ്റ് കാഷിംഗ്

നേട്ടങ്ങൾ:

• പ്രോംപ്റ്റ് കാഷിംഗിൻ്റെ പ്രിഫിക്‌സ് മാച്ചിംഗ് ലോജിക് വിശദീകരിക്കുക
• നിശ്ചിത സന്ദർഭം ആദ്യം നൽകുകയും ശേഷം വേരിയബിൾ സന്ദർഭം നൽകുകയും ചെയ്യുന്നതിലൂടെ കാഷെ ഹിറ്റ് വർദ്ധിപ്പിക്കുന്നു
• കാഷെ റൈറ്റ് / റീഡ് ഇക്കണോമിക്സ്, ബ്രേക്ക്-ഇവൻ പോയിൻ്റ് എന്നിവ കണക്കാക്കാൻ കഴിയും

ഒരു LLM ഉൽപ്പന്നം പ്രോട്ടോടൈപ്പിൽ വിലകുറഞ്ഞതായി തോന്നുന്നു; നിങ്ങൾ സ്കെയിലിലേക്ക് കയറുമ്പോൾ, ബിൽ ആശ്ചര്യപ്പെടുത്തുന്നു. മിക്ക ജോലിഭാരങ്ങളിലും, ഓരോ അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും വീണ്ടും വീണ്ടും അയയ്‌ക്കുന്ന ഒരേ നിശ്ചിത സന്ദർഭത്തിൽ നിന്നാണ് ബില്ലിൻ്റെ ഭൂരിഭാഗവും വരുന്നത്: ഒരു നീണ്ട സിസ്റ്റം പ്രോംപ്റ്റ്, ഒരു റൂൾബുക്ക്, റഫറൻസ് ഡോക്യുമെൻ്റേഷൻ. പെട്ടെന്നുള്ള കാഷിംഗ് ഈ മാലിന്യം കൃത്യമായി ഇല്ലാതാക്കുന്നു. ഈ യൂണിറ്റിൽ, കാഷെ എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്നും ഹിറ്റ് ചെയ്യാനുള്ള പ്രോംപ്റ്റ് എങ്ങനെ ക്രമീകരിക്കാമെന്നും കാഷെ സമ്പദ്‌വ്യവസ്ഥയുടെ ബ്രേക്ക്-ഇവൻ പോയിൻ്റ് എങ്ങനെ കണക്കാക്കാമെന്നും നിങ്ങൾ പഠിക്കും. ശരിയായി ഇൻസ്‌റ്റാൾ ചെയ്‌താൽ, അതിന് മാത്രം നിങ്ങളുടെ ബിൽ പകുതിയോ അതിലും താഴെയോ ആയി കുറയ്ക്കാൻ കഴിയും.

കാഷെ എങ്ങനെ പ്രവർത്തിക്കുന്നു? ഒരു മാറ്റമില്ലാത്ത നിയമം

പ്രോംപ്റ്റ് കാഷിംഗ് ഒരു പ്രിഫിക്സ് പൊരുത്തം ആണ്. നിങ്ങളുടെ പ്രോംപ്റ്റിൻ്റെ തുടക്കം മുതൽ അത് പ്രോസസ്സ് ചെയ്ത ടോക്കണുകൾ ദാതാവ് താൽക്കാലികമായി സംഭരിക്കുന്നു. അടുത്ത അഭ്യർത്ഥനയിൽ അതേ പ്രിഫിക്‌സിൽ പ്രോംപ്റ്റ് ആരംഭിക്കുകയാണെങ്കിൽ, ഈ പൊതുവായ ഭാഗം വീണ്ടും കണക്കാക്കില്ല; കാഷെയേക്കാൾ ഇത് വായിക്കുന്നത് വളരെ വിലകുറഞ്ഞതാണ്.

ഇതിൽ നിന്ന് ഒരു മാറ്റമില്ലാത്ത നിയമം പിന്തുടരുന്നു: പ്രിഫിക്‌സിൽ എവിടെയെങ്കിലും ഒരൊറ്റ ബൈറ്റ് മാറുകയാണെങ്കിൽ, അത് മുതൽ മുഴുവൻ കാഷെയും അസാധുവാകും. അതായത്, സ്ഥിരമായ ഉള്ളടക്കം തുടക്കത്തിലും വേരിയബിൾ ഉള്ളടക്കം അവസാനത്തിലും ആയിരിക്കണം. സിസ്റ്റം പ്രോംപ്റ്റിൻ്റെ തുടക്കത്തിൽ "ഇന്നത്തെ തീയതി: 18.07.2026" പോലെയുള്ള ഓരോ അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും മാറുന്ന ഒരു ലൈൻ നിങ്ങൾ ഇടുകയാണെങ്കിൽ, അതിന് പിന്നിലുള്ള എല്ലാത്തിനും കാഷെയിൽ പ്രവേശിക്കാൻ കഴിയില്ല.

പ്രോസസ്സിംഗ് ഓർഡർ സാധാരണയായി: ടൂളുകൾ → സിസ്റ്റം പ്രോംപ്റ്റ് → സന്ദേശങ്ങൾ. നിശ്ചിത വിഭാഗത്തിൻ്റെ അവസാനം നിങ്ങൾ കാഷെ പോയിൻ്റ് (ബ്രേക്ക്‌പോയിൻ്റ്) ഇടുക.

കാഷെ എക്കണോമി

കാഷെയ്ക്ക് മൂന്ന് വില ശ്രേണികളുണ്ട്:

• കാഷെ എഴുതുക: ആദ്യമായി സംഭരിക്കുന്നു. ~1.25x സാധാരണ ഇൻപുട്ട് വില (5 മിനിറ്റ് സംഭരണത്തിന്).
• കാഷെ റീഡ്: തുടർന്നുള്ള അഭ്യർത്ഥനകൾ വായിക്കുന്നു. സാധാരണ ഇൻപുട്ട് വിലയുടെ ~0.1 മടങ്ങ് - അതായത്, പത്തിലൊന്ന്.
• സാധാരണ ഇൻപുട്ട്: കാഷെയിൽ പ്രവേശിക്കാത്തതും ഓരോ തവണയും മുഴുവൻ ചെലവിൽ പ്രോസസ്സ് ചെയ്യുന്നതുമായ ഭാഗം.

ബ്രേക്ക്-ഈവൻ പോയിൻ്റ്: ആദ്യ അഭ്യർത്ഥന റൈറ്റ് പ്രീമിയം നൽകുന്നു (1.25×). രണ്ടാമത്തെ അഭ്യർത്ഥനയിൽ നിന്ന്, വായന (0.1×) പ്രവർത്തിക്കുന്നു. ഏകദേശം, നിങ്ങൾ രണ്ട് അഭ്യർത്ഥനകളിൽ കഴുത്തും കഴുത്തും ആയിരിക്കും; അതിനുശേഷം, ഇത് നെറ്റ് സേവിംഗ്സ് ആണ്. നിശ്ചിത സന്ദർഭം വലുതാകുകയും കൂടുതൽ അഭ്യർത്ഥനകൾ വീണ്ടും ഉപയോഗിക്കുകയും ചെയ്യുമ്പോൾ, നേട്ടം വലുതായിരിക്കും.

രംഗം

കാഷെ പ്രവർത്തിക്കുന്നുണ്ടോ?

വലിയ സ്ഥിരമായ സിസ്റ്റം പ്രോംപ്റ്റ്, ആയിരക്കണക്കിന് അഭ്യർത്ഥനകൾ

അതെ - ഏറ്റവും ഉയർന്ന വരുമാനം

ഒരേ റഫറൻസ് ഡോക്‌സിൽ നിരവധി ചോദ്യങ്ങൾ

അതെ

ഓരോ അഭ്യർത്ഥനയ്ക്കും തികച്ചും വ്യത്യസ്തമായ ഹ്രസ്വ വാചകം

ഇല്ല - എഴുതാനുള്ള ബോണസ് പാഴായി

ഒറ്റത്തവണ അഭ്യർത്ഥന

ഇല്ല — വായന തീരെ ഇല്ല

സിസ്റ്റം പ്രോംപ്റ്റിൽ ഓരോ അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും തീയതി/ഐഡി മാറുന്നു

ഇല്ല — പ്രിഫിക്സ് തകർന്നു, ഹിറ്റ് പൂജ്യമാണ്

ഘട്ടം ഘട്ടമായി: ഒരു ഹിറ്റ് പ്രോംപ്റ്റ് എങ്ങനെ സജ്ജീകരിക്കാം?

1. സ്ഥിരവും വേരിയബിളും വേർതിരിക്കുക. ഏത് ഉള്ളടക്കമാണ് ഒരിക്കലും മാറാത്തത് (സിസ്റ്റം പ്രോംപ്റ്റ്, റൂൾബുക്ക്, ഡോക്യുമെൻ്റേഷൻ)? ഓരോ അഭ്യർത്ഥനയിലും (ഉപയോക്തൃ ചോദ്യം, തീയതി, ഐഡി) എന്ത് മാറ്റങ്ങൾ?
2. സ്ഥിരാങ്കം തുടക്കത്തിൽ ഇടുക. പ്രോസസ്സിംഗ് സമയത്ത്, ആദ്യം വരുന്ന ഭാഗം (ടൂളുകൾ, സിസ്റ്റം) സ്ഥിരതയുള്ളതായിരിക്കണം.
3. വേരിയബിൾ അവസാനം ഇടുക. ഉപയോക്താവിൻ്റെ നിലവിലെ ചോദ്യം, അവസാനത്തേത്.
4. അതിർത്തിയുടെ അവസാനം അടയാളം സ്ഥാപിക്കുക. നിശ്ചിത ഭാഗത്തിൻ്റെ അവസാന ബ്ലോക്കിൽ കാഷെ പോയിൻ്റ് ഇടുക.
5. ഹിറ്റ് പരിശോധിക്കുക. പ്രതികരണത്തിലെ ഉപയോഗ ഫീൽഡിൽ cache_read_input_tokens പൂജ്യത്തേക്കാൾ വലുതാണോയെന്ന് പരിശോധിക്കുക. പൂജ്യമാണെങ്കിൽ, പ്രിഫിക്സിൽ മറഞ്ഞിരിക്കുന്ന ഒരു തടസ്സം ഉണ്ട്.

{ "system": [ { "type": "text", "text": "{{large_constant_system_promptu_and_rules}}", "cache_control": { "type": "ephemeral" } } ], "messages": [ { "role": "user", "{queustertion}_} ]}

നുറുങ്ങ്: കാഷെ ഹിറ്റുകൾ ഊഹിക്കരുത്, അവയെ അളക്കുക. Use.cache_read_input_tokens തുടർച്ചയായ അഭ്യർത്ഥനകളിൽ ഇപ്പോഴും പൂജ്യമാണെങ്കിൽ, ഒരു സൈലൻ്റ് ബ്രേക്കർ (datetime.now() സിസ്റ്റം പ്രോംപ്റ്റിൽ, ഓർഡർ ചെയ്യാത്ത JSON, ഓരോ അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും മാറുന്ന ഉപകരണങ്ങളുടെ ലിസ്റ്റ്) പ്രവർത്തിക്കുന്നു. രണ്ട് അഭ്യർത്ഥനകളുടെ റോ പ്രോംപ്റ്റ് ബൈറ്റായി താരതമ്യം ചെയ്ത് വ്യത്യാസം കണ്ടെത്തുക.

നിശബ്‌ദ തടസ്സങ്ങൾ

അറിയാതെ കാഷെ കേടാകുന്ന സാധാരണ പാറ്റേണുകൾ:

# BREAKER: "ഇന്നത്തെ തീയതി: {{ഇപ്പോൾ}} ഓരോ അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും മാറുന്ന സിസ്റ്റം പ്രോംപ്റ്റിൽ വിവരങ്ങൾ ഉൾച്ചേർക്കുന്നു. നിങ്ങൾ ഒരു സഹായിയാണ്..." ← ഓരോ അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും പ്രിഫിക്‌സ് മാറ്റുന്നു, ഹിറ്റ് പൂജ്യമാണ്# ശരി: വേരിയബിളിനെ സന്ദേശ സിസ്റ്റത്തിലേക്ക് നീക്കുക: "നിങ്ങൾ ഒരു അസിസ്റ്റൻ്റാണ്..." ← സ്ഥിരാങ്കം കാഷെമെസേജുകളിൽ പ്രവേശിക്കുന്നു. ചോദ്യം: ..."}] ← അവസാനം വേരിയബിൾ

മറ്റ് ബ്രേക്കറുകൾ: JSON ഓരോ അഭ്യർത്ഥനയിലും വ്യത്യസ്‌തമായി അടുക്കുന്നു (കീകൾ നിശ്ചിത ക്രമത്തിൽ സൂക്ഷിക്കുക), ഉപയോക്താക്കൾക്കനുസരിച്ച് വ്യത്യാസപ്പെടുന്ന ഉപകരണങ്ങളുടെ ലിസ്റ്റ് (ടൂളുകൾ ആദ്യം പ്രോസസ്സ് ചെയ്യുന്നു; അവ മാറിയാൽ ഒന്നും കാഷെയിലേക്ക് പോകില്ല), മോഡൽ മിഡ്-കോൺവർസേഷൻ മാറ്റുന്നു (കാഷെകൾ മോഡൽ നിർദ്ദിഷ്ടമാണ്).

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ് (കാഷെ സൗഹൃദ ഘടന)

# ദുർബലമായ (കാഷെ ബസ്റ്റിംഗ് ബിൽഡ്)സിസ്റ്റം: "തീയതി: 18.07.2026 14:32. ഉപയോക്താവ്: അഹ്മെത് (ഐഡി 8842). നിങ്ങളൊരു സപ്പോർട്ട് ബോട്ടാണ്. നിയമങ്ങൾ: ...(2000 ടോക്കണുകൾ)..."

# STRONG (കാഷെ-സൗഹൃദ ഘടന)സിസ്റ്റം: "നിങ്ങൾ ഒരു സപ്പോർട്ട് ബോട്ടാണ്. നിയമങ്ങൾ: ...(2000 ടോക്കണുകൾ, ഒരിക്കലും മാറില്ല)..." [കാഷെ അടയാളം]സന്ദേശങ്ങൾ: [ {റോൾ: ഉപയോക്താവ്, ഉള്ളടക്കം: "തീയതി: 18.07.2026 14:32. ഉപയോക്തൃ ഐഡി: 8842. ചോദ്യം: ഞാൻ എങ്ങനെ റീഫണ്ട് ചെയ്യും?" }]

ദുർബലമായ പതിപ്പിൽ, ഓരോ അഭ്യർത്ഥനയിലും 2000 ടോക്കണുകളുടെ റൂൾ ബ്ലോക്ക് പൂർണ്ണ ചെലവിൽ പ്രോസസ്സ് ചെയ്യുന്നു. ശക്തമായ പതിപ്പിൽ, ഒരേ ബ്ലോക്ക് ഒരിക്കൽ എഴുതുകയും വിലയുടെ പത്തിലൊന്നിന് വേണ്ടിയുള്ള എല്ലാ തുടർന്നുള്ള അഭ്യർത്ഥനകളിലും വായിക്കുകയും ചെയ്യുന്നു.

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - റൂൾബുക്ക് കാഷെ ചെയ്യുന്നു. ഒരു അക്കൗണ്ടിംഗ് ഓട്ടോമേഷൻ ഓരോ ഇൻവോയ്സിലും 12,000 ടോക്കൺ റൂൾബുക്ക് ചേർക്കുന്നു; പ്രതിദിനം 5,000 അപേക്ഷകൾ. കാഷെലെസ്സ് ഇൻപുട്ടിൻ്റെ വില പ്രതിദിനം ~$180 ആണ്. അവർ റൂൾബുക്ക് സ്ഥിരമായി സൂക്ഷിക്കുകയും അത് കാഷെ ചെയ്യുകയും ചെയ്തു: ആദ്യ അഭ്യർത്ഥനകൾ ഒരു റൈറ്റ് പ്രീമിയം നൽകി, തുടർന്നുള്ള വായനകൾ 0.1×. ഇൻപുട്ട് ചെലവ് പ്രതിദിനം ~90% കുറഞ്ഞ് ~$18 ആയി.

കേസ് 2 - മറഞ്ഞിരിക്കുന്ന തീയതി വരിയുടെ വില. ഒരു ടീം കാഷെ സജ്ജീകരിച്ചെങ്കിലും ഹിറ്റുകളൊന്നും ലഭിച്ചില്ല; cache_read_input_tokens എപ്പോഴും പൂജ്യമായിരുന്നു. കാരണം: സിസ്റ്റം പ്രോംപ്റ്റിൻ്റെ ആദ്യ വരിയിൽ datetime.now() ഉണ്ടായിരുന്നു, ഓരോ അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും പ്രിഫിക്‌സ് മാറിക്കൊണ്ടിരിക്കുന്നു. ഞങ്ങൾ ഉപയോക്തൃ സന്ദേശത്തിലേക്ക് തീയതി നീക്കിയപ്പോൾ, ഹിറ്റ് നിരക്ക് പെട്ടെന്ന് 0% ൽ നിന്ന് 94% ആയി വർദ്ധിച്ചു.

കേസ് 3 - തെറ്റായ കാഷെ. ഒരു തിരയൽ ആപ്ലിക്കേഷൻ ഓരോ അഭ്യർത്ഥനയ്‌ക്കൊപ്പവും തികച്ചും വ്യത്യസ്തമായ ചെറിയ ചോദ്യങ്ങൾ അയയ്‌ക്കുന്നുണ്ടായിരുന്നു; അവർ ആകാംക്ഷയോടെ ഒരു കാഷെ ചിഹ്നം ചേർത്തു. പൊതുവായ പ്രിഫിക്‌സ് ഇല്ലാതെ, ഓരോ അഭ്യർത്ഥനയ്ക്കും ഒരു റൈറ്റ് പ്രീമിയം മാത്രമേ നൽകിയിട്ടുള്ളൂ, റീഡുകളൊന്നുമില്ല - ചെലവ് വർദ്ധിപ്പിക്കുന്നു. അവർ അടയാളം നീക്കം ചെയ്തു. പാഠം: വീണ്ടും ഉപയോഗിക്കുന്ന വലുതും സ്ഥിരവുമായ ഒരു പ്രിഫിക്‌സ് ഉണ്ടെങ്കിൽ മാത്രമേ കാഷെ പണം നൽകൂ.

സാധാരണ തെറ്റുകൾ

• സ്ഥിരവും വേരിയബിളും മിക്സ് ചെയ്യുന്നു: വേരിയബിൾ ഉള്ളടക്കം പ്രിഫിക്സിൽ ആയിരിക്കുമ്പോൾ, ഹിറ്റ് റീസെറ്റ് ചെയ്യുന്നു.
• സിസ്റ്റം പ്രോംപ്റ്റിൽ തീയതി/ഐഡി ഉൾച്ചേർക്കുന്നു: ഏറ്റവും സാധാരണമായ നിശബ്ദ തടസ്സം.
• ഹിറ്റ് അളക്കുന്നില്ല: cache_read_input_tokens പരിശോധിച്ചില്ലെങ്കിൽ, മാലിന്യങ്ങൾ ശ്രദ്ധിക്കപ്പെടില്ല.
• പൊതു പ്രിഫിക്‌സ് ഇല്ലാത്തപ്പോൾ കാഷെ ചേർക്കുന്നു: നിങ്ങൾ റൈറ്റ് പ്രീമിയം മാത്രമേ അടയ്‌ക്കൂ, ചെലവ് വർദ്ധിക്കുന്നു.
• വാഹന ലിസ്റ്റോ മോഡലോ മാറ്റുന്നു: പ്രിഫിക്സ് തുടക്കം മുതൽ തകർന്നിരിക്കുന്നു; എല്ലാം മാറ്റിയെഴുതിയിരിക്കുന്നു.
• കുറഞ്ഞ കാഷെ വലുപ്പം മറക്കുന്നു: വളരെ ചെറിയ കാഷെകൾ (മോഡലിനെ ആശ്രയിച്ച് ~1–4k ടോക്കണുകൾക്ക് താഴെ) നിശബ്ദമായി കാഷെയിൽ പ്രവേശിക്കില്ല.

ആഴത്തിലുള്ളത്: വർക്ക്ലോഡ് തരം അനുസരിച്ച് കാഷെ രൂപകൽപ്പന ചെയ്യുന്നു

നിങ്ങളുടെ ജോലിഭാരത്തിൻ്റെ സ്വഭാവമനുസരിച്ച് കാഷിംഗിൻ്റെ യഥാർത്ഥ പ്രതിഫലം വ്യത്യാസപ്പെടുന്നു; അതിനാൽ ആദ്യം നിങ്ങളുടെ ട്രാഫിക് അറിയുക. മൂന്ന് സാധാരണ പാറ്റേണുകളും ശരിയായ ഇൻസ്റ്റാളേഷനും:

സാധാരണ സിസ്റ്റം പ്രോംപ്റ്റ്, വ്യത്യസ്ത ചോദ്യങ്ങൾ. ഏറ്റവും സാധാരണമായ എൻ്റർപ്രൈസ് പാറ്റേൺ: നൂറുകണക്കിന് വ്യത്യസ്ത ഉപയോക്തൃ ചോദ്യങ്ങളുള്ള ഒരു വലിയ സിസ്റ്റം പ്രോംപ്റ്റ് (റോൾ, നിയമങ്ങൾ, ഒരുപക്ഷേ റഫറൻസ് ഡോക്യുമെൻ്റ്). ഇവിടെ നിശ്ചിത ഭാഗം (സിസ്റ്റം) തുടക്കത്തിൽ കാഷെ ചെയ്യുന്നു; ഓരോ പുതിയ ചോദ്യവും അതിൻ്റെ ചെറിയ ഭാഗത്തിന് മാത്രം മുഴുവൻ വിലയും നൽകുന്നു. വലിയ ഭാഗം വിലയുടെ പത്തിലൊന്ന് ആവർത്തിച്ച് പാരായണം ചെയ്യുന്നതിനാൽ നേട്ടം വളരെ ഉയർന്നതാണ്.

ഒന്നിലധികം റൗണ്ട് മോണോലോഗ്. ഒരു സംഭാഷണം ഇഴയുമ്പോൾ, ഓരോ പുതിയ റൗണ്ടും മുമ്പത്തെ എല്ലാ ചരിത്രത്തിനും മുകളിൽ നിർമ്മിക്കുന്നു. അവസാന റൗണ്ടിൻ്റെ അവസാനം നിങ്ങൾ കാഷെ ഫ്ലാഗ് ഇടുകയാണെങ്കിൽ, ഓരോ അഭ്യർത്ഥനയും മുമ്പത്തെ സംഭാഷണ പ്രിഫിക്‌സ് വീണ്ടും ഉപയോഗിക്കുന്നു; സംഭാഷണം വളരുന്നതിനനുസരിച്ച് ഹിറ്റുകൾ കുമിഞ്ഞുകൂടുന്നു. ദൈർഘ്യമേറിയ അസിസ്റ്റൻ്റ് സെഷനുകളുടെ വിലയിൽ ഇത് നാടകീയമായി നിയന്ത്രിക്കുന്നു.

പങ്കിട്ട പ്രിഫിക്സാണ് മാറ്റാനുള്ള അവസാന ബിറ്റ്. ഒന്നിലധികം അഭ്യർത്ഥനകൾ ഒരു വലിയ കൂട്ടം നിശ്ചിത മുൻഗാമികൾ (സാമ്പിൾ സെറ്റ്, നിർദ്ദേശങ്ങൾ) പങ്കിടുന്നു, പക്ഷേ അവസാനം ഒരൊറ്റ ചോദ്യം കൊണ്ട് വേർതിരിച്ചിരിക്കുന്നു. പങ്കിട്ട ഭാഗത്തിൻ്റെ അവസാനം നിങ്ങൾ കാഷെ പോയിൻ്റർ ഇടുക; അല്ലെങ്കിൽ, ഓരോ അഭ്യർത്ഥനയും അതിൻ്റേതായ പ്രത്യേക കാഷെ എഴുതും, അവയൊന്നും വായിക്കില്ല.

ഒരു മുന്നറിയിപ്പ്: കാഷെ മോഡലിനെയും ഒരു നിശ്ചിത മിനിമം വലുപ്പത്തെയും ആശ്രയിച്ചിരിക്കുന്നു. വളരെ ചെറിയ പ്രിഫിക്സുകൾ (മോഡലിനെ ആശ്രയിച്ച് ഏതാനും ആയിരം ടോക്കണുകൾക്ക് താഴെ) നിങ്ങൾ ഫ്ലാഗ് ചെയ്താലും കാഷെയിൽ നിശബ്ദമായി പ്രവേശിക്കില്ല - cache_creation_input_tokens പൂജ്യമായി തുടരും. കൂടാതെ, മോഡൽ മധ്യ സംഭാഷണം മാറ്റുന്നത് മുഴുവൻ കാഷെയും അസാധുവാക്കുന്നു; മറ്റൊരു ജോലിക്ക് വിലകുറഞ്ഞ മോഡൽ ആവശ്യമാണെങ്കിൽ, ഒരു മോഡലിൽ പ്രധാന ഒഴുക്ക് നിലനിർത്തുകയും സൈഡ് ജോബ് ഒരു പ്രത്യേക കോളിൽ ഇടുകയും ചെയ്യുക.

ചുരുക്കത്തിൽ

പ്രോംപ്റ്റ് കാഷിംഗ് ഒരു പ്രിഫിക്സ് പൊരുത്തം ആണ്: സ്ഥിരമായ ഉള്ളടക്കം തുടക്കത്തിൽ ആയിരിക്കണം, വേരിയബിൾ ഉള്ളടക്കം അവസാനം ആയിരിക്കണം. ഒരു വലിയ, വീണ്ടും ഉപയോഗിച്ച സന്ദർഭത്തിന്, റീഡ് കോസ്റ്റ് പൂർണ്ണ വിലയുടെ പത്തിലൊന്ന് ആണ്, ഏകദേശം രണ്ട് അഭ്യർത്ഥനകൾ പോലും. സിസ്റ്റം പ്രോംപ്റ്റിൽ വേരിയബിൾ ഡാറ്റ ഉൾപ്പെടുത്തി പ്രിഫിക്‌സ് കേടാക്കുന്നതാണ് ഏറ്റവും സാധാരണമായ തെറ്റ്; ഉപയോഗ ഫീൽഡിൽ ഹിറ്റ് അളക്കുന്നതിലൂടെ നിങ്ങൾ അത് പരിശോധിച്ചുറപ്പിക്കുന്നു.

ആപ്ലിക്കേഷൻ ടാസ്ക്

ഒരു ജോലിഭാരം തിരഞ്ഞെടുക്കുക. (1) ഉള്ളടക്കത്തെ രണ്ട് നിരകളായി വിഭജിക്കുക: "ഒരിക്കലും മാറ്റില്ല", "എല്ലാ അഭ്യർത്ഥനകളിലും മാറ്റങ്ങൾ". (2) പ്രോംപ്റ്റ് ഘടന വീണ്ടും വരയ്ക്കുക, സ്ഥിരമായ ഭാഗം തുടക്കത്തിലും വേരിയബിൾ ഭാഗം അവസാനത്തിലും ഇടുക. (3) നിശ്ചിത ഭാഗത്തിൻ്റെ ടോക്കൺ വലുപ്പം കണക്കാക്കുകയും കാഷെ കൂടാതെ/അല്ലാതെ പ്രതിമാസ ചെലവ് താരതമ്യം ചെയ്യുകയും ചെയ്യുക. (4) ഏത് ഫീൽഡിൽ നിന്നാണ് (cache_read_input_tokens) നിങ്ങൾ ഹിറ്റ് പരിശോധിച്ചതെന്ന് ശ്രദ്ധിക്കുക.

ചെക്ക്ലിസ്റ്റ്

• [ ] കാഷെ പ്രിഫിക്‌സ് പൊരുത്തപ്പെടുത്തലാണെന്നും മാറ്റമില്ലാത്ത ഏക നിയമമാണെന്നും എനിക്ക് വിശദീകരിക്കാൻ കഴിയും.
• [ ] സ്ഥിരമായ ഉള്ളടക്കം തുടക്കത്തിലും വേരിയബിൾ അവസാനത്തിലും ഇട്ടുകൊണ്ട് എനിക്ക് കൃത്യത വർദ്ധിപ്പിക്കാൻ കഴിയും.
• [ ] സാമ്പത്തിക ശാസ്ത്രവും രണ്ട് അഭ്യർത്ഥന ബ്രേക്ക്-ഇവൻ പോയിൻ്റും എഴുതാനും വായിക്കാനും എനിക്കറിയാം.
• [ ] എനിക്ക് നിശബ്ദ തടസ്സങ്ങൾ തിരിച്ചറിയാൻ കഴിയും (തീയതി, ഓർഡർ ചെയ്യാത്ത JSON, മാറുന്ന വാഹന പട്ടിക).
• [ ] എനിക്ക് usage.cache_read_input_tokens ഉപയോഗിച്ച് ഹിറ്റ് പരിശോധിക്കാൻ കഴിയും.