செலவு மேம்படுத்தல்: உடனடி கேச்சிங்

ஆதாயங்கள்:

• ப்ராம்ட் கேச்சிங்கின் முன்னொட்டு பொருத்த தர்க்கத்தை விளக்குங்கள்
• நிலையான சூழலை முதலில் வைப்பதன் மூலம் கேச் ஹிட்டை அதிகரிக்கிறது மற்றும் பிறகு மாறி சூழலை வைக்கிறது
• கேச் ரைட்/ரீட் எகனாமிக்ஸ் மற்றும் பிரேக்-ஈவன் பாயிண்ட் ஆகியவற்றை கணக்கிட முடியும்

ஒரு LLM தயாரிப்பு முன்மாதிரியில் மலிவானதாகத் தெரிகிறது; நீங்கள் அளவுகோலுக்குச் செல்லும்போது, ​​மசோதா ஆச்சரியமாக இருக்கிறது. பெரும்பாலான பணிச்சுமைகளில், ஒவ்வொரு கோரிக்கையிலும் மீண்டும் மீண்டும் அனுப்பப்படும் ஒரே நிலையான சூழலில் இருந்து பெரும்பாலான பில் வருகிறது: ஒரு நீண்ட சிஸ்டம் ப்ராம்ட், ஒரு ரூல்புக், குறிப்பு ஆவணம். உடனடி கேச்சிங் இந்த கழிவுகளை சரியாக நீக்குகிறது. இந்த யூனிட்டில், கேச் எப்படி வேலை செய்கிறது, ப்ராம்ட் அடிக்க எப்படி ஏற்பாடு செய்வது மற்றும் கேச் எகானமியின் பிரேக்-ஈவன் பாயிண்ட்டை எவ்வாறு கணக்கிடுவது என்பதை நீங்கள் கற்றுக் கொள்வீர்கள். சரியாக நிறுவப்பட்டால், அது மட்டுமே உங்கள் கட்டணத்தை பாதியாகவோ அல்லது குறைவாகவோ குறைக்கும்.

கேச் எப்படி வேலை செய்கிறது? ஒரு மாறாத விதி

உடனடி கேச்சிங் என்பது முன்னொட்டு பொருத்தம். வழங்குநர் உங்கள் அறிவுறுத்தலின் தொடக்கத்திலிருந்து செயலாக்கிய டோக்கன்களை தற்காலிகமாகச் சேமித்து வைக்கிறார். அடுத்த கோரிக்கையில் அதே முன்னொட்டுடன் ப்ராம்ட் தொடங்கினால், இந்த பொதுவான பகுதி மீண்டும் கணக்கிடப்படாது; தற்காலிக சேமிப்பை விட வாசிப்பது மிகவும் மலிவானது.

இதிலிருந்து ஒரு மாறாத விதி பின்பற்றப்படுகிறது: முன்னொட்டில் ஒரு பைட் எங்கும் மாறினால், அந்த புள்ளியில் இருந்து முழு கேச் செல்லுபடியாகாது. அதாவது, நிலையான உள்ளடக்கம் ஆரம்பத்தில் இருக்க வேண்டும் மற்றும் மாறி உள்ளடக்கம் இறுதியில் இருக்க வேண்டும். "இன்றைய தேதி: 18.07.2026" போன்ற ஒவ்வொரு கோரிக்கையின் போதும் மாறும் ஒரு வரியை சிஸ்டம் ப்ராம்ட்டின் தொடக்கத்தில் வைத்தால், அதன் பின்னால் உள்ள அனைத்தும் தற்காலிக சேமிப்பில் நுழைய முடியாது.

செயலாக்க வரிசை வழக்கமாக இருக்கும்: கருவிகள் → சிஸ்டம் ப்ராம்ட் → செய்திகள். நிலையான பிரிவின் முடிவில் கேச் பாயிண்ட் (பிரேக் பாயிண்ட்) வைக்கிறீர்கள்.

கேச் பொருளாதாரம்

கேச் மூன்று விலை அடுக்குகளைக் கொண்டுள்ளது:

• கேச் ரைட்: முதல் முறையாக சேமிக்கிறது. ~1.25x சாதாரண உள்ளீட்டு விலை (5 நிமிட சேமிப்பிற்கு).
• கேச் ரீட்: அடுத்தடுத்த கோரிக்கைகளைப் படித்தல். சாதாரண உள்ளீட்டு விலையை விட ~0.1 மடங்கு - அதாவது பத்தில் ஒரு பங்கு.
• இயல்பான உள்ளீடு: தற்காலிக சேமிப்பில் நுழையாத மற்றும் ஒவ்வொரு முறையும் முழு செலவில் செயலாக்கப்படும் பகுதி.

பிரேக்-ஈவன் புள்ளி: முதல் கோரிக்கை எழுதும் பிரீமியம் (1.25×) செலுத்துகிறது. இரண்டாவது கோரிக்கையிலிருந்து, வாசிப்பு (0.1×) செயல்பாட்டுக்கு வருகிறது. தோராயமாக, நீங்கள் இரண்டு கோரிக்கைகளில் கழுத்து மற்றும் கழுத்து இருக்க வேண்டும்; அதன் பிறகு, நிகர சேமிப்பு. பெரிய நிலையான சூழல் மற்றும் அதிக கோரிக்கைகள் மீண்டும் பயன்படுத்தப்படும், பெரிய ஆதாயம் ஆகிறது.

காட்சி

தற்காலிக சேமிப்பு வேலை செய்கிறதா?

பெரிய நிலையான அமைப்பு வரியில், ஆயிரக்கணக்கான கோரிக்கைகள்

ஆம் - அதிக வருவாய்

ஒரே குறிப்பு ஆவணத்தில் பல கேள்விகள்

ஆம்

ஒவ்வொரு கோரிக்கைக்கும் முற்றிலும் வேறுபட்ட குறுகிய உரை

இல்லை - எழுதும் போனஸ் வீணானது

ஒரு முறை கோரிக்கை

இல்லை — படிக்கவே இல்லை

கணினி வரியில் ஒவ்வொரு கோரிக்கையிலும் தேதி/ஐடி மாறும்

இல்லை — முன்னொட்டு உடைந்தது, வெற்றி பூஜ்யம்

படிப்படியாக: ஹிட் ப்ராம்ட் அமைப்பது எப்படி?

1. நிலையான மற்றும் மாறியை பிரிக்கவும். எந்த உள்ளடக்கம் ஒருபோதும் மாறாது (சிஸ்டம் ப்ராம்ப்ட், ரூல்புக், ஆவணங்கள்)? ஒவ்வொரு கோரிக்கையிலும் (பயனர் கேள்வி, தேதி, ஐடி) என்ன மாற்றங்கள்?
2. தொடக்கத்தில் மாறிலியை வைக்கவும். செயலாக்கத்தின் போது, ​​முதலில் வரும் பகுதி (கருவிகள், அமைப்பு) நிலையானதாக இருக்க வேண்டும்.
3. மாறியை இறுதியில் வைக்கவும். பயனரின் தற்போதைய கேள்வி, கடைசி.
4. எல்லையின் முடிவில் அடையாளத்தை வைக்கவும். நிலையான பகுதியின் கடைசி தொகுதியில் கேச் புள்ளியை வைக்கவும்.
5. வெற்றியை சரிபார்க்கவும். பதிலில் உள்ள பயன்பாட்டு புலத்தில் கேச்_ரீட்_இன்புட்_டோக்கன்கள் பூஜ்ஜியத்தை விட அதிகமாக உள்ளதா என சரிபார்க்கவும். பூஜ்ஜியம் என்றால், முன்னொட்டில் ஒரு மறைக்கப்பட்ட இடையூறு உள்ளது.

{ "system": [ { "type": "text", "text": "{{large_constant_system_promptu_and_rules}}", "cache_control": { "type": "ephemeral" } } ], "messages": [ { "role": "user_}, "{quesertion}_" ]}

உதவிக்குறிப்பு: கேச் ஹிட்களை யூகிக்க வேண்டாம், அவற்றை அளவிடவும். Use.cache_read_input_tokens இன்னும் தொடர்ச்சியான கோரிக்கைகளில் பூஜ்ஜியமாக இருந்தால், ஒரு சைலண்ட் பிரேக்கர் (datetime.now() சிஸ்டம் ப்ராம்ட், ஆர்டர் செய்யப்படாத JSON, ஒவ்வொரு கோரிக்கையிலும் மாறும் கருவிகளின் பட்டியல்) இயங்கும். இரண்டு கோரிக்கைகளின் மூல வரியை பைட் மூலம் ஒப்பிட்டு வித்தியாசத்தைக் கண்டறியவும்.

சைலண்ட் டிரப்டர்ஸ்

அறியாமல் தற்காலிக சேமிப்பை சிதைக்கும் வழக்கமான வடிவங்கள்:

# BREAKER: "இன்றைய தேதி: {{இப்போது}}. கேள்வி: ..."}] ← இறுதியில் மாறி

மற்ற பிரேக்கர்கள்: JSON ஒவ்வொரு கோரிக்கையிலும் வித்தியாசமாக வரிசைப்படுத்தப்பட்டது (விசைகளை நிலையான வரிசையில் வைத்திருங்கள்), பயனரால் மாறுபடும் கருவிகளின் பட்டியல் (கருவிகள் முதலில் செயலாக்கப்படும்; அவை மாறினால் எதுவும் தற்காலிக சேமிப்பிற்குள் செல்லாது), உரையாடலின் நடுவில் மாதிரியை மாற்றுதல் (கேச்கள் மாதிரி குறிப்பிட்டவை).

பலவீனமான வரியில் / வலுவான வரியில் (கேச் நட்பு அமைப்பு)

# பலவீனமான (கேச் பஸ்டிங் பில்ட்) அமைப்பு: "தேதி: 18.07.2026 14:32. பயனர்: அஹ்மெட் (ஐடி 8842). நீங்கள் ஒரு சப்போர்ட் பாட். விதிகள்: ...(2000 டோக்கன்கள்)..."

# STRONG (கேச்-நட்பு அமைப்பு) அமைப்பு: "நீங்கள் ஒரு ஆதரவு பாட். விதிகள்: ...(2000 டோக்கன்கள், ஒருபோதும் மாறாது)..." [கேச் அடையாளம்]செய்திகள்: [ {பாத்திரம்: பயனர், உள்ளடக்கம்: "தேதி: 18.07.2026 14:32. பயனர் ஐடி: 8842. கேள்வி: நான் எவ்வாறு திரும்பப் பெறுவது?" }]

பலவீனமான பதிப்பில், 2000 டோக்கன்களின் விதி தொகுதி ஒவ்வொரு கோரிக்கையிலும் முழு செலவில் செயல்படுத்தப்படுகிறது. வலுவான பதிப்பில், அதே தொகுதி ஒரு முறை எழுதப்பட்டு, விலையில் பத்தில் ஒரு பங்கிற்கான அனைத்து அடுத்தடுத்த கோரிக்கைகளிலும் படிக்கப்படுகிறது.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - விதிப்புத்தகத்தை கேச் செய்தல். ஒரு கணக்கியல் ஆட்டோமேஷன் ஒவ்வொரு விலைப்பட்டியலிலும் 12,000 டோக்கன் விதிப்புத்தகத்தைச் சேர்த்தது; ஒரு நாளைக்கு 5,000 கோரிக்கைகள். Cacheless உள்ளீடு ஒரு நாளைக்கு ~$180 செலவாகும். அவர்கள் விதிப்புத்தகத்தை நிலையானதாக வைத்து, அதை தற்காலிக சேமிப்பில் வைத்தனர்: முதல் கோரிக்கைகள் எழுதும் பிரீமியத்தை செலுத்தியது, பின்னர் 0.1× படிக்கப்பட்டது. உள்ளீடு செலவு ஒரு நாளைக்கு ~90% ~$18 ஆக குறைந்தது.

வழக்கு 2 - மறைக்கப்பட்ட தேதிக் கோட்டின் விலை. ஒரு குழு தற்காலிக சேமிப்பை அமைத்தது ஆனால் வெற்றி பெறவில்லை; cache_read_input_tokens எப்போதும் பூஜ்ஜியமாகவே இருக்கும். காரணம்: கணினி வரியில் முதல் வரியில் datetime.now() இருந்தது, ஒவ்வொரு கோரிக்கையிலும் முன்னொட்டு மாறுகிறது. பயனர் செய்திக்கு தேதியை நகர்த்தியபோது, ​​வெற்றி விகிதம் திடீரென 0% இலிருந்து 94% ஆக அதிகரித்தது.

வழக்கு 3 - தவறான கேச். ஒரு தேடல் பயன்பாடு ஒவ்வொரு கோரிக்கையிலும் முற்றிலும் வேறுபட்ட குறுகிய வினவல்களை அனுப்புகிறது; அவர்கள் ஆர்வத்துடன் கேச் அடையாளத்தைச் சேர்த்தனர். பொதுவான முன்னொட்டு இல்லாமல், ஒவ்வொரு கோரிக்கையும் எழுதும் பிரீமியத்தை மட்டுமே செலுத்தியது, வாசிப்புகள் இல்லை - செலவு அதிகரிக்கிறது. அடையாளத்தை அகற்றினார்கள். பாடம்: மீண்டும் பயன்படுத்தப்படும் பெரிய மற்றும் நிலையான முன்னொட்டு இருந்தால் மட்டுமே தற்காலிக சேமிப்பு செலுத்தப்படும்.

பொதுவான தவறுகள்

• மாறிலி மற்றும் மாறியை கலத்தல்: மாறி உள்ளடக்கம் முன்னொட்டில் இருக்கும் போது, வெற்றி மீட்டமைக்கப்படும்.
• சிஸ்டம் ப்ராம்ட்டில் தேதி/ஐடியை உட்பொதித்தல்: மிகவும் பொதுவான சைலண்ட் டிஸ்ரப்டர்.
• வெற்றியை அளவிடவில்லை: கேச்_ரீட்_இன்புட்_டோக்கன்கள் சரிபார்க்கப்படாவிட்டால், கழிவுகள் கவனிக்கப்படாது.
• பொது முன்னொட்டு இல்லாதபோது தற்காலிக சேமிப்பைச் சேர்த்தல்: நீங்கள் எழுதும் பிரீமியத்தை மட்டுமே செலுத்துகிறீர்கள், செலவு அதிகரிக்கிறது.
• வாகனப் பட்டியல் அல்லது மாதிரியை மாற்றுதல்: முன்னொட்டு ஆரம்பத்திலிருந்தே உடைந்துவிட்டது; எல்லாம் மீண்டும் எழுதப்பட்டது.
• குறைந்தபட்ச தற்காலிக சேமிப்பின் அளவை மறந்துவிடுதல்: மிகக் குறுகிய தற்காலிக சேமிப்புகள் (மாடலைப் பொறுத்து ~1–4k டோக்கன்களுக்கு கீழ்) தற்காலிக சேமிப்பில் அமைதியாக நுழையாது.

ஆழமான: பணிச்சுமை வகை மூலம் கேச் வடிவமைத்தல்

உங்கள் பணிச்சுமையின் தன்மையைப் பொறுத்து கேச்சிங்கின் உண்மையான ஊதியம் மாறுபடும்; எனவே முதலில் உங்கள் போக்குவரத்தை அறிந்து கொள்ளுங்கள். மூன்று பொதுவான வடிவங்கள் மற்றும் சரியான நிறுவல்:

பொதுவான சிஸ்டம் ப்ராம்ட், வெவ்வேறு கேள்விகள். மிகவும் பொதுவான நிறுவன முறை: நூற்றுக்கணக்கான வெவ்வேறு பயனர் கேள்விகளைக் கொண்ட ஒரு பெரிய கணினி வரியில் (பாத்திரம், விதிகள், ஒருவேளை குறிப்பு ஆவணம்). இங்கே நிலையான பகுதி (அமைப்பு) ஆரம்பத்தில் தற்காலிகமாக சேமிக்கப்படுகிறது; ஒவ்வொரு புதிய கேள்வியும் அதன் சொந்த சிறிய பகுதிக்கு மட்டுமே முழு விலை கொடுக்கிறது. பெரிய பகுதியை விலையில் பத்தில் ஒரு பங்கிற்கு மீண்டும் மீண்டும் ஓதுவதால் ஆதாயம் மிக அதிகம்.

பல சுற்று மோனோலாக். உரையாடல் இழுத்துச் செல்லும்போது, ​​​​ஒவ்வொரு புதிய சுற்றும் முந்தைய வரலாற்றின் மேல் கட்டமைக்கப்படுகிறது. கடைசிச் சுற்றின் முடிவில் கேச் கொடியை வைத்தால், ஒவ்வொரு கோரிக்கையும் முந்தைய உரையாடல் முன்னொட்டை மீண்டும் பயன்படுத்தும்; உரையாடல் வளரும்போது வெற்றிகள் குவிகின்றன. இது வியத்தகு முறையில் நீண்ட உதவியாளர் அமர்வுகளின் செலவை கட்டுப்படுத்துகிறது.

பகிரப்பட்ட முன்னொட்டு மாற்றுவதற்கான கடைசி பிட் ஆகும். பல கோரிக்கைகள் நிலையான முன்னோடிகளின் பெரிய தொகுப்பைப் பகிர்ந்து கொள்கின்றன (மாதிரி தொகுப்பு, வழிமுறைகள்) ஆனால் இறுதியில் ஒரு கேள்வியால் பிரிக்கப்படுகின்றன. பகிர்ந்த பகுதியின் முடிவில் கேச் பாயிண்டரை வைத்துள்ளீர்கள்; இல்லையெனில், ஒவ்வொரு கோரிக்கையும் அதன் சொந்த தற்காலிக சேமிப்பை எழுதும் மற்றும் அது எதுவும் படிக்கப்படாது.

ஒரு எச்சரிக்கை: கேச் மாதிரி மற்றும் ஒரு குறிப்பிட்ட குறைந்தபட்ச அளவைப் பொறுத்தது. மிகச் சிறிய முன்னொட்டுகள் (மாடலைப் பொறுத்து சில ஆயிரம் டோக்கன்களுக்குக் கீழ்) நீங்கள் அவற்றைக் கொடியிட்டாலும், தற்காலிக சேமிப்பில் அமைதியாக நுழையாது - cache_creation_input_tokens பூஜ்ஜியமாகவே இருக்கும். மேலும், மாதிரியின் இடைநிலை உரையாடலை மாற்றுவது முழு தற்காலிக சேமிப்பையும் செல்லாததாக்குகிறது; வேறொரு பணிக்கு மலிவான மாதிரி தேவைப்பட்டால், ஒரு மாதிரியில் முக்கிய ஓட்டத்தை வைத்து, பக்க வேலையை ஒரு தனி அழைப்பில் வைக்கவும்.

சுருக்கமாக

ப்ராம்ட் கேச்சிங் என்பது முன்னொட்டு பொருத்தம்: நிலையான உள்ளடக்கம் ஆரம்பத்தில் இருக்க வேண்டும், மாறி உள்ளடக்கம் இறுதியில் இருக்க வேண்டும். ஒரு பெரிய, மீண்டும் பயன்படுத்தப்பட்ட சூழலுக்கு, வாசிப்புச் செலவு முழு விலையில் பத்தில் ஒரு பங்காகும், தோராயமாக இரண்டு கோரிக்கைகளில் கூட உடைகிறது. கணினி வரியில் மாறி தரவை உட்பொதிப்பதன் மூலம் முன்னொட்டை சிதைப்பது மிகவும் பொதுவான தவறு; பயன்பாட்டு புலத்தில் அதை அளவிடுவதன் மூலம் வெற்றியை நீங்கள் சரிபார்க்கிறீர்கள்.

விண்ணப்ப பணி

பணிச்சுமையை தேர்வு செய்யவும். (1) உள்ளடக்கத்தை இரண்டு நெடுவரிசைகளாகப் பிரிக்கவும்: "எப்போதும் மாறாது" மற்றும் "ஒவ்வொரு கோரிக்கையிலும் மாறாது". (2) ப்ராம்ட் கட்டமைப்பை மீண்டும் வரையவும், நிலையான பகுதியை தொடக்கத்திலும் மாறி பகுதியை இறுதியில் வைக்கவும். (3) நிலையான பகுதியின் டோக்கன் அளவை மதிப்பிடவும் மற்றும் தற்காலிகச் சேமிப்புடன்/இல்லாத மாதச் செலவை ஒப்பிடவும். (4) எந்தப் புலத்திலிருந்து (cache_read_input_tokens) வெற்றியை நீங்கள் சரிபார்க்க வேண்டும் என்பதைக் கவனியுங்கள்.

சரிபார்ப்பு பட்டியல்

• [ ] கேச் என்பது முன்னொட்டு பொருத்தம் மற்றும் ஒரே மாறாத விதி என்பதை என்னால் விளக்க முடியும்.
• [ ] தொடக்கத்தில் நிலையான உள்ளடக்கத்தையும் இறுதியில் மாறியையும் வைப்பதன் மூலம் துல்லியத்தை அதிகரிக்க முடியும்.
• [ ] பொருளாதாரம் மற்றும் இரண்டு கோரிக்கை இடைவேளை புள்ளி எழுத/படிக்க எனக்கு தெரியும்.
• [ ] அமைதியான இடையூறுகளை என்னால் அடையாளம் காண முடியும் (தேதி, வரிசைப்படுத்தப்படாத JSON, வாகனப் பட்டியலை மாற்றுதல்).
• [ ] நான் யூஸ்