டோக்கன் மற்றும் விலை தர்க்கம்

ஆதாயங்கள்:

• டோக்கன், உள்ளீடு/வெளியீடு டோக்கன் வேறுபாடு மற்றும் டோக்கனைசேஷன் ஆகியவற்றின் கருத்தை விளக்கவும்.
• டோக்கன்களின் எண்ணிக்கை மற்றும் யூனிட் விலையில் இருந்து ஒரு கோரிக்கைக்கான செலவு மற்றும் மாதாந்திர பணிச்சுமையை கணக்கிட முடியும்
• மாதிரித் தேர்வின் தாக்கத்தையும், செலவில் உடனடி நீளத்தையும் ஒப்பிடலாம்

எல்எல்எம் ஏபிஐகளின் பொருளாதாரத்தைப் புரிந்து கொள்ளாமல் உங்களால் அளவில் தீர்வை உருவாக்க முடியாது. ஒரு டெமோ ஒரு முறை இயங்கும்; முக்கிய விஷயம் என்னவென்றால், மாதத்திற்கு ஆயிரக்கணக்கான அழைப்புகள் செய்யப்படும்போது பில் என்னவாக இருக்கும் என்று கணிக்க முடியும். இந்த யூனிட்டில் நாம் விஷயங்களின் பணப் பக்கத்தை அமைக்கிறோம்: டோக்கன் என்றால் என்ன, உள்ளீடு மற்றும் வெளியீடு ஏன் வித்தியாசமாக விலை நிர்ணயம் செய்யப்படுகின்றன, கோரிக்கையின் விலையை எவ்வாறு கணக்கிடுவது மற்றும் மாதாந்திர பணிச்சுமையை எவ்வாறு பட்ஜெட் செய்வது. இந்தத் தகவல், அடுத்தடுத்த அலகுகளில், தேர்வுமுறை நுட்பங்களின் (கேச்சிங், மாடல் தேர்வு, தொகுதி) வருவாயை அளவிட உங்களை அனுமதிக்கிறது.

டோக்கன் என்றால் என்ன?

டோக்கன் என்பது மாதிரியானது உரையைச் செயலாக்கும் மிகச்சிறிய அலகு ஆகும். ஒரு சொல் எப்போதும் ஒரு டோக்கன் அல்ல; டோக்கன் பொதுவாக ஒரு வார்த்தையின் ஒரு பகுதியாகும். ஆங்கிலத்தில், 1 டோக்கன் என்பது ≈ 4 எழுத்துகள் ≈ 0.75 வார்த்தைகள். துருக்கிய மற்றும் குறியீட்டில், விகிதம் மாறுபடும்: துருக்கிய சொற்கள் அதன் பின்னொட்டு அமைப்பு மற்றும் எழுத்துக்களின் காரணமாக ஆங்கிலத்தை விட அதிகமான டோக்கன்களாக பிரிக்கப்படுகின்றன. எனவே, டோக்கன்களின் எண்ணிக்கையை கண்ணால் யூகிக்காமல் வழங்குநரின் டோக்கன் எண்ணும் கருவியைக் கொண்டு அளவிடுவது அவசியம்.

டோக்கனைசேஷன் (உரையை டோக்கன்களாகப் பிரிக்கும் செயல்முறை) ஒவ்வொரு மாதிரிக்கும் வித்தியாசமாக இருக்கலாம். இது இரண்டு நடைமுறை விளைவுகளைக் கொண்டுள்ளது: (1) ஒரே உரை வெவ்வேறு மாதிரிகளில் வெவ்வேறு எண்ணிக்கையிலான டோக்கன்களை வழங்கலாம்; (2) பிற வழங்குநர்களிடமிருந்து (எ.கா. OpenAI இன் டிக்டோக்கன் லைப்ரரி) டோக்கனைசர்கள் மூலம் செய்யப்படும் கணிப்புகள் Claude க்கு தவறாக இருக்கும் - நீங்கள் பயன்படுத்தும் மாதிரிக்கு டோக்கன் எண்ணும் முனையைப் பயன்படுத்தவும்.

குறிப்பு: "எத்தனை டோக்கன்கள் பற்றி?" என்ற கேள்விக்கு கண்மூடித்தனமாக பதில் சொல்லாதீர்கள். டோக்கன் எண்ணும் API மூலம் பிரதிநிதி உரையை அனுப்பவும்; அளவீட்டின் அடிப்படை பட்ஜெட் முடிவுகள்.

உள்ளீடு மற்றும் வெளியீடு டோக்கன்கள்

விலைப்பட்டியல் இரண்டு பொருட்களைக் கொண்டுள்ளது:

• உள்ளீட்டு டோக்கன்கள்: நீங்கள் மாதிரிக்கு அனுப்பும் எதையும் — கணினி வரியில், கடந்த சுற்றுப்பயணங்கள், பயனர் செய்தி, ஆவணங்கள் ஏதேனும் இருந்தால். இவை அனைத்தும் ஒரே நேரத்தில் செயலாக்கப்படும்.
• வெளியீட்டு டோக்கன்கள்: மாதிரியால் உருவாக்கப்பட்ட பதில். ஒவ்வொரு வெளியீட்டு டோக்கனுக்கும், மாதிரியானது படிப்படியாக கணக்கீடுகளை செய்கிறது.

பெரும்பாலான வழங்குநர்களுடன், வெளியீடு உள்ளீட்டை விட பல மடங்கு விலை அதிகம். காரணம் எளிதானது: வெளியீட்டு டோக்கன் மூலம் டோக்கனை உருவாக்குவதை விட உள்ளீட்டை ஒரே நேரத்தில் படிப்பது மலிவானது. இந்த சமச்சீரற்ற தன்மையை அறிந்துகொள்வது ஏன் "சுருக்கமான பதில்கள் தேவை" போன்ற மேம்படுத்தல்கள் மிகவும் பயனுள்ளதாக இருக்கும் என்பதை விளக்குகிறது.

மாதிரி விலைகள் (ஒரு மில்லியன் டோக்கன்களுக்கு, USD)

கீழே உள்ள அட்டவணை ஒரு குறிப்பு; காலப்போக்கில் விலைகள் மாறலாம், உங்கள் சொந்த வழங்குநரின் தற்போதைய பட்டியலை உறுதிப்படுத்தவும்.

மாதிரி வகுப்பு

மாதிரி மாதிரி

உள்ளீடு ($/1M)

வெளியீடு ($/1M)

வழக்கமான பயன்பாடு

வேகமான/மலிவான

ஹைக்கூ 4.5

1.00

5.00

வகைப்பாடு, லேபிளிங், எளிய சுருக்கம்

சமச்சீர்

சொனட் 5

3.00

15.00

பொது நோக்கம், குறியீட்டு முறை, முகவர் வேலை

வலுவான

ஓபஸ் 4.8

5.00

25.00

சிக்கலான பகுத்தறிவு, நீண்ட தூர பணிகள்

ஒவ்வொரு வகுப்பிலும், வெளியீடு 5 மடங்கு உள்ளீடு ஆகும்; மேலும், சக்திவாய்ந்த மாடலின் உள்ளீடு கூட மலிவான மாடலின் உள்ளீடு 5 மடங்கு ஆகும். இந்த இரண்டு அச்சுகளும் (உள்ளீடு↔ வெளியீடு மற்றும் மாதிரி வகுப்பு) உங்கள் செலவு முடிவுகளின் கட்டமைப்பை உருவாக்குகின்றன.

செலவைக் கணக்கிடுவது எப்படி?

சூத்திரம் எளிது:

செலவு = (input_token / 1,000,000) × input_price + (output_token / 1,000,000) × output_price

மாதிரி கணக்கு. Sonnet 5 உடன் ஒரு கோரிக்கை: 1,500 உள்ளீட்டு டோக்கன்கள், 400 வெளியீடு டோக்கன்கள்.

உள்ளீடு = 1,500 / 1,000,000 × 3.00 = $0.0045 வெளியீடு = 400 / 1,000,000 × 15.00 = $0.0060 மொத்தம் = $0.0105 (சுமார் 1 சதவீதம்)

ஒரு அழைப்பு மலிவானது. ஆனால் தொகுதி மூலம் பெருக்கவும்: ஒரு நாளைக்கு 20,000 அழைப்புகள் → ஒரு நாளைக்கு $210, மாதத்திற்கு $6,300. இங்குதான் அளவுகோல் வருகிறது.

மாதாந்திர பட்ஜெட் டெம்ப்ளேட்

பணிச்சுமையின் மாதாந்திர செலவைப் பிரித்தெடுக்க, இந்த டெம்ப்ளேட்டைப் பயன்படுத்தவும்:

1) ஒரு கோரிக்கைக்கான சராசரி உள்ளீட்டு டோக்கன்: ......2) ஒரு கோரிக்கைக்கான சராசரி வெளியீட்டு டோக்கன்: ......3) ஒரு நாளைக்கு கோரிக்கைகளின் எண்ணிக்கை: ......4) மாதத்திற்கு வேலை செய்த நாட்கள்: ......5) ஒரு கோரிக்கைக்கான செலவு = (1)/1M×உள்ளீடு_விலை + (2)/1M× வெளியீடு_விலை6) மாதாந்திர செலவு = (3) × (3) ×

இந்த வடிவத்தை விரிதாளில் ஊற்றி, நீங்கள் மாதிரியை மாற்றும்போது தொகை எவ்வாறு இயங்குகிறது என்பதைப் பார்ப்பது மாதிரித் தேர்வு (அலகு 5) மற்றும் கேச் (அலகு 6) முடிவுகளை உள்ளடக்கியது.

நகலெடுக்கக்கூடிய டெம்ப்ளேட்களுடன் ப்ராம்ட்டை சுருக்கவும்

பெரும்பாலான செலவுகள் தேவையற்ற நீண்ட தூண்டுதல்கள் மற்றும் வீணான வெளியீடு ஆகியவற்றிலிருந்து வருகிறது. கீழே உள்ள வார்ப்புருக்கள் நேரடி சேமிப்பை வழங்குகின்றன.

# வெளியீட்டு நீளத்தை வரம்பிடவும். அதிகபட்சம் 3 உருப்படிகளுடன் பதிலளிக்கவும். பகுத்தறிவு அல்லது அறிமுக வாக்கியத்தைச் சேர்க்கவும்.

# கோரப்பட்ட புலத்தை மட்டும் திருப்பி அனுப்பவும், பின்வரும் JSON ஐ மட்டும் திருப்பி அனுப்பவும், வேறு எந்த உரையையும் சேர்க்க வேண்டாம்:{"category": "...", "urgency": "low|medium|high"}

# தேவையற்ற சூழலை அகற்று பின்வரும் உரையிலிருந்து தேதி மற்றும் தொகையை மட்டும் அகற்றவும். முழு உரையையும் மீண்டும் செய்ய வேண்டாம். உரை: """{{text}}"""

# நீண்ட பேச்சை சுருக்கவும் (உள்ளீடு சேமிப்பு) இந்த உரையை 5 உருப்படிகளில் சுருக்கவும். முழு கடந்த காலத்திற்கு பதிலாக இந்த சுருக்கத்தை அடுத்தடுத்த சுற்றுகளில் பயன்படுத்துவேன். பேச்சு: """{{கடந்த காலம்}}"""

பலவீனமான ப்ராம்ட் / வலுவான ப்ராம்ட் (செலவின் அடிப்படையில்)

# பலவீனமான (வெளியீடு, விலை உயர்ந்தது) இந்த ஆதரவு கோரிக்கையை பகுப்பாய்வு செய்து, எனக்கு ஒரு விரிவான மதிப்பாய்வை எழுதுங்கள்.

# STRONG (வெளியீட்டைக் கட்டுப்படுத்துகிறது, மலிவானது மற்றும் கணிக்கக்கூடியது)இந்த ஆதரவு கோரிக்கையை வகைப்படுத்தவும். பின்வரும் JSON ஐ மட்டும் திருப்பி அனுப்பவும்:{"வகை":"விலைப்பட்டியல்|தொழில்நுட்பம்|திரும்பப்பெறுதல்|மற்றவை","அவசரம்":"குறைந்த|நடுத்தர|உயர்"}விளக்கத்தை எழுத வேண்டாம்.

பலவீனமான பதிப்பு 500 வெளியீட்டு டோக்கன்களை உருவாக்குகிறது; வலுவான பதிப்பு ~15. வெளியீடு விலை அதிகம் என்பதால், இது ஒரு அழைப்புக்கு குறிப்பிடத்தக்க வித்தியாசம் மற்றும் தொகுதியுடன் பெருகும்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - நீண்ட வரியில் மறைக்கப்பட்ட செலவு. கணக்கியல் ஆட்டோமேஷன் ஒவ்வொரு விலைப்பட்டியலையும் வரிசைப்படுத்தியதால், ஒவ்வொரு கோரிக்கைக்கும் உள்ளீடாக 40-பக்க “விதி புத்தகம்” சேர்க்கப்பட்டது: ஒரு கோரிக்கைக்கு ~12,000 உள்ளீட்டு டோக்கன்கள். Sonnet 5 உடன் 12,000/1M×3 = $0.036 இப்போது நுழைந்தது. ஒரு நாளைக்கு 5,000 பில்கள் → ஒரு நாளைக்கு $180. விதிப்புத்தகத்தை (அலகு 6) தேக்குவதன் மூலம் உள்ளீட்டு செலவு ~90% குறைந்துள்ளது.

வழக்கு 2 - மாதிரியைக் குறைப்பதன் பலன். ஒரு குழு ஓபஸ் 4.8: 300 உள்ளீடு + 10 அவுட்புட் டோக்கன்களுடன் எளிமையான "நேர்மறை/எதிர்மறை" உணர்வைக் குறியிடுகிறது. ஓபஸ் விலை 300/1M×5 + 10/1M×25 = $0.00175. ஹைக்கூவுக்கு மாறுவது, 300/1M×1 + 10/1M×5 = $0.00035 — 5x மலிவானது, துல்லியத்தில் உள்ள வேறுபாடு அளவிட முடியாதது. மாதத்திற்கு 3 மில்லியன் அழைப்புகளில், வித்தியாசம் $5,250 → $1,050.

வழக்கு 3 - வெளியீட்டை வெளியிடுதல். ஒரு சந்தைப்படுத்தல் குழு ஒரு தயாரிப்பு விளக்கத்தை உருவாக்கும் போது, ​​அது வெளியீட்டில் வரம்புகளை அமைக்கவில்லை; மாடல் சில நேரங்களில் 1,500 டோக்கன்களைக் கூறியது. "அதிகபட்சம் 60 வார்த்தைகள்" அறிவுறுத்தலைச் சேர்த்தபோது, ​​சராசரி வெளியீடு 900ல் இருந்து 90 டோக்கன்களாகக் குறைந்தது. அச்சிடுதல் விலை அதிகம் என்பதால், மாதாந்திர கட்டணம் மூன்றில் ஒரு பங்கு குறைக்கப்பட்டது, மேலும் நூல்கள் மிகவும் பயனுள்ளதாக இருந்தன.

பொதுவான தவறுகள்

• கண்ணால் டோக்கனை யூகித்தல்: நீங்கள் குறிப்பாக துருக்கிய மற்றும் குறியீட்டில் தவறாக இருக்கலாம். அளவிடவும்.
• உள்ளீடும் வெளியீடும் ஒரே மாதிரியானவை என்று வைத்துக்கொள்வோம்: வெளியீடு பொதுவாக மிகவும் விலை உயர்ந்தது; பெரும்பாலான தேர்வுமுறை வெளியீட்டைக் குறைப்பதில் இருந்து வருகிறது.
• ஒற்றை அழைப்பின் மலிவுத்தன்மையால் ஏமாற வேண்டாம்: முடிவு தொகுதி மூலம் எடுக்கப்படுகிறது. $0.01 × மில்லியன் = $10,000.
• மற்றொரு வழங்குநரின் டோக்கனைசர் மூலம் கணிப்பு: தவறான முடிவுகளை அளிக்கிறது; மாதிரியின் டோக்கன் எண்ணும் கருவியைப் பயன்படுத்தவும்.
• உரையாடல் வரலாற்றின் வரம்பற்ற விரிவாக்கம்: ஒவ்வொரு சுற்றும் உள்ளீட்டில் சேர்க்கப்படும்; நீண்ட உரையாடல்களில் சுருக்கவும்.
• `max_tokens` தேவையில்லாமல் அதிகமாக வைத்திருப்பது: பட்ஜெட் திட்டம் மற்றும் வெட்டப்படும் அபாயத்தை மறைக்கிறது; யதார்த்தமான மதிப்பைக் கொடுங்கள்.

ஆழமான: சூழல் சாளரம் மற்றும் நீண்ட உள்ளீடு செலவு

"உரையாடல் முழுவதும்" விலை எவ்வாறு குவிகிறது என்பதைப் பார்ப்பது மிகவும் முக்கியமானது மற்றும் "ஒரு கோரிக்கைக்கு" மட்டும் அல்ல. மாதிரி செயலாக்கக்கூடிய உரையின் மொத்த அளவு சூழல் சாளரம் என்று அழைக்கப்படுகிறது; உள்ளீடு மற்றும் வெளியீட்டின் கூட்டுத்தொகை இந்த சாளரத்தில் பொருந்த வேண்டும். நவீன மாடல்கள் மிகப் பெரிய சாளரங்களை வழங்குகின்றன (நூறாயிரக்கணக்கான, மில்லியன் கணக்கான டோக்கன்கள் கூட), ஆனால் நீங்கள் அதை "முடிவின்றி நிரப்பலாம்" என்று அர்த்தமல்ல - நீங்கள் சாளரத்தில் எதை வைத்தாலும் உள்ளீடு செய்யப்படும்.

நீண்ட உரையாடல்களில் உள்ள பொறி இதுதான்: ஒவ்வொரு புதிய சுற்றிலும் நீங்கள் முழு வரலாற்றையும் மீண்டும் அனுப்புகிறீர்கள் (அலகு 1 இல் நிலையின்மை). 20 சுற்று உரையாடலில், 20வது கோரிக்கையானது முதல் 19 சுற்றுகள் முழுவதையும் உள்ளீடாகக் கொண்டுள்ளது. இவ்வாறு, உரையாடல் நீண்டதாக ஆகும்போது, ​​ஒரு கோரிக்கைக்கான செலவு நேர்கோட்டில் இல்லாமல் ஒட்டுமொத்தமாக வளரும். ஏஜென்ட் உதவியாளருடன் 50-சுற்று உரையாடல் முதல் சுற்றில் பல மடங்கு உள்ளீடு செலவுகளை உருவாக்கலாம்.

இதை நிர்வகிக்க இரண்டு வழிகள் உள்ளன. முதலாவது ரீகேப்: பழைய சுற்றுகளை ஒரே ரீகேப் பிளாக்கில் சுருக்கி, கடைசி சில சுற்றுகளை மட்டும் பச்சையாக வைத்திருத்தல். இரண்டாவது ப்ராம்ட் கேச்சிங் (அலகு 6): நிலையான சூழலை முழு விலையில் மீண்டும் மீண்டும் செயலாக்குவதற்குப் பதிலாக விலையில் பத்தில் ஒரு பங்கிற்கு வாசிப்பது. ஒன்றாக, அவர்கள் நீண்ட, சூழல்-தீவிர பணிச்சுமைகளின் கட்டணத்தை கணிசமாகக் குறைக்கிறார்கள். எனவே டோக்கன் பொருளாதாரம் முழு அமர்வின் வடிவமைப்பைப் பற்றியது, ஒரு கோரிக்கை அல்ல.

சுருக்கமாக

டோக்கன் என்பது உரை செயலாக்கப்படும் மிகச்சிறிய அலகு; உள்ளீடு மற்றும் வெளியீடு தனித்தனியாக விலை நிர்ணயம் செய்யப்படுகின்றன, மேலும் வெளியீடு பெரும்பாலும் மிகவும் விலை உயர்ந்தது. செலவு என்பது யூனிட் விலையால் பெருக்கப்படும் டோக்கன்களின் எண்ணிக்கையாகும், மேலும் உண்மையான முடிவு தொகுதியால் எடுக்கப்படுகிறது. வரியைக் குறைத்தல், வெளியீட்டைக் கட்டுப்படுத்துதல் மற்றும் பணியை நிறைவேற்றும் இலகுவான மாதிரியைத் தேர்ந்தெடுப்பது ஆகியவை செலவை பல மடங்கு குறைக்கும் நேரடி நெம்புகோல்களாகும்.

விண்ணப்ப பணி

உங்கள் சொந்த பணியைத் தேர்ந்தெடுக்கவும். (1) பிரதிநிதித் தூண்டுதலுக்கான உள்ளீடு மற்றும் மதிப்பிடப்பட்ட வெளியீட்டு டோக்கன்களின் எண்ணிக்கையைத் தீர்மானிக்கவும் (முடிந்தால் டோக்கன் எண்ணும் கருவியைக் கொண்டு அளவிடவும்). (2) மூன்று மாதிரி வகுப்புகளுக்கான கோரிக்கைக்கான செலவைக் கணக்கிடவும். (3) உங்கள் தினசரி கோரிக்கைகளின் எண்ணிக்கையை மதிப்பிடவும் மற்றும் மூன்று மாடல்களுக்கான மாதாந்திர பட்ஜெட்டைப் பெறவும். (4) வெளியீட்டைச் சுருக்கவும், எதிர்பார்க்கப்படும் சேமிப்பைக் குறிப்பிடவும் ஒரு அறிவுறுத்தலைச் சேர்க்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] டோக்கன்களின் கருத்தை என்னால் விளக்க முடியும் மற்றும் அந்த டோக்கனைசேஷன் மாதிரியைப் பொறுத்து மாறுபடும்.
• [ ] உள்ளீடு மற்றும் வெளியீட்டு டோக்கன்கள் ஏன் வித்தியாசமாக விலை நிர்ணயம் செய்யப்படுகின்றன என்பது எனக்குத் தெரியும்.
• [ ] கோரிக்கையின் விலையை நான் சூத்திரத்துடன் கணக்கிட முடியும்.
• [ ] டெம்ப்ளேட்டைப் பயன்படுத்தி பணிச்சுமைக்கான மாதாந்திர பட்ஜெட்டை என்னால் உருவாக்க முடியும்.
• [ ] வெளியீடு மற்றும் மாதிரிக் குறைப்பு ஆகியவற்றைக் குறைப்பதன் பலனை நான் ஒரு உதாரணத்துடன் காட்ட முடியும்.