യൂണിറ്റ് 2 / 11

ടോക്കണും വിലനിർണ്ണയ യുക്തിയും

നേട്ടങ്ങൾ:

  • ടോക്കൺ, ഇൻപുട്ട്/ഔട്ട്പുട്ട് ടോക്കൺ വ്യത്യാസം, ടോക്കണൈസേഷൻ എന്നിവയുടെ ആശയം വിശദീകരിക്കുക.
  • ടോക്കണുകളുടെ എണ്ണത്തിൽ നിന്നും യൂണിറ്റ് വിലയിൽ നിന്നും ഒരു അഭ്യർത്ഥനയുടെ വിലയും പ്രതിമാസ ജോലിഭാരവും കണക്കാക്കാം
  • മോഡൽ തിരഞ്ഞെടുക്കലിൻ്റെ സ്വാധീനവും ചെലവിൽ പ്രോംപ്റ്റ് ദൈർഘ്യവും താരതമ്യം ചെയ്യാം

LLM API-കളുടെ സാമ്പത്തികശാസ്ത്രം മനസ്സിലാക്കാതെ നിങ്ങൾക്ക് സ്കെയിലിൽ ഒരു പരിഹാരം നിർമ്മിക്കാൻ കഴിയില്ല. ഒരു ഡെമോ ഒരിക്കൽ പ്രവർത്തിക്കുന്നു; പ്രതിമാസം ആയിരക്കണക്കിന് കോളുകൾ വരുമ്പോൾ ബില്ല് എന്തായിരിക്കുമെന്ന് പ്രവചിക്കാൻ കഴിയുക എന്നതാണ് പ്രധാന കാര്യം. ഈ യൂണിറ്റിൽ ഞങ്ങൾ കാര്യങ്ങളുടെ പണത്തിൻ്റെ വശം സജ്ജീകരിക്കുന്നു: എന്താണ് ഒരു ടോക്കൺ, ഇൻപുട്ടിൻ്റെയും ഔട്ട്‌പുട്ടിൻ്റെയും വില വ്യത്യസ്തമായിരിക്കുന്നത് എന്തുകൊണ്ട്, ഒരു അഭ്യർത്ഥനയുടെ ചെലവ് എങ്ങനെ കണക്കാക്കാം, പ്രതിമാസ ജോലിഭാരം എങ്ങനെ ബജറ്റ് ചെയ്യാം. തുടർന്നുള്ള യൂണിറ്റുകളിൽ ഒപ്റ്റിമൈസേഷൻ ടെക്നിക്കുകളുടെ (കാഷിംഗ്, മോഡൽ സെലക്ഷൻ, ബാച്ച്) റിട്ടേൺ അളക്കാൻ ഈ വിവരങ്ങൾ നിങ്ങളെ അനുവദിക്കുന്നു.

എന്താണ് ടോക്കൺ?

മോഡൽ ടെക്സ്റ്റ് പ്രോസസ്സ് ചെയ്യുന്ന ഏറ്റവും ചെറിയ യൂണിറ്റാണ് ടോക്കൺ. ഒരു വാക്ക് എല്ലായ്പ്പോഴും ഒരു അടയാളമല്ല; ടോക്കൺ സാധാരണയായി ഒരു വാക്കിൻ്റെ ഭാഗമാണ്. ഏകദേശം പറഞ്ഞാൽ, ഇംഗ്ലീഷിൽ, 1 ടോക്കൺ ≈ 4 പ്രതീകങ്ങൾ ≈ 0.75 വാക്കുകളാണ്. ടർക്കിഷ് ഭാഷയിലും കോഡിലും, അനുപാതം വ്യത്യാസപ്പെടുന്നു: ടർക്കിഷ് പദങ്ങൾ അതിൻ്റെ പ്രത്യയ ഘടനയും അക്ഷരമാലയും കാരണം ഇംഗ്ലീഷിലുള്ളതിനേക്കാൾ കൂടുതൽ ടോക്കണുകളായി വിഭജിക്കപ്പെടുന്നു. അതിനാൽ, കണ്ണുകൊണ്ട് ഊഹിക്കുന്നതിനു പകരം ദാതാവിൻ്റെ ടോക്കൺ എണ്ണൽ ഉപകരണം ഉപയോഗിച്ച് ടോക്കണുകളുടെ എണ്ണം അളക്കേണ്ടത് ആവശ്യമാണ്.

ടോക്കണൈസേഷൻ (ടെക്‌സ്റ്റിനെ ടോക്കണുകളായി വിഭജിക്കുന്ന പ്രക്രിയ) ഓരോ മോഡലിനും വ്യത്യസ്തമായിരിക്കാം. ഇതിന് രണ്ട് പ്രായോഗിക പരിണതഫലങ്ങളുണ്ട്: (1) ഒരേ വാചകം വ്യത്യസ്ത മോഡലുകളിൽ വ്യത്യസ്ത ടോക്കണുകൾ നൽകിയേക്കാം; (2) മറ്റ് ദാതാക്കളിൽ നിന്നുള്ള ടോക്കണൈസറുകൾ ഉപയോഗിച്ച് നടത്തിയ പ്രവചനങ്ങൾ (ഉദാ. ഓപ്പൺഎഐയുടെ ടിക് ടോക്കൺ ലൈബ്രറി) ക്ലോഡിന് കൃത്യമല്ല - നിങ്ങൾ ഉപയോഗിക്കുന്ന മോഡലിന് ടോക്കൺ കൗണ്ടിംഗ് ടിപ്പ് ഉപയോഗിക്കുക.

സൂചന: "എത്ര ടോക്കണുകളെ കുറിച്ച്?" ചോദ്യത്തിന് അന്ധമായി ഉത്തരം നൽകരുത്. ടോക്കൺ കൗണ്ടിംഗ് API വഴി ഒരു പ്രതിനിധി വാചകം കൈമാറുക; അളക്കുന്നതിനുള്ള അടിസ്ഥാന ബജറ്റ് തീരുമാനങ്ങൾ.

ഇൻപുട്ട്, ഔട്ട്പുട്ട് ടോക്കണുകൾ

ഇൻവോയ്സിൽ രണ്ട് ഇനങ്ങൾ അടങ്ങിയിരിക്കുന്നു:

  • ഇൻപുട്ട് ടോക്കണുകൾ: നിങ്ങൾ മോഡലിലേക്ക് അയക്കുന്ന എന്തും — സിസ്റ്റം പ്രോംപ്റ്റ്, കഴിഞ്ഞ ടൂറുകൾ, ഉപയോക്തൃ സന്ദേശം, ഡോക്യുമെൻ്റേഷൻ എന്തെങ്കിലും ഉണ്ടെങ്കിൽ. ഇവയെല്ലാം ഒരേസമയം പ്രോസസ്സ് ചെയ്യുന്നു.
  • ഔട്ട്പുട്ട് ടോക്കണുകൾ: മോഡൽ നിർമ്മിച്ച പ്രതികരണം. ഓരോ ഔട്ട്പുട്ട് ടോക്കണിനും, മോഡൽ ഘട്ടം ഘട്ടമായി കണക്കുകൂട്ടൽ നടത്തുന്നു.

മിക്ക ദാതാക്കളിലും, ഔട്ട്പുട്ട് ഇൻപുട്ടിനെക്കാൾ പലമടങ്ങ് ചെലവേറിയതാണ്. കാരണം ലളിതമാണ്: ഔട്ട്‌പുട്ട് ടോക്കൺ-ബൈ-ടോക്കൺ നിർമ്മിക്കുന്നതിനേക്കാൾ വിലകുറഞ്ഞതാണ് ഇൻപുട്ട് ഒറ്റയടിക്ക് വായിക്കുന്നത്. ഈ അസമമിതി അറിയുന്നത് എന്തുകൊണ്ട് "സംക്ഷിപ്തമായ ഉത്തരങ്ങൾ ആവശ്യമാണ്" പോലുള്ള ഒപ്റ്റിമൈസേഷനുകൾ വളരെ ഫലപ്രദമാണെന്ന് വിശദീകരിക്കുന്നു.

സാമ്പിൾ വിലകൾ (ഒരു ദശലക്ഷം ടോക്കണുകൾക്ക്, USD)

താഴെയുള്ള പട്ടിക ഒരു റഫറൻസാണ്; കാലക്രമേണ വിലകൾ മാറിയേക്കാം, നിങ്ങളുടെ സ്വന്തം ദാതാവിൻ്റെ നിലവിലെ ലിസ്റ്റ് സ്ഥിരീകരിക്കുക.

മോഡൽ ക്ലാസ്

മാതൃകാ മാതൃക

ഇൻപുട്ട് ($/1M)

ഔട്ട്പുട്ട് ($/1M)

സാധാരണ ഉപയോഗം

വേഗതയുള്ള / വിലകുറഞ്ഞ

ഹൈക്കു 4.5

1.00

5.00

വർഗ്ഗീകരണം, ലേബലിംഗ്, ലളിതമായ സംഗ്രഹം

സമതുലിതമായ

സോണറ്റ് 5

3.00

15.00

പൊതു ഉദ്ദേശ്യം, കോഡിംഗ്, ഏജൻ്റ് വർക്ക്

ശക്തമായ

ഓപസ് 4.8

5.00

25.00

സങ്കീർണ്ണമായ ന്യായവാദം, ദീർഘദൂര ജോലികൾ

ഓരോ ക്ലാസിലും, ഔട്ട്പുട്ട് ഇൻപുട്ടിൻ്റെ 5 ഇരട്ടിയാണ്; മാത്രമല്ല, ശക്തമായ മോഡലിൻ്റെ ഇൻപുട്ട് പോലും വിലകുറഞ്ഞ മോഡലിൻ്റെ ഇൻപുട്ടിൻ്റെ 5 ഇരട്ടിയാണ്. ഈ രണ്ട് അക്ഷങ്ങൾ (ഇൻപുട്ട്↔ഔട്ട്പുട്ടും മോഡൽ ക്ലാസും) നിങ്ങളുടെ ചെലവ് തീരുമാനങ്ങളുടെ ചട്ടക്കൂട് ഉണ്ടാക്കുന്നു.

ചെലവ് എങ്ങനെ കണക്കാക്കാം?

ഫോർമുല ലളിതമാണ്:

ചെലവ് = (input_token / 1,000,000) × input_price + (output_token / 1,000,000) × output_price

സാമ്പിൾ അക്കൗണ്ട്. സോണറ്റ് 5 ഉള്ള ഒരു അഭ്യർത്ഥന: 1,500 ഇൻപുട്ട് ടോക്കണുകൾ, 400 ഔട്ട്പുട്ട് ടോക്കണുകൾ.

ഇൻപുട്ട് = 1,500 / 1,000,000 × 3.00 = $0.0045 ഔട്ട്പുട്ട് = 400 / 1,000,000 × 15.00 = $0.0060 ആകെ = $0.0105 (ഏകദേശം 1 ശതമാനം)

ഒരു കോൾ വിലകുറഞ്ഞതായി തോന്നുന്നു. എന്നാൽ വോളിയം കൊണ്ട് ഗുണിക്കുക: പ്രതിദിനം 20,000 കോളുകൾ → $210 പ്രതിദിനം, ~$6,300 പ്രതിമാസം. ഇവിടെയാണ് സ്കെയിൽ പ്രവർത്തിക്കുന്നത്.

പ്രതിമാസ ബജറ്റ് ടെംപ്ലേറ്റ്

ഒരു ജോലിഭാരത്തിൻ്റെ പ്രതിമാസ ചെലവ് വേർതിരിച്ചെടുക്കാൻ, ഈ ടെംപ്ലേറ്റ് ഉപയോഗിക്കുക:

1) ഓരോ അഭ്യർത്ഥനയ്ക്കും ശരാശരി ഇൻപുട്ട് ടോക്കൺ: ......2) ഓരോ അഭ്യർത്ഥനയ്ക്കും ശരാശരി ഔട്ട്‌പുട്ട് ടോക്കൺ: ......3) പ്രതിദിന അഭ്യർത്ഥനകളുടെ എണ്ണം: ......4) പ്രതിമാസം ജോലി ചെയ്ത ദിവസങ്ങൾ: ......5) ഒരു അഭ്യർത്ഥനയ്‌ക്കുള്ള ചെലവ് = (1)/1M×input_price + (2)/1M× output_price + (2)/1M× output_price6) പ്രതിമാസ ചെലവ് = (3)× (3) ×

ഈ പാറ്റേൺ ഒരു സ്‌പ്രെഡ്‌ഷീറ്റിലേക്ക് പകരുകയും നിങ്ങൾ മോഡൽ മാറ്റുമ്പോൾ തുക എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് കാണുകയും ചെയ്യുന്നത് മോഡൽ തിരഞ്ഞെടുക്കലും (യൂണിറ്റ് 5), കാഷെ (യൂണിറ്റ് 6) തീരുമാനങ്ങളും ഉൾക്കൊള്ളുന്നു.

പകർത്താവുന്ന ടെംപ്ലേറ്റുകൾ ഉപയോഗിച്ച് പ്രോംപ്റ്റ് ചുരുക്കുന്നു

അനാവശ്യമായ ദൈർഘ്യമേറിയ നിർദ്ദേശങ്ങളിൽ നിന്നും പാഴായ ഔട്ട്പുട്ടിൽ നിന്നുമാണ് മിക്ക ചെലവുകളും വരുന്നത്. ചുവടെയുള്ള ടെംപ്ലേറ്റുകൾ നേരിട്ട് സേവിംഗ്സ് നൽകുന്നു.

# ഔട്ട്പുട്ട് ദൈർഘ്യം പരിമിതപ്പെടുത്തുക. പരമാവധി 3 ഇനങ്ങൾ ഉപയോഗിച്ച് ഉത്തരം നൽകുക. ഒരു യുക്തിയോ ആമുഖ വാക്യമോ ചേർക്കുക.

# അഭ്യർത്ഥിച്ച ഫീൽഡ് മാത്രം തിരികെ നൽകുക, ഇനിപ്പറയുന്ന JSON മാത്രം തിരികെ നൽകുക, മറ്റൊരു വാചകവും ചേർക്കരുത്:{"category": "...", "urgency": "low|medium|high"}

# അനാവശ്യ സന്ദർഭം നീക്കം ചെയ്യുക ഇനിപ്പറയുന്ന വാചകത്തിൽ നിന്ന് തീയതിയും തുകയും മാത്രം നീക്കം ചെയ്യുക. മുഴുവൻ വാചകവും ആവർത്തിക്കരുത്. വാചകം: """{{text}}"""

# ദൈർഘ്യമേറിയ സംഭാഷണം (ഇൻപുട്ട് സേവിംഗ്) സംഗ്രഹിക്കുക, ഈ പ്രസംഗം 5 ഇനങ്ങളിൽ സംഗ്രഹിക്കുക. തുടർന്നുള്ള റൗണ്ടുകളിൽ മുഴുവൻ ഭൂതകാലത്തിനുപകരം ഞാൻ ഈ സംഗ്രഹം ഉപയോഗിക്കും. പ്രസംഗം: """{{ഭൂതകാലം}}"""

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ് (ചെലവിൻ്റെ കാര്യത്തിൽ)

# ദുർബലമായ (ഔട്ട്‌പുട്ട് റിലീസ് ചെയ്യുന്നു, ചെലവേറിയത്) ഈ പിന്തുണ അഭ്യർത്ഥന വിശകലനം ചെയ്‌ത് എനിക്ക് ഒരു സമഗ്രമായ അവലോകനം എഴുതുക.

# STRONG (ഔട്ട്‌പുട്ട് നിയന്ത്രിക്കുന്നു, വിലകുറഞ്ഞതും പ്രവചിക്കാവുന്നതുമാണ്) ഈ പിന്തുണാ അഭ്യർത്ഥനയെ തരംതിരിക്കുക. ഇനിപ്പറയുന്ന JSON തിരികെ നൽകുക:{"വർഗ്ഗം":"ഇൻവോയ്സ്|സാങ്കേതിക|റീഫണ്ട്|മറ്റുള്ള","അടിയന്തിരം":"കുറഞ്ഞ|മധ്യം|ഉയർന്ന"}ഒരു വിവരണം എഴുതരുത്.

ദുർബലമായ പതിപ്പ് ഒരുപക്ഷേ 500 ഔട്ട്പുട്ട് ടോക്കണുകൾ ഉത്പാദിപ്പിക്കുന്നു; ശക്തമായ പതിപ്പ് ~15. ഔട്ട്പുട്ട് ചെലവേറിയതിനാൽ, ഓരോ കോളിനും ഇത് ഗണ്യമായ വ്യത്യാസമാണ്, ഒപ്പം വോളിയം കൊണ്ട് ഗുണിക്കുകയും ചെയ്യുന്നു.

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - ലോംഗ് പ്രോംപ്റ്റിൻ്റെ മറഞ്ഞിരിക്കുന്ന വില. ഒരു അക്കൗണ്ടിംഗ് ഓട്ടോമേഷൻ ഓരോ ഇൻവോയ്‌സും അടുക്കിയതിനാൽ, ഓരോ അഭ്യർത്ഥനയ്ക്കും ഇൻപുട്ടായി 40-പേജുള്ള "റൂൾ ബുക്ക്" ചേർത്തു: ഓരോ അഭ്യർത്ഥനയ്ക്കും ~12,000 ഇൻപുട്ട് ടോക്കണുകൾ. സോണറ്റ് 5-നൊപ്പം 12,000/1M×3 = $0.036 ഇപ്പോൾ പ്രവേശിച്ചു. പ്രതിദിനം 5,000 ബില്ലുകൾ → $180 പ്രതിദിനം. റൂൾബുക്ക് (യൂണിറ്റ് 6) കാഷെ ചെയ്യുന്നതിലൂടെ ഇൻപുട്ട് ചെലവ് ~90% കുറഞ്ഞു.

കേസ് 2 - മോഡലിൻ്റെ അളവ് കുറയ്ക്കുന്നതിൻ്റെ പ്രതിഫലം. ഒപസ് 4.8: 300 ഇൻപുട്ട് + 10 ഔട്ട്‌പുട്ട് ടോക്കണുകൾ ഉപയോഗിച്ച് ഒരു ടീം ലളിതമായ “പോസിറ്റീവ്/നെഗറ്റീവ്” സെൻ്റിമെൻ്റ് ടാഗിംഗ് നടത്തുകയായിരുന്നു. ഓപസിൻ്റെ വില 300/1M×5 + 10/1M×25 = $0.00175. ഹൈക്കുവിലേക്ക് മാറുന്നു, 300/1M×1 + 10/1M×5 = $0.00035 — 5x വിലക്കുറവ്, കൃത്യതയിലെ വ്യത്യാസം അളക്കാനാവാത്തതാണ്. പ്രതിമാസം 3 ദശലക്ഷം കോളുകളിൽ, വ്യത്യാസം $5,250 → $1,050 ആണ്.

കേസ് 3 - ഔട്ട്പുട്ട് റിലീസ് ചെയ്യുന്നു. ഒരു മാർക്കറ്റിംഗ് ടീം ഒരു ഉൽപ്പന്ന വിവരണം നിർമ്മിക്കുമ്പോൾ, അത് ഔട്ട്പുട്ടിൽ ഒരു പരിധിയും നിശ്ചയിച്ചിട്ടില്ല; മോഡൽ ചിലപ്പോൾ 1,500 ടോക്കണുകൾ പറഞ്ഞു. ഞാൻ "60 വാക്കുകൾ പരമാവധി" നിർദ്ദേശം ചേർത്തപ്പോൾ, ശരാശരി ഔട്ട്പുട്ട് 900 ൽ നിന്ന് 90 ടോക്കണുകളായി കുറഞ്ഞു. അച്ചടി ചെലവേറിയതിനാൽ, പ്രതിമാസ ബിൽ മൂന്നിലൊന്നായി കുറഞ്ഞു, ടെക്സ്റ്റുകൾ കൂടുതൽ ഉപയോഗപ്രദമായി.

സാധാരണ തെറ്റുകൾ

  • കണ്ണുകൊണ്ട് ടോക്കൺ ഊഹിക്കുന്നു: പ്രത്യേകിച്ച് ടർക്കിഷ് ഭാഷയിലും കോഡിലും നിങ്ങൾക്ക് തെറ്റ് പറ്റാം. അളക്കുക.
  • ഇൻപുട്ടും ഔട്ട്പുട്ടും ഒന്നുതന്നെയാണെന്ന് കരുതുക: ഔട്ട്പുട്ട് സാധാരണയായി കൂടുതൽ ചെലവേറിയതാണ്; ഒപ്റ്റിമൈസേഷൻ്റെ ഭൂരിഭാഗവും ഔട്ട്പുട്ട് ചുരുക്കുന്നതിൽ നിന്നാണ്.
  • ഒറ്റ കോളിൻ്റെ വിലക്കുറവിൽ വഞ്ചിതരാകരുത്: വോളിയം അനുസരിച്ചാണ് തീരുമാനം. $0.01 × ദശലക്ഷം = $10,000.
  • മറ്റൊരു ദാതാവിൻ്റെ ടോക്കനൈസർ ഉപയോഗിച്ചുള്ള പ്രവചനം: തെറ്റായ ഫലങ്ങൾ നൽകുന്നു; മോഡലിൻ്റെ ടോക്കൺ കൗണ്ടിംഗ് ടൂൾ ഉപയോഗിക്കുക.
  • സംഭാഷണ ചരിത്രത്തിൻ്റെ പരിധിയില്ലാത്ത വിപുലീകരണം: ഓരോ റൗണ്ടും എൻട്രിയിലേക്ക് ചേർത്തിരിക്കുന്നു; നീണ്ട സംഭാഷണങ്ങളിൽ സംഗ്രഹിക്കുക.
  • `max_tokens` അനാവശ്യമായി ഉയർന്ന നിലയിൽ സൂക്ഷിക്കുന്നു: ബജറ്റ് പ്ലാനും വെട്ടിക്കുറയ്ക്കാനുള്ള സാധ്യതയും മറയ്ക്കുന്നു; ഒരു യഥാർത്ഥ മൂല്യം നൽകുക.

ആഴത്തിലുള്ളത്: സന്ദർഭ ജാലകവും ദൈർഘ്യമേറിയ ഇൻപുട്ട് ചെലവും

"ഒരു അഭ്യർത്ഥനയ്‌ക്ക്" മാത്രമല്ല, "സംഭാഷണത്തിൽ ഉടനീളം" വില എങ്ങനെ അടുക്കുന്നു എന്ന് കാണുന്നത് വളരെ പ്രധാനമാണ്. മോഡലിന് പ്രോസസ്സ് ചെയ്യാൻ കഴിയുന്ന വാചകത്തിൻ്റെ ആകെ തുകയെ സന്ദർഭ വിൻഡോ എന്ന് വിളിക്കുന്നു; ഇൻപുട്ടിൻ്റെയും ഔട്ട്‌പുട്ടിൻ്റെയും ആകെത്തുക ഈ വിൻഡോയിൽ ചേരണം. ആധുനിക മോഡലുകൾ വളരെ വലിയ വിൻഡോകൾ വാഗ്ദാനം ചെയ്യുന്നു (ലക്ഷക്കണക്കിന്, ദശലക്ഷക്കണക്കിന് ടോക്കണുകൾ പോലും), എന്നാൽ അതിനർത്ഥം നിങ്ങൾക്ക് "അനന്തമായി പൂരിപ്പിക്കാൻ" കഴിയുമെന്ന് അർത്ഥമാക്കുന്നില്ല - നിങ്ങൾ വിൻഡോയിൽ ഇടുന്നതെന്തും ഇൻപുട്ടായി ബിൽ ചെയ്യപ്പെടും.

ദൈർഘ്യമേറിയ സംഭാഷണങ്ങളിലെ കെണി ഇതാണ്: ഓരോ പുതിയ റൗണ്ടിലും നിങ്ങൾ മുഴുവൻ ചരിത്രവും വീണ്ടും അയയ്ക്കുന്നു (യൂണിറ്റ് 1 ലെ അവസ്ഥയില്ലായ്മ). 20-റൗണ്ട് സംഭാഷണത്തിൽ, 20-ാമത്തെ അഭ്യർത്ഥനയിൽ ആദ്യത്തെ 19 റൗണ്ടുകൾ ഇൻപുട്ടായി ഉൾക്കൊള്ളുന്നു. അങ്ങനെ, സംഭാഷണം ദൈർഘ്യമേറിയതനുസരിച്ച്, ഓരോ അഭ്യർത്ഥനയുടെയും ചെലവ് രേഖീയമായിരിക്കുന്നതിനുപകരം സഞ്ചിതമായി വളരുന്നു. ഒരു ഏജൻ്റ് അസിസ്റ്റൻ്റുമായുള്ള 50-റൗണ്ട് സംഭാഷണത്തിന് ആദ്യ റൗണ്ടിൻ്റെ ഡസൻ കണക്കിന് മടങ്ങ് ഇൻപുട്ട് ചെലവ് ഉണ്ടാക്കാനാകും.

ഇത് കൈകാര്യം ചെയ്യാൻ രണ്ട് വഴികളുണ്ട്. ആദ്യത്തേത് റീക്യാപ്പ് ആണ്: പഴയ റൗണ്ടുകൾ ഒറ്റ റീക്യാപ്പ് ബ്ലോക്കിലേക്ക് കംപ്രസ് ചെയ്യുക, അവസാനത്തെ കുറച്ച് റൗണ്ടുകൾ മാത്രം അസംസ്‌കൃതമായി സൂക്ഷിക്കുക. രണ്ടാമത്തേത് പ്രോംപ്റ്റ് കാഷിംഗ് (യൂണിറ്റ് 6) ആണ്: പൂർണ്ണ വിലയിൽ ആവർത്തിച്ച് പ്രോസസ്സ് ചെയ്യുന്നതിന് പകരം വിലയുടെ പത്തിലൊന്ന് നിശ്ചിത സന്ദർഭം വായിക്കുക. അവർ ഒരുമിച്ച്, ദൈർഘ്യമേറിയതും സന്ദർഭോചിതവുമായ ജോലിഭാരത്തിൻ്റെ ബിൽ ഗണ്യമായി കുറയ്ക്കുന്നു. അതിനാൽ ടോക്കൺ ഇക്കണോമിക്‌സ് മുഴുവൻ സെഷൻ്റെ രൂപകൽപ്പനയെക്കുറിച്ചാണ്, ഒരു അഭ്യർത്ഥനയല്ല.

ചുരുക്കത്തിൽ

ടെക്സ്റ്റ് പ്രോസസ്സ് ചെയ്യുന്ന ഏറ്റവും ചെറിയ യൂണിറ്റാണ് ടോക്കൺ; ഇൻപുട്ടിൻ്റെയും ഔട്ട്‌പുട്ടിൻ്റെയും വില വെവ്വേറെയാണ്, ഔട്ട്പുട്ട് പലപ്പോഴും കൂടുതൽ ചെലവേറിയതാണ്. യൂണിറ്റ് വില കൊണ്ട് ഗുണിച്ച ടോക്കണുകളുടെ എണ്ണമാണ് ചെലവ്, യഥാർത്ഥ തീരുമാനം വോളിയം അനുസരിച്ചാണ് എടുക്കുന്നത്. പ്രോംപ്റ്റ് ചുരുക്കുക, ഔട്ട്‌പുട്ട് പരിമിതപ്പെടുത്തുക, ചുമതല നിർവഹിക്കുന്ന ഏറ്റവും ഭാരം കുറഞ്ഞ മോഡൽ തിരഞ്ഞെടുക്കൽ എന്നിവ ചെലവ് പലമടങ്ങ് കുറയ്ക്കുന്ന ഏറ്റവും നേരിട്ടുള്ള ലിവറുകളാണ്.

ആപ്ലിക്കേഷൻ ടാസ്ക്

നിങ്ങളുടേതായ ഒരു ടാസ്ക് തിരഞ്ഞെടുക്കുക. (1) ഒരു പ്രതിനിധി പ്രോംപ്റ്റിനായി ഇൻപുട്ടിൻ്റെയും കണക്കാക്കിയ ഔട്ട്‌പുട്ട് ടോക്കണുകളുടെയും എണ്ണം നിർണ്ണയിക്കുക (സാധ്യമെങ്കിൽ ഒരു ടോക്കൺ കൗണ്ടിംഗ് ടൂൾ ഉപയോഗിച്ച് അളക്കുക). (2) മൂന്ന് മോഡൽ ക്ലാസുകൾക്കായുള്ള ഓരോ അഭ്യർത്ഥനയുടെയും ചെലവ് കണക്കാക്കുക. (3) നിങ്ങളുടെ പ്രതിദിന അഭ്യർത്ഥനകളുടെ എണ്ണം കണക്കാക്കുകയും മൂന്ന് മോഡലുകൾക്കായി പ്രതിമാസ ബജറ്റ് നേടുകയും ചെയ്യുക. (4) ഔട്ട്‌പുട്ട് ചെറുതാക്കാൻ ഒരു നിർദ്ദേശം ചേർക്കുക, പ്രതീക്ഷിക്കുന്ന സമ്പാദ്യം ശ്രദ്ധിക്കുക.

ചെക്ക്ലിസ്റ്റ്

  • [ ] ടോക്കണുകളുടെ ആശയം എനിക്ക് വിശദീകരിക്കാൻ കഴിയും, കൂടാതെ മോഡലിനെ ആശ്രയിച്ച് ടോക്കണൈസേഷൻ വ്യത്യാസപ്പെടും.
  • [ ] ഇൻപുട്ട്, ഔട്ട്പുട്ട് ടോക്കണുകളുടെ വില വ്യത്യസ്തമായിരിക്കുന്നത് എന്തുകൊണ്ടാണെന്ന് എനിക്കറിയാം.
  • [ ] ഫോർമുല ഉപയോഗിച്ച് ഒരു അഭ്യർത്ഥനയുടെ വില എനിക്ക് കണക്കാക്കാം.
  • [ ] ഒരു ടെംപ്ലേറ്റ് ഉപയോഗിച്ച് ജോലിഭാരത്തിനായി എനിക്ക് പ്രതിമാസ ബജറ്റ് സൃഷ്ടിക്കാൻ കഴിയും.
  • [ ] ഔട്ട്‌പുട്ടും മോഡൽ റിഡക്ഷനും കുറയ്ക്കുന്നതിൻ്റെ പ്രയോജനം എനിക്ക് ഒരു ഉദാഹരണത്തിലൂടെ കാണിക്കാൻ കഴിയും.