ටෝකන් සහ මිලකරණ තර්කනය

ලාභ:

• ටෝකනය, ආදාන/ප්‍රතිදාන සංකේත වෙනස සහ ටෝකනීකරණය යන සංකල්පය පැහැදිලි කරන්න.
• ටෝකන් ගණනින් සහ ඒකක මිලෙන් ඉල්ලීමක පිරිවැය සහ මාසික වැඩ බර ගණනය කළ හැකිය
• ආකෘතිය තෝරාගැනීමේ බලපෑම සහ පිරිවැය මත ඉක්මන් දිග සැසඳිය හැක

LLM API වල ආර්ථික විද්‍යාව අවබෝධ කර නොගෙන ඔබට පරිමාණයෙන් විසඳුමක් ගොඩනගා ගත නොහැක. ආදර්ශනයක් එක් වරක් ධාවනය වේ; ප්රධාන දෙය නම් මසකට ඇමතුම් දහස් ගණනක් ලබා දෙන විට බිල්පත කුමක්දැයි අනාවැකි කීමට හැකි වීමයි. මෙම ඒකකයේ අපි දේවල් වල මුදල් පැත්ත සකස් කරමු: ටෝකනයක් යනු කුමක්ද, ආදානය සහ ප්‍රතිදානය වෙනස් ලෙස මිල කරන්නේ ඇයි, ඉල්ලීමක පිරිවැය ගණනය කරන්නේ කෙසේද සහ මාසික වැඩ බරක් අයවැය කරන්නේ කෙසේද. මෙම තොරතුරු ඔබට පසුකාලීන ඒකකවල ප්‍රශස්තිකරණ ශිල්පීය ක්‍රම (හැඹිලිගත කිරීම, ආකෘති තේරීම, කණ්ඩායම) නැවත මැනීමට ඉඩ සලසයි.

Token යනු කුමක්ද?

ටෝකනය යනු ආකෘතිය පෙළ සකසන කුඩාම ඒකකයයි. වචනයක් සෑම විටම සංකේතයක් නොවේ; සංකේතය සාමාන්‍යයෙන් වචනයක කොටසකි. දළ වශයෙන්, ඉංග්‍රීසියෙන්, 1 ටෝකනයක් යනු ≈ අක්ෂර 4 ≈ 0.75 වචන වේ. තුර්කියේ සහ කේතයේ, අනුපාතය වෙනස් වේ: තුර්කි වචන බොහෝ විට ඉංග්‍රීසි භාෂාවට වඩා වැඩි ටෝකන වලට බෙදී ඇත්තේ එහි උපසර්ග ව්‍යුහය සහ අක්ෂර මාලාව නිසාය. එමනිසා, ඇසින් අනුමාන කරනවාට වඩා සැපයුම්කරුගේ ටෝකන් ගණන් කිරීමේ මෙවලම සමඟ ටෝකන් ගණන මැනීම අවශ්ය වේ.

ටෝකනීකරණය (පෙළ ටෝකන වලට බෙදීමේ ක්‍රියාවලිය) එක් එක් ආකෘතිය සඳහා වෙනස් විය හැකිය. මෙය ප්‍රායෝගික ප්‍රතිවිපාක දෙකක් ඇත: (1) එකම පාඨය විවිධ මාදිලිවල විවිධ ටෝකන් සංඛ්‍යා ලබා දිය හැක; (2) වෙනත් සපයන්නන්ගෙන් (උදා: OpenAI හි ටික්ටෝකන් පුස්තකාලය) ටෝකනයිසර් සමඟ කරන ලද අනාවැකි ක්ලෝඩ් සඳහා සාවද්‍ය වනු ඇත - ඔබ භාවිතා කරන ආකෘතිය සඳහා ටෝකන් ගණන් කිරීමේ ඉඟිය භාවිතා කරන්න.

ඉඟිය: "ටෝකන් කීයක් ගැනද?" ප්රශ්නයට අන්ධ ලෙස පිළිතුරු නොදෙන්න. ටෝකන් ගණන් කිරීමේ API හරහා නියෝජිත පෙළක් යවන්න; මිනුම් මත පදනම් අයවැය තීරණ.

ආදාන සහ ප්රතිදාන ටෝකන

ඉන්වොයිසිය අයිතම දෙකකින් සමන්විත වේ:

• ආදාන ටෝකන: ඔබ ආකෘතියට යවන ඕනෑම දෙයක් - පද්ධති විමසුම, අතීත සංචාර, පරිශීලක පණිවිඩය, ලේඛන තිබේ නම්. මේවා එකවර සකස් කර ඇත.
• ප්‍රතිදාන ටෝකන: ආකෘතිය මගින් නිපදවන ප්‍රතිචාරය. එක් එක් නිමැවුම් ටෝකනය සඳහා, ආකෘතිය පියවරෙන් පියවර ගණනය කිරීම සිදු කරයි.

බොහෝ සැපයුම්කරුවන් සමඟ, ප්රතිදානය ආදානයට වඩා කිහිප ගුණයකින් මිල අධික වේ. හේතුව සරලයි: ප්‍රතිදාන ටෝකනය-ටෝකනය නිපදවීමට වඩා ආදානය එකවර කියවීම ලාභදායී වේ. මෙම අසමමිතිය දැන ගැනීමෙන් "සංක්ෂිප්ත පිළිතුරු අවශ්‍ය" වැනි ප්‍රශස්තකරණයන් එතරම් ඵලදායී වන්නේ මන්දැයි පැහැදිලි කරයි.

නියැදි මිල ගණන් (ටෝකන මිලියනයකට, USD)

පහත වගුව යොමුවකි; කාලයත් සමඟ මිල ගණන් වෙනස් විය හැක, කරුණාකර ඔබේම සැපයුම්කරුගේ වත්මන් ලැයිස්තුව තහවුරු කරන්න.

ආදර්ශ පන්තිය

නියැදි ආකෘතිය

ආදානය ($/1M)

ප්‍රතිදානය ($/1M)

සාමාන්ය භාවිතය

වේගවත් / ලාභ

හයිකු 4.5

1.00

5.00

වර්ගීකරණය, ලේබල් කිරීම, සරල සාරාංශය

සමතුලිත

සොනට් 5

3.00

15.00

පොදු අරමුණ, කේතීකරණය, නියෝජිත වැඩ

ශක්තිමත්

ඔපස් 4.8

5.00

25.00

සංකීර්ණ තර්ක, දිගු දුර කාර්යයන්

සෑම පන්තියකම, ප්‍රතිදානය ආදානය මෙන් 5 ගුණයක් වේ; එපමණක් නොව, බලවත් මාදිලියේ ආදානය පවා ලාභ ආකෘතියේ ආදානය මෙන් 5 ගුණයක් වේ. මෙම අක්ෂ දෙක (ආදාන↔ප්‍රතිදානය සහ ආදර්ශ පන්තිය) ඔබගේ පිරිවැය තීරණ වල රාමුව සාදයි.

පිරිවැය ගණනය කරන්නේ කෙසේද?

සූත්රය සරලයි:

පිරිවැය = (input_token / 1,000,000) × input_price + (output_token / 1,000,000) × output_price

නියැදි ගිණුම. Sonnet 5 සමඟ ඉල්ලීමක්: ආදාන ටෝකන 1,500, ප්රතිදාන ටෝකන 400.

ආදානය = 1,500 / 1,000,000 × 3.00 = $0.0045 ප්රතිදානය = 400 / 1,000,000 × 15.00 = $0.0060 මුළු = $0.0105 (ශත 1 ක් පමණ)

එක් ඇමතුමක් ලාභදායී බව පෙනේ. නමුත් පරිමාව අනුව ගුණ කරන්න: දිනකට ඇමතුම් 20,000 → දිනකට $210, මසකට $6,300. පරිමාණය ක්‍රියාත්මක වන්නේ මෙහිදීය.

මාසික අයවැය සැකිල්ල

වැඩ බරක මාසික පිරිවැය උකහා ගැනීමට, මෙම අච්චුව භාවිතා කරන්න:

1) ඉල්ලීමකට සාමාන්‍ය ආදාන ටෝකනය: ......2) ඉල්ලීමකට සාමාන්‍ය ප්‍රතිදාන ටෝකනය: ......3) දිනකට ඉල්ලීම් ගණන: ......4) මසකට වැඩ කළ දින: ......5) ඉල්ලීමකට පිරිවැය = (1)/1M×ආදාන_මිල + (2)/1M×ප්‍රතිදාන_මිල + (2)/1M×ප්‍රතිදාන_මිල

මෙම රටාව පැතුරුම්පතකට වත් කිරීම සහ ඔබ ආකෘතිය වෙනස් කරන විට එකතුව ක්‍රියාත්මක වන ආකාරය බැලීම ආකෘති තේරීම (ඒකක 5) සහ හැඹිලි (ඒකක 6) තීරණ මූර්තිමත් කරයි.

පිටපත් කළ හැකි සැකිලි සමඟ විමසුම කෙටි කිරීම

වියදමෙන් වැඩි ප්‍රමාණයක් පැමිණෙන්නේ අනවශ්‍ය ලෙස දිගු ඉල්ලීම් සහ අපතේ යන ප්‍රතිදානය මගිනි. පහත සැකිලි සෘජු ඉතුරුම් සපයයි.

# නිමැවුම් දිග සීමා කරන්න. උපරිම අයිතම 3ක් සමඟ පිළිතුරු දෙන්න. තාර්කික හෝ හඳුන්වාදීමේ වාක්‍යයක් එක් කරන්න.

# ඉල්ලන ලද ක්ෂේත්‍රය පමණක් ආපසු ලබා දෙන්න, පහත JSON පමණක් ආපසු ලබා දෙන්න, වෙනත් කිසිදු පෙළක් එක් නොකරන්න:{"category": "...", "urgency": "low|medium|high"}

# අනවශ්‍ය සන්දර්භය ඉවත් කරන්න පහත පාඨයෙන් දිනය සහ මුදල පමණක් ඉවත් කරන්න. සම්පූර්ණ පාඨයම නැවත නොකරන්න.පෙළ: """{{text}}"""

# දිගු කථාව සාරාංශ කරන්න (ආදාන සුරැකීම) මෙම කථාව අයිතම 5 කින් සාරාංශ කරන්න. මම සම්පූර්ණ අතීතය වෙනුවට මෙම සාරාංශය ඊළඟ වටවල භාවිතා කරමි. කථාව: """{{අතීතය}}"""

දුර්වල කඩිනම් / ශක්තිමත් කඩිනම් (පිරිවැය අනුව)

# දුර්වල (ප්‍රතිදානය නිකුත් කරයි, මිල අධිකයි)මෙම ආධාරක ඉල්ලීම විශ්ලේෂණය කර මට සවිස්තරාත්මක සමාලෝචනයක් ලියන්න.

# STRONG (ප්‍රතිදානය සීමා කරයි, ලාභ සහ පුරෝකථනය කළ හැකි) මෙම සහාය ඉල්ලීම වර්ග කරන්න. පහත දැක්වෙන JSON ආපසු ලබා දෙන්න:{"ප්‍රවර්ගය":"ඉන්වොයිස්|තාක්ෂණික|මුදල් ආපසු|වෙනත්","හදිසි භාවය":"අඩු|මධ්‍යම|ඉහළ"}විස්තරයක් ලියන්න එපා.

දුර්වල අනුවාදය සමහර විට ප්රතිදාන ටෝකන 500 ක් නිෂ්පාදනය කරයි; ශක්තිමත් අනුවාදය ~15. ප්‍රතිදානය මිල අධික බැවින්, මෙය ඇමතුමකට සැලකිය යුතු වෙනසක් වන අතර පරිමාව සමඟ ගුණ කරයි.

කුඩා නඩු තුනක්

නඩුව 1 - දිගු විමසුමේ සැඟවුණු පිරිවැය. ගිණුම්කරණ ස්වයංක්‍රීයකරණයක් එක් එක් ඉන්වොයිසිය අනුපිළිවෙළට සකසන ලද පරිදි, එය එක් එක් ඉල්ලීම සඳහා ආදානය ලෙස පිටු 40ක “නීති පොතක්” එක් කළේය: ඉල්ලීමකට ආදාන ටෝකන ~12,000. Sonnet 5 සමඟ 12,000/1M×3 = $0.036 දැන් ඇතුල් විය. දිනකට බිල්පත් 5,000 → දිනකට $180. රීති පොත (ඒකකය 6) හැඹිලිගත කිරීමෙන් ආදාන පිරිවැය ~90% කින් පහත වැටුණි.

නඩුව 2 - ආකෘතිය අඩු කිරීමේ විපාකය. එක් කණ්ඩායමක් ඔපස් 4.8: 300 ආදාන + ප්‍රතිදාන ටෝකන 10ක් සමඟින් සරල “ධනාත්මක/ඍණාත්මක” හැඟීම් ටැග් කිරීම කරමින් සිටියේය. Opus මිල 300/1M×5 + 10/1M×25 = $0.00175. හයිකු වෙත මාරු වීම, 300/1M×1 + 10/1M×5 = $0.00035 — 5x මිල අඩු, නිරවද්‍යතාවයේ වෙනස අපමණ විය. මසකට ඇමතුම් මිලියන 3කදී, වෙනස $5,250 → $1,050 වේ.

නඩුව 3 - ප්රතිදානය නිකුත් කිරීම. අලෙවිකරණ කණ්ඩායමක් නිෂ්පාදන විස්තරයක් නිෂ්පාදනය කරන විට, එය නිමැවුම් සඳහා සීමාවන් නොසලකයි; ආකෘතිය සමහර විට ටෝකන් 1,500 ක් කියා ඇත. මම "වචන 60 උපරිම" උපදෙස් එකතු කළ විට, සාමාන්‍ය ප්‍රතිදානය ටෝකන 900 සිට 90 දක්වා පහත වැටුණි. මුද්‍රණ කටයුතු මිල අධික වූ නිසා මාසික බිල තුනෙන් එකකින් අඩු වූ අතර, ලිපි ලේඛන වඩාත් ප්‍රයෝජනවත් විය.

පොදු වැරදි

• ඇසින් ටෝකනය අනුමාන කිරීම: ඔබට විශේෂයෙන් තුර්කි සහ කේතය වැරදි විය හැක. මනින්න.
• ආදානය සහ ප්‍රතිදානය සමාන යැයි උපකල්පනය කිරීම: ප්‍රතිදානය සාමාන්‍යයෙන් වඩා මිල අධිකය; බොහෝ ප්‍රශස්තකරණය පැමිණෙන්නේ ප්‍රතිදානය කෙටි කිරීමෙනි.
• තනි ඇමතුමක ලාභයට රැවටෙන්න එපා: තීරණය ගනු ලබන්නේ පරිමාව අනුව ය. $0.01 × මිලියන = $10,000.
• වෙනත් සැපයුම්කරුවෙකුගේ ටෝකනයිසර් සමඟ පුරෝකථනය: වැරදි ප්රතිඵල ලබා දෙයි; ආකෘතියේ ටෝකන් ගණන් කිරීමේ මෙවලම භාවිතා කරන්න.
• සංවාද ඉතිහාසය අසීමිතව විශාල කිරීම: සෑම වටයක්ම ප්‍රවේශයට එකතු කරනු ලැබේ; දිගු සංවාදවල සාරාංශ කරන්න.
• `max_tokens` අනවශ්‍ය ලෙස ඉහළ මට්ටමක තබා ගැනීම: අයවැය සැලැස්ම සහ කපා හැරීමේ අවදානම සඟවයි; යථාර්ථවාදී වටිනාකමක් දෙන්න.

ගැඹුරු: සන්දර්භය කවුළුව සහ දිගු ආදාන පිරිවැය

"ඉල්ලීම අනුව" පමණක් නොව "සංවාදය හරහා" මිල ගොඩගැසී ඇති ආකාරය බැලීම ඉතා වැදගත් වේ. ආකෘතියට සැකසිය හැකි සම්පූර්ණ පෙළ ප්‍රමාණය සන්දර්භය කවුළුව ලෙස හැඳින්වේ; ආදාන සහ ප්‍රතිදානයේ එකතුව මෙම කවුළුවට ගැළපිය යුතුය. නවීන මාදිලි ඉතා විශාල කවුළු (සිය දහස් ගණනක්, ටෝකන මිලියන ගණනක් පවා) පිරිනමයි, නමුත් එයින් අදහස් කරන්නේ ඔබට එය "අසීමිත ලෙස පිරවිය හැකි" බව නොවේ - ඔබ කවුළුව තුළට දැමූ ඕනෑම දෙයක් ආදානය ලෙස අය කෙරේ.

දිගු සංවාදවල උගුල මෙයයි: සෑම නව වටයක් සමඟම ඔබ මුළු ඉතිහාසයම යලි යවයි (ඒකක 1 හි අස්ථාවරත්වය). වට 20 ක සංවාදයකදී, 20 වැනි ඉල්ලීම මුළු පළමු වට 19ම ආදානය ලෙස ගෙන යයි. මේ අනුව, සංවාදය දිගු වන විට, ඉල්ලීමක් සඳහා වන පිරිවැය රේඛීයව නොව සමුච්චිතව වර්ධනය වේ. නියෝජිත සහායකයකු සමඟ වට 50 ක සංවාදයක් පළමු වටයේ දුසිම් ගුණයක ආදාන පිරිවැයක් ඇති කළ හැකිය.

මෙය කළමනාකරණය කිරීමට ක්රම දෙකක් තිබේ. පළමුවැන්න නැවත නැවත බැලීමයි: අවසාන වට කිහිපය පමණක් අමු ලෙස තබා ගනිමින් පැරණි වට තනි පුනරාවර්තන කොටසකට සම්පීඩනය කිරීම. දෙවැන්න ඉක්මන් හැඹිලිගත කිරීම (ඒකකය 6): ස්ථාවර සන්දර්භය සම්පූර්ණ මිලට නැවත නැවත සැකසීම වෙනුවට මිලෙන් දහයෙන් පංගුවකට කියවීම. ඔවුන් එක්ව, දිගු, සන්දර්භය-දැඩි වැඩ බර මත බිල සැලකිය යුතු ලෙස අඩු කරයි. එබැවින් සංකේත ආර්ථික විද්‍යාව යනු සමස්ත සැසියේ සැලසුම ගැන මිස එක ඉල්ලීමක් නොවේ.

සාරාංශයක් ලෙස

ටෝකනය යනු පෙළ සැකසෙන කුඩාම ඒකකයයි; ආදානය සහ ප්‍රතිදානය වෙන වෙනම මිල කර ඇති අතර ප්‍රතිදානය බොහෝ විට වඩා මිල අධික වේ. පිරිවැය යනු ඒකක මිලෙන් ගුණ කරන ටෝකන් ගණන වන අතර සැබෑ තීරණය ගනු ලබන්නේ පරිමාවෙනි. ප්‍රොම්ප්ට් කෙටි කිරීම, ප්‍රතිදානය සීමා කිරීම සහ කාර්යය ඉටු කරන සැහැල්ලු මාදිලිය තෝරා ගැනීම පිරිවැය බොහෝ වාරයක් අඩු කරන සෘජු ලීවර වේ.

යෙදුම් කාර්යය

ඔබේම කාර්යයක් තෝරන්න. (1) නියෝජිත ප්‍රේරකයක් සඳහා ආදාන සහ ඇස්තමේන්තුගත ප්‍රතිදාන ටෝකන ගණන නිර්ණය කරන්න (හැකි නම් ටෝකන් ගණන් කිරීමේ මෙවලමකින් මැන බලන්න). (2) ආදර්ශ පන්ති තුන සඳහා ඉල්ලීමක් සඳහා පිරිවැය ගණනය කරන්න. (3) ඔබගේ දෛනික ඉල්ලීම් ගණන ඇස්තමේන්තු කර ආකෘති තුන සඳහා මාසික අයවැය ලබා ගන්න. (4) නිමැවුම කෙටි කිරීමට උපදෙස් එකතු කර අපේක්ෂිත ඉතුරුම් සටහන් කරන්න.

පිරික්සුම් ලැයිස්තුව

• [ ] මට ටෝකන සංකල්පය පැහැදිලි කළ හැකි අතර ආකෘතිය අනුව ටෝකනීකරණය වෙනස් වේ.
• [ ] ආදාන සහ ප්‍රතිදාන ටෝකන වෙනස් ලෙස මිල කරන්නේ මන්දැයි මම දනිමි.
• [ ] මට සූත්‍රය සමඟ ඉල්ලීමක පිරිවැය ගණනය කළ හැක.
• [ ] මට අච්චුවක් භාවිතයෙන් වැඩ බරක් සඳහා මාසික අයවැයක් සෑදිය හැක.
• [ ] නිමැවුම කෙටි කිරීමේ සහ ආදර්ශ අඩු කිරීමේ ප්‍රතිලාභය මට උදාහරණයකින් පෙන්විය හැක.