Uru:
- Kọwaa echiche nke token, ntinye/ mmepụta ihe dị iche na tokenization.
- Nwere ike gbakọọ ọnụ ahịa arịrịọ na ibu ọrụ kwa ọnwa site na ọnụọgụ token na ọnụ ahịa otu
- Nwere ike tulee mmetụta nke nhọrọ ụdị na ogologo oge na ọnụ ahịa
Ị nweghị ike iwulite ngwọta n'ọ̀tụ̀tụ̀ na-aghọtaghị akụ̀ na ụba nke LLM API. A ngosi na-agba ọsọ otu ugboro; Isi ihe bụ inwe ike ịkọ ihe ụgwọ ahụ ga-abụ mgbe ọtụtụ puku oku na-akpọ kwa ọnwa. N'ime nkeji a, anyị na-edozi akụkụ ego nke ihe: gịnị bụ akara ngosi, ihe mere ntinye na mmepụta na-eji ọnụ ahịa dị iche iche, otu esi agbakọ ọnụ ahịa arịrịọ, na otu esi eme atụmatụ mmefu ego kwa ọnwa. Ozi a na-enye gị ohere ịlele nlọghachi nke usoro njikarịcha (caching, model selection, batch) na nkeji ndị na-esote.
Kedu ihe bụ Token?
Token bụ nkeji kacha nta nke ihe nlereanya ahụ na-ahazi ederede. Okwu anaghị abụ ihe nrịbama mgbe niile; token na-abụkarị akụkụ nke okwu. N'ikwu okwu, n'asụsụ bekee, 1 token bụ ≈ 4 mkpụrụedemede ≈ 0.75 okwu. Na Turkish na koodu, oke dị iche iche: A na-ekewakarị okwu Turkish n'ọtụtụ akara karịa na Bekee n'ihi nhazi ya na mkpụrụedemede ya. Ya mere, ọ dị mkpa iji ngwá ọrụ na-agụta ihe nrịbama nke onye na-eweta ihe tụọ ọnụ ọgụgụ nke token karia ịkọ nkọ site na anya.
Tokenization (usoro nke ikewa ederede n'ime akara) nwere ike ịdị iche maka ụdị ọ bụla. Nke a nwere uru abụọ bara uru: (1) Otu ederede nwere ike iwepụta ọnụọgụ dị iche iche nke token n'ụdị dị iche iche; (2) Amụma emere na tokenizers sitere na ndị na-eweta ndị ọzọ (dịka ọbá akwụkwọ tiktoken OpenAI) agaghị abụ ezighi ezi maka Claude - jiri ntụnye ọnụ ọgụgụ akara maka ụdị ị na-eji.
Ndụmọdụ: "Ihe gbasara akara ngosi ole?" Azaghachila ajụjụ ahụ n'ezoghị ọnụ. Nyefee ederede nnọchiteanya site na API ọnụ ọgụgụ token; Wepụta mkpebi mmefu ego na nha.
Ntinye na mmepụta Token
Akwụkwọ ọnụahịa ahụ nwere ihe abụọ:
- Ntinye ntinye: Ihe ọ bụla izipu na ihe nlereanya - ngwa ngwa sistemụ, njegharị ndị gara aga, ozi onye ọrụ, akwụkwọ ma ọ bụrụ na ọ dị. A na-ahazi ihe ndị a n'otu oge.
- Ihe ngosi mmepụta: Nzaghachi nke ihe nlereanya mepụtara. Maka akara mmepụta ọ bụla, ihe nlereanya ahụ na-eme ngụkọta oge site na nzọụkwụ.
N'ọtụtụ ndị na-eweta ya, mmepụta na-adị ọnụ ọtụtụ ugboro karịa ntinye. Ihe kpatara ya dị mfe: ịgụ ihe ntinye n'otu oge dị ọnụ ala karịa ịmepụta akara ngosi-site-token. Ịmara asymmetry a na-akọwa ihe kpatara njikarịcha dị ka "chọrọ azịza nkenke" ji dị irè.
Ọnụ ahịa nlele (kwa otu nde token, USD)
Tebụl dị n'okpuru bụ ntụaka; Ọnụ ahịa nwere ike ịgbanwe ka oge na-aga, biko kwado ndepụta nke onye na-eweta gị ugbu a.
klas nlereanya
ihe nlereanya
Ntinye ($/1M)
Mpụta ($/1M)
Ojiji eji eme ihe
ngwa ngwa/dị ọnụ ala
Haiku 4.5
1.00
5.00
Nhazi, ịkpọ aha, nchịkọta dị mfe
guzozie eguzozie
sonnet 5
3.00
15.00
Nzube izugbe, nzuzo, ọrụ nnọchite anya
ike
Ngwa ngwa 4.8
5.00
25.00
Echiche mgbagwoju anya, ọrụ dị ogologo
Na klaasị ọ bụla, mmepụta bụ ugboro 5 ntinye; Ọzọkwa, ọbụna ntinye nke ihe nlereanya dị ike bụ ugboro 5 ntinye nke ụdị ọnụ ala. Anyụike abụọ a (ntinye ↔ mmepụta na klas nlereanya) na-etolite usoro mkpebi mkpebi ọnụ gị.
Kedu ka esi agbakọ ọnụ ahịa?
Usoro a dị mfe:
ọnụ ahịa = (ntinye_token / 1,000,000) × ntinye_ọnụahịa + (mmepụta_token / 1,000,000) × ọnụahịa_ọnụahịa
Ihe nlele akaụntụ. Arịrịọ nwere Sonnet 5: akara ntinye 1,500, akara mmepụta 400.
ntinye = 1,500 / 1,000,000 × 3.00 = $ 0.0045 mmepụta = 400 / 1,000,000 × 15.00 = $ 0.0060 mkpokọta = $ 0.0105 (ihe dịka 1 cent)
Otu oku na-adị ọnụ ala. Ma mụbaa site na olu: 20,000 oku kwa ụbọchị → $210 kwa ụbọchị, ~ $6,300 kwa ọnwa. Nke a bụ ebe ọnụ ọgụgụ na-abata.
Ụdị mmefu ego kwa ọnwa
Iji wepụta ụgwọ ọrụ kwa ọnwa, jiri template a:
.
Ịtụnye ụkpụrụ a n'ime mpempe akwụkwọ na ịhụ ka nchikota si eme mgbe ị na-agbanwe ihe nlereanya na-agụnye mkpebi nhọrọ (nkeji 5) na cache (nkeji 6).
Iji ndebiri mbipute a na-eme ka ngwa ngwa dị mkpụmkpụ
Ọtụtụ n'ime ọnụ ahịa na-abịa site na mkpali ogologo na-enweghị isi na mmepụta efu. Ụdị ndebiri dị n'okpuru na-enye nkwụnye ego ozugbo.
# Machie ogologo mmepụta. Zaa na kacha nke 3 ihe. Tinye ezi uche ma ọ bụ ahịrịokwu mmeghe.
# Weghachite naanị mpaghara achọrọ Weghachi naanị JSON ndị a, etinyekwala ederede ọ bụla:{"ụdị": "...", "ngwa ngwa": "obere|ọkara | elu"}
# Wepu ọnọdụ na-enweghị isi Wepụ naanị ụbọchị na ego n'ederede na-esote. Ekwughachila ederede dum. Ederede: """{{text}}"""
# Chịkọta ogologo okwu (nchekwa ntinye) chịkọta okwu a na ihe ise. M ga-eji nchịkọta a kama iji oge gara aga na agba ndị na-esote. Okwu: """{{ gara aga}}"""
Ngwa ngwa na-adịghị ike / siri ike (n'usoro nke ọnụ ahịa)
# WEAK (mpụta mwepụta, dị oke ọnụ) Nyochaa arịrịọ nkwado a wee deere m nyocha zuru oke.
# STRONG (mpụta ihe na-egbochi, dị ọnụ ala yana amụma)Kpee arịrịọ nkwado a. Naanị weghachi JSON ndị a:{"otu":" akwụkwọ ọnụahịa|teknụzụ | nkwụghachi|ọzọ"," ngwa ngwa":" ala|ọkara | elu"}Edela nkọwa.
Ụdị adịghị ike na-emepụta ma eleghị anya 500 mmepụta token; ụdị siri ike ~ 15. N'ihi na mmepụta dị oke ọnụ, nke a bụ nnukwu ọdịiche n'otu oku ma na-abawanye na olu.
Obere obere atọ
Ikpe 1 - The zoro ezo na-eri nke ogologo ngwa ngwa. Dị ka akpaaka akpaaka na-ahazi akwụkwọ ọnụahịa ọ bụla, ọ gbakwụnyere “akwụkwọ iwu” dị peeji 40 dị ka ntinye na arịrịọ ọ bụla: ~ 12,000 ndenye ndenye kwa arịrịọ. Na Sonnet 5 12,000/1M×3 = $0.036 ka banyere. Ụgwọ 5,000 kwa ụbọchị → $180 kwa ụbọchị. Site na caching akwụkwọ iwu (nkeji 6) ọnụ ahịa ntinye dara ~90%.
Ikpe 2 - Nkwụghachi ụgwọ nke ibelata ihe nlereanya. Otu otu na-eji Opus 4.8: ntinye 300 + 10 na-eme mkpado mmetụta dị mfe "ezigbo/adịghị mma". Opus na-eri 300/1M×5 + 10/1M×25 = $0.00175. Ịgbanwe na Haiku, 300/1M×1 + 10/1M×5 = $0.00035 - 5x dị ọnụ ala karịa, ọdịiche dị na izi ezi enweghị atụ. Na oku nde 3 kwa ọnwa, ihe dị iche bụ $5,250 → $1,050.
Ikpe 3 - Ịhapụ mmepụta. Mgbe otu ndị na-ere ahịa na-emepụta nkọwa ngwaahịa, ọ naghị etinye oke na mmepụta; ihe nlereanya mgbe ụfọdụ kwuru 1,500 tokens. Mgbe m gbakwunyere ntuziaka “okwu 60 kacha elu”, nkezi mpụta si na 900 ruo 90 token. Ebe ọ bụ na ibi akwụkwọ dị oké ọnụ ahịa, e ji ụzọ nke atọ belata ụgwọ ọnwa a na-akwụ kwa ọnwa, ihe odide bara uru karị.
Mmejọ ndị nkịtị
- N'ịtụle akara ngosi ahụ site na anya: Ị nwere ike ezighi ezi karịsịa na Turkish na koodu. tụọ.
- Na-eche na ntinye na mmepụta bụ otu: Mpụta na-adịkarị ọnụ karịa; Ọtụtụ n'ime njikarịcha na-abịa site na mbelata mmepụta.
- Ekwela ka ghọgbuo gị site na ọnụ ala nke otu oku: A na-eme mkpebi ahụ site na olu. $0.01 × nde = $10,000.
- Amụma ya na tokenizer onye ọzọ: Na-enye nsonaazụ na-ezighi ezi; Jiri ngwaọrụ agụta akara ngosi ihe atụ.
- Mgbasa akụkọ mkparịta ụka na-akparaghị ókè: A na-agbakwunye okirikiri ọ bụla na ntinye; chịkọta na ogologo mkparịta ụka.
- Idobe `max_tokens' dị elu na-enweghị isi: na-ezobe atụmatụ mmefu ego yana ihe ize ndụ nke ịkpụ; Nye ezigbo uru.
Miro miri emi: Window okwu na ọnụ ntinye ogologo
Ọ dị oke mkpa ịhụ ka ọnụ ahịa si agbakọ "n'ofe mkparịta ụka" ọ bụghị naanị "kwa arịrịọ." Ọnụ ọgụgụ ederede nke ihe nlereanya ahụ nwere ike ịhazi bụ nke a na-akpọ windo ọnọdụ; Nchikota ntinye na ntinye ga-adaba na mpio a. Ụdị nke oge a na-enye nnukwu windo (ọtụtụ narị puku, ọbụna ọtụtụ nde token), ma nke ahụ apụtaghị na ị nwere ike "mejupụta ya na-enweghị njedebe" - ihe ọ bụla i tinyere na windo na-akwụ ụgwọ dị ka ntinye.
Ọnyà na ogologo mkparịta ụka bụ nke a: na ọhụrụ ọ bụla gburugburu ị na-eziga dum akụkọ ihe mere eme ọzọ (enweghị obodo na unit 1). N'ime mkparịta ụka gbara gburugburu 20, arịrịọ nke iri abụọ na-eburu agba 19 mbụ niile dịka ntinye. Ya mere, ka mkparịta ụka ahụ na-akawanye ogologo, ọnụ ahịa nke arịrịọ ọ bụla na-eto n'ụzọ zuru ezu karịa n'usoro. Mkparịta ụka gbara gburugburu 50 na onye enyemaka onye nnọchi anya nwere ike iwepụta ọnụ ahịa ntinye ọtụtụ ugboro na agba nke mbụ.
Enwere ụzọ abụọ iji jikwaa nke a. Nke mbụ bụ mweghachi: ịkpakọba agba ndị agadi n'ime otu ngọngọ, na-edobe naanị agba ole na ole ikpeazụ. Nke abụọ bụ caching ngwa ngwa (nkeji 6): na-agụ ọnọdụ a kapịrị ọnụ na otu ụzọ n'ụzọ iri nke ọnụahịa kama ịhazi ya ugboro ugboro na ọnụahịa zuru oke. Ọnụ, ha na-ebelata nke ukwuu ụgwọ ọrụ na ogologo ọrụ na-akpa ike gburugburu. Ya mere token Economics bụ maka imewe nke oge niile, ọ bụghị otu arịrịọ.
Na nchịkọta
Token bụ nkeji kacha nta nke eji ahazi ederede; A na-akwụ ọnụ ahịa ntinye na mmepụta iche iche, ma mmepụta na-adịkarị ọnụ karịa. Ọnụ ego a na-akwụ bụ ọnụ ọgụgụ nke token mụbara site na ọnụ ahịa otu, na a na-eme mkpebi n'ezie site na olu. Mbelata ngwa ngwa, ịmachi mmepụta, na ịhọrọ ụdị kachasị mfe nke na-arụ ọrụ ahụ bụ ndị na-agba ọsọ na-ebelata ọnụ ahịa ọtụtụ ugboro.
Ọrụ ngwa
Họrọ ọrụ nke gị. (1) Kpebie ọnụọgụ ntinye na akara mmepụta atụmatụ maka ngwa nnochite anya (jiri ngwa ngụkọ akara tụọ ma ọ bụrụ na ọ ga-ekwe omume). (2) Gbakọọ ọnụ ahịa otu arịrịọ maka klaasị ụdị atọ ahụ. (3) Nyochaa ọnụọgụ arịrịọ gị kwa ụbọchị wee wepụta mmefu ego kwa ọnwa maka ụdị atọ ahụ. (4) Tinye ntụziaka ka mbelata mmepụta ma rịba ama ego a na-atụ anya ya.
ndetu
- [] Enwere m ike ịkọwa echiche nke tokens na tokenization dịgasị iche dabere na ihe nlereanya.
- [] Amaara m ihe kpatara eji atụ ọnụ ahịa ntinye na mmepụta ihe dị iche.
- [] Enwere m ike gbakọọ ọnụ ahịa arịrịọ na usoro.
- [] Enwere m ike ịmepụta mmefu ego kwa ọnwa maka ibu ọrụ site na iji ndebiri.
- [] Enwere m ike iji ihe atụ gosi uru nke mbelata mmepụta na mbelata ihe nlereanya.