Faida:
- Eleza dhana ya tokeni, utofautishaji wa ishara ya pembejeo/pato na uwekaji tokeni.
- Inaweza kuhesabu gharama ya ombi na mzigo wa kazi wa kila mwezi kutoka kwa idadi ya ishara na bei ya kitengo
- Inaweza kulinganisha athari ya uteuzi wa mfano na urefu wa haraka kwenye gharama
Huwezi kuunda suluhisho kwa kiwango bila kuelewa uchumi wa API za LLM. Onyesho linaendeshwa mara moja; Jambo kuu ni kuwa na uwezo wa kutabiri nini muswada huo utakuwa wakati maelfu ya simu zinafanywa kwa mwezi. Katika kitengo hiki tunaweka upande wa fedha wa mambo: ni ishara gani, kwa nini pembejeo na pato ni bei tofauti, jinsi ya kuhesabu gharama ya ombi, na jinsi ya kupanga bajeti ya kazi ya kila mwezi. Taarifa hii inakuwezesha kupima urejeshaji wa mbinu za uboreshaji (caching, uteuzi wa mfano, kundi) katika vitengo vinavyofuata.
Ishara ni nini?
Tokeni ndio kitengo kidogo zaidi ambamo modeli huchakata maandishi. Neno sio ishara kila wakati; ishara kawaida ni sehemu ya neno. Kwa kusema, kwa Kiingereza, tokeni 1 ni ≈ herufi 4 ≈ maneno 0.75. Katika Kituruki na msimbo, uwiano hutofautiana: Maneno ya Kituruki mara nyingi hugawanywa katika ishara zaidi kuliko Kiingereza kutokana na muundo na alfabeti yake. Kwa hiyo, ni muhimu kupima idadi ya tokeni na chombo cha kuhesabu tokeni cha mtoaji badala ya kubahatisha kwa jicho.
Tokeni (mchakato wa kugawanya maandishi katika ishara) inaweza kuwa tofauti kwa kila mfano. Hii ina matokeo mawili ya vitendo: (1) Maandishi sawa yanaweza kutoa idadi tofauti ya ishara katika mifano tofauti; (2) Utabiri uliofanywa na viashiria kutoka kwa watoa huduma wengine (k.m. maktaba ya tiktokeni ya OpenAI) hautakuwa sahihi kwa Claude - tumia kidokezo cha kuhesabu tokeni kwa muundo unaotumia.
Kidokezo: "Kuhusu ishara ngapi?" Usijibu swali kwa upofu. Pitisha maandishi ya mwakilishi kupitia API ya kuhesabu ishara; Maamuzi ya msingi ya bajeti juu ya kipimo.
Ishara za Kuingiza na Pato
Ankara ina vitu viwili:
- Tokeni za ingizo: Chochote unachotuma kwa modeli - haraka ya mfumo, ziara za awali, ujumbe wa mtumiaji, hati ikiwa zipo. Haya yanachakatwa yote mara moja.
- Tokeni za pato: Majibu yanayotolewa na modeli. Kwa kila ishara ya pato, mfano hufanya hesabu hatua kwa hatua.
Kwa watoa huduma wengi, pato ni ghali mara kadhaa kuliko ingizo. Sababu ni rahisi: kusoma pembejeo mara moja ni nafuu kuliko kutoa tokeni-kwa-ishara. Kujua ulinganifu huu hueleza kwa nini uboreshaji kama vile "huhitaji majibu mafupi" ni mzuri sana.
Bei za sampuli (kwa tokeni milioni 1, USD)
Jedwali hapa chini ni kumbukumbu; Bei zinaweza kubadilika kwa muda, tafadhali thibitisha orodha ya sasa ya mtoa huduma wako.
darasa la mfano
mfano wa mfano
Ingizo ($/1M)
Pato ($/1M)
Matumizi ya kawaida
haraka/ nafuu
Haiku 4.5
1.00
5.00
Uainishaji, kuweka lebo, muhtasari rahisi
usawa
soneti 5
3.00
15.00
Kusudi la jumla, kuweka misimbo, kazi ya wakala
nguvu
Opus 4.8
5.00
25.00
Hoja tata, kazi za masafa marefu
Katika kila darasa, pato ni mara 5 ya pembejeo; Aidha, hata pembejeo ya mfano wenye nguvu ni mara 5 ya pembejeo ya mfano wa bei nafuu. Mihimili hii miwili (ya pembejeo↔pato na darasa la modeli) huunda mfumo wa maamuzi yako ya gharama.
Jinsi ya kuhesabu Gharama?
Formula ni rahisi:
gharama = (ishara_ya_ingizo / 1,000,000) × bei_ya_ingizo + (tokeni_ya_tokeo / 1,000,000) × bei_ya_towe
Mfano wa akaunti. Ombi na Sonnet 5: tokeni 1,500 za pembejeo, tokeni 400 za matokeo.
pembejeo = 1,500 / 1,000,000 × 3.00 = $0.0045 pato = 400 / 1,000,000 × 15.00 = $0.0060 jumla = $0.0105 (karibu senti 1)
Simu moja inaonekana nafuu. Lakini zidisha kwa sauti: simu 20,000 kwa siku → $210 kwa siku, ~$6,300 kwa mwezi. Hapa ndipo kiwango kinapotumika.
Kiolezo cha Bajeti ya Kila Mwezi
Ili kutoa gharama ya kila mwezi ya mzigo wa kazi, tumia kiolezo hiki:
1) Tokeni ya wastani ya kila ombi: ......2) Wastani wa tokeni ya pato kwa kila ombi: ......3) Idadi ya maombi kwa siku: ......4) Siku zilizofanya kazi kwa mwezi: ......5) Gharama kwa kila ombi = (1)/1M×bei_ingizo + (2)/1M×pato_bei6) Gharama ya kila mwezi = (5) × (3)
Kumimina mchoro huu kwenye lahajedwali na kuona jinsi jumla inavyocheza unapobadilisha muundo hujumuisha uteuzi wa kielelezo (kitengo cha 5) na kache (kitengo cha 6).
Kufupisha Mwongozo kwa Violezo Vinavyoweza Kunakiliwa
Gharama nyingi hutoka kwa papo kwa muda mrefu na matokeo yasiyofaa. Violezo hapa chini hutoa akiba ya moja kwa moja.
# Punguza urefu wa matokeo. Jibu kwa kutumia upeo wa vipengee 3. Ongeza mantiki au sentensi ya utangulizi.
# Rudisha tu sehemu iliyoombwa Rejesha JSON ifuatayo pekee, usiongeze maandishi mengine yoyote:{"category": "...", "urgency": "low|medium|juu"}
# Ondoa muktadha usio wa lazimaOndoa tarehe na kiasi pekee kutoka kwa maandishi yafuatayo. Usirudie maandishi yote. Maandishi: """{{text}}"""
# Fanya muhtasari wa hotuba ndefu (uhifadhi wa pembejeo) Fupisha hotuba hii katika vipengee 5. Nitatumia muhtasari huu badala ya zamani kamili katika raundi zinazofuata. Hotuba: """{{zamani}}"""
Uhakika dhaifu / Uharaka mkali (kulingana na gharama)
# DHAIFU (inatoa pato, ghali)Changanua ombi hili la usaidizi na uniandikie ukaguzi wa kina.
# STRONG (huzuia pato, bei nafuu na inayoweza kutabirika)Orodhesha ombi hili la usaidizi. Rejesha tu JSON ifuatayo:{"category":"invoice|technical|refund|other","urgency":"low|medium|high"}Usiandike maelezo.
Toleo dhaifu hutoa ishara za pato labda 500; toleo kali ~15. Kwa sababu pato ni ghali, hii ni tofauti kubwa kwa kila simu na huzidisha kwa sauti.
Kesi Tatu Ndogo
Kesi ya 1 - Gharama iliyofichwa ya haraka ya muda mrefu. Huku uwekaji hesabu ulivyopanga kila ankara, iliongeza "kitabu cha sheria" cha kurasa 40 kama ingizo kwa kila ombi: ~ tokeni 12,000 za ingizo kwa kila ombi. Na Sonnet 5 12,000/1M×3 = $0.036 imeingia hivi punde. Bili 5,000 kwa siku → $180 kwa siku. Kwa kuakibisha kitabu cha sheria (kitengo cha 6) gharama ya uingizaji imeshuka kwa ~90%.
Kesi ya 2 - Faida ya kupunguza modeli. Timu moja ilikuwa ikifanya tagi ya hisia "chanya/hasi" kwa kutumia Opus 4.8: ingizo 300 + tokeni 10 za matokeo. Gharama ya Opus 300/1M×5 + 10/1M×25 = $0.00175. Kubadilisha hadi Haiku, 300/1M×1 + 10/1M×5 = $0.00035 — 5x bei nafuu, tofauti ya usahihi ilikuwa isiyoweza kupimika. Kwa simu milioni 3 kwa mwezi, tofauti ni $5,250 → $1,050.
Kesi 3 - Kutoa pato. Wakati timu ya uuzaji ilitoa maelezo ya bidhaa, haikuweka kikomo kwenye pato; mfano wakati mwingine alisema ishara 1,500. Nilipoongeza maagizo ya "maneno 60 ya juu", pato la wastani lilishuka kutoka tokeni 900 hadi 90. Kwa kuwa uchapishaji ulikuwa wa bei ghali, bili ya kila mwezi ilipunguzwa kwa theluthi moja, na maandishi yakawa yenye manufaa zaidi.
Makosa ya kawaida
- Kubahatisha ishara kwa jicho: Unaweza kuwa na makosa haswa kwa Kituruki na msimbo. Pima.
- Kwa kuchukulia pembejeo na pato ni sawa: Pato kawaida ni ghali zaidi; Uboreshaji mwingi unatokana na kufupisha matokeo.
- Usidanganywe na bei nafuu ya simu moja: Uamuzi unafanywa kwa sauti. $0.01 × milioni = $10,000.
- Utabiri na tokenizer ya mtoa huduma mwingine: Hutoa matokeo yasiyo sahihi; Tumia zana ya kuhesabu ishara ya mfano.
- Upanuzi usio na kikomo wa historia ya mazungumzo: Kila mzunguko huongezwa kwenye kiingilio; fupisha katika mazungumzo marefu.
- Kuweka `max_tokens` juu isivyohitajika: Huficha mpango wa bajeti na hatari ya kupunguzwa; Toa thamani halisi.
Kina zaidi: Dirisha la Muktadha na Gharama ya Kuingiza Muda Mrefu
Ni muhimu kuona jinsi bei inavyojilimbikiza "kwenye mazungumzo" na sio "kwa kila ombi tu." Jumla ya maandishi ambayo mtindo unaweza kusindika inaitwa dirisha la muktadha; Jumla ya ingizo na pato lazima zitoshee kwenye dirisha hili. Aina za kisasa hutoa madirisha makubwa sana (mamia ya maelfu, hata mamilioni ya ishara), lakini hiyo haimaanishi kuwa unaweza "kuijaza kabisa" - chochote unachoweka kwenye dirisha kinatozwa kama pembejeo.
Mtego katika mazungumzo marefu ni huu: kwa kila mzunguko mpya unatuma historia nzima tena (kutokuwa na utaifa katika kitengo cha 1). Katika mazungumzo ya raundi 20, ombi la 20 hubeba raundi zote 19 za kwanza kama ingizo. Kwa hivyo, mazungumzo yanapoendelea kuwa marefu, gharama kwa kila ombi hukua kwa kujumlisha badala ya kufuatana. Mazungumzo ya raundi 50 na msaidizi wa wakala yanaweza kutoa gharama ya pembejeo mara kadhaa raundi ya kwanza.
Kuna njia mbili za kusimamia hii. Ya kwanza ni muhtasari: kubana raundi za zamani kuwa kizuizi kimoja cha muhtasari, na kuweka tu mizunguko michache iliyopita mbichi. Ya pili ni uakibishaji wa papo hapo (kitengo cha 6): kusoma muktadha uliowekwa kwa sehemu ya kumi ya bei badala ya kuichakata mara kwa mara kwa bei kamili. Kwa pamoja, wanapunguza kwa kiasi kikubwa muswada wa kazi ndefu, zinazohitaji muktadha. Kwa hivyo uchumi wa ishara ni juu ya muundo wa kikao kizima, sio ombi moja.
Kwa muhtasari
Ishara ni kitengo kidogo ambacho maandishi yanachakatwa; pembejeo na pato ni bei tofauti, na pato mara nyingi ni ghali zaidi. Gharama ni idadi ya ishara zilizozidishwa na bei ya kitengo, na uamuzi halisi unafanywa kwa kiasi. Kufupisha haraka, kupunguza pato, na kuchagua mtindo mwepesi zaidi unaotimiza kazi ni viunzi vya moja kwa moja ambavyo vinapunguza gharama mara nyingi.
Jukumu la maombi
Chagua kazi yako mwenyewe. (1) Bainisha idadi ya tokeni na makadirio ya tokeni za kidokezo cha mwakilishi (pima kwa zana ya kuhesabu tokeni ikiwezekana). (2) Kukokotoa gharama kwa kila ombi kwa madarasa matatu ya modeli. (3) Kadiria idadi yako ya kila siku ya maombi na upate bajeti ya kila mwezi ya miundo mitatu. (4) Ongeza maagizo ili kufupisha matokeo na kumbuka akiba inayotarajiwa.
orodha ya ukaguzi
- [ ] Ninaweza kueleza dhana ya tokeni na kwamba tokeni hutofautiana kulingana na mfano.
- [ ] Ninajua kwa nini tokeni za pembejeo na pato zina bei tofauti.
- [ ] Ninaweza kukokotoa gharama ya ombi kwa kutumia fomula.
- [ ] Ninaweza kuunda bajeti ya kila mwezi ya mzigo wa kazi kwa kutumia kiolezo.
- [ ] Ninaweza kuonyesha kwa mfano manufaa ya kufupisha matokeo na upunguzaji wa modeli.