Qligħ:
- Spjega l-kunċett ta 'token, distinzjoni ta' token ta 'input/output u tokenization.
- Jista 'jikkalkula l-ispiża ta' talba u ammont ta 'xogħol ta' kull xahar min-numru ta 'tokens u prezz unitarju
- Jista 'jqabbel l-impatt tal-għażla tal-mudell u t-tul fil-pront fuq l-ispiża
Ma tistax tibni soluzzjoni fuq skala mingħajr ma tifhem l-ekonomija tal-APIs LLM. Demo runs darba; Il-ħaġa prinċipali hija li tkun tista 'tbassar x'se jkun il-kont meta jsiru eluf ta' sejħiet fix-xahar. F'din l-unità waqqafna n-naħa tal-flus tal-affarijiet: x'inhu token, għaliex l-input u l-output huma pprezzati b'mod differenti, kif tikkalkula l-ispiża ta 'talba, u kif tibbaġitja tagħbija tax-xogħol ta' kull xahar. Din l-informazzjoni tippermettilek tkejjel ir-ritorn ta 'tekniki ta' ottimizzazzjoni (caching, għażla tal-mudell, lott) f'unitajiet sussegwenti.
X'inhu Token?
Token huwa l-iżgħar unità li fiha l-mudell jipproċessa t-test. Kelma mhix dejjem simbolu; token huwa normalment parti minn kelma. Bejn wieħed u ieħor, bl-Ingliż, token 1 huwa ≈ 4 karattri ≈ 0.75 kelma. Fit-Tork u l-kodiċi, il-proporzjon ivarja: il-kliem Tork spiss jinqasam f'aktar tokens milli bl-Ingliż minħabba l-istruttura u l-alfabett suffissi tiegħu. Għalhekk, huwa meħtieġ li jitkejjel in-numru ta 'tokens bl-għodda tal-għadd tat-tokens tal-fornitur aktar milli guessing bl-għajnejn.
It-tokenizzazzjoni (il-proċess tal-qsim tat-test f'tokens) jista 'jkun differenti għal kull mudell. Dan għandu żewġ konsegwenzi prattiċi: (1) L-istess test jista 'jagħti numri differenti ta' tokens f'mudelli differenti; (2) Tbassir magħmul b'tokenizers minn fornituri oħra (eż. il-librerija tiktoken ta' OpenAI) se jkun mhux preċiż għal Claude — uża l-ponta tal-għadd tat-tokens għall-mudell li qed tuża.
Ħjiel: "Dwar kemm tokens?" Twieġebx il-mistoqsija bl-addoċċ. Għaddi test rappreżentattiv mill-API tal-għadd tat-tokens; Ibbaża d-deċiżjonijiet tal-baġit fuq il-kejl.
Tokens ta' Input u Output
Il-fattura tikkonsisti f'żewġ oġġetti:
- Tokens tal-input: Kull ħaġa li tibgħat lill-mudell — sistema fil-pront, tours tal-passat, messaġġ tal-utent, dokumentazzjoni jekk hemm. Dawn huma pproċessati kollha f'daqqa.
- Output tokens: Ir-rispons prodott mill-mudell. Għal kull token tal-output, il-mudell iwettaq il-kalkolu pass pass.
Mal-biċċa l-kbira tal-fornituri, l-output jiswa bosta drabi aktar mill-input. Ir-raġuni hija sempliċi: il-qari tal-input kollu f'daqqa huwa orħos milli jipproduċi l-output token b'token. Li tkun taf din l-assimetrija tispjega għaliex ottimizzazzjonijiet bħal "jeħtieġu tweġibiet konċiżi" huma daqshekk effettivi.
Prezzijiet tal-kampjun (għal kull miljun tokens, USD)
It-tabella hawn taħt hija referenza; Il-prezzijiet jistgħu jinbidlu maż-żmien, jekk jogħġbok ikkonferma l-lista attwali tal-fornitur tiegħek stess.
klassi tal-mudell
mudell tal-kampjun
Input ($/1M)
Output ($/1M)
Użu tipiku
veloċi/irħis
Haiku 4.5
1.00
5.00
Klassifikazzjoni, tikkettar, sommarju sempliċi
bilanċjat
sunet 5
3.00
15.00
Għan ġenerali, kodifikazzjoni, xogħol ta 'aġent
qawwija
Opus 4.8
5.00
25.00
Raġunament kumpless, kompiti fuq medda twila
F'kull klassi, l-output huwa 5 darbiet l-input; Barra minn hekk, anke l-input tal-mudell b'saħħtu huwa 5 darbiet l-input tal-mudell irħis. Dawn iż-żewġ assi (input↔output u klassi tal-mudell) jiffurmaw il-qafas tad-deċiżjonijiet tiegħek dwar l-ispejjeż.
Kif tikkalkula l-ispiża?
Il-formula hija sempliċi:
spiża = (input_token / 1,000,000) × input_price + (output_token / 1,000,000) × output_price
Kont tal-kampjun. Talba b'Sonet 5: 1,500 token ta 'input, 400 token ta' output.
input = 1,500 / 1,000,000 × 3.00 = $0.0045 output = 400 / 1,000,000 × 15.00 = $0.0060 totali = $0.0105 (madwar 1 ċenteżmu)
Sejħa waħda tidher irħisa. Imma immoltiplika bil-volum: 20,000 telefonata kuljum → $210 kuljum, ~ $6,300 kull xahar. Dan huwa fejn l-iskala tidħol fis-seħħ.
Mudell tal-Baġit ta' Kull Xahar
Biex tiġbed l-ispiża ta’ kull xahar ta’ ammont ta’ xogħol, uża dan il-mudell:
1) Token ta' input medju għal kull talba: ......2) Token ta' output medju għal kull talba: ......3) Numru ta' talbiet kuljum: ......4) Jiem maħduma fix-xahar: ......5) Spiża għal kull talba = (1)/1M×prezz_input + (2)/1M×prezz_output6) Spiża fix-xahar = (5) × (3) × (4)
Tferra dan il-mudell fi spreadsheet u tara kif is-somma tilgħab meta tibdel il-mudell jinkorpora d-deċiżjonijiet tal-għażla tal-mudell (unità 5) u cache (unità 6).
Tqassar il-Prompt b'Mudelli Kopjabbli
Il-biċċa l-kbira tal-ispiża ġejja minn prontijiet twal bla bżonn u produzzjoni moħlija. Il-mudelli hawn taħt jipprovdu tfaddil dirett.
# Limitu t-tul tal-output. Tweġiba b'massimu ta' 3 oġġetti. Żid raġuni jew sentenza introduttorja.
# Irritorna biss il-qasam mitlub Irritorna biss il-JSON li ġej, ma żżidx test ieħor:{"kategorija": "...", "urġenza": "baxxa|medju|għola"}
# Neħħi l-kuntest mhux meħtieġ Neħħi biss id-data u l-ammont mit-test li ġej. Irrepetix it-test kollu.Test: """{{test}}"""
# Agħti fil-qosor id-diskors twil (iffrankar tal-input) Agħti fil-qosor dan id-diskors f'5 oġġetti. Se nuża dan is-sommarju minflok il-passat sħiħ fir-rawnds sussegwenti. Diskors: """{{passat}}"""
Pront dgħajjef / Pront qawwi (f'termini ta' spiża)
# DGĦAJFJA (jitħarreġ l-output, għali)Analizza din it-talba għall-appoġġ u iktebni reviżjoni komprensiva.
# B'SAĦĦITA (jrażżan il-produzzjoni, irħas u prevedibbli) Ikklassifika din it-talba ta' appoġġ. Irritorna biss il-JSON li ġej:{"category":"fattura|teknika|rifużjoni|oħrajn","urġenza":"baxx|medju|għoli"}Tiktebx deskrizzjoni.
Il-verżjoni dgħajfa tipproduċi forsi 500 output tokens; verżjoni b'saħħitha ~15. Minħabba li l-output huwa għali, din hija differenza sinifikanti għal kull sejħa u timmultiplika bil-volum.
Tliet Każijiet Mini
Każ 1 — L-ispiża moħbija tal-pront twil. Peress li awtomazzjoni tal-kontabilità magħżula kull fattura, żiedet "ktieb tar-regoli" ta '40 paġna bħala input għal kull talba: ~ 12,000 tokens ta' input għal kull talba. B'Sonet 5 12,000/1M×3 = $0.036 li għadhom kif daħlu. 5,000 kontijiet kuljum → $180 kuljum. Permezz tal-caching tal-ktieb tar-regoli (unità 6) l-ispiża tal-input naqset b'~90%.
Każ 2 — Il-ħlas tat-tnaqqis fid-daqs tal-mudell. Tim wieħed kien qed jagħmel tikkettar sempliċi ta 'sentiment "pożittiv / negattiv" b'Opus 4.8: 300 input + 10 tokens ta' output. Opus jiswa 300/1M×5 + 10/1M×25 = $0.00175. Taqleb għal Haiku, 300/1M×1 + 10/1M×5 = $ 0.00035 — 5x irħas, id-differenza fl-eżattezza kienet bla kejl. Fuq 3 miljun telefonata fix-xahar, id-differenza hija $5,250 → $1,050.
Każ 3 — Ir-rilaxx tal-output. Meta tim tal-marketing ipproduċa deskrizzjoni tal-prodott, ma stabbilixxa l-ebda limitu fuq il-produzzjoni; il-mudell kultant qal 1,500 tokens. Meta żidt l-istruzzjoni "60 kelma massimu", l-output medju niżel minn 900 għal 90 tokens. Peress li l-istampar kien għali, il-kont ta 'kull xahar kien imnaqqas b'terz, u t-testi saru aktar utli.
Żbalji komuni
- Taqta' t-token bl-għajnejn: Tista' tkun żbaljat speċjalment bit-Tork u l-kodiċi. Miżura.
- Jekk wieħed jassumi li l-input u l-output huma l-istess: L-output ġeneralment jiswa ħafna aktar; Ħafna mill-ottimizzazzjoni ġejja mit-tqassir tal-output.
- Tkunx imqarraq bl-irħis ta 'sejħa waħda: Id-deċiżjoni hija meħuda bil-volum. $ 0.01 × miljun = $ 10,000.
- Tbassir ma 'tokenizer ta' fornitur ieħor: Jagħti riżultati żbaljati; Uża l-għodda tal-għadd tat-tokens tal-mudell.
- Tkabbir bla limitu tal-istorja tal-konversazzjoni: Kull rawnd huwa miżjud mad-dħul; sommarju f’konversazzjonijiet twal.
- Inżommu `max_tokens` għoljin bla bżonn: Jaħbi l-pjan tal-baġit u r-riskju li jinqatgħu; Agħti valur realistiku.
Aktar fil-fond: Tieqa tal-Kuntest u Spejjeż tal-Input Twil
Huwa kritiku li tara kif il-prezz jiġbor 'fuq il-konversazzjoni' u mhux biss "għal kull talba." L-ammont totali ta 'test li l-mudell jista' jipproċessa jissejjaħ it-tieqa tal-kuntest; Is-somma ta' input u output għandha tidħol f'din it-tieqa. Mudelli moderni joffru twieqi kbar ħafna (mijiet ta 'eluf, anke miljuni ta' tokens), iżda dan ma jfissirx li tista '"timlaha infinitament" - tkun xi tkun tpoġġi fit-tieqa jiġi ċċarġjat bħala input.
In-nassa f'konversazzjonijiet twal hija din: ma 'kull rawnd ġdid terġa' tibgħat l-istorja kollha (spatrija fl-unità 1). F'konversazzjoni ta '20 rawnd, l-20 talba ġġorr l-ewwel 19-il rawnd kollha bħala input. Għalhekk, hekk kif il-konversazzjoni titwal, l-ispiża għal kull talba tikber b'mod kumulattiv aktar milli b'mod lineari. Konverżazzjoni ta '50 round ma' assistent ta 'aġent tista' tipproduċi spejjeż ta 'input għexieren ta' darbiet l-ewwel rawnd.
Hemm żewġ modi kif timmaniġġja dan. L-ewwel hija recap: tikkompressa rawnds anzjani fi blokk recap wieħed, billi żżomm biss l-aħħar ftit rawnds mhux maħduma. It-tieni huwa caching fil-pront (unità 6): qari tal-kuntest fiss b'għaxra tal-prezz minflok ma jipproċessah ripetutament bil-prezz sħiħ. Flimkien, inaqqsu b'mod sinifikanti l-kont fuq xogħolijiet twal u intensivi fil-kuntest. Allura l-ekonomija simbolika hija dwar id-disinn tas-sessjoni kollha, mhux talba waħda.
Fil-qosor
Token huwa l-iżgħar unità li fiha jiġi pproċessat it-test; l-input u l-output huma pprezzati separatament, u l-output ħafna drabi jiswa ħafna aktar. L-ispiża hija n-numru ta 'tokens immultiplikat bil-prezz tal-unità, u d-deċiżjoni reali ssir bil-volum. It-tqassir tal-pront, il-limitazzjoni tal-output, u l-għażla tal-eħfef mudell li jwettaq il-kompitu huma l-aktar lievi diretti li jnaqqsu l-ispiża ħafna drabi.
Kompitu ta' applikazzjoni
Agħżel kompitu tiegħek. (1) Iddetermina n-numru ta 'tokens ta' input u output stmati għal pront rappreżentattiv (kejl b'għodda ta 'għadd ta' tokens jekk possibbli). (2) Ikkalkula l-ispiża għal kull talba għat-tliet klassijiet tal-mudell. (3) Stima n-numru ta' talbiet tiegħek ta' kuljum u daħħal il-baġit ta' kull xahar għat-tliet mudelli. (4) Żid struzzjoni biex tqassar l-output u nnota l-iffrankar mistenni.
lista ta' kontroll
- [ ] Kapaċi nispjega l-kunċett tat-tokens u dik it-tokenizzazzjoni tvarja skont il-mudell.
- [ ] Naf għaliex it-tokens ta' input u output huma pprezzati b'mod differenti.
- [ ] Kapaċi nikkalkula l-ispiża ta' talba bil-formula.
- [ ] Kapaċi noħloq baġit ta' kull xahar għal ammont ta' xogħol bl-użu ta' mudell.
- [ ] Kapaċi nuri b'eżempju l-benefiċċju tat-tqassir tal-produzzjoni u t-tnaqqis tal-mudell.