Girdeji:
- Token, giriş / çykyş nyşany tapawudy we tokenizasiýa düşünjesini düşündiriň.
- Islegiň bahasyny we aýlyk iş ýüküni bellikleriň sanyndan we birlik bahasyndan hasaplap bilýär
- Model saýlamasynyň we gyssagly uzynlygyň bahasyna täsirini deňeşdirip biler
LLM API-leriniň ykdysadyýetine düşünmän masştabda çözgüt gurup bilmersiňiz. Demo bir gezek işleýär; Esasy zat, aýda müňlerçe jaň edilende kanun taslamasynyň nähili boljakdygyny çaklamak. Bu bölümde zatlaryň pul tarapyny düzýäris: bellik näme, giriş we çykyş näme üçin başgaça bahalandyrylýar, haýyşyň bahasyny nädip hasaplamaly we aýlyk iş ýüküni nädip býudjet etmeli. Bu maglumatlar, indiki bölümlerde optimizasiýa usullarynyň (keşleme, model saýlamak, partiýa) gaýdyp gelişini ölçemäge mümkinçilik berýär.
Token näme?
Token, modeliň teksti gaýtadan işleýän iň kiçi bölümi. Söz elmydama nyşan däl; belgi adatça sözüň bir bölegidir. Takyk aýdanymyzda, iňlis dilinde 1 belgi ≈ 4 simwol ≈ 0.75 söz. Türk we kod görnüşinde gatnaşygy üýtgeýär: Türk sözleri, goşulan gurluşy we elipbiýi sebäpli köplenç iňlis dilinden has köp belgi bölünýär. Şonuň üçin bellikleriň sanyny göz bilen çaklamak däl-de, üpjün edijiniň belgi sanamak guraly bilen ölçemek zerurdyr.
Tokenizasiýa (teksti belliklere bölmek prosesi) her model üçin dürli bolup biler. Munuň iki amaly netijesi bar: (1) Şol bir tekst dürli modellerde dürli belgileri berip biler; (2) Beýleki üpjün edijileriň bellikleri bilen berlen çaklamalar (meselem, OpenAI-iň tiktoken kitaphanasy) Klod üçin nädogry bolar - ulanýan modeliňiz üçin bellik sanamak maslahatyny ulanyň.
Maslahat: "Näçe belgi hakda?" Soraga kör jogap bermäň. Wekil sanamak API arkaly wekilçilikli teksti geçiriň; Ölçeg boýunça esasy býudjet kararlary.
Giriş we çykyş belgileri
Hasap-faktura iki elementden ybarat:
- Giriş bellikleri: Modeliňize iberen zadyňyz - ulgam gyssagly, geçen gezelençler, ulanyjy habary, bar bolsa resminamalar. Bularyň hemmesi birbada gaýtadan işlenýär.
- Çykyş bellikleri: Model tarapyndan öndürilen jogap. Her çykyş belligi üçin model hasaplamany ädimme-ädim ýerine ýetirýär.
Köp üpjün edijiler bilen çykyş girişden birnäçe esse gymmat. Sebäbi ýönekeý: girişi birbada okamak, çykyş tokenini öndürmekden arzan. Bu assimetriýany bilmek, “gysga jogaplary talap etmek” ýaly optimizasiýalaryň beýle täsirli bolandygyny düşündirýär.
Nusga bahalary (1 million token üçin, ABŞ dollary)
Aşakdaky tablisa salgylanma; Wagtyň geçmegi bilen bahalar üýtgäp biler, üpjün edijiňiziň häzirki sanawyny tassyklaň.
model synpy
nusga modeli
Giriş ($ / 1M)
Çykyş ($ / 1M)
Adaty ulanylyşy
çalt / arzan
Haýku 4.5
1.00
5.00
Klassifikasiýa, bellik, ýönekeý gysgaça mazmun
deňagramly
sonet 5
3.00
15.00
Umumy maksat, kodlaşdyrmak, agent işi
güýçli
Opus 4.8
5.00
25.00
Çylşyrymly pikirlenmek, uzak aralykdaky meseleler
Her synpda çykyş girişden 5 esse köp; Mundan başga-da, güýçli modeliň girişi hem arzan modeliň girişinden 5 esse köpdür. Bu iki ok (giriş çykyşy we model synpy) çykdajy kararlaryňyzyň çarçuwasyny emele getirýär.
Bahany nädip hasaplamaly?
Formula ýönekeý:
bahasy = (giriş_token / 1,000,000) × giriş_ bahasy + (çykyş_token / 1,000,000) × çykyş_ bahasy
Mysal hasaby. Sonnet 5: 1500 giriş belligi, 400 çykyş belligi bilen haýyş.
giriş = 1,500 / 1,000,000 × 3.00 = $ 0.0045 çykyş = 400 / 1,000,000 × 15.00 = $ 0.0060 jemi = $ 0.0105 (takmynan 1 sent)
Bir jaň arzan görünýär. Volumeöne göwrümi boýunça köpeliň: Günde 20,000 jaň → 210 $, aýda 6,300 $. Bu ýerde masştab oýnaýar.
Aýlyk býudjet şablony
Iş ýüküniň aýlyk bahasyny çykarmak üçin şu şablony ulanyň:
1) Her haýyş boýunça ortaça giriş belligi: ...... 2) Her haýyş boýunça ortaça çykyş belligi: ...... 3) Günde islegleriň sany: ...... 4) Aýda işlenýän günler: ...... 5) Islegiň bahasy = (1) / 1M × input_price + (2) / 1M × çykyş_price6) Aýlyk çykdajy = (5) × (3) × (4)
Bu nagşy elektron tablisasyna dökmek we modeli üýtgedeniňizde jemiň nähili oýnaýandygyny görmek, model saýlamasy (5-nji bölüm) we keş (6-njy bölüm) kararlaryny öz içine alýar.
Göçürip boljak galyplar bilen gyssagly gysgaltmak
Çykdajylaryň köpüsi gereksiz uzyn tekliplerden we biderek önümlerden gelýär. Aşakdaky galyplar göni tygşytlamagy üpjün edýär.
# Çykyş uzynlygyny çäklendiriň. Iň köp 3 zat bilen jogap beriň. Esasy ýa-da giriş sözlemini goşuň.
# Diňe talap edilýän meýdany yzyna gaýtaryň Diňe aşakdaky JSON-y yzyna gaýtaryň, başga tekst goşmaň: category "kategoriýa": "...", "gyssaglylyk": "pes | orta | ýokary"}
# Gereksiz konteksti aýyryň Aşakdaky tekstden diňe senäni we mukdary aýyryň. Tekstiň hemmesini gaýtalamaň. Tekst: "" "{{tekst}}" ""
# Uzyn çykyşy jemläň (giriş tygşytlamak) Bu çykyşy 5 elementde jemläň. Bu gysgaça mazmuny indiki tapgyrlarda doly geçmişiň ýerine ulanaryn. Gepleşik: "" "{{geçmiş}}" ""
Gowşak haýyş / Güýçli haýyş (bahasy boýunça)
# WEAK (çykarylýar, gymmat) Bu goldaw haýyşyny derňäň we maňa giňişleýin syn ýazyň.
# Güýçli (çykyşy çäklendirýär, arzan we öňünden aýdyp bolýar) Bu goldaw haýyşyny klassifikasiýa ediň. Diňe aşakdaky JSON-y yzyna gaýtaryň: {"kategoriýa": "hasap-faktura | tehniki | yzyna gaýtarmak | başga", "gyssaglylyk": "pes | orta | ýokary"} Düşündiriş ýazmaň.
Gowşak wersiýa, belki, 500 çykyş belligini öndürýär; güýçli wersiýa ~ 15. Çykyş gymmat bolany üçin, bu jaň üçin ep-esli tapawut bolup, ses bilen köpelýär.
Üç kiçi waka
1-nji waka - Uzyn islegiň gizlin bahasy. Hasaplaşyk awtomatizasiýasy her bir hasap-fakturany tertipleşdirensoň, her haýyşa giriş hökmünde 40 sahypalyk “düzgün kitaby” goşdy: her haýyş üçin 12,000 giriş belligi. Sonnet 5 bilen 12,000 / 1M × 3 = $ 0.036 girdi. Günde 5000 kagyz → 180 dollar. Kitap depderini keşde (6-njy bölüm) giriş bahasy ~ 90% arzanlady.
2-nji hadysa - modeli peseltmegiň netijesi. Bir topar Opus 4.8: 300 giriş + 10 çykyş bellikleri bilen ýönekeý “oňyn / negatiw” duýgy belliklerini edýärdi. Opusyň bahasy 300 / 1M × 5 + 10 / 1M × 25 = $ 0.00175. 300 / 1M × 1 + 10 / 1M × 5 = $ 0.00035 - 5x arzan Haýkuna geçmek, takyklygyň tapawudy çäksizdi. Aýda 3 million jaňda tapawut 5250 → 1,050 dollar.
3-nji waka - Çykyş. Marketing topary önümiň beýanyny çykaranda, önümçilige hiç hili çäklendirme goýmady; model käwagt 1500 token diýýärdi. "60 söz maksimum" görkezmesini goşanymda, ortaça çykyş 900-den 90 belgä çenli azaldy. Çap etmek gaty gymmat bolansoň, aýlyk töleg üçden birine azaldy we tekstler has peýdaly boldy.
Adaty ýalňyşlyklar
- Belgini göz bilen çaklamak: Esasan türk we kod dillerinde ýalňyşyp bilersiňiz. Ölçe.
- Giriş we çykyş birmeňzeş diýip çaklasak: Çykyş adatça has gymmat; Optimizasiýanyň köpüsi çykyşy gysgaltmakdan gelýär.
- Callekeje jaňyň arzanlygy bilen aldanmaň: Karar ses bilen kabul edilýär. 0.01 × million = 10,000 $.
- Başga bir üpjün edijiniň tokenizatory bilen çaklama: Nädogry netijeleri berýär; Modeliň belgi sanamak guralyny ulanyň.
- Gepleşik taryhynyň çäksiz ulalmagy: Her tapgyra ýazga goşulýar; uzyn gepleşiklerde jemläň.
- "Max_tokens" -i zerur däl derejede saklamak: Býudjet meýilnamasyny we kesilmek howpuny gizleýär; Hakyky baha beriň.
Çuňňur: Kontekst penjiresi we uzak giriş bahasy
Bahanyň diňe "haýyş bilen" däl-de, "söhbetdeşlikde" nädip saklanýandygyny görmek gaty möhümdir. Modeliň işläp bilýän tekstiniň umumy mukdaryna kontekst penjiresi diýilýär; Giriş we çykyş jemi bu penjire laýyk bolmaly. Döwrebap modeller örän uly penjireleri (ýüzlerçe müňler, hatda millionlarça bellikler) hödürleýär, ýöne bu "çäksiz dolduryp" biljekdigiňizi aňlatmaýar - penjirä näme goýsaňyzam giriş hasaplanýar.
Uzyn gepleşiklerdäki duzak şeýledir: her täze tapgyr bilen tutuş taryhy täzeden iberýärsiňiz (1-nji bölümdäki raýatlygy ýok). 20 aýlawly söhbetdeşlikde, 20-nji haýyş, giriş hökmünde ilkinji 19 tapgyryň hemmesini öz içine alýar. Şeýlelik bilen, söhbetdeşlik uzaldygyça, her haýyş üçin çykdajy çyzykly däl-de, jemlenýär. Agent kömekçisi bilen 50 aýlawly söhbetdeşlik, birinji tapgyrda giriş çykdajylaryny onlarça esse öndürip biler.
Muny dolandyrmagyň iki usuly bar. Birinjisi yzyna gaýtarmak: köne tegelekleri ýekeje gezek gaýtalamak blokuna gysmak, diňe soňky tapgyrlary çig saklamak. Ikinjisi gyssagly keş (6-njy bölüm): kesgitlenen bahany doly bahada gaýtadan işlemegiň ýerine bahanyň ondan birinde okamak. Bilelikde, uzak, konteksti köp talap edýän iş hakyny has azaldýarlar. Şeýlelik bilen, ykdysadyýete ýekeje haýyş däl-de, tutuş sessiýanyň dizaýny degişlidir.
Gysgaça
Token, tekstiň işlenýän iň kiçi bölümi; giriş we çykyş aýratyn bahalandyrylýar we çykyş köplenç has gymmat bolýar. Bahasy, birlik bahasy bilen köpeldilen belgileriň sanydyr we hakyky karar göwrüm bilen kabul edilýär. Çalt gysgaltmak, çykyşy çäklendirmek we bu işi ýerine ýetirýän iň ýeňil modeli saýlamak, çykdajylary birnäçe esse azaldýan iň göni hereketlendirijilerdir.
Programma meselesi
Özüňizden bir meseläni saýlaň. (1) Wekil soragy üçin giriş we çak edilýän çykyş belgileriniň sanyny kesgitläň (mümkin bolsa belgi sanamak guraly bilen ölçäň). (2) Üç model synpy üçin haýyş üçin bahany hasaplaň. (3) Gündelik islegleriňize baha beriň we üç model üçin aýlyk býudjet alyň. (4) Çykaryşy gysgaltmak we garaşylýan tygşytlamalary bellemek üçin görkezme goşuň.
gözegçilik sanawy
- [] Tokenler düşünjesini düşündirip bilerin we tokenizasiýa modeline baglylykda üýtgeýär.
- [] Giriş we çykyş bellikleriniň näme üçin başgaça baha berilýändigini bilýärin.
- [] Formula bilen haýyşyň bahasyny hasaplap bilerin.
- [] Şablon ulanyp, iş ýükleri üçin aýlyk býudjet döredip bilerin.
- [] Çykyşyň gysgaldylmagynyň we modeliň azaldylmagynyň peýdasyny mysal bilen görkezip bilerin.