Daromadlar:
- Token, kirish/chiqish tokenini farqlash va tokenizatsiya tushunchasini tushuntiring.
- Tokenlar soni va birlik narxidan so'rov narxini va oylik ish yukini hisoblashi mumkin
- Model tanlash va tezkor uzunlikning narxga ta'sirini solishtirishi mumkin
LLM API-larining iqtisodini tushunmasdan, miqyosda yechim yarata olmaysiz. Namoyish bir marta ishlaydi; Asosiysi, har oyda minglab qo'ng'iroqlar amalga oshirilganda, hisob-kitob qanday bo'lishini oldindan aytib bera olishdir. Ushbu bo'limda biz narsalarning pul tomonini o'rnatamiz: token nima, nima uchun kirish va chiqish har xil narxlanadi, so'rov narxini qanday hisoblash kerak va oylik ish yukini qanday byudjetlashtirish kerak. Ushbu ma'lumot sizga keyingi birliklarda optimallashtirish usullarining (keshlash, model tanlash, partiya) qaytishini o'lchash imkonini beradi.
Token nima?
Token - bu model matnni qayta ishlaydigan eng kichik birlik. So'z har doim ham belgi emas; token odatda so‘zning bo‘lagi hisoblanadi. Taxminan aytganda, ingliz tilida 1 ta token ≈ 4 ta belgidan ≈ 0,75 so‘zdan iborat. Turk va kod tillarida nisbat turlicha bo‘ladi: turkcha so‘zlar ko‘pincha qo‘shimchali tuzilishi va alifbosi tufayli ingliz tiliga qaraganda ko‘proq leksemalarga bo‘linadi. Shuning uchun, ko'z bilan taxmin qilishdan ko'ra, tokenlar sonini provayderning tokenni hisoblash vositasi bilan o'lchash kerak.
Tokenizatsiya (matnni tokenlarga bo'lish jarayoni) har bir model uchun har xil bo'lishi mumkin. Buning ikkita amaliy oqibati bor: (1) Bir xil matn turli modellarda turli xil sonli tokenlarni berishi mumkin; (2) Boshqa provayderlarning tokenizatorlari (masalan, OpenAI tiktoken kutubxonasi) yordamida qilingan bashoratlar Klod uchun noto‘g‘ri bo‘ladi — foydalanayotgan modelingiz uchun tokenlarni hisoblash bo‘yicha maslahatdan foydalaning.
Maslahat: "Qancha token haqida?" Savolga ko'r-ko'rona javob bermang. Tokenlarni hisoblash API orqali vakili matnni o'tkazing; O'lchov bo'yicha byudjet qarorlarini asoslang.
Kirish va chiqish tokenlari
Hisob-faktura ikki qismdan iborat:
- Kirish tokenlari: Siz modelga yuboradigan har qanday narsa - tizim so'rovi, o'tgan sayohatlar, foydalanuvchi xabari, agar mavjud bo'lsa, hujjatlar. Bularning barchasi bir vaqtning o'zida qayta ishlanadi.
- Chiqish belgilari: Model tomonidan ishlab chiqarilgan javob. Har bir chiqish belgisi uchun model hisoblashni bosqichma-bosqich amalga oshiradi.
Aksariyat provayderlarda chiqish kirishdan bir necha barobar qimmatroq. Sababi oddiy: kiritilgan ma'lumotlarni birdaniga o'qish chiqish tokenini ishlab chiqarishdan ko'ra arzonroqdir. Ushbu assimetriyani bilish "qisqa javoblarni talab qilish" kabi optimallashtirishlar nima uchun juda samarali ekanligini tushuntiradi.
Namuna narxlari (1 million token uchun, AQSh dollari)
Quyidagi jadval havola hisoblanadi; Vaqt o'tishi bilan narxlar o'zgarishi mumkin, iltimos, provayderingizning joriy ro'yxatini tasdiqlang.
namunaviy sinf
namuna modeli
Kirish ($/1 million)
Chiqish ($/1M)
Oddiy foydalanish
tez/arzon
Xayku 4.5
1.00
5.00
Tasniflash, etiketlash, oddiy xulosa
muvozanatli
sonet 5
3.00
15.00
Umumiy maqsad, kodlash, agent ishi
kuchli
Opus 4.8
5.00
25.00
Murakkab fikrlash, uzoq muddatli vazifalar
Har bir sinfda chiqish 5 marta kiritilgan; Bundan tashqari, hatto kuchli modelning kirishi ham arzon modelning kirishidan 5 baravar ko'p. Ushbu ikkita eksa (kirish↔chiqish va model klassi) sizning xarajatlar bo'yicha qarorlaringiz asosini tashkil qiladi.
Narxni qanday hisoblash mumkin?
Formula oddiy:
xarajat = (kirish_tokeni / 1,000,000) × kirish_narxi + (chiqish_tokeni / 1,000,000) × chiqish_narxi
Hisob namunasi. Sonnet 5 bilan so'rov: 1500 kirish tokeni, 400 chiqish tokeni.
kirish = 1,500 / 1,000,000 × 3,00 = $0,0045 chiqish = 400 / 1,000,000 × 15,00 = $0,0060 jami = $0,0105 (taxminan 1 tsent)
Bir qo'ng'iroq arzon ko'rinadi. Ammo ovoz balandligi bo'yicha ko'paytiring: kuniga 20 000 qo'ng'iroq → kuniga $ 210, oyiga ~ $ 6,300. Bu erda o'lchov o'ynaydi.
Oylik byudjet shabloni
Ish yukining oylik narxini olish uchun ushbu shablondan foydalaning:
1) Har bir so‘rov bo‘yicha o‘rtacha kirish tokeni: ......2) Har bir so‘rov uchun o‘rtacha chiqish tokeni: ......3) Kunlik so‘rovlar soni: ......4) Oyda ishlagan kunlar: ......5) Har bir so‘rov narxi = (1)/1M×kirish_narxi + (2)/1M×chiqish_narxi6) Oylik xarajat = (5) ×) (3) ×
Ushbu naqshni elektron jadvalga quyish va modelni o'zgartirganda yig'indining qanday o'ynashini ko'rish model tanlash (5-birlik) va kesh (6-birlik) qarorlarini o'zida mujassamlashtiradi.
Nusxalanadigan shablonlar bilan taklifni qisqartirish
Xarajatlarning ko'p qismi keraksiz uzoq muddatli takliflar va behuda ishlab chiqarishdan kelib chiqadi. Quyidagi andozalar to'g'ridan-to'g'ri tejash imkonini beradi.
# Chiqish uzunligini cheklash. Maksimal 3 ta element bilan javob bering. Mantiqiy yoki kirish gapni qo'shing.
# Faqat so'ralgan maydonni qaytaring Faqat quyidagi JSONni qaytaring, boshqa matn qo'shmang:{"category": "...", "shoshilinch": "past|o'rta|yuqori"}
# Keraksiz kontekstni olib tashlang. Quyidagi matndan faqat sana va miqdorni olib tashlang. Butun matnni takrorlamang.Matn: """{{text}}"""
# Uzoq nutqni jamlash (kirishni saqlash) Ushbu nutqni 5 bandga jamlang. Keyingi turlarda to'liq o'tmish o'rniga ushbu xulosadan foydalanaman. Nutq: """{{o'tgan}}"""
Zaif tezkor / Kuchli tezkor (xarajat bo'yicha)
# ZAFIZ (chiqaradi, qimmat) Ushbu qo'llab-quvvatlash so'rovini tahlil qiling va menga har tomonlama sharh yozing.
# KUCHLI (chiqarishni cheklaydi, arzon va bashorat qilinadi) Ushbu qo‘llab-quvvatlash so‘rovini tasniflang. Shunchaki quyidagi JSONni qaytaring:{"category":"invoice|texnik|pulni qaytarish|boshqa","shoshilinch":"past|o'rta|yuqori"}Tavsif yozmang.
Zaif versiya 500 ta chiqish tokenini ishlab chiqaradi; kuchli versiya ~ 15. Chiqarish qimmat bo'lgani uchun, bu har bir qo'ng'iroq uchun sezilarli farq va ovoz balandligi bilan ko'payadi.
Uchta mini korpus
1-holat - Uzoq so'rovning yashirin narxi. Buxgalteriya hisobini avtomatlashtirish har bir hisob-fakturani saralaganligi sababli, u har bir so'rovga kirish sifatida 40 betlik "qoidalar kitobi" ni qo'shdi: har bir so'rov uchun ~ 12 000 kirish tokeni. Sonnet 5 bilan 12,000/1M×3 = $0,036 hozirgina kiritilgan. Kuniga 5000 veksel → kuniga $180. Qoidalar kitobini keshlash orqali (6-birlik) kirish narxi ~90% ga kamaydi.
2-holat - Modelni qisqartirishning foydasi. Bir jamoa Opus 4.8: 300 kirish + 10 chiqish tokeni bilan oddiy "ijobiy/salbiy" hissiyotlarni belgilashni amalga oshirdi. Opus narxi 300/1M×5 + 10/1M×25 = $0,00175. Xaykuga o'tish, 300/1M×1 + 10/1M×5 = $0,00035 — 5 barobar arzonroq, aniqlikdagi farq beqiyos edi. Oyiga 3 million qo'ng'iroqda farq 5250 → 1050 dollarni tashkil qiladi.
3-holat - Chiqishni chiqarish. Marketing jamoasi mahsulot tavsifini ishlab chiqarganida, u ishlab chiqarishga hech qanday cheklovlar qo'ymaydi; model ba'zan dedi 1500 tokens. "Maksimum 60 so'z" yo'riqnomasini qo'shganimda, o'rtacha chiqish 900 dan 90 tagacha kamaydi. Chop etish qimmat bo'lgani uchun oylik to'lov uchdan bir qismga qisqardi va matnlar foydaliroq bo'ldi.
Umumiy xatolar
- Tokenni ko'z bilan taxmin qilish: Ayniqsa turkcha va kodda xato qilishingiz mumkin. O'lchov.
- Agar kirish va chiqish bir xil bo'lsa: Chiqish odatda ancha qimmatga tushadi; Optimallashtirishning aksariyati chiqishni qisqartirishdan kelib chiqadi.
- Bitta qo'ng'iroqning arzonligi bilan aldanmang: qaror ovoz balandligi bo'yicha qabul qilinadi. 0,01 × million dollar = 10 000 dollar.
- Boshqa provayderning tokenizeri bilan bashorat qilish: noto'g'ri natijalar beradi; Modelning tokenlarni hisoblash vositasidan foydalaning.
- Suhbat tarixini cheksiz kattalashtirish: Har bir tur kirishga qo'shiladi; uzoq suhbatlarda umumlashtiring.
- `max_tokens`ni keraksiz darajada yuqori ushlab turish: Byudjet rejasini va qisqartirish xavfini yashiradi; Haqiqiy qiymat bering.
Chuqurroq: kontekst oynasi va uzoq kirish narxi
Narx nafaqat "so'rov bo'yicha" emas, balki "suhbat davomida" qanday ko'tarilishini ko'rish juda muhimdir. Model qayta ishlay oladigan matnning umumiy miqdori kontekst oynasi deb ataladi; Kirish va chiqish yig'indisi ushbu oynaga mos kelishi kerak. Zamonaviy modellar juda katta oynalarni taklif qiladi (yuz minglab, hatto millionlab tokenlar), lekin bu siz "uni cheksiz ravishda to'ldirishingiz" mumkin degani emas - oynaga nima qo'ygan bo'lsangiz, kirish sifatida hisob-kitob qilinadi.
Uzoq suhbatlardagi tuzoq bu: har bir yangi turda siz butun tarixni yana yuborasiz (1-bo'limda fuqarolik yo'qligi). 20-raundlik suhbatda 20-so'rov dastlabki 19-raundni kiritish sifatida oladi. Shunday qilib, suhbat cho'zilgan sayin, har bir so'rovning narxi chiziqli emas, balki yig'indisi o'sadi. Agent yordamchisi bilan 50 raundlik suhbat birinchi raundga qaraganda o'nlab marta kiritish xarajatlarini keltirib chiqarishi mumkin.
Buni boshqarishning ikki yo'li mavjud. Birinchisi, takrorlash: eski turlarni bitta takrorlash blokiga siqib, faqat oxirgi bir necha raundni xom ashyoni saqlab qolish. Ikkinchisi - tezkor keshlash (6-birlik): belgilangan kontekstni to'liq narxda qayta-qayta ishlash o'rniga narxning o'ndan birida o'qish. Birgalikda ular uzoq, kontekstli intensiv ish yuklari bo'yicha hisobni sezilarli darajada kamaytiradi. Shunday qilib, token iqtisodiyoti bitta so'rov emas, balki butun sessiya dizayni bilan bog'liq.
Xulosa
Token - matnga ishlov beriladigan eng kichik birlik; kirish va chiqish alohida baholanadi va chiqish ko'pincha ancha qimmat. Xarajat - bu tokenlar soni birlik narxiga ko'paytiriladi va haqiqiy qaror hajmi bo'yicha qabul qilinadi. Tezlikni qisqartirish, chiqishni cheklash va vazifani bajaradigan eng engil modelni tanlash xarajatlarni ko'p marta kamaytiradigan eng to'g'ridan-to'g'ri tutqichlardir.
Ilova vazifasi
O'zingizning vazifangizni tanlang. (1) Vakil so'rovi uchun kirish va taxminiy chiqish tokenlari sonini aniqlang (agar iloji bo'lsa, tokenni hisoblash vositasi bilan o'lchang). (2) Uchta model sinfi uchun har bir so'rov narxini hisoblang. (3) Kunlik so'rovlar sonini hisoblang va uchta model uchun oylik byudjetni oling. (4) Chiqishni qisqartirish uchun ko'rsatma qo'shing va kutilgan tejashni qayd qiling.
nazorat ro'yxati
- [ ] Men tokenlar tushunchasini tushuntira olaman va tokenizatsiya modelga qarab farq qiladi.
- [ ] Men nima uchun kirish va chiqish tokenlari boshqacha baholanishini bilaman.
- [ ] Formula bilan so‘rov narxini hisoblab chiqa olaman.
- [ ] Shablon yordamida ish yuki uchun oylik byudjet yaratishim mumkin.
- [ ] Chiqishni qisqartirish va modelni qisqartirishning foydasini misol bilan ko'rsatishim mumkin.