Qazanclar:
- Token, giriş/çıxış işarəsi fərqi və tokenləşdirmə anlayışını izah edin.
- Tokenlərin sayından və vahid qiymətindən sorğunun dəyərini və aylıq iş yükünü hesablaya bilər
- Model seçiminin və tez uzunluğunun qiymətə təsirini müqayisə edə bilər
LLM API-lərin iqtisadiyyatını başa düşmədən miqyasda bir həll qura bilməzsiniz. Demo bir dəfə işləyir; Əsas odur ki, ayda minlərlə zəng ediləndə hesabın nə olacağını təxmin edə biləsən. Bu bölmədə biz şeylərin pul tərəfini təyin edirik: nişan nədir, giriş və çıxış niyə fərqli qiymətə verilir, sorğunun dəyərini necə hesablamaq və aylıq iş yükünü necə büdcələşdirmək lazımdır. Bu məlumat, sonrakı vahidlərdə optimallaşdırma üsullarının (keşləmə, model seçimi, partiya) qaytarılmasını ölçməyə imkan verir.
Token nədir?
Token, modelin mətni emal etdiyi ən kiçik vahiddir. Söz həmişə əlamət deyil; nişanə adətən sözün bir hissəsidir. Kobud desək, ingilis dilində 1 işarə ≈ 4 simvol ≈ 0,75 sözdən ibarətdir. Türk dilində və kodda nisbət dəyişir: Türk sözləri şəkilçi quruluşuna və əlifbasına görə çox vaxt ingilis dilindən daha çox işarəyə bölünür. Buna görə də, tokenlərin sayını gözlə təxmin etməkdənsə, provayderin token sayma aləti ilə ölçmək lazımdır.
Tokenləşdirmə (mətnin tokenlərə bölünməsi prosesi) hər bir model üçün fərqli ola bilər. Bunun iki praktiki nəticəsi var: (1) Eyni mətn müxtəlif modellərdə fərqli sayda işarələr verə bilər; (2) Digər provayderlərin (məsələn, OpenAI-nin tiktoken kitabxanası) tokenizatorları ilə edilən proqnozlar Klod üçün qeyri-dəqiq olacaq — istifadə etdiyiniz model üçün nişan sayma ipucundan istifadə edin.
İpucu: "Təxminən neçə token?" Suala kor-koranə cavab verməyin. Nümunəvi mətni token hesablama API vasitəsilə ötürün; Büdcə qərarlarını ölçməyə əsaslandırın.
Giriş və Çıxış Tokenləri
Faktura iki maddədən ibarətdir:
- Daxiletmə nişanları: Modelə göndərdiyiniz hər şey — sistem sorğusu, keçmiş turlar, istifadəçi mesajı, varsa sənədlər. Bunların hamısı bir anda işlənir.
- Çıxış nişanları: Model tərəfindən hazırlanmış cavab. Hər bir çıxış nişanı üçün model hesablamanı addım-addım yerinə yetirir.
Əksər provayderlərdə çıxış girişdən bir neçə dəfə bahadır. Səbəb sadədir: girişin hamısını birdən oxumaq, çıxış mö'cüzəsini yaratmaqdan daha ucuzdur. Bu asimmetriyanı bilmək "qısa cavablar tələb edir" kimi optimallaşdırmaların niyə bu qədər təsirli olduğunu izah edir.
Nümunə qiymətləri (1 milyon token üçün, ABŞ dolları)
Aşağıdakı cədvəl bir istinaddır; Qiymətlər zamanla dəyişə bilər, lütfən, öz provayderinizin cari siyahısını təsdiq edin.
model sinfi
nümunə modeli
Daxiletmə ($/1M)
Çıxış ($/1M)
Tipik istifadə
sürətli/ucuz
Haiku 4.5
1.00
5.00
Təsnifat, etiketləmə, sadə xülasə
balanslaşdırılmış
sonet 5
3.00
15.00
Ümumi təyinat, kodlaşdırma, agent işi
güclü
Opus 4.8
5.00
25.00
Mürəkkəb əsaslandırma, uzunmüddətli vəzifələr
Hər sinifdə çıxış girişdən 5 dəfədir; Üstəlik, hətta güclü modelin girişi ucuz modelin girişindən 5 dəfə çoxdur. Bu iki ox (giriş↔çıxış və model sinfi) xərc qərarlarınızın çərçivəsini təşkil edir.
Xərcləri necə hesablamaq olar?
Formula sadədir:
xərc = (giriş_tokeni / 1,000,000) × giriş_qiyməti + (çıxış_tokeni / 1,000,000) × çıxış_qiyməti
Hesab nümunəsi. Sonnet 5 ilə sorğu: 1500 giriş nişanı, 400 çıxış əlaməti.
giriş = 1,500 / 1,000,000 × 3,00 = $0,0045 çıxış = 400 / 1,000,000 × 15,00 = $0,0060 cəmi = $0,0105 (təxminən 1 sent)
Bir zəng ucuz görünür. Ancaq həcminə görə çoxaldın: gündə 20.000 zəng → gündə $210, ayda ~ $6.300. Burada miqyas oyuna gəlir.
Aylıq Büdcə Şablonu
İş yükünün aylıq dəyərini çıxarmaq üçün bu şablondan istifadə edin:
1) Sorğu üzrə orta giriş nişanı: ......2) Hər sorğu üzrə orta çıxış tokeni: ......3) Gündəlik sorğuların sayı: ......4) Ayda işlənmiş günlər: ......5) Sorğu üzrə xərc = (1)/1M×giriş_qiyməti + (2)/1M×çıxış_qiyməti6) Aylıq xərc = (5) ×) (3) ×
Bu nümunəni elektron cədvələ tökmək və modeli dəyişdirərkən cəmin necə oynandığını görmək model seçimi (vahid 5) və keş (vahid 6) qərarlarını təcəssüm etdirir.
Kopyalana bilən Şablonlarla Sorğunun Qısaldılması
Xərclərin çoxu lüzumsuz uzun sorğulardan və israf edilmiş məhsuldan gəlir. Aşağıdakı şablonlar birbaşa qənaət təmin edir.
# Çıxış uzunluğunu məhdudlaşdırın. Maksimum 3 maddə ilə cavab verin. Məntiq və ya giriş cümləsi əlavə edin.
# Yalnız tələb olunan sahəni qaytarın Yalnız aşağıdakı JSON-u qaytarın, başqa mətn əlavə etməyin:{"kateqoriya": "...", "təcili": "aşağı|orta|yüksək"}
# Lazımsız konteksti silin Aşağıdakı mətndən yalnız tarixi və məbləği çıxarın. Bütün mətni təkrarlamayın.Mətn: """{{text}}"""
# Uzun nitqi ümumiləşdirin (girişin saxlanması) Bu nitqi 5 maddədə ümumiləşdirin. Sonrakı turlarda tam keçmişin əvəzinə bu xülasədən istifadə edəcəyəm. Nitq: """{{keçmiş}}"""
Zəif tez / Güclü operativ (qiymət baxımından)
# ZİF (çıxışları buraxır, bahalı) Bu dəstək sorğusunu təhlil edin və mənə hərtərəfli rəy yazın.
# GÜÇLÜ (çıxışı məhdudlaşdırır, ucuz və proqnozlaşdırıla bilən) Bu dəstək sorğusunu təsnif edin. Sadəcə aşağıdakı JSON-u qaytarın:{"kateqoriya":"invoice|texniki|geri ödəmə|digər","təcili":"aşağı|orta|yüksək"}Təsvir yazmayın.
Zəif versiya bəlkə də 500 çıxış əlaməti istehsal edir; güclü versiya ~ 15. Çıxış bahalı olduğundan, bu, hər zəng üçün əhəmiyyətli fərqdir və səs həcmi ilə çoxalır.
Üç mini qutu
1-ci hal - Uzun sorğunun gizli dəyəri. Mühasibat uçotunun avtomatlaşdırılması hər bir fakturanı çeşidlədiyi üçün hər sorğuya giriş kimi 40 səhifəlik “qaydalar kitabı” əlavə etdi: hər sorğu üçün ~12.000 giriş nişanı. Sonnet 5 ilə 12,000/1M×3 = $0,036 indicə daxil oldu. Gündə 5000 əskinas → gündə $180. Qaydalar kitabını keşləməklə (vahid 6) daxiletmə dəyəri ~90% azalıb.
2-ci hal – Modelin ixtisarının nəticəsi. Bir komanda Opus 4.8: 300 giriş + 10 çıxış tokeni ilə sadə “müsbət/mənfi” əhval-ruhiyyə etiketləməsi edirdi. Opusun qiyməti 300/1M×5 + 10/1M×25 = $0,00175. Haiku-ya keçid, 300/1M×1 + 10/1M×5 = $0,00035 — 5x ucuz, dəqiqlik fərqi ölçüyəgəlməz idi. Ayda 3 milyon zəngdə fərq $5,250 → $1,050 təşkil edir.
3-cü vəziyyət - çıxışın buraxılması. Marketinq komandası məhsulun təsvirini hazırladıqda, o, məhsulun həcminə heç bir məhdudiyyət qoymur; model bəzən 1500 token deyirdi. "Maksimum 60 söz" təlimatını əlavə edəndə orta çıxış 900-dən 90-a düşdü. Çap bahalı olduğundan, aylıq hesab üçdə bir azaldıldı və mətnlər daha faydalı oldu.
Ümumi səhvlər
- İşarəni göz ilə təxmin etmək: Xüsusilə türkcə və kodda səhv edə bilərsiniz. Ölçmək.
- Giriş və çıxışın eyni olduğunu fərz etsək: Çıxış adətən çox daha bahalıdır; Optimallaşdırmanın əksəriyyəti çıxışın qısaldılmasından irəli gəlir.
- Bir zəngin ucuzluğuna aldanmayın: Qərar həcminə görə verilir. 0,01 × milyon dollar = 10,000 dollar.
- Başqa bir provayderin tokenizeri ilə proqnozlaşdırma: Yanlış nəticələr verir; Modelin token sayma alətindən istifadə edin.
- Söhbət tarixinin limitsiz genişləndirilməsi: Hər bir raund girişə əlavə olunur; uzun söhbətlərdə ümumiləşdirin.
- `Maksimum_tokenləri` lazımsız olaraq yüksək saxlamaq: Büdcə planını və kəsilmə riskini gizlədir; Real qiymət verin.
Daha dərin: Kontekst pəncərəsi və uzun giriş dəyəri
Qiymətin yalnız "istək üzrə" deyil, "söhbət boyu" necə yüksəldiyini görmək çox vacibdir. Modelin emal edə bildiyi mətnin ümumi miqdarı kontekst pəncərəsi adlanır; Giriş və çıxışın cəmi bu pəncərəyə uyğun olmalıdır. Müasir modellər çox böyük pəncərələr təklif edir (yüz minlərlə, hətta milyonlarla nişanlar), lakin bu, siz onu "sonsuza qədər doldura bilərsiniz" demək deyil - pəncərəyə qoyduğunuz hər şey giriş kimi hesablanır.
Uzun söhbətlərdə tələ belədir: hər yeni raundda siz bütün tarixi yenidən göndərirsiniz (1-ci bölmədə vətəndaşsızlıq). 20 raundlu söhbətdə 20-ci sorğu ilk 19 raundun hamısını giriş kimi daşıyır. Beləliklə, söhbət uzandıqca, hər sorğu üçün xərc xətti olaraq deyil, məcmu şəkildə artır. Agent köməkçisi ilə 50 raundluq söhbət ilk raunddan onlarla dəfə daxilolma xərcləri yarada bilər.
Bunu idarə etməyin iki yolu var. Birincisi xülasədir: köhnə raundları tək təkrar bloka sıxışdırmaq, yalnız son bir neçə raundları xam vəziyyətdə saxlamaq. İkincisi, operativ keşləmədir (vahid 6): sabit konteksti tam qiymətlə təkrar emal etmək əvəzinə qiymətin onda birində oxumaq. Birlikdə onlar uzun, kontekstli intensiv iş yükləri üzrə qanun layihəsini əhəmiyyətli dərəcədə azaldırlar. Beləliklə, token iqtisadiyyatı tək bir sorğuya deyil, bütün sessiyanın dizaynına aiddir.
Xülasə
Token mətnin işləndiyi ən kiçik vahiddir; giriş və çıxış ayrı qiymətə verilir və çıxış çox vaxt daha baha olur. Xərc, tokenlərin sayının vahid qiymətinə vurulmasıdır və real qərar həcmə görə verilir. Tezliyi qısaltmaq, çıxışı məhdudlaşdırmaq və tapşırığı yerinə yetirən ən yüngül modeli seçmək xərcləri dəfələrlə azaldan ən birbaşa rıçaqlardır.
Tətbiq tapşırığı
Özünüz üçün bir vəzifə seçin. (1) Nümayəndə sorğusu üçün giriş və təxmin edilən çıxış işarələrinin sayını müəyyən edin (mümkündürsə, nişan sayma aləti ilə ölçün). (2) Üç model sinfi üçün hər sorğu üçün dəyəri hesablayın. (3) Gündəlik sorğu sayını təxmin edin və üç model üçün aylıq büdcəni əldə edin. (4) Çıxışı qısaltmaq üçün təlimat əlavə edin və gözlənilən qənaəti qeyd edin.
yoxlama siyahısı
- [ ] Tokenlər anlayışını izah edə bilərəm və tokenləşdirmə modeldən asılı olaraq dəyişir.
- [ ] Mən giriş və çıxış tokenlərinin niyə fərqli qiymətləndiyini bilirəm.
- [ ] Mən düsturla sorğunun qiymətini hesablaya bilərəm.
- [ ] Şablondan istifadə edərək iş yükü üçün aylıq büdcə yarada bilərəm.
- [ ] Mən bir nümunə ilə çıxışı qısaltmağın və modelin azaldılmasının faydasını göstərə bilərəm.