Kasu:
- Selgitage märgi mõistet, sisend-/väljundmärgi eristamist ja tokeniseerimist.
- Oskab žetoonide arvust ja ühikuhinnast arvutada päringu maksumuse ja igakuise töömahu
- Oskab võrrelda mudelivaliku ja viipe pikkuse mõju kuludele
Te ei saa luua mastaapset lahendust, kui ei mõista LLM API-de ökonoomikat. Demo käivitub üks kord; Peaasi, et oleks võimalik ennustada, milline on arve, kui tehakse tuhandeid kõnesid kuus. Selles üksuses paneme paika asjade rahalise poole: mis on token, miks sisend ja väljund on erineva hinnaga, kuidas arvutada päringu maksumust ja kuidas eelarvestada igakuist töökoormust. See teave võimaldab mõõta optimeerimistehnikate (vahemällu salvestamine, mudelivalik, partii) tootlust järgmistes ühikutes.
Mis on Token?
Token on väikseim ühik, milles mudel teksti töötleb. Sõna ei ole alati märk; märk on tavaliselt sõna osa. Jämedalt öeldes on inglise keeles 1 märk ≈ 4 tähemärki ≈ 0,75 sõna. Türgi keeles ja koodis on suhe erinev: türgi sõnad jagunevad sageli rohkemaks märgiks kui inglise keeles selle järelliite ja tähestiku tõttu. Seetõttu on vaja märkide arvu mõõta teenusepakkuja žetoonide loendustööriistaga, mitte silma järgi arvata.
Tokeniseerimine (teksti märkideks jagamise protsess) võib iga mudeli puhul olla erinev. Sellel on kaks praktilist tagajärge: (1) Sama tekst võib erinevates mudelites anda erineva arvu märke; (2) Teiste pakkujate tokenisaatoritega (nt OpenAI tiktokeniteek) tehtud ennustused on Claude'i jaoks ebatäpsed – kasutage kasutatava mudeli jaoks žetoonide loendamise näpunäidet.
Vihje: "Mitu žetoone umbes?" Ärge vastake küsimusele pimesi. Edastage esindustekst läbi märgiloenduse API; Eelarveotsuste tegemisel lähtuge mõõtmisest.
Sisend- ja väljundmärgid
Arve koosneb kahest osast:
- Sisestusmärgid: kõik, mille mudelile saadate – süsteemiviip, varasemad ringkäigud, kasutajateated, dokumentatsioon, kui neid on. Neid töödeldakse korraga.
- Väljundmärgid: mudeli loodud vastus. Iga väljundmärgi puhul teostab mudel arvutuse samm-sammult.
Enamiku pakkujate puhul on väljund mitu korda kallim kui sisend. Põhjus on lihtne: sisendi korraga lugemine on odavam kui väljundmärke kaupa toota. Selle asümmeetria tundmine selgitab, miks sellised optimeerimised nagu "nõuavad lühikesi vastuseid" on nii tõhusad.
Näidishinnad (1 miljoni märgi kohta, USD)
Allolev tabel on viide; Hinnad võivad aja jooksul muutuda, palun kinnitage oma teenusepakkuja praegune nimekiri.
mudeliklass
näidismudel
Sisend ($/1M)
Väljund ($/1M)
Tüüpiline kasutus
kiire/odav
Haiku 4.5
1.00
5.00
Klassifitseerimine, märgistamine, lihtne kokkuvõte
tasakaalustatud
sonett 5
3.00
15.00
Üldotstarbeline, kodeerimine, agenditöö
tugev
Opus 4.8
5.00
25.00
Keeruline arutluskäik, pikamaa ülesanded
Igas klassis on väljund 5 korda suurem kui sisend; Pealegi on isegi võimsa mudeli sisend 5 korda odava mudeli sisend. Need kaks telge (sisend↔väljund ja mudeliklass) moodustavad teie kuluotsuste raamistiku.
Kuidas kulusid arvutada?
Valem on lihtne:
maksumus = (sisendtunnus / 1 000 000) × sisendhind + (väljundmärk / 1 000 000) × väljundhind
Näidiskonto. Sonneti 5 taotlus: 1500 sisendmärki, 400 väljundmärki.
sisend = 1500 / 1 000 000 × 3,00 = 0,0045 $ väljund = 400 / 1 000 000 × 15,00 = 0,0060 $ kokku = 0,0105 $ (umbes 1 sent)
Üks kõne tundub odav. Aga korrutage mahuga: 20 000 kõnet päevas → 210 dollarit päevas, ~ 6300 dollarit kuus. Siin tuleb mängu mastaap.
Kuueelarve mall
Töökoormuse igakuise maksumuse eraldamiseks kasutage seda malli:
1) Keskmine sisendtunnus päringu kohta: ......2) Keskmine väljundmärk päringu kohta: ......3) Päringute arv päevas: ......4) Töötatud päevade arv kuus: ......5) Kulu päringu kohta = (1)/1M×sisendi_hind + (2)/1M×väljundi_hind6) Kuukulu = (5) × (3) × (4)
Selle mustri tabelisse valamine ja mudeli muutmisel summa vaatamine hõlmab mudeli valiku (üksus 5) ja vahemälu (üksus 6) otsuseid.
Viiba lühendamine kopeeritavate mallidega
Suurem osa kuludest tuleneb tarbetult pikkadest viipadest ja raisatud toodangust. Allolevad mallid pakuvad otsest kokkuhoidu.
# Piirake väljundi pikkust. Vastake maksimaalselt 3 punktiga. Lisage põhjendus või sissejuhatav lause.
# Tagasta ainult nõutud väli Tagastab ainult järgmise JSON-i, ärge lisage muud teksti:{"category": "...", "urgency": "low|medium|high"}
# Ebavajaliku konteksti eemaldamineEemaldage järgmisest tekstist ainult kuupäev ja summa. Ärge korrake kogu teksti.Tekst: """{{text}}"""
# Tehke pikast kõnest kokkuvõte (sisendi salvestamine) Tehke sellest kõnest kokkuvõte 5 üksusena. Kasutan järgnevates voorudes täieliku mineviku asemel seda kokkuvõtet. Kõne: """{{minevik}}"""
Nõrk viip / tugev viip (kulu osas)
# NÕRK (väljastab väljundit, kallis) Analüüsige seda tugitaotlust ja kirjutage mulle põhjalik ülevaade.
# TUGEV (piirab väljundit, odav ja prognoositav) Klassifitseerige see tugitaotlus. Lihtsalt tagastage järgmine JSON:{"kategooria":"arve|tehniline|tagasimakse|muu","urgency":"madal|keskmine|kõrge"}Ärge kirjutage kirjeldust.
Nõrk versioon toodab võib-olla 500 väljundmärki; tugev versioon ~15. Kuna väljund on kallis, on see kõne kohta märkimisväärne erinevus ja korrutub helitugevusega.
Kolm miniümbrist
Juhtum 1 – pika viipa varjatud kulu. Kuna raamatupidamisautomaatika sorteeris iga arve, lisas ta igale päringule sisendiks 40-leheküljelise “reegliraamatu”: ~12 000 sisestusmärki päringu kohta. Sonneti 5-ga 12 000/1M×3 = 0,036 dollarit just sisestatud. 5000 arvet päevas → 180 dollarit päevas. Reegliraamatu vahemällu salvestamisega (üksus 6) langes sisendkulu ~90%.
Juhtum 2 – mudeli suuruse vähendamise tasuvus. Üks meeskond tegi Opus 4.8-ga lihtsat "positiivse/negatiivse" meeleolu märgistamist: 300 sisendit + 10 väljundmärki. Opus maksis 300/1M×5 + 10/1M×25 = 0,00175 $. Haiku peale üle minnes, 300/1M×1 + 10/1M×5 = 0,00035 $ — 5x odavam, oli täpsuse vahe mõõtmatu. 3 miljoni kõne puhul kuus on erinevus 5250 $ → 1050 $.
Juhtum 3 – väljundi vabastamine. Kui turundusmeeskond koostas tootekirjelduse, ei sea see toodangule piiranguid; modell ütles mõnikord 1500 märki. Kui lisasin käsu "60 sõna maksimaalselt", langes keskmine väljund 900-lt 90 märgile. Kuna trükkimine oli kallis, vähenes igakuine arve kolmandiku võrra ja tekstid muutusid kasulikumaks.
Levinud vead
- Silma järgi märgi ära arvamine: võite eksida, eriti türgi keeles ja koodis. Mõõtke.
- Eeldades, et sisend ja väljund on samad: Väljund on tavaliselt palju kallim; Suurem osa optimeerimisest tuleneb väljundi lühendamisest.
- Ärge laske end eksitada ühe kõne odavusest: otsus tehakse mahu järgi. 0,01 × miljonit dollarit = 10 000 dollarit.
- Ennustus teise pakkuja tokenisaatoriga: annab valesid tulemusi; Kasutage mudeli märkide loendamise tööriista.
- Vestlusajaloo piiramatu suurendamine: iga voor lisatakse kirjele; kokkuvõtet pikkades vestlustes.
- `max_tokens` tarbetult kõrge hoidmine: peidab eelarveplaani ja kärpimise ohu; Andke realistlik väärtus.
Sügavam: konteksti aken ja pikk sisestuskulu
Oluline on näha, kuidas hind tõuseb kogu vestluse ajal, mitte ainult taotluse alusel. Teksti koguhulka, mida mudel suudab töödelda, nimetatakse kontekstiaknaks; Sisendi ja väljundi summa peab mahtuma sellesse aknasse. Kaasaegsed mudelid pakuvad väga suuri aknaid (sadu tuhandeid, isegi miljoneid žetoone), kuid see ei tähenda, et saaksite seda "lõpmatult täita" – mida iganes aknasse paned, arveldatakse kui sisendit.
Pikkade vestluste lõks on järgmine: iga uue ringiga saadad uuesti kogu ajaloo (kodakondsusetus üksuses 1). 20-ringilise vestluse puhul kannab 20. päring sisendina kogu esimest 19 vooru. Seega, kui vestlus pikeneb, kasvab päringu hind pigem kumulatiivselt kui lineaarselt. 50-vooruline vestlus agendiassistendiga võib tekitada esimese ringi sisendkulusid kümneid kordi.
Selle haldamiseks on kaks võimalust. Esimene on kokkuvõte: vanemate voorude kokkusurumine üheks kokkuvõteplokiks, jättes ainult viimased ringid tooreks. Teine on kiire vahemällu salvestamine (üksus 6): fikseeritud konteksti lugemine kümnendiku hinnaga, selle asemel, et seda korduvalt täishinnaga töödelda. Üheskoos vähendavad need märkimisväärselt pika ja kontekstirohke töökoormuse arvet. Nii et sümboolne ökonoomika puudutab kogu seansi ülesehitust, mitte ühte taotlust.
Kokkuvõttes
Token on väikseim ühik, milles teksti töödeldakse; sisend ja väljund hinnatakse eraldi ning toodang on sageli palju kallim. Maksumus on žetoonide arv korrutatud ühikuhinnaga ja tegelik otsus tehakse mahu järgi. Viipa lühendamine, väljundi piiramine ja ülesande täitmiseks kõige kergema mudeli valimine on kõige otsesemad hoovad, mis vähendavad kulusid mitu korda.
Rakenduse ülesanne
Valige oma ülesanne. (1) Määrake tüüpilise viipa sisend- ja hinnanguliste väljundmärkide arv (võimaluse korral mõõtke märgiloenduse tööriistaga). (2) Arvutage kolme mudeliklassi maksumus taotluse kohta. (3) Hinnake oma igapäevast taotluste arvu ja tuletage kolme mudeli kuueelarve. (4) Lisage juhis väljundi lühendamiseks ja märkige üles oodatav sääst.
kontrollnimekiri
- [ ] Saan selgitada žetoonide kontseptsiooni ja see tokenisatsioon varieerub olenevalt mudelist.
- [ ] Ma tean, miks sisend- ja väljundmärke hinnatakse erinevalt.
- [ ] Ma saan arvutada päringu maksumuse valemiga.
- [ ] Ma saan malli abil koostada töökoormuse kuueelarve.
- [ ] Saan näitega näidata väljundi lühendamise ja mudeli vähendamise eeliseid.