Hagnaður:
- Útskýrðu hugtakið tákn, aðgreining inntaks/úttaks tákns og auðkenningu.
- Getur reiknað út kostnað við beiðni og mánaðarlegt vinnuálag út frá fjölda tákna og einingaverði
- Getur borið saman áhrif módelvals og hvetjandi lengd á kostnað
Þú getur ekki smíðað lausn í mælikvarða án þess að skilja hagfræði LLM API. Demo keyrir einu sinni; Aðalatriðið er að hægt sé að spá fyrir um hver reikningurinn verður þegar hringt er í þúsundir símtala á mánuði. Í þessari einingu setjum við upp peningahlið hlutanna: hvað er tákn, hvers vegna inntak og framleiðsla er verðlögð öðruvísi, hvernig á að reikna út kostnað við beiðni og hvernig á að gera fjárhagsáætlun fyrir mánaðarlegt vinnuálag. Þessar upplýsingar gera þér kleift að mæla skila hagræðingartækni (skyndiminni, líkanaval, lotu) í síðari einingum.
Hvað er Token?
Tákn er minnsta einingin þar sem líkanið vinnur texta. Orð er ekki alltaf tákn; tákn er venjulega hluti af orði. Í grófum dráttum, á ensku, er 1 tákn ≈ 4 stafir ≈ 0,75 orð. Í tyrknesku og kóða er hlutfallið mismunandi: Tyrkneskum orðum er oft skipt í fleiri tákn en á ensku vegna viðskeytisins og stafrófsins. Þess vegna er nauðsynlegt að mæla fjölda tákna með tákntalningartæki veitunnar frekar en að giska með augum.
Táknun (ferlið við að skipta texta í tákn) getur verið mismunandi fyrir hverja gerð. Þetta hefur tvær hagnýtar afleiðingar: (1) Sami texti getur gefið mismunandi fjölda tákna í mismunandi gerðum; (2) Spár sem gerðar eru með táknum frá öðrum veitum (t.d. tiktoken bókasafn OpenAI) verða ónákvæmar fyrir Claude - notaðu tákntalningarábendinguna fyrir líkanið sem þú ert að nota.
Ábending: "Um það bil hversu mörg tákn?" Ekki svara spurningunni í blindni. Sendu dæmigerðan texta í gegnum forritaskil tákntalningar; Byggja fjárlagaákvarðanir á mælingu.
Inntaks- og úttakstákn
Reikningurinn samanstendur af tveimur liðum:
- Innsláttartákn: Allt sem þú sendir til líkansins — kerfishvetjandi, fyrri ferðir, notendaskilaboð, skjöl ef einhver er. Þetta er unnið í einu.
- Output tokens: Svarið sem líkanið framleiðir. Fyrir hvert úttaksmerki framkvæmir líkanið útreikninginn skref fyrir skref.
Hjá flestum veitendum er framleiðsla margfalt dýrari en inntak. Ástæðan er einföld: að lesa inntakið allt í einu er ódýrara en að framleiða úttakið tákn-fyrir-tákn. Að þekkja þessa ósamhverfu útskýrir hvers vegna hagræðingar eins og „krefjast hnitmiðaðra svara“ eru svo áhrifaríkar.
Sýnisverð (á 1 milljón tákn, USD)
Taflan hér að neðan er tilvísun; Verð geta breyst með tímanum, vinsamlegast staðfestu núverandi lista þinnar eigin þjónustuveitu.
módelflokkur
sýnishorn líkan
Inntak ($/1M)
Framleiðsla ($/1M)
Dæmigert notkun
hratt/ódýrt
Haiku 4.5
1.00
5.00
Flokkun, merking, einföld samantekt
jafnvægi
sonnetta 5
3.00
15.00
Almennur tilgangur, kóðun, umboðsmannavinna
sterkur
Opus 4.8
5.00
25.00
Flókin rökhugsun, langdræg verkefni
Í hverjum flokki er framleiðsla 5 sinnum inntakið; Þar að auki, jafnvel inntak öflugu líkansins er 5 sinnum inntak ódýru líkansins. Þessir tveir ásar (inntak↔úttak og líkanflokkur) mynda ramma kostnaðarákvarðana þinna.
Hvernig á að reikna út kostnað?
Formúlan er einföld:
kostnaður = (inntakstákn / 1.000.000) × inntaksverð + (úttakstákn / 1.000.000) × úttaksverð
Dæmi um reikning. Beiðni með Sonnet 5: 1.500 inntakstákn, 400 úttakstákn.
inntak = 1.500 / 1.000.000 × 3,00 = $0,0045 úttak = 400 / 1.000.000 × 15,00 = $0,0060 samtals = $0,0105 (um 1 sent)
Eitt símtal lítur út fyrir að vera ódýrt. En margfaldaðu með magni: 20.000 símtöl á dag → $210 á dag, ~$6.300 á mánuði. Þetta er þar sem mælikvarðinn kemur við sögu.
Sniðmát fyrir mánaðarlega fjárhagsáætlun
Til að draga út mánaðarlegan kostnað við vinnuálag, notaðu þetta sniðmát:
1) Meðalinntaksmerki á beiðni: ......2) Meðalúttaksmerki á beiðni: ......3) Fjöldi beiðna á dag: ......4) Vinnudagar á mánuði: ......5) Kostnaður á beiðni = (1)/1M×input_price + (2)/1M×output_price6) Mánaðarlegur kostnaður = (5)) × (3) × (4)
Að hella þessu mynstri í töflureikni og sjá hvernig summan spilast út þegar þú breytir líkaninu felur í sér ákvarðanir um líkanaval (einingu 5) og skyndiminni (einingu 6).
Stytting hvetja með afritanleg sniðmát
Stærstur hluti kostnaðarins stafar af óþarflega löngum leiðbeiningum og sóun á framleiðslu. Sniðmátin hér að neðan veita beinan sparnað.
# Takmarkaðu framleiðslulengd. Svaraðu að hámarki 3 atriði. Bættu við rökstuðningi eða inngangssetningu.
# Skilaðu aðeins umbeðnum reit Skilaðu aðeins eftirfarandi JSON, ekki bæta við neinum öðrum texta:{"category": "...", "urgency": "low|medium|high"}
# Fjarlægðu óþarfa samhengiFjarlægðu aðeins dagsetninguna og upphæðina úr eftirfarandi texta. Ekki endurtaka allan textann. Texti: """{{text}}"""
# Dragðu saman langa ræðuna (inntakssparnaður) Dragðu saman þessa ræðu í 5 atriðum. Ég mun nota þessa samantekt í stað fullrar fortíðar í næstu umferðum. Tal: """{{past}}"""
Veik kvaðning / Sterk hvetja (miðað við kostnað)
# WEAK (sleppir framleiðsla, dýr) Greindu þessa stuðningsbeiðni og skrifaðu mér ítarlega umsögn.
# STERKT (takmarkar framleiðslu, ódýrt og fyrirsjáanlegt) Flokkaðu þessa stuðningsbeiðni. Skilaðu bara eftirfarandi JSON:{"category":"invoice|technical|refund|other","urgency":"low|medium|high"}Ekki skrifa lýsingu.
Veika útgáfan framleiðir kannski 500 framleiðslutákn; sterk útgáfa ~15. Vegna þess að framleiðsla er dýr er þetta verulegur munur á hvert símtal og margfaldast með magni.
Þrjú Mini Cass
Tilfelli 1 - Falinn kostnaður við langa hvetja. Þar sem sjálfvirkni bókhalds flokkaði hvern reikning, bætti hún við 40 blaðsíðna „reglubók“ sem inntak við hverja beiðni: ~12.000 inntakstákn fyrir hverja beiðni. Með Sonnet 5 12.000/1M×3 = $0,036 nýkomið inn. 5.000 reikningar á dag → $180 á dag. Með því að vista reglubókina (eining 6) lækkaði inntakskostnaður um ~90%.
Tilfelli 2 - Ávinningurinn af því að minnka líkanið. Eitt teymi var að gera einfalda „jákvæða/neikvæða“ merkingu viðhorfa með Opus 4.8: 300 inntak + 10 úttakstákn. Opus kostnaður 300/1M×5 + 10/1M×25 = $0,00175. Að skipta yfir í Haiku, 300/1M×1 + 10/1M×5 = $0,00035 — 5x ódýrara, munurinn á nákvæmni var ómældur. Á 3 milljón símtölum á mánuði er mismunurinn $5.250 → $1.050.
Tilfelli 3 — Losun úttaksins. Þegar markaðsteymi framleiddi vörulýsingu setti það engin takmörk á framleiðslu; módelið sagði stundum 1.500 tákn. Þegar ég bætti við "60 orða hámarks" leiðbeiningunum, lækkaði meðalframleiðsla úr 900 í 90 tákn. Þar sem prentun var dýr lækkaði mánaðarreikningurinn um þriðjung og textar urðu gagnlegri.
Algeng mistök
- Að giska á táknið með auga: Þú getur haft rangt fyrir þér, sérstaklega á tyrknesku og kóða. Mæla.
- Að því gefnu að inntak og úttak séu þau sömu: Framleiðsla er venjulega mun dýrari; Mest af hagræðingunni kemur frá því að stytta framleiðsluna.
- Ekki láta blekkjast af ódýrleika einu símtals: Ákvörðunin er tekin eftir magni. $0,01 × milljón = $10.000.
- Spá með auðkenni annars veitanda: Gefur rangar niðurstöður; Notaðu tákntalningartól líkansins.
- Ótakmörkuð stækkun samtalssögu: Hverri umferð er bætt við færsluna; draga saman í löngum samtölum.
- Að halda „max_tokens“ óþarflega háum: Felur fjárhagsáætlunina og hættuna á að verða skorin niður; Gefðu raunhæft gildi.
Dýpri: Samhengisgluggi og langur inntakskostnaður
Það er mikilvægt að sjá hvernig verðið er „þvert á samtalið“ en ekki bara „á beiðni“. Heildarmagn texta sem líkanið getur unnið úr kallast samhengisgluggi; Summa inntaks og úttaks verður að passa inn í þennan glugga. Nútíma gerðir bjóða upp á mjög stóra glugga (hundruð þúsunda, jafnvel milljónir tákna), en það þýðir ekki að þú getir „fyllt það endalaust“ - allt sem þú setur inn í gluggann er gjaldfært sem inntak.
Gildan í löngum samtölum er þessi: með hverri nýrri umferð sendirðu alla söguna aftur (ríkisleysi í einingu 1). Í 20 umferða samtali hefur 20. beiðnin allar fyrstu 19 umferðirnar sem inntak. Þannig að eftir því sem samtalið lengist vex kostnaður á hverja beiðni uppsafnað frekar en línulega. 50 lota samtal við aðstoðarmann umboðsmanns getur valdið inntakskostnaði tugum sinnum fyrstu lotuna.
Það eru tvær leiðir til að stjórna þessu. Sú fyrsta er upprifjun: að þjappa eldri umferðum saman í einn upprifjunarblokk og halda aðeins síðustu umferðunum hráum. Annað er skyndiminni (eining 6): að lesa fasta samhengið á tíunda af verði í stað þess að vinna það ítrekað á fullu verði. Saman draga þeir verulega úr frumvarpinu um langt og samhengisfrekt vinnuálag. Þannig að táknhagfræði snýst um hönnun alls fundarins, ekki eina beiðni.
Í stuttu máli
Token er minnsta einingin sem texti er unninn í; inntak og framleiðsla er verðlögð sérstaklega og framleiðsla er oft mun dýrari. Kostnaðurinn er fjöldi tákna margfaldað með einingaverðinu og raunveruleg ákvörðun er tekin eftir rúmmáli. Að stytta hvetjuna, takmarka framleiðsluna og velja léttustu gerðina sem sinnir verkefninu eru beinustu stangirnar sem lækka kostnaðinn margfalt.
Umsóknarverkefni
Veldu þitt eigið verkefni. (1) Ákvarða fjölda inntaks- og áætlaðra úttaksmerkja fyrir dæmigerða vísbendingu (mældu með tákntalningartæki ef mögulegt er). (2) Reiknaðu kostnað á hverja beiðni fyrir tegundaflokkana þrjá. (3) Áætlaðu daglegan fjölda beiðna þinna og taktu út mánaðarlegt kostnaðarhámark fyrir gerðirnar þrjár. (4) Bættu við leiðbeiningum um að stytta framleiðsluna og athugaðu væntanlegan sparnað.
gátlisti
- [ ] Ég get útskýrt hugtakið tákn og að auðkenni er mismunandi eftir líkaninu.
- [ ] Ég veit hvers vegna inntaks- og úttakstákn eru verðlögð öðruvísi.
- [ ] Ég get reiknað út kostnað við beiðni með formúlunni.
- [ ] Ég get búið til mánaðarlega fjárhagsáætlun fyrir vinnuálag með því að nota sniðmát.
- [ ] Ég get sýnt með dæmi ávinninginn af því að stytta framleiðsluna og módelminnkun.