zisky:
- Schopnosť čítať vstupné/výstupné ceny tokenov a položky faktúr
- Schopnosť odhadnúť mesačné náklady na pracovný postup pomocou hrubého vzorca
- Implementácia metód znižovania nákladov, ako je ukladanie do vyrovnávacej pamäte, dávkové spracovanie a príprava modelov
Vedieť odhadnúť, koľko bude model stáť, je jednou z najpraktickejších zručností osoby s rozhodovacou právomocou. "Čo platím mesačne?" Ak neviete odpovedať na otázku, nemôžete si ani naplánovať rozpočet, ani zvoliť správnu úroveň. Dobrou správou je, že tvorba cien je jednoduchšia, ako sa zdá, a keď sa do toho pustíte, môžete si sami urobiť hrubý odhad. V tejto lekcii sa naučíte, ako čítať vstupno/výstupné tokeny, odhadnúť mesačné náklady pracovného toku pomocou jednoduchého vzorca a metódy, ktoré skutočne znižujú náklady.
Základné pravidlo: Vstup a výstup sa oceňujú samostatne
V modeloch s uzavretou váhou sa cena vypočítava na základe množstva spracovaných tokenov a existujú dve samostatné položky:
- Vstupný token (vstup): Text, ktorý odošlete modelu. Vaša výzva, vaše dokumenty, vaše vzorky.
- Výstupný token: Odpoveď, ktorú pre vás model vytvorí.
Kritický bod: Výstupný token je často niekoľkonásobne drahší ako vstupný token. Je to preto, že je pre model výpočtovo nákladnejšie vytvoriť výstup. Napríklad v jednom modeli môže byť vstup 3 USD za milión tokenov, zatiaľ čo výstup môže byť 15 USD; Výstup je teda päťkrát drahší. To znamená, že dlhé a zbytočné odpovede môžu rýchlo zjesť rozpočet.
Tip: Jedným z najjednoduchších spôsobov, ako znížiť náklady, je nepýtať sa modelky na zbytočne dlhé odpovede. Obmedzenia ako „maximálne 5 článkov“, „jeden odsek“, „exportovať iba tabuľku“ zvyšujú kvalitu a šetria výstupný token.
Príklady aktuálnych cien
Nižšie sú uvedené približné ceny niekoľkých modelov (za milión tokenov, americké doláre). Tieto hodnoty patria do obdobia, v ktorom bol tento modul pripravovaný a často sa menia; Presné rozhodnutie nájdete na stránke aktuálnej ceny poskytovateľa.
model
Etapa
Vstup $/1 milión
Výstup $/1 milión
Claude Opus 4.8
silný
~5
~25
Claude Sonet 5
vyvážený
~3
~15
Claude Haiku 4.5
ľahký
~1
~5
Ako je vidieť v tabuľke, medzi silnou a ľahkou úrovňou môže byť až päťnásobný cenový rozdiel. Preto je prístup „najvhodnejší model pre všetky podniky“ často mrhaním peňazí. Jednoduchá práca s lacným modelom a náročná práca s výkonným modelom poskytuje veľké úspory bez straty kvality. Túto myšlienku prehĺbime v 7. a 9. bloku.
Odhad mesačných nákladov: Jednoduchý vzorec
Pre hrubý odhad mesačných nákladov môžete použiť tento vzorec:
Mesačné náklady ≈ (počet požiadaviek za mesiac × priemerný vstupný token × vstupná cena / 1 000 000)+ (počet požiadaviek za mesiac × priemerný výstupný token × výstupná cena / 1 000 000)
Uveďme si príklad. Povedzme, že tím elektronického obchodu vyprodukuje 50 000 popisov produktov mesačne. Každá požiadavka odošle v priemere 500 tokenov vstupu (informácie o produkte) a dostane 300 tokenov výstupu (popis). Vo vyváženom modeli (vstup ~3, výstup ~15):
- Vstupné náklady: 50 000 × 500 × 3 / 1 000 000 = 75 USD
- Výstupné náklady: 50 000 × 300 × 15 / 1 000 000 = 225 USD
- Spolu ≈ $ 300/mesiac
Ak urobili rovnakú prácu v odľahčenom modeli (vstup ~1, výstup ~5):
- Vstup: 50 000 × 500 × 1 / 1 000 000 = 25 USD
- Výstup: 50 000 × 300 × 5 / 1 000 000 = 75 USD
- Spolu ≈ 100 $/mesiac
Takže len výber fázy môže znížiť rovnakú prácu z 300 na 100 dolárov. Na relatívne jednoduchú úlohu, akou je popis produktu, je ľahký model často viac než postačujúci.
Pozor: Tento vzorec je hrubý odhad; skutočné účtovanie sa líši v závislosti od faktorov, ako je využitie vyrovnávacej pamäte, opakovanie a režim uvažovania. Napriek tomu je to veľmi dobrý začiatok na získanie potvrdenia rozpočtu alebo porovnanie dvoch modelov. Pred rozhodnutím je najlepšie zmerať skutočné číslo s malým pilotom.
Päť spôsobov, ako znížiť náklady
- Vyberte si správnu úroveň. Jednoduchý, ľahký model. Toto je jediný najväčší zdroj úspor.
- Zmenšite vstup. Namiesto vypĺňania obrovských dokumentov pre každú požiadavku pošlite iba príslušnú sekciu (optimalizácia kontextu v 5. bloku).
- Obmedzte výstup. Objasnite dĺžku a formát odpovede; Zbytočne dlhá odpoveď = zbytočné náklady.
- Použite ukladanie do vyrovnávacej pamäte. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. To poskytuje značné úspory, ak posielate rovnakú veľkú inštrukciu tisíckrát.
- Vykonajte dávkové spracovanie. Ak sa neponáhľate, „dávkové“ možnosti, ktoré posielajú veľa žiadostí hromadne a vybavujú ich so zľavou, výrazne znižujú náklady.
Tri realistické prípady
Prípad 1 — Úspory s krokovou zmenou. Tím zákazníckych služieb zhrnul všetky prichádzajúce e-maily pomocou najsilnejšieho modelu a ich mesačný účet bol ~ 900 USD. Zhrnutie bola jednoduchá úloha; Keď sa presunuli na vyváženú úroveň, kvalita výstupu zostala takmer rovnaká, ale účet klesol na ~ 250 dolárov. Úspora ~ 7 800 $ ročne len výberom správnej úrovne.
Prípad 2 – Ukladanie pomocou vyrovnávacej pamäte. Softvérový tím posielal rovnaký dokument s 8 000 tokenmi „štandardy kódovania“ s každou žiadosťou o kontrolu kódu. 400 žiadostí za deň × 8 000 tokenov = veľký opakujúci sa vstup. Keď zapli funkciu cache, tento pevný oddiel sa začal čítať oveľa lacnejšie a značná časť vstupných nákladov zmizla.
Prípad 3 – Úspora obmedzením výkonu. Keď marketingový tím požiadal o popis produktu, model vytváral dlhé, kvetnaté odseky. Keď pridali obmedzenie „maximálne 60 slov, jeden odsek“, vysvetlenia sa stali užitočnejšími a výstupný token sa znížil na polovicu. Zatiaľ čo kvalita stúpala, náklady klesali; win-win.
Slabá výzva / silná výzva
Slabá výzva:
Napíšte mi pekný popis tohto produktu. [informácie o produkte]
Modelka môže písať, ako dlho chce; Výstupný token je nekontrolovaný.
Výkonná výzva:
Vaša úloha: copywriter elektronického obchodu. Produkt: [INFORMÁCIE]. Úloha: Napíšte popis produktu. Obmedzenia: Maximálne 60 slov, jeden odsek, osloví netechnických zákazníkov, obsahuje 2 výhody + 1 prípad použitia. Vyhnite sa vymysleným prídavným menám.
Výkonná výzva riadi kvalitu aj dĺžku výstupu (a tým aj náklady).
Kopírovateľné šablóny
1. Odhad mesačných nákladov:
Mesačne odošlem [QUANTITY] žiadostí. Priemerný vstup ~[NUM] tokenov, výstup ~[NUM] tokenov. Vypočítajte mesačné náklady pre nasledujúce modely ([MODEL A], [MODEL B]) pomocou vzorca a porovnajte ich v tabuľke. Akceptujte vstupné/výstupné ceny [PRICES].
Porovnanie úrovne 2:
Moja povinnosť [ÚLOHA]. Naozaj si táto práca vyžaduje výkonný model, alebo stačí ľahký/vyvážený model? Vyhodnoťte z hľadiska kvality a nákladov a navrhnite mi 2 úrovne na pilotné testovanie.
3. Skríning na zníženie nákladov:
Identifikujte spôsoby zníženia nákladov v nasledujúcom pracovnom postupe: [WORKFLOW]. Napíšte uskutočniteľnosť a odhadované úspory pre každú kaskádu, redukciu vstupu, výstupnú väzbu, vyrovnávaciu pamäť a hlavičky dávkového spracovania.
4. Obmedzenie výstupu:
Prepíšte nasledujúcu výzvu, aby ste znížili výstupný token bez zníženia kvality: "[PROMPT]". Optimalizujte pre dĺžku, formát a zbytočné opakovanie.
Časté chyby
- Preskočenie rozdielu medzi vstupmi a výstupmi: Umožnenie dlhých odpovedí bez toho, aby ste vedeli, že výstup je oveľa drahší.
- Najvýkonnejší model pre každú prácu: Robiť jednoduchú prácu s drahým modelom a platiť zbytočne mnohonásobne viac.
- Uvoľnenie výstupnej dĺžky: Poskytnutie neobmedzeného povolenia na písanie modelu bez uloženia akýchkoľvek obmedzení formátu alebo dĺžky.
- Ignorovanie vyrovnávacej pamäte a dávky: Chýbajú vážne príležitosti na úsporu opakovaných vstupov a nie naliehavých úloh.
- Myslieť si, že ceny sú aktuálne: spoliehanie sa na starú cenovú tabuľku a nesprávne plánovanie rozpočtu; ceny sa často menia.
V súhrne
- Cena je vypočítaná na základe tokenov; vstup a výstup sú oceňované oddelene a výstup je často niekoľkonásobne drahší.
- Mesačné náklady môžete približne odhadnúť podľa vzorca počet žiadostí × priemerný token × cena.
- Samotný správny výber kroku môže mnohokrát znížiť náklady.
- Minimalizácia vstupu, obmedzenie výstupu, ukladanie do vyrovnávacej pamäte a dávkové spracovanie sú praktické metódy, ktoré výrazne znižujú účet.
Aplikačná úloha
Získajte hodnoty tokenov, ktoré ste odhadli v predchádzajúcej jednotke. Nechajte si vypočítať mesačné náklady svojho podnikania pre dve rôzne úrovne pomocou šablóny 1 v tejto jednotke (odhad mesačných nákladov). Potom pomocou 3. šablóny (skenovanie zníženia nákladov) odvodite, koľko úspor môže každá metóda priniesť vášmu pracovnému postupu. Naplánujte si výber dvoch najsľubnejších metód a aplikujte ich na rozpočet na nasledujúci mesiac.
kontrolný zoznam
- [ ] Viem, že vstupný a výstupný token sa oceňuje samostatne a výstup je drahší.
- [ ] Dokážem približne odhadnúť mesačné náklady na pracovný postup pomocou jednoduchého vzorca.
- [ ] Môžem ukázať vplyv výberu správnej úrovne na náklady na príklade.
- [ ] Dokážem rozpoznať päť metód znižovania nákladov a vybrať si vhodnú.
- [ ] Môžem prepísať výzvu na zníženie výstupného tokenu.