Nyereség:
- Bemeneti/kimeneti token árazás és számlatételek olvasásának képessége
- Képes egy munkafolyamat havi költségének becslésére durva képlettel
- Költségcsökkentő módszerek, például gyorsítótárazás, kötegelt feldolgozás és modellbeállítás
A döntéshozó egyik legpraktikusabb készsége, hogy meg tudja becsülni, mennyibe kerül egy modell. – Mit fizetek havonta? Ha nem tud válaszolni a kérdésre, nem tud sem költségvetést tervezni, sem a megfelelő szintet kiválasztani. A jó hír az, hogy az árazás egyszerűbb, mint amilyennek hangzik, és ha egyszer rájön, önálló becslést készíthet. Ebben az egységben megtanulhatja, hogyan olvassa el a bemeneti/kimeneti token árazást, hogyan becsülheti meg egy munkafolyamat havi költségét egy egyszerű képlettel, és hogyan csökkentheti a költségeket.
Ökölszabály: A bemenet és a kimenet ára külön-külön történik
A zárt súlyú modelleknél az ár a feldolgozott tokenek mennyisége alapján kerül kiszámításra, és két külön tétel van:
- Beviteli token (input): A modellnek elküldött szöveg. Az Ön felszólítása, dokumentumai, mintái.
- Kimeneti token: A modell által az Ön számára készített válasz.
Kritikus pont: A kimeneti token gyakran többszöröse drágább, mint a bemeneti token. Ennek az az oka, hogy a modell számára számítási szempontból költségesebb a kimenet előállítása. Például az egyik modellben a bemenet 3 dollár lehet millió tokenenként, míg a kimenet 15 dollár; Tehát a kimenet ötször drágább. Ez azt jelenti, hogy a hosszú és szükségtelen válaszok gyorsan felemésztik a költségvetést.
Tipp: A költségek csökkentésének egyik legegyszerűbb módja, ha nem kérünk a modelltől szükségtelenül hosszú válaszokat. Az olyan korlátozások, mint a "legfeljebb 5 cikk", "egy bekezdés", "csak a táblázat exportálása" javítják a minőséget és mentik a kimeneti tokent.
Példák az aktuális árra
Az alábbiakban több modell hozzávetőleges ára látható (millió tokenenként, amerikai dollár). Ezek az értékek a modul elkészítésének időszakához tartoznak, és gyakran változnak; A pontos döntésért ellenőrizze a szolgáltató aktuális ároldalát.
modell
Színpad
Bemenet $/1M
Teljesítmény $/1M
Claude Opus 4.8
erős
~5
~25
Claude szonett 5
kiegyensúlyozott
~3
~15
Claude Haiku 4.5
könnyű
~1
~5
A táblázatból látható, hogy az erős és a könnyű szint között akár ötszörös árkülönbség is lehet. Éppen ezért a „minden üzlethez legalkalmasabb modell” megközelítés gyakran pénzkidobás. Ha az egyszerű munkát egy olcsó modellel, a nehéz munkát pedig egy nagy teljesítményű modellel végezzük, akkor jelentős megtakarítás érhető el a minőség romlása nélkül. Ezt a gondolatot elmélyítjük a 7. és 9. fejezetben.
Havi költség becslése: Egyszerű képlet
A durva havi költségbecsléshez a következő képletet használhatja:
Havi költség ≈ (Kérések száma havonta × Átlagos bemeneti token × Bemeneti ár / 1 000 000)+ (Kérések száma havonta × Átlagos kimeneti token × Kimeneti ár / 1 000 000)
Mutassunk egy példát. Tegyük fel, hogy egy e-kereskedelmi csapat havonta 50 000 termékleírást készít. Minden kérés átlagosan 500 bemeneti tokent (termékinformációt) küld, és 300 kimeneti tokent (leírást) kap. Kiegyensúlyozott modellben (bemenet ~3, kimenet ~15):
- Beviteli költség: 50 000 × 500 × 3 / 1 000 000 = 75 USD
- Kimeneti költség: 50 000 × 300 × 15 / 1 000 000 = 225 USD
- Összesen ≈ 300 USD/hó
Ha ugyanazt a munkát végezték el egy könnyű modellben (bemenet ~1, kimenet ~5):
- Bemenet: 50 000 × 500 × 1 / 1 000 000 = 25 USD
- Kimenet: 50 000 × 300 × 5 / 1 000 000 = 75 USD
- Összesen ≈ 100 USD/hó
Tehát pusztán a színpad kiválasztása 300 dollárról 100 dollárra csökkentheti ugyanazt a munkát. Egy viszonylag egyszerű feladathoz, például egy termékleíráshoz, a könnyű modell gyakran több mint elegendő.
Figyelem: Ez a képlet durva becslés; a tényleges számlázás olyan tényezőktől függ, mint a gyorsítótár használat, az újrapróbálkozások és az érvelési mód. Ennek ellenére nagyon jó kezdet a költségvetés megerősítéséhez vagy két modell összehasonlításához. A legjobb, ha egy kis pilótával megméri a valós számot, mielőtt döntést hozna.
Öt módszer a költségek csökkentésére
- Válassza ki a megfelelő szintet. Egyszerű, könnyű modell. Ez a legnagyobb megtakarítási forrás.
- Csökkentse a bemenetet. Ahelyett, hogy minden egyes kérelemhez hatalmas dokumentumokat töltene ki, csak a megfelelő részt küldje el (kontextus optimalizálás az 5. részben).
- Kimenet korlátozása. Tisztázza a válasz hosszát és formátumát; Feleslegesen hosszú válasz = felesleges költség.
- Gyorsítótár használata. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Ez jelentős megtakarítást jelent, ha ugyanazt a nagy utasítást több ezer alkalommal küldi el.
- Kötegelt feldolgozás végrehajtása. Ha nem siet, a „kötegelt” opciók, amelyek sok kérést küldenek tömegesen, és azokat kedvezményesen dolgozzák fel, jelentősen csökkentik a költségeket.
Három reális eset
1. eset – Megtakarítás lépésváltással. Egy ügyfélszolgálati csapat a legerősebb modellel összesítette az összes bejövő e-mailt, és a havi számlájuk ~900 dollár volt. Az összegzés egyszerű feladat volt; Amikor áttértek a kiegyensúlyozott szintre, a kimeneti minőség szinte ugyanaz maradt, de a számla ~250 dollárra esett. Évente ~7800 dollár megtakarítás, pusztán a megfelelő szint kiválasztásával.
2. eset – Mentés gyorsítótárral. Egy szoftvercsapat ugyanazt a 8000 tokenből álló „kódolási szabvány” dokumentumot küldte el minden kódellenőrzési kérelemhez. 400 kérés naponta × 8000 token = nagy számú ismétlődő adatbevitel. Amikor bekapcsolták a gyorsítótár funkciót, ezt a rögzített partíciót sokkal olcsóbban kezdték olvasni, és a beviteli költségek jelentős része eltűnt.
3. eset – Megtakarítás a kimenet korlátozásával. Amikor egy marketingcsapat termékleírást kért, a modell egyszerre hosszú, virágos bekezdéseket produkált. Amikor hozzáadták a "maximum 60 szó, egyetlen bekezdés" korlátozást, a magyarázatok hasznosabbakká váltak, és a kimeneti tokent felére csökkentették. Miközben a minőség nőtt, a költségek csökkentek; win-win.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Írj egy szép leírást ehhez a termékhez. [termékinformáció]
A modell addig írhat, ameddig csak akar; A kimeneti token ellenőrizetlen.
Erőteljes felszólítás:
Az Ön szerepe: e-kereskedelmi szövegíró. Termék: [INFORMÁCIÓ]. Feladat: Írjon termékleírást. Korlátozások: Maximum 60 szó, egy bekezdés, nem műszaki ügyfeleknek szóló felhívás, 2 előnyt + 1 használati esetet tartalmaz. Kerülje a divatos mellékneveket.
Az erőteljes prompt mind a minőséget, mind a kimeneti hosszt (és így a költségeket) szabályozza.
Másolható sablonok
1. Havi költségbecslés:
Havonta [QUANTITY] kérelmet nyújtok be. Átlagos bemenet ~[NUM] token, kimenet ~[NUM] token. Számítsa ki a következő modellek havi költségét ([A MODELL], [B MODELL]) a képlettel, és hasonlítsa össze egy táblázatban. Elfogadja a bemeneti/kimeneti árakat [PRICES].
2. szint összehasonlítása:
Kötelességem [FELADATOM]. Valóban erős modell kell ehhez a munkához, vagy elegendő egy könnyű/kiegyensúlyozott modell? Értékelje a minőséget és a költségeket, és javasoljon 2 szintet a próbateszthez.
3. Költségcsökkentési szűrés:
Határozza meg a költségek csökkentésének módjait a következő munkafolyamatban: [WORKFLOW]. Írja meg a megvalósíthatóságot és a becsült megtakarításokat a kaszkád, a bemenetcsökkentés, a kimeneti kötöttség, a gyorsítótár és a kötegelt feldolgozás fejléceinek mindegyikéhez.
4. Kimeneti korlátozás:
Írja át a következő promptot, hogy csökkentse a kimeneti tokent a minőség romlása nélkül: "[PROMPT]". Optimalizálja a hosszt, a formátumot és a szükségtelen ismétléseket.
Gyakori hibák
- A bemeneti/kimeneti különbség kihagyása: Hosszú válaszok engedélyezése anélkül, hogy tudnánk, hogy a kimenet sokkal drágább.
- A legerősebb modell minden munkához: Egyszerű munkát végezni egy drága modellel, és szükségtelenül sokszor többet fizetni.
- A kimeneti hossz felszabadítása: Korlátlan írási engedély megadása a modellnek formátum- vagy hosszkorlátozás nélkül.
- A gyorsítótár és a köteg figyelmen kívül hagyása: Komoly megtakarítási lehetőségek hiánya az ismétlődő bevitelek és a nem sürgős feladatok miatt.
- Azt gondolni, hogy az árak naprakészek: Régi ártáblázatra hagyatkozni és rosszul tervezni a költségvetést; az árak gyakran változnak.
Összefoglalva
- Az ár a tokenek alapján kerül kiszámításra; Az input és a kibocsátás külön árazódik, és a kibocsátás sokszor többszöröse drágább.
- A kérések száma × átlagos token × ár képlet alapján hozzávetőlegesen megbecsülheti a havi költséget.
- A lépések helyes megválasztása önmagában sokszorosára csökkentheti a költségeket.
- A bemenet minimalizálása, a kimenet korlátozása, a gyorsítótárazás és a kötegelt feldolgozás olyan praktikus módszerek, amelyek jelentősen csökkentik a számlát.
Pályázati feladat
Szerezze meg az előző egységben becsült token értékeket. Számítsa ki vállalkozása havi költségét két különböző szintre az egység 1. sablonjával (havi költségbecslés). Ezután a 3. sablonnal (költségcsökkentési vizsgálat) állapítsa meg, hogy az egyes módszerek mennyi megtakarítást hozhatnak a munkafolyamatban. Tervezze meg a két legígéretesebb módszer kiválasztását, és alkalmazza azokat a következő havi költségvetésben.
ellenőrző lista
- [ ] Tudom, hogy az input és output token ára külön van, a kimenet pedig drágább.
- [ ] Az egyszerű képlettel nagyjából meg tudom becsülni egy munkafolyamat havi költségét.
- [ ] Példával tudom bemutatni a megfelelő szint kiválasztásának költséghatását.
- [ ] Öt költségcsökkentési módszert tudok felismerni és kiválasztani a megfelelőt.
- [ ] Átírhatok egy promptot a kimeneti token csökkentésére.