Logika cijena: ekonomija tokena i ravnoteža između cijene i kvalitete

Dobici:

• Mogućnost čitanja ulazno/izlaznih cijena tokena i stavki faktura
• Sposobnost procjene mjesečnog troška toka posla pomoću grube formule
• Implementacija metoda smanjenja troškova kao što su keširanje, grupna obrada i postavljanje modela

Biti u stanju procijeniti koliko će model koštati jedna je od najpraktičnijih vještina donosioca odluka. "Šta plaćam mjesečno?" Ako ne možete odgovoriti na pitanje, ne možete ni planirati budžet niti odabrati pravi nivo. Dobra vijest je da su cijene jednostavnije nego što zvuči, a kada se naviknete na to, sami možete napraviti grubu procjenu. U ovoj jedinici ćete naučiti kako čitati ulazno/izlazne cijene tokena, procijeniti mjesečne troškove toka posla pomoću jednostavne formule i metoda koje zapravo smanjuju troškove.

Opće pravilo: Ulaz i izlaz se naplaćuju zasebno

U modelima zatvorene težine, cijena se izračunava na osnovu količine obrađenih tokena i postoje dvije odvojene stavke:

• Ulazni token (unos): tekst koji šaljete modelu. Vaš upit, vaši dokumenti, vaši uzorci.
• Izlazni token: odgovor koji model proizvodi za vas.

Kritična tačka: Izlazni token je često nekoliko puta skuplji od ulaznog tokena. To je zato što je modelu računski skuplje da proizvede izlaz. Na primjer, u jednom modelu, ulaz može biti 3 USD za milion tokena, dok izlaz može biti 15 USD; Dakle, izlaz je pet puta skuplji. To znači da dugi i nepotrebni odgovori mogu brzo pojesti budžet.

Savjet: Jedan od najlakših načina za smanjenje troškova je da ne tražite od modela nepotrebno duge odgovore. Ograničenja kao što su "maksimalno 5 članaka", "jedan paragraf", "izvezi samo tabelu" povećavaju kvalitet i čuvaju izlazni token.

Primjeri trenutnih cijena

Ispod su približne cijene nekoliko modela (za milion tokena, američkih dolara). Ove vrijednosti pripadaju periodu u kojem je ovaj modul pripremljen i često se mijenjaju; Provjerite stranicu s trenutnim cijenama dobavljača za tačnu odluku.

model

Stage

Unesite $/1M

Izlaz $/1M

Claude Opus 4.8

jaka

~5

~25

Klod Sonet 5

uravnotežen

~3

~15

Claude Haiku 4.5

lagana

~1

~5

Kao što se vidi u tabeli, može postojati razlika u cijeni do pet puta između jakog i laganog nivoa. Zato je pristup „najprikladnijem modelu za sve poslove“ često bacanje novca. Jednostavan posao koji obavlja jeftin model i težak posao moćnog modela omogućava velike uštede bez gubitka kvaliteta. Ovu ideju ćemo produbiti u jedinicama 7 i 9.

Procjena mjesečnih troškova: Jednostavna formula

Za grubu procjenu mjesečnih troškova, možete koristiti ovu formulu:

Mjesečni trošak ≈ (Broj zahtjeva mjesečno × Prosječna ulazna cijena × Ulazna cijena / 1.000.000)+ (Broj zahtjeva mjesečno × Prosječni izlazni token × Izlazna cijena / 1.000.000)

Pokrenimo primjer. Recimo da tim za e-trgovinu proizvede 50.000 opisa proizvoda mjesečno. Svaki zahtjev šalje u prosjeku 500 tokena ulaza (informacija o proizvodu) i prima 300 tokena izlaza (opis). U balansiranom modelu (ulaz ~3, izlaz ~15):

• Ulazni trošak: 50.000 × 500 × 3 / 1.000.000 = 75 USD
• Izlazni trošak: 50.000 × 300 × 15 / 1.000.000 = 225 USD
• Ukupno ≈ 300 USD/mjesečno

Ako su radili isti posao u laganom modelu (ulaz ~1, izlaz ~5):

• Ulaz: 50.000 × 500 × 1 / 1.000.000 = 25 USD
• Izlaz: 50.000 × 300 × 5 / 1.000.000 = 75 USD
• Ukupno ≈ 100 USD/mjesečno

Dakle, samo odabir faze može smanjiti isti posao sa 300 USD na 100 USD. Za relativno jednostavan zadatak kao što je opis proizvoda, lagani model je često više nego dovoljan.

Oprez: Ova formula je gruba procjena; stvarna naplata zavisi od faktora kao što su upotreba keša, ponovni pokušaji i način razmišljanja. Ipak, to je vrlo dobar početak za dobijanje potvrde budžeta ili poređenje dva modela. Najbolje je izmjeriti stvarni broj s malim pilotom prije donošenja odluke.

Pet metoda za smanjenje troškova

1. Odaberite pravi nivo. Jednostavan, lagan model. Ovo je najveći pojedinačni izvor uštede.
2. Umanjite unos. Umjesto popunjavanja ogromnih dokumenata za svaki zahtjev, pošaljite samo relevantnu sekciju (optimizacija konteksta u jedinici 5).
3. Ograničiti izlaz. Pojasnite dužinu i format odgovora; Nepotrebno dug odgovor = nepotrebni trošak.
4. Koristite keširanje. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Ovo pruža značajne uštede ako šaljete istu veliku instrukciju hiljadama puta.
5. Izvršite grupnu obradu. Ako vam se ne žuri, "batch" opcije, koje šalju mnoge zahtjeve na veliko i obrađuju ih uz popust, značajno smanjuju troškove.

Tri realna slučaja

Slučaj 1 — Uštede sa promjenom koraka. Tim za korisničku podršku je sumirao sve dolazne e-poruke sa najjačim modelom, a njihov mjesečni račun je bio ~900 dolara. Sažimanje je bio jednostavan zadatak; Kada su prešli na balansirani nivo, kvalitet izlaza je ostao skoro isti, ali je račun pao na ~250 dolara. Ušteda ~$7,800 godišnje, samo odabirom pravog nivoa.

Slučaj 2 — Čuvanje sa keš memorijom. Softverski tim je slao isti dokument od 8.000 tokena „standardi kodiranja“ sa svakim zahtjevom za pregled koda. 400 zahtjeva dnevno × 8.000 tokena = veliki unos koji se ponavlja. Kada su uključili keš funkciju, ova fiksna particija je počela da se čita mnogo jeftinije i značajan dio ulaznih troškova je nestao.

Slučaj 3 — Uštede ograničavanjem izlaza. Kada je marketinški tim zatražio opis proizvoda, model je proizveo dugačke, cvjetne pasuse odjednom. Kada su dodali ograničenje "maksimalno 60 riječi, jedan pasus", objašnjenja su postala korisnija i izlazni token je prepolovljen. Dok se kvalitet povećao, troškovi su se smanjili; win-win.

Slaba prompt / jaka prompt

Slab upit:

Napišite mi lijep opis za ovaj proizvod. [informacije o proizvodu]

Manekenka može pisati koliko god želi; Izlazni token je nekontroliran.

Snažan upit:

Vaša uloga: e-commerce copywriter. Proizvod: [INFORMACIJE]. Zadatak: Napišite opis proizvoda. Ograničenja: Maksimalno 60 riječi, jedan pasus, privlačan korisnicima koji nisu tehnički, sadrže 2 prednosti + 1 slučaj upotrebe. Izbjegavajte otmjene prideve.

Moćni prompt kontroliše i kvalitet i dužinu izlaza (a samim tim i cenu).

Copiable Templates

1. Mjesečna procjena troškova:

Mjesečno šaljem [QUANTITY] zahtjeve. Prosječan ulaz ~[NUM] tokena, izlaz ~[NUM] tokena. Izračunajte mjesečnu cijenu za sljedeće modele ([MODEL A], [MODEL B]) pomoću formule i uporedite u tabeli. Prihvatite ulazne/izlazne cijene [CENE].

Poređenje nivoa 2:

Moja dužnost [ZADAĆAK]. Da li je za ovaj posao zaista potreban moćan model ili je dovoljan lagan/uravnotežen model? Procijenite u smislu kvaliteta i cijene i predložite 2 nivoa za pilot testiranje.

3. Provjera smanjenja troškova:

Identifikujte načine za smanjenje troškova u sledećem toku rada: [TOK RADA]. Napišite izvodljivost i procenjene uštede za svako od zaglavlja kaskade, smanjenja ulaza, ograničenja izlaza, keš memorije i grupne obrade.

4. Ograničenje izlaza:

Ponovo napišite sljedeću prompt da smanjite izlazni token bez smanjenja kvalitete: "[PROMPT]". Optimizirajte za dužinu, format i nepotrebno ponavljanje.

Uobičajene greške

• Preskakanje razlike između ulaza/izlaza: Dozvoljavanje dugih odgovora bez znanja da je izlaz mnogo skuplji.
• Najmoćniji model za svaki posao: Radite jednostavan posao sa skupim modelom i plaćate višestruko nepotrebno.
• Otpuštanje izlazne dužine: Davanje neograničene dozvole za pisanje modelu bez nametanja ograničenja formata ili dužine.
• Zanemarivanje keš memorije i paketa: Propuštanje ozbiljnih mogućnosti uštede za ponavljajuće unose i nehitne zadatke.
• Smatrati da su cijene ažurne: oslanjanje na staru tablicu cijena i pogrešno planiranje budžeta; cijene se često mijenjaju.

Ukratko

• Cijena se izračunava na osnovu tokena; Cijene ulaza i izlaza su odvojene, a izlaz je često nekoliko puta skuplji.
• Možete otprilike procijeniti mjesečni trošak po formuli broj zahtjeva × prosječan token × cijena.
• Samo ispravan odabir koraka može smanjiti troškove višestruko.
• Minimizacija unosa, ograničavanje izlaza, keširanje i batch obrada su praktične metode koje značajno smanjuju račun.

Zadatak aplikacije

Dobijte vrijednosti tokena koje ste procijenili u prethodnoj jedinici. Neka mjesečni trošak vašeg poslovanja bude izračunat za dva različita nivoa sa šablonom 1 u ovoj jedinici (mjesečna procjena troškova). Zatim, pomoću 3. predloška (skeniranje smanjenja troškova), zaključite koliko ušteda svaka metoda može donijeti vašem toku rada. Planirajte da odaberete dvije metode koje najviše obećavaju i primijenite ih na budžet za sljedeći mjesec.

kontrolna lista

• [ ] Znam da se ulazni i izlazni token naplaćuju odvojeno i da je izlaz skuplji.
• [ ] Mogu otprilike procijeniti mjesečnu cijenu toka posla pomoću jednostavne formule.
• [ ] Mogu pokazati utjecaj na troškove odabira pravog nivoa na primjeru.
• [ ] Mogu prepoznati pet metoda smanjenja troškova i odabrati odgovarajući.
• [ ] Mogu ponovo napisati prompt da smanjim izlazni token.