Logika određivanja cijena: Ekonomija tokena i ravnoteža cijene i kvalitete

Dobici:

• Sposobnost čitanja cijena ulazno/izlaznih tokena i stavki fakture
• Sposobnost procjene mjesečnog troška tijeka rada pomoću grube formule
• Implementacija metoda smanjenja troškova kao što su predmemorija, skupna obrada i postavljanje modela

Biti u stanju procijeniti koliko će koštati model jedna je od najpraktičnijih vještina donositelja odluka. "Koliko plaćam mjesečno?" Ako ne možete odgovoriti na pitanje, ne možete planirati proračun niti odabrati pravu razinu. Dobra vijest je da je određivanje cijena jednostavnije nego što zvuči, a kada se snađete u tome, možete sami napraviti grubu procjenu. U ovoj jedinici naučit ćete kako čitati cijene ulazno/izlaznih tokena, procijeniti mjesečni trošak tijeka rada pomoću jednostavne formule i metode koje zapravo smanjuju troškove.

Praktično pravilo: ulaz i izlaz naplaćuju se odvojeno

U modelima zatvorene težine cijena se izračunava na temelju količine obrađenih tokena i postoje dvije odvojene stavke:

• Ulazni token (input): Tekst koji šaljete modelu. Vaš upit, vaši dokumenti, vaši uzorci.
• Izlazni token: Odgovor koji model proizvodi za vas.

Kritična točka: Izlazni token često je nekoliko puta skuplji od ulaznog tokena. To je zato što je modelu računalno skuplje proizvesti izlaz. Na primjer, u jednom modelu, ulaz bi mogao biti 3 USD po milijunu tokena dok bi izlaz mogao biti 15 USD; Dakle, izlaz je pet puta skuplji. To znači da dugi i nepotrebni odgovori mogu brzo pojesti proračun.

Savjet: jedan od najlakših načina za smanjenje troškova je ne tražiti od modela nepotrebno duge odgovore. Ograničenja kao što su "maksimalno 5 članaka", "jedan odlomak", "izvezi samo tablicu" povećavaju kvalitetu i spremaju izlazni token.

Primjeri trenutnih cijena

Ispod su približne cijene nekoliko modela (po milijun tokena, američki dolari). Ove vrijednosti pripadaju razdoblju u kojem je ovaj modul pripremljen i često se mijenjaju; Za točnu odluku provjerite stranicu s trenutnim cijenama pružatelja usluga.

model

Pozornica

Unesite $/1M

Izlaz $/1M

Claude Opus 4.8

snažna

~5

~25

Claude Sonet 5

uravnotežena

~3

~15

Claude Haiku 4.5

lagana

~1

~5

Kao što se vidi u tablici, može postojati razlika u cijeni do pet puta između jake i lake razine. Zato je pristup "najprikladnijeg modela za sve poslove" često bacanje novca. Jednostavan posao koji obavlja jeftin model, a težak posao moćan model omogućuje velike uštede bez gubitka kvalitete. Ovu ideju ćemo produbiti u jedinicama 7 i 9.

Procjena mjesečnog troška: jednostavna formula

Za grubu mjesečnu procjenu troškova možete koristiti ovu formulu:

Mjesečni trošak ≈ (Broj zahtjeva mjesečno × Prosječni ulazni token × Ulazna cijena / 1.000.000)+ (Broj zahtjeva mjesečno × Prosječni izlazni token × Izlazna cijena / 1.000.000)

Navedimo primjer. Recimo da tim za e-trgovinu izradi 50 000 opisa proizvoda mjesečno. Svaki zahtjev šalje prosječno 500 tokena ulaza (informacije o proizvodu) i prima 300 tokena izlaza (opis). U uravnoteženom modelu (ulaz ~3, izlaz ~15):

• Ulazni trošak: 50.000 × 500 × 3 / 1.000.000 = 75 USD
• Izlazni trošak: 50.000 × 300 × 15 / 1.000.000 = 225 USD
• Ukupno ≈ 300 USD mjesečno

Ako su obavili isti posao u laganom modelu (ulaz ~1, izlaz ~5):

• Unos: 50.000 × 500 × 1 / 1.000.000 = 25 USD
• Izlaz: 50 000 × 300 × 5 / 1 000 000 = 75 USD
• Ukupno ≈ 100 USD mjesečno

Dakle, samo odabir faze može smanjiti isti posao sa 300 USD na 100 USD. Za relativno jednostavan zadatak kao što je opis proizvoda, lagani model često je više nego dovoljan.

Oprez: Ova formula je gruba procjena; stvarna naplata ovisi o faktorima kao što su upotreba predmemorije, ponovni pokušaji i način razmišljanja. Ipak, to je vrlo dobar početak za dobivanje potvrde proračuna ili usporedbu dvaju modela. Najbolje je izmjeriti pravi broj s malim pilotom prije donošenja odluke.

Pet metoda za smanjenje troškova

1. Odaberite pravu razinu. Jednostavan, lagan model. Ovo je najveći pojedinačni izvor uštede.
2. Neka unos bude manji. Umjesto ispunjavanja ogromnih dokumenata za svaki zahtjev, pošaljite samo relevantni odjeljak (optimizacija konteksta u jedinici 5).
3. Ograničite izlaz. Pojasnite duljinu i format odgovora; Nepotrebno dugačak odgovor = nepotreban trošak.
4. Koristite predmemoriju. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. To omogućuje značajne uštede ako šaljete iste velike instrukcije tisućama puta.
5. Izvršite skupnu obradu. Ako vam se ne žuri, "batch" opcije, koje masovno šalju mnogo zahtjeva i obrađuju ih uz popust, značajno smanjuju trošak.

Tri realna slučaja

Slučaj 1 — Ušteda s postupnom promjenom. Tim korisničke službe sažimao je sve dolazne e-poruke s najjačim modelom, a njihov mjesečni račun iznosio je ~900 USD. Sažimanje je bio jednostavan zadatak; Kad su prešli na uravnoteženu razinu, kvaliteta ispisa ostala je gotovo ista, ali je račun pao na ~250 USD. Ušteda ~7800 USD godišnje, samo odabirom odgovarajuće razine.

Slučaj 2 — Spremanje s predmemorijom. Softverski tim je sa svakim zahtjevom za pregled koda slao isti dokument od 8000 tokena "standarda kodiranja". 400 zahtjeva dnevno × 8000 tokena = veliki unos koji se ponavlja. Kad su uključili značajku predmemorije, ova se fiksna particija počela čitati puno jeftinije i nestao je značajan dio troškova unosa.

Slučaj 3 — Uštede ograničavanjem proizvodnje. Kad je marketinški tim tražio opis proizvoda, model je ispisivao duge, cvjetne paragrafe odjednom. Kada su dodali ograničenje "maksimalno 60 riječi, jedan odlomak", objašnjenja su postala korisnija i izlazni token je prepolovljen. Dok je kvaliteta rasla, cijena se smanjivala; win-win.

Slab upit / Jak upit

Slab upit:

Napiši mi lijep opis za ovaj proizvod. [informacije o proizvodu]

Model može pisati koliko god želi; Izlazni token je nekontroliran.

Snažan upit:

Vaša uloga: tekstopisac za e-trgovinu. Proizvod: [INFORMACIJE]. Zadatak: Napišite opis proizvoda. Ograničenja: najviše 60 riječi, jedan odlomak, obraća se netehničkim korisnicima, sadrži 2 prednosti + 1 slučaj upotrebe. Izbjegavajte otmjene pridjeve.

Moćni prompt kontrolira kvalitetu i duljinu izlaza (a time i cijenu).

Predlošci koji se mogu kopirati

1. Mjesečna procjena troškova:

Podnesem [KOLIČINU] zahtjeva mjesečno. Prosječan unos ~[NUM] tokena, izlaz ~[NUM] tokena. Izračunajte mjesečni trošak za sljedeće modele ([MODEL A], [MODEL B]) pomoću formule i usporedite u tablici. Prihvatite ulazno/izlazne cijene [PRICES].

Usporedba razine 2:

Moja dužnost [ZADATAK]. Je li za ovaj posao stvarno potreban snažan model ili je dovoljan lagani/uravnoteženi model? Procijenite u smislu kvalitete i cijene i predložite mi 2 razine za pilot testiranje.

3. Pregled smanjenja troškova:

Identificirajte načine za smanjenje troškova u sljedećem tijeku rada: [TIJEK RADA]. Napišite izvedivost i procijenjenu uštedu za svaku od kaskada, smanjenja unosa, ograničenja izlaza, predmemorije i zaglavlja skupne obrade.

4. Ograničenje izlaza:

Prepišite sljedeći prompt kako biste smanjili izlazni token bez smanjenja kvalitete: "[PROMPT]". Optimizirajte za duljinu, format i nepotrebno ponavljanje.

Uobičajene greške

• Preskakanje ulazno/izlazne razlike: dopuštanje dugih odgovora bez znanja da je izlaz mnogo skuplji.
• Najmoćniji model za svaki posao: Obavljati jednostavan posao sa skupim modelom i plaćati višestruko više nepotrebno.
• Oslobađanje duljine izlaza: Davanje neograničenog dopuštenja pisanja modelu bez nametanja ograničenja formata ili duljine.
• Ignoriranje predmemorije i skupa: propuštaju se ozbiljne prilike za uštedu za ponavljajuće unose i zadatke koji nisu hitni.
• Misljenje da su cijene ažurne: oslanjanje na staru tablicu cijena i pogrešno planiranje proračuna; cijene se često mijenjaju.

Ukratko

• Cijena se izračunava na temelju žetona; input i output se cijene odvojeno, a output je često nekoliko puta skuplji.
• Mjesečni trošak možete grubo procijeniti prema formuli broj zahtjeva × prosječni token × cijena.
• Sam točan odabir koraka može višestruko smanjiti trošak.
• Minimiziranje unosa, ograničavanje izlaza, predmemorija i skupna obrada praktične su metode koje značajno smanjuju račun.

Zadatak aplikacije

Dobijte vrijednosti tokena koje ste procijenili u prethodnoj jedinici. Neka se mjesečni trošak vašeg poslovanja izračuna za dvije različite razine s predloškom 1 u ovoj jedinici (procjena mjesečnog troška). Zatim, pomoću 3. predloška (skeniranje smanjenja troškova), zaključite koliko ušteda svaka metoda može donijeti vašem tijeku rada. Planirajte odabrati dvije metode koje najviše obećavaju i primijenite ih na proračun za sljedeći mjesec.

popis za provjeru

• [ ] Znam da se ulazni i izlazni token naplaćuju zasebno, a izlaz je skuplji.
• [ ] Mogu grubo procijeniti mjesečni trošak tijeka rada pomoću jednostavne formule.
• [ ] Primjerom mogu pokazati utjecaj na troškove odabira prave razine.
• [ ] Znam prepoznati pet metoda smanjenja troškova i odabrati odgovarajuću.
• [ ] Mogu prepisati upit kako bih smanjio izlazni token.