Dobički:
- Sposobnost branja cen vhodnih/izhodnih žetonov in postavk na računih
- Sposobnost ocene mesečnih stroškov poteka dela z grobo formulo
- Izvajanje metod zmanjševanja stroškov, kot so predpomnjenje, paketna obdelava in uprizoritev modela
Sposobnost oceniti, koliko bo model stal, je ena najbolj praktičnih veščin odločevalca. "Koliko plačujem mesečno?" Če ne morete odgovoriti na vprašanje, ne morete niti načrtovati proračuna niti izbrati prave ravni. Dobra novica je, da je oblikovanje cen preprostejše, kot se sliši, in ko se tega naučite, lahko sami naredite grobo oceno. V tej enoti se boste naučili brati ceno vhodnih/izhodnih žetonov, oceniti mesečne stroške delovnega toka s preprosto formulo in metode, ki dejansko zmanjšajo stroške.
Osnovno pravilo: Vhod in izhod se cenita ločeno
V modelih zaprte teže se cena izračuna na podlagi količine obdelanih žetonov in obstajata dve ločeni postavki:
- Vhodni žeton (input): Besedilo, ki ga pošljete modelu. Vaš poziv, vaši dokumenti, vaši vzorci.
- Izhodni žeton: odgovor, ki ga model ustvari za vas.
Kritična točka: Izhodni žeton je pogosto nekajkrat dražji od vhodnega. To je zato, ker je izračunsko dražje za model, da ustvari rezultate. Na primer, v enem modelu je lahko vnos 3 $ na milijon žetonov, medtem ko je rezultat lahko 15 $; Izhod je torej petkrat dražji. To pomeni, da lahko dolgi in nepotrebni odgovori hitro požrejo proračun.
Nasvet: Eden najlažjih načinov za zmanjšanje stroškov je, da od modela ne zahtevate nepotrebno dolgih odgovorov. Omejitve, kot so "največ 5 člankov", "en odstavek", "izvozi samo tabelo", povečajo kakovost in shranijo izhodni žeton.
Primeri trenutnih cen
Spodaj so približne cene več modelov (na milijon žetonov, ameriških dolarjev). Te vrednosti pripadajo obdobju, v katerem je bil ta modul pripravljen in se pogosto spreminjajo; Za natančno odločitev preverite ponudnikovo stran s trenutno ceno.
model
Oder
Vnesite $/1M
Izhod $/1 mio
Claude Opus 4.8
močan
~5
~25
Claude Sonet 5
uravnoteženo
~3
~15
Claude Haiku 4.5
lahka
~1
~5
Kot je razvidno iz tabele, lahko pride do petkratne razlike v ceni med močno in lahko stopnjo. Zato je pristop "najprimernejšega modela za vsa podjetja" pogosto zapravljanje denarja. Preprosto delo, ki ga opravi poceni model, težko delo pa zmogljiv model, zagotavlja velike prihranke brez izgube kakovosti. To idejo bomo poglobili v 7. in 9. enoti.
Ocena mesečnih stroškov: preprosta formula
Za grobo oceno mesečnih stroškov lahko uporabite to formulo:
Mesečni strošek ≈ (Število zahtev na mesec × Povprečni vhodni žeton × Vhodna cena / 1.000.000)+ (Število zahtev na mesec × Povprečni izhodni žeton × Izhodna cena / 1.000.000)
Zaženimo primer. Recimo, da skupina za e-trgovino ustvari 50.000 opisov izdelkov na mesec. Vsaka zahteva pošlje povprečno 500 žetonov vnosa (informacije o izdelku) in prejme 300 žetonov izhoda (opis). V uravnoteženem modelu (vhod ~3, izhod ~15):
- Vhodni stroški: 50.000 × 500 × 3 / 1.000.000 = 75 USD
- Izhodni stroški: 50.000 × 300 × 15 / 1.000.000 = 225 $
- Skupaj ≈ 300 $/mesec
Če so opravili isto delo v lahkem modelu (vhod ~1, izhod ~5):
- Vnos: 50.000 × 500 × 1 / 1.000.000 = 25 USD
- Izhod: 50.000 × 300 × 5 / 1.000.000 = 75 USD
- Skupaj ≈ 100 $/mesec
Tako lahko samo izbira faze zmanjša isto delo s 300 $ na 100 $. Za razmeroma preprosto nalogo, kot je opis izdelka, je lahek model pogosto več kot dovolj.
Pozor: Ta formula je groba ocena; dejansko zaračunavanje se razlikuje glede na dejavnike, kot so uporaba predpomnilnika, ponovni poskusi in način razmišljanja. Kljub temu je to zelo dober začetek za potrditev proračuna ali primerjavo dveh modelov. Preden se odločite, je najbolje izmeriti pravo številko z malim pilotom.
Pet načinov za zmanjšanje stroškov
- Izberite pravo raven. Preprost, lahek model. To je največji posamezen vir prihrankov.
- Naj bo vnos manjši. Namesto izpolnjevanja ogromnih dokumentov za vsako zahtevo, pošljite samo ustrezen razdelek (optimizacija konteksta v enoti 5).
- Omejite izhod. Pojasnite dolžino in obliko odgovora; Nepotrebno dolg odgovor = nepotreben strošek.
- Uporabite predpomnjenje. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. To zagotavlja znatne prihranke, če več tisočkrat pošiljate ista velika navodila.
- Izvedite paketno obdelavo. Če se vam ne mudi, strošek občutno znižajo »batch« opcije, ki pošiljajo veliko zahtevkov v velikem obsegu in jih obdelajo s popustom.
Trije realni primeri
1. primer — prihranek s postopno spremembo. Ekipa za pomoč strankam je povzemala vsa dohodna e-poštna sporočila z najmočnejšim modelom in njihov mesečni račun je znašal ~900 USD. Povzemanje je bila preprosta naloga; Ko so prešli na uravnoteženo raven, je kakovost izhoda ostala skoraj enaka, vendar je račun padel na ~250 USD. Prihranek ~7.800 $ na leto, samo z izbiro prave stopnje.
Primer 2 — Shranjevanje s predpomnilnikom. Skupina programske opreme je z vsako zahtevo za pregled kode pošiljala isti dokument z 8.000 žetoni "standardov kodiranja". 400 zahtevkov na dan × 8000 žetonov = velik ponavljajoči se vnos. Ko so vklopili funkcijo predpomnilnika, se je ta fiksna particija začela brati veliko ceneje in precejšen del vhodnih stroškov je izginil.
Primer 3 – Prihranki z omejevanjem proizvodnje. Ko je marketinška ekipa prosila za opis izdelka, je model naenkrat ustvaril dolge, cvetoče odstavke. Ko so dodali omejitev "največ 60 besed, en odstavek", so pojasnila postala uporabnejša in izhodni žeton se je prepolovil. Medtem ko se je kakovost povečala, so se stroški zmanjšali; win-win.
Šibek poziv / močan poziv
Šibek poziv:
Napišite mi lep opis tega izdelka. [informacije o izdelku]
Model lahko piše, kolikor dolgo hoče; Izhodni žeton je nenadzorovan.
Močan poziv:
Vaša vloga: pisec besedil za e-trgovino. Izdelek: [INFORMACIJE]. Naloga: Napišite opis izdelka. Omejitve: Največ 60 besed, en odstavek, nagovarja netehnične stranke, vsebuje 2 prednosti + 1 primer uporabe. Izogibajte se domišljijskim pridevnikom.
Zmogljiv poziv nadzoruje kakovost in dolžino izpisa (in s tem stroške).
Predloge, ki jih je mogoče kopirati
1. Ocena mesečnih stroškov:
Mesečno opravim [KOLIČINO] zahtev. Povprečni vnos ~[NUM] žetonov, izhod ~[NUM] žetonov. Izračunajte mesečne stroške za naslednje modele ([MODEL A], [MODEL B]) s formulo in primerjajte v tabeli. Sprejmite vhodne/izhodne cene [CENE].
Primerjava stopnje 2:
Moja dolžnost [NALOGA]. Ali to delo res zahteva močan model ali zadostuje lahek/uravnotežen model? Ocenite glede kakovosti in stroškov ter mi predlagajte 2 stopnji za pilotni preizkus.
3. Pregled zmanjševanja stroškov:
Ugotovite načine za zmanjšanje stroškov v naslednjem delovnem toku: [WORKFLOW]. Zapišite izvedljivost in ocenjene prihranke za vsako od glav kaskade, zmanjšanja vnosa, vezave izhoda, predpomnilnika in paketne obdelave.
4. Omejitev izhoda:
Prepišite naslednji poziv, da zmanjšate izhodni žeton brez zmanjšanja kakovosti: "[PROMPT]". Optimizirajte glede na dolžino, obliko in nepotrebno ponavljanje.
Pogoste napake
- Preskok razlike v vhodu/izhodu: omogočanje dolgih odgovorov, ne da bi vedeli, da je izhod veliko dražji.
- Najmočnejši model za vsako delo: Opraviti preprosto delo z dragim modelom in plačati večkrat po nepotrebnem.
- Sprostitev izhodne dolžine: dajanje neomejenega dovoljenja za pisanje modelu brez uvedbe kakršnih koli omejitev glede oblike ali dolžine.
- Ignoriranje predpomnilnika in paketa: manjkajo resne priložnosti za prihranek za ponavljajoče se vnose in opravila, ki niso nujna.
- Mislite, da so cene posodobljene: Zanašate se na staro cenovno tabelo in nepravilno načrtujete proračun; cene se pogosto spreminjajo.
Če povzamem
- Cena je izračunana na podlagi žetonov; input in output se cenita ločeno, output pa je pogosto nekajkrat dražji.
- Mesečne stroške lahko približno ocenite s formulo število zahtev × povprečni žeton × cena.
- Samo pravilna izbira korakov lahko večkrat zmanjša stroške.
- Minimiziranje vnosa, omejevanje izhoda, predpomnjenje in paketna obdelava so praktične metode, ki znatno zmanjšajo račun.
Aplikacijska naloga
Pridobite vrednosti žetonov, ki ste jih ocenili v prejšnji enoti. Izračunajte mesečne stroške vašega podjetja za dve različni ravni s predlogo 1 v tej enoti (ocena mesečnih stroškov). Nato s 3. predlogo (skeniranje zmanjšanja stroškov) sklepajte, koliko prihrankov lahko posamezna metoda prinese v vaš potek dela. Načrtujte izbiro dveh najbolj obetavnih metod in ju uporabite v proračunu za naslednji mesec.
kontrolni seznam
- [ ] Vem, da se vhodni in izhodni žeton cenita ločeno, izhod pa je dražji.
- [ ] S preprosto formulo lahko približno ocenim mesečne stroške delovnega toka.
- [ ] S primerom lahko prikažem vpliv izbire prave stopnje na stroške.
- [ ] Znam prepoznati pet načinov znižanja stroškov in izbrati primernega.
- [ ] Lahko prepišem poziv, da zmanjšam izhodni žeton.