Fitimet:
- Aftësia për të lexuar çmimet e shenjave hyrëse/dalëse dhe artikujt e faturës
- Aftësia për të vlerësuar koston mujore të një fluksi pune me një formulë të përafërt
- Zbatimi i metodave të uljes së kostove, të tilla si caching, përpunimi i grupeve dhe vendosja e modeleve
Të jesh në gjendje të vlerësosh se sa do të kushtojë një model është një nga aftësitë më praktike të vendimmarrësit. "Çfarë paguaj çdo muaj?" Nëse nuk mund t'i përgjigjeni pyetjes, nuk mund të planifikoni as një buxhet dhe as të zgjidhni nivelin e duhur. Lajmi i mirë është se çmimi është më i thjeshtë nga sa tingëllon, dhe pasi ta kuptoni, mund të bëni vetë një vlerësim të përafërt. Në këtë njësi, do të mësoni se si të lexoni çmimet e shenjave hyrëse/dalëse, të vlerësoni koston mujore të një fluksi pune me një formulë të thjeshtë dhe metodat që në fakt ulin koston.
Rregulli i përgjithshëm: Inputi dhe outputi vlerësohen veçmas
Në modelet me peshë të mbyllur, çmimi llogaritet në bazë të sasisë së argumenteve të përpunuara dhe ka dy artikuj të veçantë:
- Shenja hyrëse (hyrje): Teksti që i dërgoni modelit. Kërkesa juaj, dokumentet tuaja, mostrat tuaja.
- Shenja e daljes: Përgjigjja që prodhon modeli për ju.
Pika kritike: Shenja e daljes është shpesh disa herë më e shtrenjtë se shenja hyrëse. Kjo është për shkak se është llogaritëse më e kushtueshme për modelin për të prodhuar rezultate. Për shembull, në një model, hyrja mund të jetë 3 dollarë për milion argumente, ndërsa dalja mund të jetë 15 dollarë; Pra, prodhimi është pesë herë më i shtrenjtë. Kjo do të thotë që përgjigjet e gjata dhe të panevojshme mund të hanë shpejt buxhetin.
Këshillë: Një nga mënyrat më të lehta për të ulur koston është të mos i kërkoni modelit përgjigje të gjata të panevojshme. Kufizime të tilla si "maksimumi 5 artikuj", "paragraf i vetëm", "eksporto vetëm tabelën" rrisin cilësinë dhe ruajnë tokenin e daljes.
Shembuj të çmimeve aktuale
Më poshtë janë çmimet e përafërta të disa modeleve (për milion argumente, dollarë amerikanë). Këto vlera i përkasin periudhës në të cilën është përgatitur ky modul dhe ndryshojnë shpesh; Kontrolloni faqen aktuale të çmimeve të ofruesit për vendimin e saktë.
model
Skena
Hyrja $/1 milion
Prodhimi $/1 milion
Claude Opus 4.8
të fortë
~ 5
~ 25
Claude Sonet 5
i balancuar
~ 3
~ 15
Klod Haiku 4.5
të lehta
~ 1
~ 5
Siç shihet në tabelë, mund të ketë një ndryshim çmimi deri në pesë herë midis nivelit të fortë dhe nivelit të lehtë. Kjo është arsyeja pse qasja "modeli më i përshtatshëm për të gjithë biznesin" është shpesh një humbje parash. Puna e thjeshtë e bërë nga një model i lirë dhe puna e vështirë nga një model i fuqishëm siguron kursime të mëdha pa humbje të cilësisë. Këtë ide do ta thellojmë në njësitë 7 dhe 9.
Vlerësimi i kostos mujore: Formulë e thjeshtë
Për një vlerësim të përafërt të kostos mujore, mund të përdorni këtë formulë:
Kostoja mujore ≈ (Numri i kërkesave në muaj × Tokeni mesatar i hyrjes × Çmimi i hyrjes / 1,000,000)+ (Numri i kërkesave në muaj × Tokeni mesatar i daljes × Çmimi i prodhimit / 1,000,000)
Le të japim një shembull. Le të themi se një ekip i tregtisë elektronike prodhon 50,000 përshkrime të produkteve në muaj. Çdo kërkesë dërgon mesatarisht 500 argumente të dhënash (informacion produkti) dhe merr 300 argumente të daljes (përshkrim). Në një model të balancuar (hyrja ~ 3, dalja ~ 15):
- Kostoja e hyrjes: 50,000 × 500 × 3 / 1,000,000 = 75 dollarë
- Kostoja e prodhimit: 50,000 × 300 × 15 / 1,000,000 = 225 dollarë
- Gjithsej ≈ $300/muaj
Nëse ata bënë të njëjtën punë në një model të lehtë (hyrja ~ 1, dalja ~ 5):
- Hyrja: 50,000 × 500 × 1 / 1,000,000 = 25 dollarë
- Prodhimi: 50,000 × 300 × 5 / 1,000,000 = 75 dollarë
- Gjithsej ≈ $100/muaj
Pra, vetëm përzgjedhja e skenës mund të zvogëlojë të njëjtën punë nga 300 dollarë në 100 dollarë. Për një detyrë relativisht të thjeshtë si përshkrimi i produktit, modeli i lehtë është shpesh më se i mjaftueshëm.
Kujdes: Kjo formulë është një vlerësim i përafërt; faturimi aktual ndryshon me faktorë të tillë si përdorimi i cache-it, riprovimet dhe mënyra e arsyetimit. Megjithatë, është një fillim shumë i mirë për të marrë një konfirmim buxheti ose për të krahasuar dy modele. Është mirë të matni numrin real me një pilot të vogël përpara se të merrni një vendim.
Pesë metoda për të ulur kostot
- Zgjidhni nivelin e duhur. Model i thjeshtë dhe i lehtë. Ky është burimi i vetëm më i madh i kursimeve.
- Bëni hyrjen më të vogël. Në vend që të plotësoni dokumente të mëdha për secilën kërkesë, dërgoni vetëm seksionin përkatës (optimizimi i kontekstit në njësinë 5).
- Kufizoni prodhimin. Sqaroni gjatësinë dhe formatin e përgjigjes; Përgjigje e gjatë e panevojshme = kosto e panevojshme.
- Përdorni caching. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Kjo siguron kursime të konsiderueshme nëse po dërgoni të njëjtin udhëzim të madh mijëra herë.
- Kryeni përpunimin në grup. Nëse nuk jeni me nxitim, opsionet “batch”, të cilat dërgojnë shumë kërkesa me shumicë dhe i përpunojnë ato me zbritje, ulin ndjeshëm koston.
Tre raste realiste
Rasti 1 - Kursime me ndryshim hapi. Një ekip i shërbimit ndaj klientit po përmblidhte të gjitha emailet hyrëse me modelin më të fortë dhe fatura e tyre mujore ishte ~ 900 dollarë. Përmbledhja ishte një detyrë e thjeshtë; Kur ata kaluan në nivelin e balancuar, cilësia e prodhimit mbeti pothuajse e njëjtë, por fatura ra në ~ 250 dollarë. Kursime ~ 7800$ në vit, vetëm duke zgjedhur nivelin e duhur.
Rasti 2 - Ruajtja me cache. Një ekip softuerësh po dërgonte të njëjtin dokument "standardet e kodimit" prej 8000 tokenash me çdo kërkesë për rishikim të kodit. 400 kërkesa në ditë × 8000 argumente = hyrje e madhe e përsëritur. Kur aktivizuan funksionin e cache-it, kjo ndarje fikse filloi të lexohej shumë më lirë dhe një pjesë e konsiderueshme e kostove të hyrjes u zhdukën.
Rasti 3 — Kursime duke kufizuar prodhimin. Kur një ekip marketingu kërkoi përshkrimin e produktit, modeli prodhoi paragrafë të gjatë e të lulëzuar në të njëjtën kohë. Kur ata shtuan kufizimin "maksimumi 60 fjalë, një paragraf i vetëm", shpjegimet u bënë më të dobishme dhe shenja e daljes u përgjysmua. Ndërsa cilësia u rrit, kostoja u ul; fitim-fitim.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Më shkruaj një përshkrim të bukur për këtë produkt. [informacionet e produktit]
Modelja mund të shkruajë sa të dojë; Shenja e daljes është e pakontrolluar.
Njoftim i fuqishëm:
Roli juaj: kopjues i tregtisë elektronike. Produkti: [INFORMACION]. Detyra: Shkruani një përshkrim produkti. Kufizimet: Maksimumi 60 fjalë, një paragraf, apel për klientët jo teknikë, përmban 2 përfitime + 1 rast përdorimi. Shmangni mbiemrat e zbukuruar.
Prompti i fuqishëm kontrollon cilësinë dhe gjatësinë e prodhimit (dhe rrjedhimisht koston).
Modele të kopjueshme
1. Vlerësimi i kostos mujore:
Unë bëj [QUANTITY] kërkesa çdo muaj. Mesatarja e hyrjes ~[NUM] argumente, dalja ~[NUM] shenja. Llogaritni koston mujore për modelet e mëposhtme ([MODEL A], [MODEL B]) me formulën dhe krahasoni në një tabelë. Prano çmimet hyrëse/dalëse [ÇMIME].
Krahasimi i nivelit 2:
Detyra ime [DETYRË]. A kërkon vërtet kjo punë një model të fuqishëm, apo mjafton një model i lehtë/i ekuilibruar? Vlerësoni për sa i përket cilësisë dhe kostos dhe më sugjeroni 2 nivele për të testuar pilot.
3. Ekzaminimi i uljes së kostos:
Identifikoni mënyrat për të reduktuar koston në rrjedhën e mëposhtme të punës: [WORKFLOW]. Shkruani fizibilitetin dhe kursimet e vlerësuara për secilën prej kaskadës, reduktimit të hyrjes, kufirit të daljes, cache-së dhe titujve të përpunimit të grupit.
4. Kufizimi i prodhimit:
Rishkruani kërkesën e mëposhtme për të reduktuar tokenin e daljes pa ulur cilësinë: "[PROMPT]". Optimizoni për gjatësinë, formatin dhe përsëritjen e panevojshme.
Gabimet e zakonshme
- Kapërcimi i diferencës hyrëse/dalëse: Lejimi i përgjigjeve të gjata pa e ditur se dalja është shumë më e shtrenjtë.
- Modeli më i fuqishëm për çdo punë: Të bësh një punë të thjeshtë me një model të shtrenjtë dhe të paguash shumë herë më shumë në mënyrë të panevojshme.
- Lëshimi i gjatësisë së daljes: Dhënia e lejes së pakufizuar të shkrimit për modelin pa vendosur ndonjë kufizim formati ose gjatësie.
- Injorimi i memories dhe grupit: Mungojnë mundësitë serioze të kursimit për inpute të përsëritura dhe detyra jo urgjente.
- Duke menduar se çmimet janë të përditësuara: Mbështetja në një tabelë të vjetër çmimesh dhe planifikimi i buxhetit në mënyrë të gabuar; çmimet ndryshojnë shpesh.
Në përmbledhje
- Çmimi llogaritet në bazë të argumenteve; inputi dhe outputi vlerësohen veçmas, dhe outputi shpesh është disa herë më i shtrenjtë.
- Ju mund të vlerësoni përafërsisht koston mujore sipas formulës së numrit të kërkesave × shenjës mesatare × çmimit.
- Vetëm zgjedhja e saktë e hapave mund të zvogëlojë koston shumë herë.
- Minimizimi i inputeve, kufizimi i daljes, caching dhe përpunimi i grupit janë metoda praktike që reduktojnë ndjeshëm faturën.
Detyra e aplikimit
Merrni vlerat simbolike që keni vlerësuar në njësinë e mëparshme. Llogaritni koston mujore të biznesit tuaj për dy nivele të ndryshme me shabllonin 1 në këtë njësi (vlerësimi i kostos mujore). Më pas, me shabllonin e tretë (skanimi i uljes së kostos), nxirrni sa kursime mund të sjellë secila metodë në rrjedhën tuaj të punës. Planifikoni të zgjidhni dy metodat më premtuese dhe t'i zbatoni ato në buxhetin e muajit tuaj të ardhshëm.
listë kontrolli
- [ ] Unë e di që token hyrëse dhe dalëse vlerësohen veçmas dhe prodhimi është më i shtrenjtë.
- [ ] Unë mund të vlerësoj përafërsisht koston mujore të një fluksi pune me formulën e thjeshtë.
- [ ] Mund të tregoj ndikimin në kosto të zgjedhjes së nivelit të duhur me një shembull.
- [ ] Unë mund të njoh pesë metoda të uljes së kostos dhe të zgjedh atë të përshtatshmen.
- [ ] Mund të rishkruaj një kërkesë për të reduktuar shenjën e daljes.