Kainodaros logika: simbolinė ekonomika ir sąnaudų ir kokybės balansas

Pelnas:

• Gebėjimas skaityti įvesties/išvesties žetonų kainodarą ir sąskaitų faktūrų elementus
• Galimybė apskaičiuoti mėnesines darbo eigos išlaidas pagal apytikslę formulę
• Sąnaudų mažinimo metodų, tokių kaip talpyklos kaupimas, paketinis apdorojimas ir modelio sudarymas, įgyvendinimas

Galimybė įvertinti, kiek modelis kainuos, yra vienas iš praktiškiausių sprendimų priėmėjo įgūdžių. "Ką aš moku kas mėnesį?" Jei negalite atsakyti į klausimą, negalite nei planuoti biudžeto, nei pasirinkti tinkamo lygio. Geros naujienos yra tai, kad kainodara yra paprastesnė, nei atrodo, o kai tik tai suprasite, galėsite patys atlikti apytikslę sąmatą. Šiame skyriuje sužinosite, kaip skaityti įvesties / išvesties prieigos rakto kainodarą, pagal paprastą formulę įvertinti darbo eigos mėnesio išlaidas ir metodus, kurie iš tikrųjų sumažina išlaidas.

Nykščio taisyklė: įvesties ir išvesties kaina nustatomos atskirai

Uždaro svorio modeliuose kaina apskaičiuojama pagal apdorotų žetonų kiekį ir yra dvi atskiros prekės:

• Įvesties prieigos raktas (įvestis): tekstas, kurį siunčiate modeliui. Jūsų raginimas, jūsų dokumentai, jūsų pavyzdžiai.
• Išvesties prieigos raktas: atsakymas, kurį jums pateikia modelis.

Kritinis taškas: išvesties prieigos raktas dažnai yra kelis kartus brangesnis nei įvesties prieigos raktas. Taip yra todėl, kad modeliui gaminti produkciją yra brangiau. Pavyzdžiui, viename modelyje įvestis gali būti 3 USD už milijoną žetonų, o išvestis gali būti 15 USD; Taigi produkcija penkis kartus brangesnė. Tai reiškia, kad ilgi ir nereikalingi atsakymai gali greitai suvalgyti biudžetą.

Patarimas: vienas iš paprasčiausių būdų sumažinti išlaidas – neprašyti modelio be reikalo ilgų atsakymų. Tokie apribojimai kaip „daugiausia 5 straipsniai“, „viena pastraipa“, „eksportuoti tik lentelę“ padidina kokybę ir išsaugo išvesties prieigos raktą.

Dabartinės kainos pavyzdžiai

Žemiau pateikiamos apytikslės kelių modelių kainos (už milijoną žetonų, JAV dolerių). Šios reikšmės priklauso laikotarpiui, kai buvo parengtas šis modulis, ir dažnai keičiasi; Norėdami rasti tikslų sprendimą, patikrinkite teikėjo dabartinės kainos puslapį.

modelis

Scena

Įvesti $/1M

Išeiga $/1M

Claude Opus 4.8

stiprus

~5

~25

Klodo sonetas 5

subalansuotas

~3

~15

Claude'as Haiku 4.5

lengvas

~1

~5

Kaip matyti iš lentelės, stipriosios ir lengvosios pakopos kainų skirtumas gali būti iki penkių kartų. Štai kodėl „visam verslui tinkamiausio modelio“ metodas dažnai yra pinigų švaistymas. Paprastą darbą atlikus pigiu modeliu ir sudėtingu galingu modeliu galima sutaupyti daug neprarandant kokybės. Šią idėją pagilinsime 7 ir 9 skyriuose.

Mėnesio išlaidų įvertinimas: paprasta formulė

Norėdami apytiksliai apskaičiuoti mėnesio išlaidas, galite naudoti šią formulę:

Mėnesio kaina ≈ (užklausų skaičius per mėnesį × vidutinis įvesties raktas × įvesties kaina / 1 000 000)+ (užklausų skaičius per mėnesį × vidutinis išvesties prieigos raktas × išvesties kaina / 1 000 000)

Pateikiame pavyzdį. Tarkime, elektroninės prekybos komanda per mėnesį parengia 50 000 produktų aprašymų. Kiekviena užklausa išsiunčia vidutiniškai 500 įvesties žetonų (produkto informacija) ir gauna 300 išvesties (aprašo) žetonų. Subalansuotame modelyje (įvestis ~3, išvestis ~15):

• Įvesties kaina: 50 000 × 500 × 3 / 1 000 000 = 75 USD
• Išvesties kaina: 50 000 × 300 × 15 / 1 000 000 = 225 USD
• Iš viso ≈ 300 USD per mėnesį

Jei jie tą patį darbą atliko su lengvu modeliu (įvestis ~1, išvestis ~5):

• Įvestis: 50 000 × 500 × 1 / 1 000 000 = 25 USD
• Išvestis: 50 000 × 300 × 5 / 1 000 000 = 75 USD
• Iš viso ≈ 100 USD per mėnesį

Taigi tik scenos pasirinkimas gali sumažinti tą patį darbą nuo 300 USD iki 100 USD. Palyginti paprastai užduočiai, tokiai kaip gaminio aprašymas, lengvo modelio dažnai pakanka.

Atsargiai: ši formulė yra apytikslis įvertinimas; faktinis atsiskaitymas skiriasi priklausomai nuo tokių veiksnių kaip talpyklos naudojimas, bandymai pakartotinai ir samprotavimo režimas. Vis dėlto tai labai gera pradžia norint gauti biudžeto patvirtinimą arba palyginti du modelius. Prieš priimant sprendimą, geriausia išmatuoti tikrąjį skaičių su mažu pilotu.

Penki būdai sumažinti išlaidas

1. Pasirinkite tinkamą lygį. Paprastas, lengvas modelis. Tai vienintelis didžiausias taupymo šaltinis.
2. Sumažinkite įvestį. Užuot pildę didžiulius dokumentus kiekvienai užklausai, siųskite tik atitinkamą skyrių (konteksto optimizavimas 5 skyriuje).
3. Apriboti išvestį. Patikslinkite atsakymo ilgį ir formatą; Nereikalingai ilgas atsakymas = nereikalingos išlaidos.
4. Naudokite talpyklą. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Tai leidžia žymiai sutaupyti, jei tą pačią didelę instrukciją siunčiate tūkstančius kartų.
5. Atlikite paketinį apdorojimą. Jei neskubate, „partijinės“ parinktys, kurios siunčia daug užklausų masiškai ir apdoroja jas su nuolaida, žymiai sumažina išlaidas.

Trys tikroviški atvejai

1 atvejis – taupymas keičiant žingsnius. Klientų aptarnavimo komanda apibendrindavo visus gaunamus el. laiškus naudodama stipriausią modelį, o jų mėnesinė sąskaita siekė ~900 USD. Apibendrinti buvo paprasta užduotis; Kai jie perėjo į subalansuotą pakopą, produkcijos kokybė išliko beveik tokia pati, tačiau sąskaita sumažėjo iki ~ 250 USD. Sutaupoma ~7800 USD per metus, tik pasirinkus tinkamą pakopą.

2 atvejis – įrašymas naudojant talpyklą. Programinės įrangos komanda su kiekviena kodo peržiūros užklausa siuntė tą patį 8 000 žetonų „kodavimo standartų“ dokumentą. 400 užklausų per dieną × 8 000 žetonų = didelis pasikartojantis įvestis. Kai jie įjungė talpyklos funkciją, šis fiksuotas skaidinys buvo pradėtas skaityti daug pigiau ir dingo nemaža dalis įvesties kaštų.

3 atvejis – taupymas ribojant produkciją. Kai rinkodaros komanda paprašė produkto aprašymo, modelis vienu metu gamino ilgas, gėlėtas pastraipas. Kai jie pridėjo apribojimą „daugiausia 60 žodžių, viena pastraipa“, paaiškinimai tapo naudingesni, o išvesties prieigos raktas sumažėjo perpus. Nors kokybė išaugo, kaina sumažėjo; laimėti.

Silpnas raginimas / stiprus raginimas

Silpnas raginimas:

Parašykite man gražų šio produkto aprašymą. [produkto informacija]

Modelis gali rašyti tiek, kiek nori; Išvesties prieigos raktas nekontroliuojamas.

Galingas raginimas:

Jūsų vaidmuo: elektroninės prekybos tekstų kūrėjas. Produktas: [INFORMACIJA]. Užduotis: Parašykite prekės aprašymą. Apribojimai: daugiausia 60 žodžių, viena pastraipa, kreipimasis į netechninius klientus, yra 2 privalumai + 1 naudojimo atvejis. Venkite įmantrių būdvardžių.

Galingas raginimas kontroliuoja kokybę ir išvesties ilgį (taigi ir kainą).

Kopijuojami šablonai

1. Mėnesio išlaidų sąmata:

Kas mėnesį pateikiu [QUANTITY] užklausų. Vidutinė įvestis ~[NUM] žetonų, išvestis ~[NUM] prieigos raktų. Apskaičiuokite šių modelių ([MODEL A], [MODEL B]) mėnesio išlaidas pagal formulę ir palyginkite lentelėje. Priimti įvesties / išvesties kainas [PRICES].

2 pakopos palyginimas:

Mano pareiga [UŽDUOTIS]. Ar šiam darbui tikrai reikia galingo modelio, ar pakanka lengvo/subalansuoto modelio? Įvertinkite pagal kokybę ir kainą ir pasiūlykite man 2 lygius bandomajam bandymui.

3. Išlaidų mažinimo patikra:

Nustatykite būdus, kaip sumažinti išlaidas šioje darbo eigoje: [WORKFLOW]. Parašykite kiekvienos kaskados, įvesties mažinimo, išvesties susiejimo, talpyklos ir paketinio apdorojimo antraščių galimybes ir numatomas sutaupyti.

4. Išvesties apribojimas:

Perrašykite šį raginimą, kad sumažintumėte išvesties prieigos raktą nesumažinant kokybės: „[PROMPT]“. Optimizuokite pagal ilgį, formatą ir nereikalingus pasikartojimus.

Dažnos klaidos

• Įvesties / išvesties skirtumo praleidimas: leidžia atsakyti į ilgus atsakymus, nežinant, kad išvestis yra daug brangesnė.
• Galingiausias modelis kiekvienam darbui: atlikti paprastą darbą su brangiu modeliu ir be reikalo mokėti daug kartų daugiau.
• Išvesties ilgio atleidimas: modeliui suteikiamas neribotas rašymo leidimas, nenustatant jokių formato ar ilgio apribojimų.
• Talpyklos ir paketo nepaisymas: trūksta rimtų sutaupymo galimybių atliekant pasikartojančius įvestis ir neskubias užduotis.
• Mąstymas, kad kainos yra naujausios: Remdamiesi sena kainų lentele ir neteisingai planuodami biudžetą; kainos dažnai keičiasi.

Apibendrinant

• Kaina skaičiuojama pagal žetonus; sąnaudos ir produkcija įkainotos atskirai, o produkcija dažnai būna kelis kartus brangesnė.
• Galite apytiksliai įvertinti mėnesio išlaidas pagal formulę užklausų skaičius × vidutinis prieigos raktas × kaina.
• Vien tik teisingas žingsnių pasirinkimas gali daug kartų sumažinti išlaidas.
• Įvesties sumažinimas, išvesties ribojimas, talpyklos kaupimas ir paketinis apdorojimas yra praktiški metodai, kurie žymiai sumažina sąskaitą.

Taikymo užduotis

Gaukite žetonų vertes, kurias įvertinote ankstesniame vienete. Apskaičiuokite savo verslo mėnesio išlaidas dviem skirtingiems lygiams naudodami 1 šabloną šiame vienete (mėnesio išlaidų sąmata). Tada naudodami 3 šabloną (išlaidų mažinimo nuskaitymas) nustatykite, kiek kiekvienas metodas gali sutaupyti jūsų darbo eigoje. Suplanuokite pasirinkti du perspektyviausius metodus ir pritaikyti juos kito mėnesio biudžetui.

kontrolinis sąrašas

• [ ] Žinau, kad įvesties ir išvesties prieigos raktas įkainojamas atskirai, o produkcija yra brangesnė.
• [ ] Pagal paprastą formulę galiu apytiksliai įvertinti darbo eigos mėnesio išlaidas.
• [ ] Galiu parodyti tinkamo lygio pasirinkimo sąnaudų poveikį pavyzdžiu.
• [ ] Gebu atpažinti penkis sąnaudų mažinimo būdus ir pasirinkti tinkamą.
• [ ] Galiu perrašyti raginimą sumažinti išvesties prieigos raktą.