Dobici:
- Prepoznavanje laganih, uravnoteženih i snažnih faza modela i načina razmišljanja
- Odabir odgovarajuće razine modela na temelju težine zadatka
- Sposobnost svjesnog uspostavljanja ravnoteže između latencije, točnosti i cijene
Naučili smo izračunati cijenu; Razgovarajmo sada o tome što dobivamo za tu cijenu, naime o razinama i mogućnostima modela. Tri sile se neprestano natječu pri odabiru modela: kvaliteta (točnost), brzina (latencija) i cijena. Poboljšanje dva od ova tri često znači kompromitiranje trećeg. U jedinici ćete naučiti o laganim, uravnoteženim i moćnim razinama, načinu razmišljanja i preferencijama malog/velikog modela; Moći ćete svjesno uspostaviti pravu ravnotežu prema težini zadatka.
Tri razine, tri različita karaktera posla
Gotovo svaki pružatelj nudi tri razine unutar iste obitelji. Povežimo ih s karakterom zadatka:
- Lagani sloj (mali model): Vrlo brzo, vrlo jeftino, "dovoljno dobro". Idealno za jednostavne, repetitivne zadatke velikog volumena: klasifikaciju, brifing, označavanje, čišćenje podataka, skice jednostavnih odgovora.
- Uravnotežena razina (srednji model): Dobra kvaliteta, razumna brzina, razumna cijena. "Zadani" izbor za većinu svakodnevnog posla: proizvodnja sadržaja, analiza srednje dužine, odgovori kupaca.
- Moćni sloj (veliki model): najkvalitetniji, najsporiji, najskuplji. Za složeno razmišljanje, dugu analizu u više koraka, težak kod, preciznu pravnu/financijsku procjenu.
Savjet: Dobro početno pravilo: Počnite s uravnoteženom razinom. Ako je kvaliteta loša, prijeđite na jaku razinu; Ako je kvaliteta izuzetno dobra i glasnoća visoka, smanjite razinu svjetla. Pristup "počni s dovoljno dobrim", a ne pristup "počni s najjačim", štedi i novac i vrijeme.
Što je Reasoning Mode?
Neki modeli mogu prvo "smisliti" odgovor korak po korak umjesto da ga izravno generiraju. To se zove način rasuđivanja. Model rastavlja problem na dijelove, u sebi obrađuje međukorake i tek onda daje konačni odgovor. To je slično kao kada učenik rješava matematički problem korak po korak na papiru.
Kada je to vrijedno? U logičkim problemima s više koraka: složeni izračun, otkrivanje proturječnosti, dugačak lanac zaključivanja, teška pogreška koda. U ovoj vrsti rada, zaključivanje značajno povećava točnost.
Koja je cijena? Rezoniranje povećava trošak i kašnjenje jer model generira više "žetona za razmišljanje". Tako će biti i skuplje i sporije. Jednostavno "je li ova recenzija pozitivna?" Rasuđivanje o pitanju je kao ubijanje muhe čekićem; stvara nepotrebne troškove i kašnjenja.
Oprez: ne ostavljajte način razmišljanja otvorenim za svaki zadatak. I brže je i jeftinije držati ga zatvorenim za jednostavne zadatke. Neki od modernih modela dolaze s "adaptivnim" načinom razmišljanja koji sam odlučuje kada treba razmišljati; Međutim, vaš je posao da njime svjesno upravljate.
Trokut kvalitete, brzine i cijene
prioritet
Odgovarajuća razina
rasuđivanje
Najniža cijena, velika količina
lagana
Zatvoreno
Ravnoteža (većina poslova)
uravnotežena
ovisno o situaciji
Najveća točnost, kritična odluka
snažna
otvorena
Instant odgovor, mala latencija (chat)
Lagano/uravnoteženo
Zatvoreno
Složena analiza u više koraka
snažna
otvorena
Dok gledate ovu tablicu, zapitajte se: "Kolika će biti cijena ako pogriješim na ovom zadatku?" Ako je cijena visoka (pogrešna pravna procjena, pogrešna financijska odluka) opravdana je investicija jakog kalibra i razuma. Ako je cijena niska (pogrešna klasifikacija oznake proizvoda), dovoljan je lagan i brz model.
Mali model ili veliki model?
Suprotno uvriježenom mišljenju, nije za svaki posao potreban veliki model. Manji modeli postali su iznenađujuće sposobni, obavljajući mnoge zadatke uz desetinu cijene i nekoliko puta veću brzinu od većeg modela. Tri pitanja za odluku:
- Je li zadatak jednostavan i složen? (Klasifikacija, izdvajanje, kratak sadržaj) → Mali model.
- Je li glasnoća previsoka i brzina kritična? → Mali model, jer je veliki model skup i spor.
- Zahtijeva li zadatak nijansirano razmišljanje, prošireni kontekst ili kreativnost? → Veliki model.
Tri realna slučaja
Slučaj 1 — dovoljan je lagani model. Tim za e-trgovinu razvrstava 40 000 komentara kupaca dnevno u pozitivne/negativne/neutralne. Isprobaju ga sa snažnim modelom, a zatim ga uspoređuju s laganim modelom: točnost je gotovo ista (96% naspram 94%), ali lagani model je 8 puta jeftiniji i 3 puta brži. Lagani model daleko je pravi izbor za ovaj zadatak; Dodatnih 2% točnosti ne opravdava 8x veći trošak.
Slučaj 2 — Snažan model + obrazloženje je neophodno. Tvrtka za porezno savjetovanje želi izračunati složen porezni scenarij u više faza. Lagani model čini greške u međukoracima i daje netočne rezultate. Kada koriste moćni model s uključenim načinom razmišljanja, model napreduje korak po korak i dolazi do ispravnog zaključka. Ovdje su dodatni troškovi i kašnjenja prihvatljivi jer je cijena pogreške visoka; Međutim, stručnjak potvrđuje rezultat.
Slučaj 3 — Mješovita uporaba. Pozivni centar obrađuje prijepise poziva u dva koraka: prvo ukratko sažima svaki poziv s laganim modelom (velika količina, jednostavan posao), zatim daje samo pozive označene kao "pritužbe" moćnom modelu i provodi analizu uzroka (mala glasnoća, složen posao). Tako jeftino obrađuju većinu volumena, dok snagu snažnog obrasca čuvaju za nekoliko poziva koji su stvarno važni.
Slab upit / Jak upit
Slab upit:
Riješite ovaj porezni scenarij. [složen scenarij]
Nejasno je koliko pažljivo će model razmotriti.
Snažan upit:
Vaša uloga: viši porezni stručnjak. Zadatak: Riješite sljedeći višefazni scenarij korak po korak. Najprije navedite pretpostavke, zatim izračunajte i prikažite svaki korak zasebno, te na kraju dajte neto rezultat. Ako postoji točka u koju niste sigurni ili ovisi o zakonodavstvu, označite je kao "potrebna potvrda stručnjaka". Preskakanje međukoraka.[scenarij]
Snažni prompt vodi model kroz razmišljanje korak po korak (potičući razmišljanje) i čini međukorake vidljivima radi provjerljivosti.
Predlošci koji se mogu kopirati
Dijagnoza 1. faze:
Moja misija: [ZADATAK]. Volumen: [NUMBER/dan]. Trošak pogreške: [NISKI/SREDNJI/VISOKI]. Prioritet brzine: [NISKI/VISOKI]. Na temelju ovog profila, koju biste razinu (lagano/uravnoteženo/snažno) i razmišljanje (otvoreno/zatvoreno) preporučili? Opravdati.
2. Odluka o malom/velikom modelu:
Definiram sljedeći zadatak: [ZADATAK]. Može li se ovaj problem riješiti malim (laganim) modelom ili je potreban veliki model? Predloži mi 3 testna slučaja i prag uspjeha koji bih pokušao riješiti s malim modelom.
3. Primjerenost obrazloženja:
Bi li način razmišljanja (razmišljanje korak po korak) bio koristan ili skup u sljedećem zadatku: [ZADATAK]? Obrazložite svoju odluku brojem koraka i logičkom složenošću zadatka.
4. Dizajn tijeka rada u dvije faze:
Dizajnirajte dvostupanjski tok kako biste smanjili troškove sljedećeg zadatka velikog volumena [ZADATAK]: koji bi dio trebao ići na lagani model, koji bi dio trebao ići na moćni model? Napišite razinu i obrazloženje za svaki korak.
Uobičajene greške
- Snažan model za svaki posao: Stvaranje nepotrebnih troškova i kašnjenja korištenjem najsnažnijeg modela u jednostavnim i obimnim poslovima.
- Uvijek ostavite uključenim razmišljanje: Održavanje načina razmišljanja uključenim u jednostavnim zadacima i uzalud gubljenje vremena i novca.
- Donošenje odluka bez mjerenja kvalitete: Pretpostavka "veće je bolje" bez usporedbe dviju razina s vlastitim podacima.
- Zaboravljanje potrebe za brzinom: Na mjestima gdje je potreban trenutni odgovor, kao što je chat, odabir sporog moćnog modela i držanje korisnika na čekanju.
- Uopće ne razmišljati o dvostupanjskom protoku: Ne izgraditi cijeli volumen jednim modelom i ne štedjeti na dijelu koji se može napraviti jeftino.
Ukratko
- Odabir modela je balansiranje u trokutu kvalitete, brzine i cijene; Poboljšanje dva često zahtijeva kompromitiranje trećeg.
- Lagana pozornica prikladna je za jednostavne/glomazne poslove, snažna pozornica prikladna je za složene/kritične poslove; Uravnotežena faza je dobar početak za većinu poslova.
- Način rezoniranja poboljšava točnost u problemima s više koraka, ali povećava troškove i kašnjenje; Ne treba ga ostaviti otvorenim za svaki zadatak.
- "Kolika je cijena neuspjeha u ovoj misiji?" Pitanje je kompas odluke razine i obrazloženja. Dvostupanjski tokovi omogućuju velike uštede u volumenskim poslovima.
Zadatak aplikacije
Odaberite zadatak u svom poslu i odredite koja je faza i postavka obrazloženja prikladna s predloškom 1 (dijagnoza faze). Ako je zadatak velik volumen, osmislite dizajn koji usmjerava dio volumena na lagani model, a kritični dio na jak model s predloškom 4 (dvostupanjski tijek rada). Koristit ćemo ovaj dizajn u studiji modela portfelja u jedinici 9.
popis za provjeru
- [ ] Mogu parirati radnom karakteru laganih, uravnoteženih i snažnih pozornica.
- [ ] Mogu objasniti što način razmišljanja radi i koliko košta.
- [ ] Mogu svjesno uspostaviti ravnotežu kvalitete, brzine i cijene za zadatak.
- [ ] Na pitanje malog ili velikog modela mogu odgovoriti s tri pitanja.
- [ ] Mogu dizajnirati dvostupanjski protok za posao velikog volumena.