Dobici:
- Prepoznavanje laganih, uravnoteženih i moćnih faza modela i načina razmišljanja
- Odabir odgovarajućeg nivoa modela na osnovu težine zadatka
- Sposobnost svjesnog uspostavljanja ravnoteže između kašnjenja, tačnosti i cijene
Naučili smo izračunati cijenu; Hajde sada da razgovaramo o tome šta dobijamo za tu cenu, odnosno o nivoima modela i mogućnostima. Tri sile se konstantno nadmeću pri odabiru modela: kvalitet (preciznost), brzina (latencija) i cijena. Poboljšanje dva od ova tri često znači kompromitovanje trećeg. U jedinici ćete naučiti o laganim, uravnoteženim i moćnim nivoima, načinu razmišljanja i preferencijama malih/velikih modela; Moći ćete svjesno uspostaviti pravu ravnotežu prema težini zadatka.
Tri nivoa, tri različita karaktera posla
Gotovo svaki provajder nudi tri nivoa unutar iste porodice. Uskladimo ih sa karakterom zadatka:
- Lagani nivo (mali model): Vrlo brzo, vrlo jeftino, "dovoljno dobro". Idealno za jednostavne, ponavljajuće zadatke velikog obima: klasifikacija, brifing, označavanje, čišćenje podataka, jednostavni nacrti odgovora.
- Uravnotežen nivo (srednji model): dobar kvalitet, razumna brzina, razumna cijena. “Zadani” izbor za većinu svakodnevnog posla: proizvodnja sadržaja, analiza srednje dužine, odgovori kupaca.
- Snažan nivo (veliki model): Najkvalitetniji, najsporiji, najskuplji. Za kompleksno rezonovanje, dugu analizu u više koraka, težak kod, preciznu pravnu/finansijsku procjenu.
Savjet: Dobro početno pravilo: Počnite s uravnoteženim nivoom. Ako je kvalitet loš, pređite na jak nivo; Ako je kvalitet izuzetno dobar i glasnoća je velika, spustite se na nivo svjetla. Pristup „počni sa dovoljno dobrim“, a ne pristup „počni sa najjačim“, štedi i novac i vrijeme.
Šta je Reasoning Mode?
Neki modeli možda prvo "razmisle" o odgovoru korak po korak umjesto da ga direktno generišu. Ovo se zove način razmišljanja. Model razlaže problem na dijelove, obrađuje međukorake u sebi i tek onda daje konačni odgovor. Ovo je slično kao da učenik rješava matematički zadatak korak po korak na papiru.
Kada je to vrijedno? U višestepenim, logičkim problemima: složeno izračunavanje, detekcija kontradikcija, dugačak lanac zaključivanja, teška greška koda. U ovoj vrsti rada, rasuđivanje značajno povećava tačnost.
Koja je cijena? Rezonovanje povećava troškove i kašnjenje jer model generira više „tokena razmišljanja“. Tako će biti i skuplje i sporije. Jednostavna "je li ova recenzija pozitivna?" Obrazloženje o pitanju je kao da ubijete muvu čekićem; stvara nepotrebne troškove i kašnjenja.
Oprez: Ne ostavljajte način razmišljanja otvorenim za svaki zadatak. Brže je i jeftinije držati ga zatvorenim za jednostavne zadatke. Neki od modernih modela dolaze sa "prilagodljivim" načinom razmišljanja koji sam odlučuje kada treba razmišljati; Međutim, vaš je posao da to svjesno upravljate.
Trokut kvaliteta, brzine, cijene
prioritet
Odgovarajući nivo
rasuđivanje
Najniža cijena, velika količina
lagana
Zatvoreno
Stanje (većina poslova)
uravnotežen
zavisno od situacije
Najveća preciznost, kritična odluka
jaka
otvoren
Trenutni odgovor, mala latencija (ćaskanje)
Lagano/uravnoteženo
Zatvoreno
Kompleksna analiza u više koraka
jaka
otvoren
Dok gledate ovu tabelu, zapitajte se: „Kolika će biti cena ako pogrešim u ovom zadatku?“ Ako je cijena visoka (pogrešna pravna procjena, pogrešna finansijska odluka) opravdano je ulaganje jakog kalibra i obrazloženja. Ako je cijena niska (pogrešna klasifikacija etikete proizvoda), dovoljan je lagan i brz model.
Mali model ili veliki model?
Suprotno uvriježenom mišljenju, ne zahtijeva svaki posao veliki model. Manji modeli su postali iznenađujuće sposobni, obavljajući mnoge zadatke po desetini cijene i nekoliko puta brže od većeg modela. Tri pitanja za odluku:
- Da li je zadatak jednostavan i formulisan? (Klasifikacija, izdvajanje, kratak sažetak) → Mali model.
- Da li je jačina zvuka prevelika i brzina je kritična? → Mali model, jer je veliki model skup i spor.
- Da li zadatak zahtijeva nijansirano rezonovanje, prošireni kontekst ili kreativnost? → Veliki model.
Tri realna slučaja
Slučaj 1 — Lagani model je dovoljan. Tim za e-trgovinu razvrstava 40.000 komentara kupaca dnevno u pozitivne/negativne/neutralne. Isprobaju ga sa snažnim modelom, a zatim ga upoređuju sa laganim modelom: tačnost je skoro ista (96% naspram 94%), ali je lagani model 8 puta jeftiniji i 3 puta brži. Lagani model je daleko pravi izbor za ovaj zadatak; Dodatnih 2% tačnosti ne opravdava 8x trošak.
Slučaj 2 — Jak model + rezonovanje je neophodno. Poreska konsultantska firma želi da izračuna složeni višestepeni poreski scenario. Lagani model pravi greške u srednjim koracima i daje netačne rezultate. Kada koriste moćan model s uključenim načinom razmišljanja, model napreduje korak po korak i dolazi do ispravnog zaključka. Ovdje su dodatni troškovi i kašnjenja prihvatljivi jer je cijena greške visoka; Međutim, stručnjak potvrđuje rezultat.
Slučaj 3 — Mješovita upotreba. Pozivni centar obrađuje transkripte poziva u dva koraka: prvo, ukratko sumira svaki poziv s laganim modelom (veliki obim, jednostavan posao), zatim moćnom modelu daje samo pozive označene kao "pritužbe" i vrši analizu osnovnog uzroka (mali obim, složen posao). Dakle, oni jeftino obrađuju većinu volumena, dok zadržavaju snagu snažnog uzorka za nekoliko poziva koji su zaista važni.
Slaba prompt / jaka prompt
Slab upit:
Riješite ovaj poreski scenario. [složen scenario]
Nije jasno koliko će pažljivo model razmotriti.
Snažan upit:
Vaša uloga: viši poreski stručnjak. Zadatak: Riješite sljedeći višefazni scenarij korak po korak. Prvo navedite pretpostavke, zatim izračunajte i prikažite svaki korak posebno i na kraju dajte neto rezultat. Ako postoji tačka u koju niste sigurni ili koja zavisi od zakona, označite je kao "potrebna je stručna potvrda". Preskakanje srednjih koraka.[scenarij]
Snažan prompt vodi model kroz razmišljanje korak po korak (ohrabrujući rasuđivanje) i čini međukorake vidljivim radi provjere.
Copiable Templates
Dijagnoza 1. faze:
Moja misija: [TASK]. Volumen: [NUMBER/dan]. Cijena greške: [NISKO/SREDNJE/VISOKO]. Prioritet brzine: [NISKO/VISOKO]. Na osnovu ovog profila, koji nivo (lagano/uravnoteženo/snažno) i rasuđivanje (otvoreno/zatvoreno) biste preporučili? Justify.
2. Odluka o malom/velikom modelu:
Definiram sljedeći zadatak: [TASK]. Može li se ovaj problem riješiti malim (laganim) modelom ili je potreban veliki model? Predložite 3 testna slučaja i prag uspjeha da pokušam riješiti s malim modelom.
3. Prikladnost obrazloženja:
Da li bi način razmišljanja (razmišljanja korak po korak) bio koristan ili skup u sljedećem zadatku: [ZADAĆAK]? Obrazložite svoju odluku na osnovu broja koraka i logičke složenosti zadatka.
4. Dizajn toka rada u dvije faze:
Dizajnirajte dvostepeni tok kako biste smanjili troškove na sljedećem zadatku velikog obima [ZADAĆAK]: koji dio bi trebao ići na lagani model, koji bi trebao ići na moćni model? Napišite nivo i obrazloženje za svaki korak.
Uobičajene greške
- Snažan model za svaki posao: stvaranje nepotrebnih troškova i kašnjenja korištenjem najmoćnijeg modela u jednostavnim i obimnim poslovima.
- Uvijek ostavite razmišljanje uključenim: Održavajte način razmišljanja uključenim u jednostavnim zadacima i uzalud gubite vrijeme i novac.
- Donošenje odluka bez mjerenja kvaliteta: Pod pretpostavkom „veće je bolje“ bez poređenja dva nivoa sa vašim vlastitim podacima.
- Zaboravljanje potrebe za brzinom: Na mjestima gdje je potreban trenutni odgovor, kao što je ćaskanje, odabir sporog moćnog modela i stavljanje korisnika na čekanje.
- Uopšte se ne razmišlja o dvostepenom protoku: da se čitav volumen ne izgradi od strane jednog modela i da se ne štedi na delu koji se može jeftino uraditi.
Ukratko
- Izbor modela je balansiranje u trokutu kvaliteta, brzine i cene; Poboljšanje dva često zahteva kompromitovanje trećeg.
- Lagana faza je pogodna za jednostavne/velike poslove, jaka faza je pogodna za složene/kritične poslove; Uravnotežena faza je dobar početak za većinu poslova.
- Reasoning mode poboljšava preciznost u problemima u više koraka, ali povećava troškove i kašnjenje; Ne treba ga ostaviti otvoren za svaki zadatak.
- "Koja je cijena neuspjeha u ovoj misiji?" Pitanje je kompas odluke nivoa i rasuđivanja. Dvostepeni tokovi omogućavaju velike uštede u obimnim poslovima.
Zadatak aplikacije
Odaberite zadatak u svom poslu i odredite koja je faza i postavka obrazloženja prikladna pomoću predloška 1 (dijagnostika faze). Ako je zadatak veliki obim, osmislite dizajn koji usmjerava dio volumena na lagani model, a kritični dio na jak model sa šablonom 4 (dvostepeni radni tok). Ovaj dizajn ćemo koristiti u studiji portfolia modela u jedinici 9.
kontrolna lista
- [ ] Mogu da pariram radnom karakteru laganih, uravnoteženih i snažnih pozornica.
- [ ] Mogu objasniti šta način razmišljanja radi i koliko košta.
- [ ] Mogu svjesno uspostaviti ravnotežu kvaliteta, brzine i cijene za zadatak.
- [ ] Mogu odgovoriti na pitanje malog ili velikog modela sa tri pitanja.
- [ ] Mogu dizajnirati dvostepeni tok za posao velikog obima.