Câștiguri:
- Recunoașterea etapelor modelului ușoare, echilibrate și puternice și a modului de raționament
- Selectarea nivelului de model adecvat în funcție de dificultatea unei sarcini
- Abilitatea de a stabili în mod conștient echilibrul între latență, acuratețe și cost
Am învățat să calculăm prețul; Acum să vorbim despre ceea ce obținem la acel preț, și anume nivelurile și capacitățile modelului. Trei forțe concurează constant atunci când alegeți un model: calitate (acuratețe), viteză (latență) și cost. Îmbunătățirea a două dintre aceste trei înseamnă adesea compromiterea celui de-al treilea. În unitate, veți învăța despre niveluri ușoare, echilibrate și puternice, modul de raționament și preferința modelului mic/mare; Veți putea stabili în mod conștient echilibrul potrivit în funcție de dificultatea sarcinii.
Trei niveluri, trei personaje diferite
Aproape fiecare furnizor oferă trei niveluri în cadrul aceleiași familii. Să potrivim acestea cu caracterul sarcinii:
- Nivel ușor (model mic): Foarte rapid, foarte ieftin, „destul de bun”. Ideal pentru sarcini simple, repetitive, cu volum mare: clasificare, briefing, etichetare, curățarea datelor, schițe simple de răspuns.
- Nivel echilibrat (model mediu): Calitate bună, viteză rezonabilă, cost rezonabil. Alegerea „implicit” pentru majoritatea muncii de zi cu zi: producție de conținut, analiză de lungime medie, răspunsuri ale clienților.
- Nivel puternic (model mare): cea mai înaltă calitate, cel mai lent, cel mai scump. Pentru raționament complex, analiză lungă și în mai multe etape, cod dificil, evaluare juridică/financiară precisă.
Sfat: O regulă bună de pornire: Începeți cu un nivel echilibrat. Dacă calitatea este slabă, treceți la nivelul puternic; Dacă calitatea este extrem de bună și volumul este mare, coborâți la nivelul de lumină. Abordarea „începe cu suficient de bun”, nu abordarea „începe cu cea mai puternică”, economisește atât bani, cât și timp.
Ce este modul de raționament?
Unele modele pot „gândi” răspunsul pas cu pas, mai degrabă decât să-l genereze direct. Acesta se numește modul de raționament. Modelul descompune o problemă în părți, procesează pașii intermediari în sine și abia apoi oferă răspunsul final. Acest lucru este similar cu un student care rezolvă o problemă de matematică pas cu pas pe hârtie.
Când este valoros? În mai multe etape, probleme logice: un calcul complex, detectarea contradicțiilor, un lanț lung de inferență, o eroare dificilă de cod. În acest tip de muncă, raționamentul crește semnificativ acuratețea.
Care este costul? Raționamentul crește costul și latența pe măsură ce modelul generează mai multe „semnificative de gândire”. Deci va fi atât mai scump, cât și mai lent. Un simplu „este această recenzie pozitivă?” A raționa întrebarea este ca și cum ai ucide o muscă cu un ciocan; creează costuri și întârzieri inutile.
Atenție: Nu lăsați deschis modul de raționament pentru fiecare sarcină. Este mai rapid și mai ieftin să-l ții închis pentru sarcini simple. Unele dintre modelele moderne vin cu un mod de gândire „adaptativ” care decide singur când trebuie să gândească; Cu toate acestea, este datoria ta să o gestionezi în mod conștient.
Triunghiul Calitate, Viteză, Cost
prioritate
Nivel adecvat
raționamentul
Cel mai mic cost, volum mare
ușoară
Închis
Sold (majoritatea locurilor de muncă)
echilibrat
in functie de situatie
Cea mai mare precizie, decizie critică
puternic
deschis
Răspuns instantaneu, latență scăzută (chat)
Lejer/echilibrat
Închis
Analiză complexă, în mai multe etape
puternic
deschis
În timp ce vă uitați la acest tabel, întrebați-vă: „Care va fi costul dacă greșesc în această sarcină?” Dacă prețul este mare (apreciere juridică greșită, decizie financiară greșită) investiția de calibru puternic și raționament este justificată. Dacă prețul este mic (clasificarea greșită a etichetei unui produs), un model ușor și rapid este suficient.
Model mic sau model mare?
Contrar credinței populare, nu orice loc de muncă necesită un model mare. Modelele mai mici au devenit surprinzător de capabile, efectuând multe sarcini la o zecime din costul și de câteva ori viteza modelului mai mare. Trei întrebări pentru decizie:
- Sarcina este simplă și formulă? (Clasificare, extragere, scurt rezumat) → Model mic.
- Este volumul prea mare și viteza este critică? → Model mic, deoarece modelul mare este scump și lent.
- Sarcina necesită raționament nuanțat, context extins sau creativitate? → Model mare.
Trei cazuri realiste
Cazul 1 — Modelul ușor este suficient. O echipă de comerț electronic sortează 40.000 de comentarii ale clienților pe zi în pozitive/negative/neutre. Îl încearcă cu modelul puternic și apoi îl compară cu modelul ușor: precizia este aproape aceeași (96% față de 94%), dar modelul ușor este de 8 ori mai ieftin și de 3 ori mai rapid. Modelul ușor este de departe alegerea potrivită pentru această sarcină; Precizia suplimentară de 2% nu justifică de 8 ori costul.
Cazul 2 — Model puternic + raționament este o necesitate. O firmă de consultanță fiscală dorește să calculeze un scenariu fiscal complex în mai multe etape. Modelul ușor face greșeli în pași intermediari și dă rezultate incorecte. Când folosesc modelul puternic cu modul de raționament activat, modelul progresează pas cu pas și ajunge la concluzia corectă. Aici, costurile și întârzierile suplimentare sunt acceptabile deoarece costul erorii este ridicat; Cu toate acestea, un expert confirmă rezultatul.
Cazul 3 – Utilizare mixtă. Un centru de apeluri procesează transcrierea apelurilor în doi pași: în primul rând, rezumă pe scurt fiecare apel cu un model ușor (volum mare, lucrare simplă), apoi dă doar apelurile marcate ca „reclamații” modelului puternic și efectuează o analiză a cauzei principale (volum redus, lucrare complexă). Deci procesează cea mai mare parte a volumului ieftin, rezervând în același timp puterea modelului puternic pentru puținele apeluri care contează cu adevărat.
Solicitare slabă / Solicitare puternică
Prompt slab:
Rezolvați acest scenariu fiscal. [scenariu complex]
Nu este clar cât de atent va lua în considerare modelul.
Solicitare puternică:
Rolul dumneavoastră: specialist senior fiscal. Sarcină: Rezolvați următorul scenariu în mai multe etape pas cu pas. Mai întâi enumerați ipotezele, apoi calculați și afișați fiecare pas separat și, în final, dați rezultatul net. Dacă există un punct de care nu sunteți sigur sau care depinde de legislație, marcați-l ca „necesită confirmare de către expert”. Se omite pașii intermediari.[scenariu]
Promptul puternic ghidează modelul prin gândirea pas cu pas (încurajarea raționamentului) și face vizibili pașii intermediari pentru verificare.
Șabloane copiabile
Etapa 1 diagnostic:
Misiunea mea: [SARCINA]. Volumul: [NUMĂR/zi]. Cost eroare: [LOW/MEDIUM/HIGH].Prioritate viteză: [LOW/HIGH]. Pe baza acestui profil, ce nivel (ușor/echilibrat/puternic) și ce raționament (deschis/închis) ați recomanda? Justifica.
2. Decizia de model mic/mare:
Definesc următoarea sarcină: [SARCINA]. Poate fi rezolvată această problemă cu un model mic (ușor) sau este necesar un model mare? Sugerați 3 cazuri de testare și un prag de succes pe care să încerc să îl rezolv cu modelul mic.
3. Adecvarea raționamentului:
Modul de raționament (gândire pas cu pas) ar fi benefic sau costisitor în următoarea sarcină: [SARCINA]? Justificați-vă decizia în funcție de numărul de pași și de complexitatea logică a sarcinii.
4. Proiectarea fluxului de lucru în două etape:
Proiectați un flux în două etape pentru a reduce costurile pentru următoarea sarcină de volum mare [SARCINA]: care parte ar trebui să meargă la modelul ușor, care parte ar trebui să meargă la modelul puternic? Scrieți nivelul și justificarea fiecărui pas.
Greșeli comune
- Un model puternic pentru fiecare lucrare: creând costuri și întârzieri inutile prin utilizarea celui mai puternic model în lucrări simple și voluminoase.
- Lăsând mereu raționamentul: menținerea modului de gândire activat în sarcini simple și pierderea timpului și a banilor în zadar.
- Luarea deciziilor fără a măsura calitatea: presupunând că „mai mare este mai bine” fără a compara două niveluri cu propriile date.
- Uitând de nevoia de viteză: în locurile în care este necesar un răspuns instantaneu, cum ar fi chatul, alegerea unui model lent și puternic și menținerea utilizatorului în așteptare.
- Nu mă gândesc deloc la fluxul în două etape: Neavând întregul volum construit de un singur model și nu economisiți la piesa care se poate face ieftin.
Pe scurt
- Selecția modelului este un act de echilibru în triunghiul calității, vitezei și costurilor; Îmbunătățirea a două necesită adesea compromisul celui de-al treilea.
- Scena ușoară este potrivită pentru lucrări simple/ voluminoase, scena puternică este potrivită pentru lucrări complexe/critice; Etapa echilibrată este un început bun pentru majoritatea locurilor de muncă.
- Modul de raționament îmbunătățește acuratețea problemelor cu mai mulți pași, dar crește costul și latența; Nu trebuie lăsat deschis pentru orice sarcină.
- „Care este costul eșecului în această misiune?” Întrebarea este busola deciziei de nivel și raționament. Fluxurile în două etape oferă economii mari în volumul de lucrări.
Sarcina de aplicare
Selectați o sarcină din locul dvs. de muncă și determinați ce etapă și setarea de raționament este adecvată cu șablonul 1 (diagnosticarea etapei). Dacă sarcina este de volum mare, veniți cu un design care direcționează o parte din volum către modelul ușor și partea critică către modelul puternic cu șablonul 4 (flux de lucru în două etape). Vom folosi acest design în studiul portofoliului model din unitatea 9.
lista de verificare
- [ ] Pot potrivi caracterul de lucru al scenelor ușoare, echilibrate și puternice.
- [ ] Pot să explic ce face modul de raționament și cât costă.
- [ ] Pot stabili în mod conștient echilibrul calitate-viteză-cost pentru o sarcină.
- [ ] Pot să răspund la întrebarea model mic sau mare cu trei întrebări.
- [ ] Pot proiecta un flux în două etape pentru o lucrare de volum mare.