zisky:
- Rozpoznávání lehkých, vyvážených a výkonných fází modelu a režimu uvažování
- Výběr vhodné úrovně modelu na základě obtížnosti úkolu
- Schopnost vědomě stanovit rovnováhu mezi latencí, přesností a cenou
Naučili jsme se spočítat cenu; Nyní si promluvme o tom, co za tuto cenu získáme, konkrétně úrovně modelu a schopnosti. Při výběru modelu neustále soutěží tři síly: kvalita (přesnost), rychlost (latence) a cena. Vylepšit dva z těchto tří často znamená kompromitovat třetí. V jednotce se dozvíte o lehkých, vyvážených a výkonných úrovních, režimu uvažování a preferenci malého/velkého modelu; Budete schopni vědomě nastolit správnou rovnováhu podle obtížnosti úkolu.
Tři úrovně, tři různé pracovní postavy
Téměř každý poskytovatel nabízí tři úrovně v rámci stejné rodiny. Spojme je s charakterem úkolu:
- Lehká úroveň (malý model): Velmi rychlý, velmi levný, „dost dobrý“. Ideální pro jednoduché, opakující se úkoly s velkým objemem: klasifikace, instruktáž, značkování, čištění dat, návrhy jednoduchých odpovědí.
- Vyvážená úroveň (střední model): Dobrá kvalita, rozumná rychlost, rozumné náklady. „Výchozí“ volba pro většinu každodenní práce: produkce obsahu, středně dlouhé analýzy, reakce zákazníků.
- Výkonná vrstva (velký model): Nejvyšší kvalita, nejpomalejší, nejdražší. Pro komplexní uvažování, dlouhou a vícestupňovou analýzu, obtížný kód, přesné právní/finanční hodnocení.
Tip: Dobré pravidlo pro začátek: Začněte s vyrovnanou úrovní. Pokud je kvalita špatná, přejděte na silnou úroveň; Pokud je kvalita extrémně dobrá a hlasitost vysoká, snižte úroveň světla. Přístup „začít s dostatečně dobrým“, nikoli „začít s nejsilnějším“, šetří peníze i čas.
Co je režim uvažování?
Některé modely mohou nejprve „promyslet“ odpověď krok za krokem, než aby ji přímo generovaly. Tomu se říká režim uvažování. Model rozloží problém na části, zpracuje v sobě mezikroky a teprve potom dá konečnou odpověď. Je to podobné, jako když student řeší matematický problém krok za krokem na papíře.
Kdy je to cenné? Ve vícestupňových logických problémech: složitý výpočet, detekce rozporů, dlouhý řetězec vyvozování, obtížná chyba v kódu. U tohoto typu práce uvažování výrazně zvyšuje přesnost.
kolik to stojí? Uvažování zvyšuje náklady a latenci, protože model generuje více „tokenů myšlení“. Bude to tedy jak dražší, tak pomalejší. Jednoduché "je tato recenze pozitivní?" Zdůvodnění otázky je jako zabít mouchu kladivem; vytváří zbytečné náklady a zpoždění.
Upozornění: Nenechávejte režim uvažování otevřený pro každý úkol. Je rychlejší a levnější nechat jej zavřený pro jednoduché úkoly. Některé z moderních modelů přicházejí s „adaptivním“ režimem myšlení, který se sám rozhoduje, kdy potřebuje myslet; Vaším úkolem je však řídit to vědomě.
Kvalita, rychlost, nákladový trojúhelník
prioritou
Odpovídající úroveň
uvažování
Nejnižší náklady, vysoký objem
lehký
Zavřeno
Zůstatek (většina pracovních míst)
vyvážený
v závislosti na situaci
Nejvyšší přesnost, kritické rozhodnutí
silný
otevřít
Okamžitá odezva, nízká latence (chat)
Lehký/vyvážený
Zavřeno
Komplexní, vícestupňová analýza
silný
otevřít
Když se podíváte na tuto tabulku, zeptejte se sami sebe: „Jaká bude cena, když se v tomto úkolu zmýlím? Pokud je cena vysoká (špatné právní posouzení, špatné finanční rozhodnutí) je investice silného kalibru a uvažování oprávněná. Pokud je cena nízká (chybné zařazení etikety produktu), stačí lehký a rychlý model.
Malý model nebo velký model?
Na rozdíl od všeobecného přesvědčení, ne každá práce vyžaduje velký model. Menší modely se staly překvapivě schopnými, provádějí mnoho úkolů s desetinovými náklady a několikanásobně rychleji než větší model. Tři otázky k rozhodnutí:
- Je úkol jednoduchý a vzorový? (Klasifikace, extrakce, stručné shrnutí) → Malý model.
- Není hlasitost příliš vysoká a rychlost je kritická? → Malý model, protože velký model je drahý a pomalý.
- Vyžaduje úkol jemné uvažování, rozšířený kontext nebo kreativitu? → Velký model.
Tři realistické případy
Případ 1 — Lehký model je dostačující. Tým e-commerce třídí 40 000 komentářů zákazníků denně na pozitivní/negativní/neutrální. Vyzkoušejí to s výkonným modelem a pak jej porovnají s odlehčeným modelem: přesnost je téměř stejná (96 % vs 94 %), ale lehký model je 8x levnější a 3x rychlejší. Lehký model je pro tento úkol zdaleka tou správnou volbou; Přesnost navíc o 2 % neospravedlňuje 8x vyšší náklady.
Případ 2 — Silný model + uvažování je nutností. Daňová poradenská firma chce vypočítat složitý vícestupňový daňový scénář. Odlehčený model dělá chyby v mezikrocích a dává nesprávné výsledky. Když používají výkonný model se zapnutým režimem uvažování, model postupuje krok za krokem a dochází ke správnému závěru. Zde jsou dodatečné náklady a zpoždění přijatelné, protože náklady na chyby jsou vysoké; Expert však výsledek potvrzuje.
Případ 3 – Smíšené použití. Call centrum zpracovává přepisy hovorů ve dvou krocích: nejprve stručně shrnuje každý hovor pomocí odlehčeného modelu (vysoký objem, jednoduchá úloha), poté výkonnému modelu předá pouze hovory označené jako „stížnosti“ a provede analýzu hlavní příčiny (nízký objem, složitá úloha). Převážnou část objemu tedy zpracovávají levně, přičemž si sílu silného vzoru vyhradí pro těch pár hovorů, na kterých opravdu záleží.
Slabá výzva / Silná výzva
Slabá výzva:
Vyřešte tento daňový scénář. [složitý scénář]
Není jasné, jak pečlivě bude model zvažovat.
Výkonná výzva:
Vaše role: senior daňový specialista. Úkol: Krok za krokem vyřešte následující vícestupňový scénář. Nejprve uveďte předpoklady, poté vypočítejte a ukažte každý krok samostatně a nakonec uveďte čistý výsledek. Pokud existuje bod, kterým si nejste jisti nebo který závisí na legislativě, označte jej jako „vyžadováno potvrzení odborníka“. Přeskakování mezikroků.[scénář]
Výkonná výzva vede model přes postupné myšlení (podporující uvažování) a zviditelní mezikroky pro ověření.
Kopírovatelné šablony
Diagnóza 1. fáze:
Moje mise: [ÚKOL]. Objem: [NUMBER/den]. Cena chyby: [NÍZKÁ/STŘEDNÍ/VYSOKÁ]. Priorita rychlosti: [NÍZKÁ/VYSOKÁ]. Jakou úroveň (lehká/vyvážená/silná) a uvažování (otevřená/zavřená) byste na základě tohoto profilu doporučili? Zdůvodněte.
2. Rozhodnutí malého/velkého modelu:
Definuji následující úlohu: [TASK]. Dá se tento problém vyřešit malým (lehkým) modelem, nebo je potřeba velký model? Navrhněte 3 testovací případy a práh úspěšnosti, abych se pokusil vyřešit s malým modelem.
3. Vhodnost uvažování:
Byl by režim uvažování (myšlení krok za krokem) prospěšný nebo nákladný v následujícím úkolu: [ÚKOL]? Zdůvodněte své rozhodnutí na základě počtu kroků a logické složitosti úkolu.
4. Dvoustupňový návrh pracovního postupu:
Navrhněte dvoustupňový tok, abyste snížili náklady na následující velkoobjemový úkol [ÚLOHA]: která část by měla jít do lehkého modelu, která část by měla jít do výkonného modelu? Napište úroveň a zdůvodnění každého kroku.
Časté chyby
- Výkonný model pro každou práci: Vytváření zbytečných nákladů a zpoždění díky použití nejvýkonnějšího modelu pro jednoduché a objemné zakázky.
- Vždy ponechat uvažování zapnuté: Ponechat zapnutý režim myšlení u jednoduchých úkolů a marně plýtvat časem a penězi.
- Rozhodování bez měření kvality: Předpokládejte, že „větší je lepší“ bez porovnávání dvou úrovní s vašimi vlastními údaji.
- Zapomeňte na potřebu rychlosti: V místech, kde je vyžadována okamžitá odezva, jako je chat, výběr pomalého výkonného modelu a ponechání uživatele čekat.
- Vůbec nepřemýšlet o dvoustupňovém toku: Nemít celý objem postavený jediným modelem a nešetřit na části, kterou lze udělat levně.
V souhrnu
- Výběr modelu je balancováním v trojúhelníku kvality, rychlosti a ceny; Zlepšení dvou často vyžaduje kompromis ve třetí.
- Lehký stolek je vhodný pro jednoduché/objemné práce, silný stolek je vhodný pro složité/kritické práce; Vyvážená fáze je dobrým začátkem pro většinu zaměstnání.
- Režim uvažování zlepšuje přesnost ve vícekrokových problémech, ale zvyšuje náklady a latenci; Nemělo by být ponecháno otevřené pro každý úkol.
- "Jaká je cena neúspěchu v této misi?" Otázkou je kompas rozhodnutí úrovně a uvažování. Dvoustupňové toky poskytují velké úspory v objemových zakázkách.
Aplikační úkol
Vyberte úkol ve své úloze a určete, která fáze a nastavení uvažování je vhodné pomocí šablony 1 (diagnostika fáze). Pokud je úkolem velký objem, navrhněte návrh, který část objemu nasměruje na lehký model a kritickou část na silný model se šablonou 4 (dvoustupňový pracovní postup). Tento návrh použijeme ve studii modelového portfolia v bloku 9.
kontrolní seznam
- [ ] Pracovním charakterem se vyrovnám lehkým, vyváženým a výkonným pódiím.
- [ ] Umím vysvětlit, co způsob uvažování dělá a kolik to stojí.
- [ ] U úkolu mohu vědomě stanovit rovnováhu mezi kvalitou, rychlostí a náklady.
- [ ] Na malou nebo velkou modelovou otázku mohu odpovědět třemi otázkami.
- [ ] Mohu navrhnout dvoustupňový průtok pro velkoobjemovou zakázku.