zisky:
- Rozpoznanie ľahkých, vyvážených a výkonných fáz modelu a režimu uvažovania
- Výber vhodnej úrovne modelu na základe náročnosti úlohy
- Schopnosť vedome vytvoriť rovnováhu medzi latenciou, presnosťou a nákladmi
Naučili sme sa počítať cenu; Teraz si povedzme, čo za túto cenu dostaneme, konkrétne úrovne modelov a schopnosti. Pri výbere modelu neustále súťažia tri sily: kvalita (presnosť), rýchlosť (latencia) a cena. Zlepšenie dvoch z týchto troch často znamená kompromisy pri treťom. V jednotke sa dozviete o ľahkých, vyvážených a výkonných úrovniach, režime uvažovania a preferencii malého/veľkého modelu; Budete vedieť vedome nastoliť správnu rovnováhu podľa náročnosti úlohy.
Tri úrovne, tri rôzne pracovné postavy
Takmer každý poskytovateľ ponúka tri úrovne v rámci jednej rodiny. Priraďme ich k charakteru úlohy:
- Svetlá vrstva (malý model): Veľmi rýchly, veľmi lacný, „dosť dobrý“. Ideálne pre jednoduché, opakujúce sa úlohy s veľkým objemom: klasifikácia, inštruktáž, označovanie, čistenie údajov, návrhy jednoduchých reakcií.
- Vyvážená úroveň (stredný model): Dobrá kvalita, primeraná rýchlosť, rozumné náklady. „Predvolená“ voľba pre väčšinu každodennej práce: produkcia obsahu, strednodobá analýza, reakcie zákazníkov.
- Výkonná vrstva (veľký model): Najvyššia kvalita, najpomalšia, najdrahšia. Pre komplexné uvažovanie, dlhú a viackrokovú analýzu, zložitý kódex, presné právne/finančné hodnotenie.
Tip: Dobré pravidlo pre začiatok: Začnite s vyrovnanou úrovňou. Ak je kvalita nízka, prejdite na vyššiu úroveň; Ak je kvalita mimoriadne dobrá a hlasitosť vysoká, prejdite na úroveň svetla. Prístup „začnite s dostatočne dobrým“, nie „začnite s najsilnejším“, šetrí peniaze aj čas.
Čo je Reasoning Mode?
Niektoré modely môžu najprv „premyslieť“ odpoveď krok za krokom, namiesto toho, aby ju priamo generovali. Toto sa nazýva režim uvažovania. Model rozloží problém na časti, v sebe spracuje medzikroky a až potom dá konečnú odpoveď. Je to podobné, ako keď študent rieši matematickú úlohu krok za krokom na papieri.
Kedy je to cenné? Vo viackrokových logických problémoch: zložitý výpočet, detekcia rozporov, dlhý reťazec odvodzovania, náročná chyba v kóde. Pri tomto type práce uvažovanie výrazne zvyšuje presnosť.
Aké sú náklady? Uvažovanie zvyšuje náklady a latenciu, pretože model generuje viac „tokenov myslenia“. Bude to teda drahšie aj pomalšie. Jednoduché „je táto recenzia pozitívna?“ Zdôvodnenie otázky je ako zabitie muchy kladivom; vytvára zbytočné náklady a oneskorenia.
Upozornenie: Nenechávajte režim uvažovania otvorený pre každú úlohu. Je rýchlejšie a lacnejšie nechať ho zatvorené pre jednoduché úlohy. Niektoré z moderných modelov prichádzajú s „adaptívnym“ režimom myslenia, ktorý sa sám rozhodne, kedy potrebuje myslieť; Vašou úlohou je to však vedome riadiť.
Kvalita, rýchlosť, trojuholník nákladov
prioritou
Primeraná úroveň
uvažovanie
Najnižšia cena, vysoký objem
ľahký
Zatvorené
Zostatok (väčšina pracovných miest)
vyvážený
v závislosti od situácie
Najvyššia presnosť, kritické rozhodnutie
silný
otvorené
Okamžitá odozva, nízka latencia (chat)
Svetlé/vyvážené
Zatvorené
Komplexná, viacstupňová analýza
silný
otvorené
Pri pohľade na túto tabuľku si položte otázku: „Aká bude cena, ak sa pri tejto úlohe pomýlim? Ak je cena vysoká (nesprávne právne posúdenie, nesprávne finančné rozhodnutie) je investícia silného kalibru a uvažovania opodstatnená. Ak je cena nízka (chybná klasifikácia štítku produktu), stačí ľahký a rýchly model.
Malý model alebo veľký model?
Na rozdiel od všeobecného presvedčenia, nie každá práca si vyžaduje veľký model. Menšie modely sa stali prekvapivo schopnými, pričom mnohé úlohy vykonávajú za desatinu nákladov a niekoľkonásobne rýchlejšie ako väčší model. Tri otázky na rozhodnutie:
- Je úloha jednoduchá a formulovaná? (Klasifikácia, extrakcia, stručný prehľad) → Malý model.
- Je hlasitosť príliš vysoká a rýchlosť je kritická? → Malý model, pretože veľký model je drahý a pomalý.
- Vyžaduje si úloha jemné uvažovanie, rozšírený kontext alebo kreativitu? → Veľký model.
Tri realistické prípady
Prípad 1 — Odľahčený model je postačujúci. Tím elektronického obchodu roztriedi 40 000 komentárov zákazníkov denne na pozitívne/negatívne/neutrálne. Vyskúšajú to s výkonným modelom a potom ho porovnajú s ľahkým modelom: presnosť je takmer rovnaká (96 % vs 94 %), ale ľahký model je 8-krát lacnejší a 3-krát rýchlejší. Ľahký model je na túto úlohu zďaleka tou správnou voľbou; Presnosť 2 % navyše neospravedlňuje 8-násobok nákladov.
Prípad 2 – Silný model + uvažovanie je nutnosťou. Daňovo-poradenská firma chce vypočítať komplexný viacstupňový daňový scenár. Ľahký model robí chyby v medzikrokoch a dáva nesprávne výsledky. Keď používajú výkonný model so zapnutým režimom uvažovania, model postupuje krok za krokom a dospeje k správnemu záveru. V tomto prípade sú dodatočné náklady a oneskorenia prijateľné, pretože náklady na chyby sú vysoké; Odborník však výsledok potvrdzuje.
Prípad 3 – Zmiešané použitie. Call centrum spracováva prepisy hovorov v dvoch krokoch: najprv stručne zosumarizuje každý hovor pomocou zjednodušeného modelu (vysoký objem, jednoduchá úloha), potom výkonnému modelu poskytne iba hovory označené ako „sťažnosti“ a vykoná analýzu hlavnej príčiny (nízky objem, zložitá úloha). Väčšinu objemu tak spracovávajú lacno, pričom si silu silného vzoru vyhradia na tých pár hovorov, na ktorých skutočne záleží.
Slabá výzva / silná výzva
Slabá výzva:
Vyriešte tento daňový scenár. [komplexný scenár]
Nie je jasné, ako starostlivo bude model zvažovať.
Výkonná výzva:
Vaša úloha: senior daňový špecialista. Úloha: Krok za krokom vyriešte nasledujúci viacstupňový scenár. Najprv uveďte predpoklady, potom vypočítajte a ukážte každý krok samostatne a nakoniec uveďte čistý výsledok. Ak existuje bod, ktorým si nie ste istí alebo ktorý závisí od legislatívy, označte ho ako „vyžaduje sa potvrdenie odborníka“. Preskakovanie medzikrokov.[scenár]
Výkonná výzva vedie model cez postupné myslenie (podporujúce uvažovanie) a zviditeľňuje medzikroky pre overiteľnosť.
Kopírovateľné šablóny
Diagnóza v 1. štádiu:
Moja misia: [ÚLOHA]. Objem: [NUMBER/deň]. Cena chyby: [NÍZKE/STREDNÉ/VYSOKÉ]. Priorita rýchlosti: [NÍZKE/VYSOKÉ]. Akú úroveň (ľahká/vyvážená/silná) a zdôvodnenie (otvorená/uzavretá) by ste na základe tohto profilu odporučili? odôvodniť.
2. Rozhodnutie o malom/veľkom modeli:
Definujem nasledujúcu úlohu: [TASK]. Dá sa tento problém vyriešiť malým (ľahkým) modelom, alebo je potrebný veľký model? Navrhnite mi 3 testovacie prípady a prah úspešnosti, aby som sa pokúsil vyriešiť tento malý model.
3. Vhodnosť zdôvodnenia:
Bol by režim uvažovania (uvažovanie krok za krokom) prospešný alebo nákladný v nasledujúcej úlohe: [ÚLOHA]? Zdôvodnite svoje rozhodnutie na základe počtu krokov a logickej zložitosti úlohy.
4. Dvojstupňový návrh pracovného toku:
Navrhnite dvojstupňový tok na zníženie nákladov na nasledujúcu veľkoobjemovú úlohu [ÚLOHA]: ktorá časť by mala ísť do ľahkého modelu, ktorá časť by mala ísť do výkonného modelu? Napíšte úroveň a zdôvodnenie každého kroku.
Časté chyby
- Výkonný model pre každú prácu: Vytváranie zbytočných nákladov a oneskorení pomocou najvýkonnejšieho modelu pri jednoduchých a objemných úlohách.
- Vždy ponechajte uvažovanie zapnuté: Ponechanie zapnutého režimu myslenia pri jednoduchých úlohách a márne plytvanie časom a peniazmi.
- Rozhodovanie bez merania kvality: Predpokladajte, že „väčšie je lepšie“ bez porovnávania dvoch úrovní s vašimi vlastnými údajmi.
- Zabudnutie na potrebu rýchlosti: Na miestach, kde sa vyžaduje okamžitá odozva, ako je chat, výber pomalého výkonného modelu a čakanie používateľa.
- Vôbec nemyslieť na dvojstupňový tok: Nemať celý objem postavený jedným modelom a nešetriť na časti, ktorá sa dá urobiť lacno.
V súhrne
- Výber modelu predstavuje rovnováhu v trojuholníku kvality, rýchlosti a ceny; Zlepšenie dvoch si často vyžaduje kompromitovanie tretieho.
- Ľahký stolík je vhodný pre jednoduché/objemné práce, silný stolík je vhodný pre zložité/kritické práce; Vyvážená fáza je dobrým začiatkom pre väčšinu pracovných miest.
- Režim uvažovania zlepšuje presnosť pri problémoch s viacerými krokmi, ale zvyšuje náklady a latenciu; Nemalo by to byť otvorené pre každú úlohu.
- "Aká je cena neúspechu v tejto misii?" Otázkou je kompas rozhodnutia úrovne a zdôvodnenia. Dvojstupňové toky poskytujú veľké úspory v objemových úlohách.
Aplikačná úloha
Vyberte úlohu vo svojej úlohe a pomocou šablóny 1 (diagnostika štádia) určite, ktoré štádium a nastavenie uvažovania je vhodné. Ak je úlohou veľký objem, vymyslite návrh, ktorý nasmeruje časť objemu na ľahký model a kritickú časť na silný model so šablónou 4 (dvojstupňový pracovný postup). Tento dizajn použijeme v štúdii modelového portfólia v bloku 9.
kontrolný zoznam
- [ ] Pracovným charakterom sa vyrovnám ľahkým, vyváženým a výkonným pódiám.
- [ ] Viem vysvetliť, čo spôsob uvažovania robí a čo to stojí.
- [ ] Dokážem vedome stanoviť rovnováhu medzi kvalitou, rýchlosťou a nákladmi pre úlohu.
- [ ] Na malú alebo veľkú modelovú otázku môžem odpovedať tromi otázkami.
- [ ] Môžem navrhnúť dvojstupňový prietok pre prácu s veľkým objemom.