Výber modelu: Správny model pre správnu prácu

zisky:

• Dokáže porovnať modelovú rodinu (rýchly/vyvážený/výkonný) z hľadiska schopností, rýchlosti a nákladov
• Navrhuje výber modelu a stratégie smerovania podľa zložitosti úlohy
• Výber modelu zakladá na dôkazoch s malým súborom hodnotení

Jediným rozhodnutím, ktoré určuje váš najväčší zisk za vaše peniaze a kvalitu v integrácii LLM, je model, ktorý používate. Spoločným reflexom je „vyberte najsilnejší model“; To však často znamená zbytočné náklady a zdržania. Správny prístup je vybrať si najľahší model, ktorý spĺňa každú úlohu, a založiť túto voľbu na meraní, nie na odhadoch. V tejto jednotke porovnáte rodinu modelov na osi schopnosť/rýchlosť/náklady, vytvoríte stratégiu smerovania modelu podľa zložitosti úlohy a výber potvrdíte malým súborom hodnotení.

Pochopenie modelovej rodiny

Poskytovatelia vo všeobecnosti ponúkajú tri triedy: rýchly/lacný, stabilný a výkonný. Vzťah medzi nimi je zhrnutý na troch osiach: schopnosť (sila riešiť zložité úlohy), rýchlosť (latencia), náklady (cena symbolu).

trieda

príklad

talent

rýchlosť

náklady

Dostupné úlohy

rýchlo

Haiku 4.5

stredná

veľmi vysoká

nízka

Klasifikácia, označenie, stručný prehľad, orientácia

vyvážený

sonet 5

vysoká

vysoká

stredná

Všeobecný účel, kódovanie, viackrokový tok, väčšina práce agentov

silný

Opus 4.8

najvyššie

stredná

vysoká

Komplexné uvažovanie, dlhodobé autonómne úlohy, náročná analýza

Kritický pohľad: výkonnejší model nepodáva lepší výkon pri každej úlohe. V jednoduchom označení „naliehavé alebo nie“ dávajú silný model a rýchly model rovnakú správnu odpoveď; rozdiel je len v tom, že ten výkonný je 5x drahší a pomalší. Extra talent vytvára hodnotu len vtedy, keď si to misia vyžaduje.

Krok za krokom: Ako si vybrať model?

1. Klasifikujte úlohu. Je to rutinné/vzorované (označovanie, odvodenie) alebo otvorené/viackrokové (analýza, plánovanie, kód)?
2. Začnite s najľahším kandidátom. Skúste to s rýchlym modelom. Ak to stačí, prestaňte.
3. Ak to nestačí, prejdite do vyššej triedy. Ak je presnosť nízka, prejdite na vyváženú, ak to nestačí, prejdite na silnú.
4. Merajte, nehádajte. Porovnajte presnosť a cenu každého kandidáta s malým súborom hodnotení (nižšie).
5. Nastavte presmerovanie. Namiesto pripojenia k jedinému modelu rozdeľte úlohu na správny model pomocou „smerovača“.

Smerovanie modelu

Skutočné pracovné zaťaženie je zmiešané: väčšina prichádzajúcich požiadaviek je jednoduchá, niektoré sú zložité. Je škoda ich všetkých posielať do výkonného modelu; Posielanie všetkých do rýchleho modelu znižuje kvalitu. Smerovanie to rieši: lacný model (alebo jednoduché pravidlo) najskôr klasifikuje úlohu, potom úloha prejde na príslušný model.

# Výzva smerovača (funguje s lacným modelom) Klasifikujte prichádzajúcu požiadavku podľa jej náročnosti. Vráti iba nasledujúci JSON:{"difficulty": "simple|complex"}Jednoduchý: jednokrokový, vzorový, s krátkou odpoveďou. Zložitý: vyžaduje si viackrokové uvažovanie, analýzu alebo dlhé generovanie. Požiadavka: """{{request}}"""

• prejdite na jednoduchý → rýchly model (lacný, rýchly).
• prejdite na komplexný → výkonný model (drahý, ale potrebný).

Tento model výrazne znižuje priemerné náklady, pretože väčšina prevádzky je vo všeobecnosti jednoduchá.

Tip: Rozhodnutie o postúpení nie vždy vyžaduje LLM. Jednoduché pravidlá ako „Prejsť na rýchly model, ak má text menej ako 20 slov“ sú tiež návodom a neprinášajú žiadne dodatočné náklady na token. Najprv vyskúšajte pravidlo.

Prepojenie voľby s dôkazom: Malý klaster evalov

Nevyberajte si model podľa „mne sa to zdá lepšie“. Eval (hodnotiaci súbor) je malý súbor vzoriek, pre ktorý je známa správna odpoveď; spustíte každý model na tejto sade a meriate presnosť, náklady a latenciu.

# Šablóna nastavenia Eval1) Nazbierajte 20 – 50 skutočných príkladov, na každý ručne napíšte „správnu odpoveď“.2) Spustite každý model (rýchly/vyvážený/silný) na tejto súprave.3) Pre každý model: počet opráv, priemerná priepustnosť tokenov, cena za požiadavku, priemerný čas.4) Vyberte si model, ktorý „najlacnejšie poskytuje dostatočnú presnosť“.

# Porovnávacia tabuľka hodnotenia (vyplniť)Model | Presnosť | Cena za požiadavku | Priemerné trvanieHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek

Slabá výzva / silná výzva (rozhodnutie o výbere modelu)

# SLABÝ (žiadny základ pre rozhodnutie)Použime najlepší model, rozpočet nie je dôležitý.

# SILNÝ (rozhodnutie na základe merania) V prípade 50 vzoriek poskytlo Haiku presnosť 96 %, Sonnet 97 %; Rozdiel je štatisticky nevýznamný. Haiku bolo zvolené, pretože je 5-krát lacnejšie a 2-krát rýchlejšie. Ak presnosť klesne pod 95 %, rozhodnutie o inovácii na Sonnet sa vykoná automaticky.

Výkonná verzia; viaže výber na číslo, prah a pravidlo eskalácie. To obhajuje dnešné rozhodnutie a riadi budúce zmeny.

Tri mini puzdrá

Prípad 1 – Útek z prevratného modelu. Call centrum pripravovalo všetky zhrnutia konverzácií s Opusom; mesačný účet bol vysoký. Pri hodnotení 40 vzoriek bol Sonnet 1 % za Opusom v presnosti, ale stál tretinu. Súhrnné dielo presunuli do Sonetu; mesačné náklady klesli z 9 000 USD na 3 100 USD bez sťažností na kvalitu.

Prípad 2 – Zmiešaná premávka s presmerovaním. 80 % požiadaviek právneho technického tímu bolo jednoduché označovanie dokumentov, 20 % bola komplexná analýza zmlúv. Všetkých ich posielali do výkonného modelu. Pridali lacný router a distribuovali jednoduché úlohy do Haiku a zložité úlohy do Opusu; priemerné náklady na požiadavku klesli o 64 %, pričom kvalita analýzy zostala zachovaná.

Prípad 3 – Náklady na zmenšenie bez merania. Aby sa znížili náklady, jeden tím zredukoval komplexnú extrakciu medicínskeho kódu priamo do rýchleho modelu; Nehodnotili. Naživo presnosť klesla z 92 % na 78 %, čo viedlo k návratu nesprávnych záverov. Najprv museli vyhodnotiť: táto úloha si vyžadovala výkonný model. Ponaučenie: zmenšenie aj vyvýšenie sa robí meraním.

Časté chyby

• Reflex „najsilnejšieho modelu“: plytvanie a zbytočné zdržiavanie jednoduchých úloh.
• Zmena modelu bez merania: Zmenšenie aj zväčšenie sú riskantné bez hodnotenia.
• Uzamknutie do jedného modelu: Smerovanie v zmiešanej premávke je často efektívnejšie.
• Smerovač si vždy mýlime s LLM: Jednoduché pravidlá môžu fungovať s nulovými nákladmi.
• Nenastavuje sa prah zosilnenia: Čo sa stane, ak dôjde k poklesu presnosti, by sa malo definovať vopred.
• Neoprava verzie modelu: Zaznamenajte, na ktorom modeli/verzii pracujete vo výrobe; Zmena verzie môže zmeniť správanie.

Deeper: Pretrvávajúce hodnotenie a postupná skúška

Výber modelu nie je jednorazové rozhodnutie. Poskytovatelia predstavujú nové modely, menia sa ceny, vyvíja sa vaša náplň práce. Takže raz nastavte eval cluster a nezabudnite; drž to ako živá bytosť. Keď vyjde nový model, prejdete ním rovnakých 20 – 50 vzoriek, aktualizujete tabuľku a znova sa rozhodnete. To vás chráni pred pascou „intuície prepínania vzorov“.

Druhou pokročilou technikou je záložný / kaskádový vzor. Najprv zadáte úlohu lacnému modelu; Ak má výstup nízku spoľahlivosť alebo ho overovacia vrstva (jednotka 11) odmietne, eskalujete rovnakú požiadavku. Väčšina premávky je teda vyriešená na lacnom modeli, pričom len zvyšná menšina ide na drahý model. Je to lacnejšie a odolnejšie ako pevný prístup s jedným modelom.

Tretím bodom je, že eval zahŕňa nielen presnosť, ale aj náklady a latenciu. Ak je model o 1 % presnejší, ale 3-krát drahší a 2-krát pomalší, kompromis pre väčšinu úloh nestojí za to. Rozhodnite sa podľa troch osí (presnosť, cena, latencia) a definujte „prah dostatočnosti“: „ak je presnosť vyššia ako 95 %, vyberte si najlacnejšiu“.

Nakoniec si zaznamenajte, ktorý model/verziu ste použili pri výrobe. Ak sa jedného dňa zmení kvalita výstupu, prvá vec, na ktorú sa pozriete, je, či sa zmenila verzia modelu. Sledovateľnosť verzií umožňuje rýchlejšie nájsť hlavnú príčinu problémov s kvalitou.

Ešte jedno upozornenie: eval cluster by mal predstavovať vaše skutočné pracovné zaťaženie. Eval pozostávajúci len z ľahkých príkladov skrýva to, kde model v zložitých prípadoch narazí a ukolísa vás do falošnej sebadôvery. Dobré hodnotenie; Zahŕňa bežné jednoduché príklady, ako aj rohové prípady, s ktorými sa stretávate v skutočnosti (nejednoznačné, neúplné, protichodné vstupy). Táto ťažká menšina určuje váš výber modelu, pretože každý model aj tak uspeje v ľahkej väčšine. Udržujte svoj Eval čerstvý a reprezentatívny tým, že ho budete pravidelne dopĺňať novými skutočnými príkladmi.

V súhrne

Správny model je najľahší model, ktorý zvládne prácu; Výkonnejší nie je lepší v každej práci, je len drahší a pomalší. Klasifikácia úlohy a začiatok od najľahšieho kandidáta, distribúcia zmiešanej prevádzky so smerovaním a podloženie výberu malým súborom hodnotení mnohokrát znižuje náklady pri zachovaní kvality.

Aplikačná úloha

Vyberte si pracovné zaťaženie. (1) Klasifikujte úlohu ako jednoduchú/zložitú. (2) Navrhnite malý hodnotiaci súbor 20 skutočných príkladov (s ich správnymi odpoveďami). (3) Vypracujte plán na vyplnenie tabuľky na porovnanie presnosti/nákladov/času pre tri modelové triedy. (4) Ak máte zmiešanú prevádzku, napíšte pravidlo smerovania a nastavte prah eskalácie.

kontrolný zoznam

• [ ] Môžem porovnať rodinu modelov na osi schopnosť/rýchlosť/náklady.
• [ ] Dokážem uplatniť princíp „najľahší úspešný model“.
• [ ] Môžem nastaviť smerovanie modelu podľa zložitosti úlohy.
• [ ] S malým súborom eval môžem spojiť výber s dôkazmi.
• [ ] Viem definovať prah pre upgrade/preradenie.