zisky:
- Dokáže porovnat modelovou řadu (rychlý/vyvážený/výkonný) z hlediska schopností, rychlosti a ceny
- Navrhuje výběr modelu a strategie směrování podle složitosti úlohy
- Zakládá výběr modelu na důkazech s malou sadou evalů
Jediným rozhodnutím, které určuje váš největší zisk za vaše peníze a kvalitu v integraci LLM, je model, který používáte. Společným reflexem je „vyberte nejsilnější model“; To však často znamená zbytečné náklady a zpoždění. Správným přístupem je vybrat nejlehčí model, který splňuje každý úkol, a založit tento výběr na měření, nikoli na odhadech. V této jednotce porovnáte rodinu modelů na ose schopnost/rychlost/náklady, stanovíte strategii směrování modelu podle složitosti úlohy a doložíte výběr pomocí malého souboru hodnocení.
Pochopení modelové rodiny
Poskytovatelé obecně nabízejí tři třídy: rychlý/levný, stabilní a výkonný. Vztah mezi nimi je shrnut na třech osách: schopnost (síla řešit obtížné úkoly), rychlost (latence), náklady (cena tokenu).
třídy
příklad
talent
rychlost
náklady
Dostupné úkoly
rychle
Haiku 4.5
střední
velmi vysoká
nízká
Klasifikace, označení, stručný přehled, orientace
vyvážený
sonet 5
vysoká
vysoká
střední
Obecný účel, kódování, vícestupňový tok, většina práce agentů
silný
Opus 4.8
nejvyšší
střední
vysoká
Složité uvažování, autonomní úlohy na dlouhé vzdálenosti, obtížná analýza
Kritický poznatek: výkonnější model nepodává lepší výkon při každé práci. V jednoduchém označení „naléhavé nebo ne“ dávají silný model a rychlý model stejnou správnou odpověď; rozdíl je jen v tom, že výkonný je 5x dražší a pomalejší. Extra talent vytváří hodnotu pouze tehdy, když to mise vyžaduje.
Krok za krokem: Jak vybrat model?
- Klasifikujte úkol. Je to rutinní/vzorované (označení, odvození) nebo otevřené/vícekrokové (analýza, plánování, kód)?
- Začněte s nejlehčím kandidátem. Zkuste to s rychlým modelem. Pokud to stačí, přestaňte.
- Pokud to nestačí, přejděte do vyšší třídy. Pokud je přesnost nízká, přejděte na vyváženou, pokud to nestačí, přejděte na silnou.
- Měřte, nehádejte. Porovnejte přesnost a cenu každého kandidáta s malou sadou hodnocení (níže).
- Nastavte přesměrování. Namísto připojení k jedinému modelu rozdělte úlohu na správný model pomocí „směrovače“.
Směrování modelu
Skutečná pracovní zátěž je smíšená: většina příchozích požadavků je jednoduchá, některé jsou obtížné. Posílat je všechny do výkonného modelu je škoda; Posílání všech do rychlého modelu snižuje kvalitu. Směrování to řeší: levný model (nebo jednoduché pravidlo) nejprve klasifikuje úlohu, pak úloha přejde na příslušný model.
# Router prompt (funguje s levným modelem) Klasifikujte příchozí požadavek podle jeho obtížnosti. Vraťte pouze následující JSON:{"difficulty": "simple|complex"}Jednoduché: jednokrokové, vzorové, s krátkou odpovědí. Složité: vyžadující vícekrokové uvažování, analýzu nebo dlouhé generování. Požadavek: """{{request}}"""
- přejít na jednoduchý → rychlý model (levný, rychlý).
- přejděte na komplexní → výkonný model (drahý, ale nezbytný).
Tento vzorec výrazně snižuje průměrné náklady, protože většina provozu je obecně jednoduchá.
Tip: Rozhodnutí o doporučení nemusí vždy vyžadovat LLM. Jednoduchá pravidla jako „Přejít na rychlý model, pokud má text méně než 20 slov“ jsou také vodítkem a přinášejí nulové dodatečné náklady na token. Nejprve zkuste pravidlo.
Propojení volby s důkazem: Malý shluk evalů
Nevybírejte model podle toho, že „to mi přijde lepší“. Eval (hodnotící sada) je malá sada vzorků, u kterých je známa správná odpověď; spustíte každý model na této sadě a měříte přesnost, cenu a latenci.
# Šablona nastavení Eval1) Nasbírejte 20–50 skutečných příkladů, na každý ručně napište „správnou odpověď“.2) Spusťte každý model (rychlý/vyvážený/silný) na této sadě.3) Pro každý model: počet oprav, průměrná propustnost tokenů, cena za požadavek, průměrný čas.4) Vyberte model, který „nejlevněji poskytuje dostatečnou přesnost“.
# Porovnávací tabulka Eval (vyplnit)Model | Přesnost | Cena za požadavek | Průměrná doba trváníHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek
Slabá výzva / silná výzva (rozhodnutí o výběru modelu)
# SLABÝ (žádný základ pro rozhodnutí) Použijme nejlepší model, rozpočet není důležitý.
# SILNÝ (rozhodnutí na základě měření) Ve výsledku 50 vzorků poskytlo Haiku 96% přesnost, Sonnet 97%; Rozdíl je statisticky nevýznamný. Haiku bylo vybráno, protože je 5x levnější a 2x rychlejší. Pokud přesnost klesne pod 95 %, rozhodnutí o upgradu na Sonnet bude učiněno automaticky.
Výkonná verze; váže výběr na číslo, práh a pravidlo eskalace. To jak brání dnešní rozhodnutí, tak řídí budoucí změny.
Tři mini pouzdra
Případ 1 – Útěk z přemožitelného modelu. Call centrum vytvářelo všechny souhrny konverzací s Opusem; měsíční účet byl vysoký. Při hodnocení 40 vzorků byl Sonnet v přesnosti 1 % za Opusem, ale stál třetinu. Souhrnné dílo přesunuli do Sonetu; měsíční náklady klesly z 9 000 USD na 3 100 USD, bez stížností na kvalitu.
Případ 2 – Smíšený provoz s přesměrováním. 80 % požadavků právního týmu tvořilo jednoduché označování dokumentů, 20 % komplexní analýza smluv. Všechny je posílali k mocnému modelu. Přidali levný router a distribuovali jednoduché úlohy do Haiku a složité úlohy do Opusu; průměrné náklady na požadavek klesly o 64 %, přičemž kvalita analýzy zůstala zachována.
Případ 3 — Náklady na zmenšování bez měření. Aby se snížily náklady, jeden tým omezil extrakci složitého lékařského kódu přímo do rychlého modelu; Nehodnotili. Naživo přesnost klesla z 92 % na 78 %, což vedlo k návratu nesprávných závěrů. Nejprve museli vyhodnotit: tento úkol vyžadoval výkonný model. Poučení: snížení i elevace se provádí měřením.
Časté chyby
- Reflex „nejsilnějšího modelu“: plýtvání a zbytečné zdržování jednoduchých úkolů.
- Změna modelu bez měření: Jak zmenšení, tak zvětšení jsou riskantní bez vyhodnocení.
- Uzamčení do jednoho modelu: Směrování ve smíšeném provozu je často efektivnější.
- Router si vždy pleteme s LLM: Jednoduchá pravidla mohou fungovat s nulovými náklady.
- Nenastavení prahu zesílení: Co se stane, pokud přesnost poklesne, by mělo být definováno předem.
- Neopravuje verzi modelu: Zaznamenejte, na kterém modelu/verzi pracujete ve výrobě; Změna verze může změnit chování.
Deeper: Zvěčnění Eval a Incremental Trial
Výběr modelu není jednorázové rozhodnutí. Poskytovatelé představují nové modely, mění se ceny, vyvíjí se popis vaší práce. Nastavte tedy eval cluster jednou a nezapomeňte; drž to jako živá bytost. Když vyjde nový model, necháte projít stejných 20-50 vzorků, aktualizujete tabulku a znovu se rozhodnete. To vás chrání před pastí „intuice přepínání vzorů“.
Druhou pokročilou technikou je nouzový / kaskádový vzor. Nejprve zadáte úkol levnému modelu; Pokud má výstup nízkou spolehlivost nebo jej ověřovací vrstva (jednotka 11) odmítne, eskalujete stejný požadavek. Většina provozu je tedy vyřešena na levném modelu, přičemž pouze zbývající menšina jde na drahý model. To je levnější a odolnější než pevný přístup s jedním modelem.
Třetím bodem je, že eval zahrnuje nejen přesnost, ale také náklady a latenci. Pokud je model o 1 % přesnější, ale 3krát dražší a 2krát pomalejší, kompromis se pro většinu zakázek nevyplatí. Rozhodujte se ve třech osách (přesnost, náklady, latence) a definujte „práh dostatku“: „pokud je přesnost vyšší než 95 %, vyberte nejlevnější.
Nakonec si zaznamenejte, který model/verzi jste použili ve výrobě. Pokud se jednoho dne změní kvalita výstupu, první věc, na kterou se podíváte, je, zda se změnila verze modelu. Sledovatelnost verzí umožňuje rychlejší nalezení hlavní příčiny problémů s kvalitou.
Ještě jedno upozornění: shluk eval by měl představovat vaši skutečnou pracovní zátěž. Eval skládající se pouze ze snadných příkladů skrývá, kde model v obtížných případech klopýtá a ukolébá vás falešnou sebedůvěrou. Dobré hodnocení; Zahrnuje běžné snadné příklady i rohové případy, se kterými se setkáte ve skutečnosti (nejednoznačné, neúplné, protichůdné vstupy). Tato obtížná menšina určuje váš výběr modelu, protože každý model stejně uspěje ve snadné většině. Udržujte svůj Eval svěží a reprezentativní tím, že jej budete pravidelně doplňovat novými skutečnými příklady.
V souhrnu
Správný model je ten nejlehčí model, který zvládne svou práci; Výkonnější není lepší v každé práci, je jen dražší a pomalejší. Klasifikace úkolu a začátky od nejlehčího kandidáta, distribuce smíšeného provozu se směrováním a doložení výběru malou sadou hodnocení mnohonásobně snižuje náklady při zachování kvality.
Aplikační úkol
Vyberte si pracovní náplň. (1) Klasifikujte úkol jako jednoduchý/složitý. (2) Navrhněte malou sadu 20 skutečných příkladů (s jejich správnými odpověďmi). (3) Vypracujte plán naplnění srovnávací tabulky přesnosti/nákladů/času pro tři modelové třídy. (4) Pokud máte smíšený provoz, napište směrovací pravidlo a nastavte práh eskalace.
kontrolní seznam
- [ ] Mohu porovnat rodinu modelů na ose schopnost/rychlost/náklady.
- [ ] Umím uplatnit princip „nejlehčího úspěšného modelu“.
- [ ] Mohu nastavit směrování modelu podle složitosti úlohy.
- [ ] S malou sadou eval mohu svázat výběr s důkazy.
- [ ] Umím definovat práh upgradu/degradace.