Nyereség:
- Összehasonlíthatja a modellcsaládot (gyors/kiegyensúlyozott/erős) képesség, sebesség és költség tekintetében
- Modellkiválasztási és útválasztási stratégiákat tervez a feladat összetettségének megfelelően
- A modell kiválasztását bizonyítékokra alapozza, kis értékkészlettel
Az egyetlen döntés, amely meghatározza, hogy az LLM-integrációban Ön a legjobban mennyit költhet, és milyen minőségben, az az, hogy melyik modellt használja. A gyakori reflex: „válaszd a legerősebb modellt”; Ez azonban gyakran szükségtelen költségeket és késéseket jelent. A helyes megközelítés az, hogy a legkönnyebb modellt választjuk, amely minden feladatot elvégez, és ezt a választást mérésekre, nem pedig találgatásokra alapozza. Ebben az egységben összehasonlítja a modellcsaládot a képesség/sebesség/költség tengelyen, felállít egy modell-útválasztási stratégiát a feladat összetettségének megfelelően, és egy kis értékelési sorozattal igazolja a kiválasztást.
A modellcsalád megértése
A szolgáltatók általában három osztályt kínálnak: gyors/olcsó, stabil és erős. A köztük fennálló kapcsolat három tengelyen foglalható össze: képesség (nehéz feladatok megoldására való képesség), sebesség (latencia), költség (token ár).
osztályban
példa
tehetség
sebesség
Költség
Rendelkezésre álló feladatok
gyors
Haiku 4.5
közepes
nagyon magas
alacsony
Osztályozás, címkézés, rövid összefoglalás, tájékozódás
kiegyensúlyozott
szonett 5
magas
magas
közepes
Általános célú, kódolás, többlépcsős áramlás, a legtöbb ügynöki munka
erős
Opus 4.8
legmagasabb
közepes
magas
Összetett érvelés, hosszú távú autonóm feladatok, nehéz elemzés
Kritikus betekintés: az erősebb modell nem teljesít jobban minden feladatnál. Egy egyszerű "sürgős vagy nem" címkézésnél az erős modell és a gyors modell ugyanazt a helyes választ adja; az egyetlen különbség az, hogy az erős 5-ször drágább és lassabb. Az extra tehetség csak akkor termel értéket, ha a küldetés megköveteli.
Lépésről lépésre: Hogyan válasszunk modellt?
- Osztályozza a feladatot! Rutinszerű/mintás (címkézés, következtetés), vagy nyílt végű/többlépéses (elemzés, tervezés, kódolás)?
- Kezdje a legkönnyebb jelölttel. Próbálja ki a gyors modellel. Ha ez elég, hagyja abba.
- Ha ez nem elég, lépjen fel magasabb osztályba. Ha alacsony a pontosság, akkor a kiegyensúlyozottra, ha ez nem elég, akkor az erősre.
- Mérj, ne találgass. Hasonlítsa össze az egyes jelöltek pontosságát és költségét egy kis értékelési készlettel (lent).
- Állítsa be az átirányítást. Ahelyett, hogy egyetlen modellhez csatlakozna, ossza el a feladatot a megfelelő modellhez egy "routerrel".
Modell útválasztás
A valódi munkaterhelés vegyes: a legtöbb bejövő kérés egyszerű, néhány nehéz. Hiába küldjük mindegyiket a nagy teljesítményű modellre; Ha mindegyiket a gyors modellre küldi, akkor csökken a minőség. Az útválasztás ezt megoldja: egy olcsó modell (vagy egy egyszerű szabály) először besorolja a feladatot, majd a feladat a megfelelő modellre kerül.
# Router prompt (olcsó modellel működik) Osztályozza a bejövő kérést nehézsége szerint. Csak a következő JSON-t adja vissza:{"nehézség": "egyszerű|komplex"}Egyszerű: egylépéses, képlet, rövid válasz. Összetett: többlépéses érvelést, elemzést vagy hosszú generálást igényel. Kérés: """{{request}}"""
- lépjen az egyszerű → gyors modellre (olcsó, gyors).
- lépjen a komplex → nagy teljesítményű modellre (drága, de szükséges).
Ez a minta jelentősen csökkenti az átlagos költséget, mivel a forgalom nagy része általában egyszerű.
Tipp: Az ajánlási döntéshez nem mindig van szükség LLM-re. Az olyan egyszerű szabályok, mint a „Gyors modell, ha a szöveg kevesebb, mint 20 szó”, szintén útmutatóként szolgálnak, és nulla további tokenköltséggel járnak. Először próbáld ki a szabályt.
A választás összekapcsolása a bizonyítékokkal: A Kis Eval Klaszter
Ne a „nekem jobban néz ki” alapján válassz modellt. Az Eval (értékelési halmaz) olyan minták kis halmaza, amelyekre ismert a helyes válasz; minden modellt futtat ezen a készleten, és méri a pontosságot, a költségeket és a késleltetést.
# Eval beállítássablon 1) Gyűjts össze 20-50 valós példát, mindegyikre írja be kézzel a "helyes választ".2) Futtasson minden modellt (gyors/kiegyensúlyozott/erős) ezen a készleten.3) Minden modellnél: helyesbítések száma, átlagos átviteli tokenek, kérésenkénti költség, átlagos idő.4) Válassza ki azt a modellt, amelyik "legjobb pontosságot ad a legolcsóbban".
# Eval összehasonlító táblázat (kitöltés)Modell | Pontosság | Kérelemenkénti költség | Átlagos időtartamHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...mp
Gyenge felszólítás / Erős felszólítás (modellválasztási döntés)
# GYENGE (nincs döntési alap) Használjuk a legjobb modellt, a költségvetés nem fontos.
# ERŐS (mérésre alapozott döntés) 50 minta értékelésénél a Haiku 96%-os, a Sonnet 97%-os pontosságot adott; A különbség statisztikailag jelentéktelen. A Haiku-ra esett a választás, mert 5-ször olcsóbb és 2-szer gyorsabb. Ha a pontosság 95% alá csökken, automatikusan megszületik a döntés a Sonnetre való frissítésről.
Erőteljes változat; számhoz, küszöbértékhez és eszkalációs szabályhoz köti a kijelölést. Ez egyszerre védi a mai döntést és kezeli a jövőbeli változásokat.
Három mini tok
1. eset – Menekülés az elképesztő modell elől. Egy telefonközpont az Opusszal folytatott beszélgetések összesítését készítette; magas volt a havi számla. A 40 mintás értékelésnél a Sonnet 1%-kal elmaradt az Opustól a pontosságban, de egyharmadába került. Áttették az összefoglaló művet a Szonettbe; A havi költség 9000 dollárról 3100 dollárra csökkent, minőségi panaszok nélkül.
2. eset – Vegyes forgalom átirányítással. Egy jogi tech csapat kérésének 80%-a egyszerű dokumentumcímkézés, 20%-a összetett szerződéselemzés volt. Mindannyiukat a nagy teljesítményű modellhez küldték. Hozzáadtak egy olcsó útválasztót, és egyszerű munkákat osztottak szét a Haiku-hoz, és összetett munkákat az Opushoz; Az átlagos kérések költsége 64%-kal csökkent, miközben az elemzés minősége megmaradt.
3. eset – A méretcsökkentés költsége mérés nélkül. A költségek csökkentése érdekében az egyik csapat a komplex orvosi kód kinyerését közvetlenül a gyors modellre csökkentette; Nem értékelték. Élőben a pontosság 92%-ról 78%-ra esett vissza, ami helytelen következtetéseket eredményezett. Először értékelniük kellett: ehhez a feladathoz az erőteljes modellre volt szükség. Tanulság: mind a csökkentés, mind az emelés méréssel történik.
Gyakori hibák
- A „legerősebb modell” reflex: pazarlás és szükségtelen késlekedés az egyszerű feladatoknál.
- A modell megváltoztatása mérés nélkül: A kicsinyítés és a nagyítás is kockázatos értékelés nélkül.
- Bezárás egyetlen modellbe: Vegyes forgalom esetén az útvonalválasztás gyakran hatékonyabb.
- Mindig összetéveszti az útválasztót az LLM-mel: Az egyszerű szabályok nulla költséggel működhetnek.
- Nem állít be növelési küszöböt: Mi történik, ha a pontosság csökken, előre meg kell határozni.
- Nem javítja a modell verzióját: Jegyezze fel, hogy melyik modellen/verzión dolgozik a gyártás során; A verzióváltás megváltoztathatja a viselkedést.
Deeper: Perpetuating Eval and Incremental Trial
A modellválasztás nem egyszeri döntés. A szolgáltatók új modelleket vezetnek be, változnak az árak, alakul a munkaköri leírása. Tehát állítsa be egyszer az eval klasztert, és ne felejtse el; tartsa úgy, mint egy élőlény. Amikor megjelenik egy új modell, ugyanazt a 20-50 mintát futtatja át rajta, frissíti a táblázatot, és újra meghozza a döntést. Ez megvéd a „mintaváltó intuíció” csapdájától.
A második fejlett technika a tartalék / kaszkád minta. Először az olcsó modellnek adod a feladatot; Ha a kimenet alacsony megbízhatóságú, vagy az ellenőrző réteg (11-es egység) elutasítja, akkor ugyanazt a kérést továbbítja. A forgalom nagy része tehát az olcsó modellen oldódik meg, csak a fennmaradó kisebbség megy a drága modellre. Ez olcsóbb és tartósabb is, mint a rögzített egymodell megközelítés.
A harmadik pont az, hogy az eval nemcsak a pontosságot, hanem a költségeket és a késleltetést is magában foglalja. Ha egy modell 1%-kal pontosabb, de háromszor drágább és kétszer lassabb, akkor a legtöbb munkánál nem éri meg a kompromisszum. Hozza meg a döntést három tengely mentén (pontosság, költség, késleltetés), és határozzon meg egy „elégségességi küszöböt”: „ha a pontosság 95% feletti, válassza a legolcsóbbat”.
Végül rögzítse, hogy melyik modellt/verziót használta a gyártás során. Ha egy napon megváltozik a kimeneti minőség, először azt kell megnézni, hogy változott-e a modell verziója. A verziókövethetőség gyorsabbá teszi a minőségi problémák kiváltó okának megtalálását.
Még egy figyelmeztetés: az eval-fürtnek a tényleges munkaterhelést kell képviselnie. A csak könnyed példákból álló eval ott rejtőzik, ahol a modell nehéz esetekben megbotlik és hamis önbizalomba ringatja. Egy jó eval; Tartalmaz általános egyszerű példákat, valamint a valóságban előforduló sarokeseteket (kétértelmű, hiányos, ellentmondásos bemenetek). Ez a nehéz kisebbség határozza meg a modellválasztást, mert úgyis minden modell a könnyű többségben sikerül. Tartsa Eval-ját frissen és reprezentatívan úgy, hogy rendszeresen ad neki új valós példákat.
Összefoglalva
A megfelelő modell a legkönnyebb modell, amely elvégzi a munkát; Az erősebb nem minden munkában jobb, csak drágább és lassabb. A feladat osztályozása és a legenyhébb jelöltből indulás, a vegyes forgalom útválasztással történő felosztása, a kiválasztás kis evőkészlettel való alátámasztása a minőség megőrzése mellett sokszorosára csökkenti a költséget.
Pályázati feladat
Válasszon munkaterhelést. (1) Minősítse a feladatot egyszerű/összetett kategóriába! (2) Tervezzen egy 20 valós példából álló kis eval halmazt (a helyes válaszokkal). (3) Készítsen tervet a pontosság/költség/idő összehasonlító táblázat kitöltésére a három modellosztályra vonatkozóan. (4) Ha vegyes forgalmat bonyolít le, írjon egy útválasztási szabályt, és állítson be egy eszkalációs küszöböt.
ellenőrző lista
- [ ] A modellcsaládot a képesség/sebesség/költség tengelyen tudom összehasonlítani.
- [ ] Alkalmazni tudom a "legkönnyebb sikeres modell" elvét.
- [ ] Be tudom állítani a modell-útválasztást a feladat összetettségének megfelelően.
- [ ] Az eval kis halmazával a válogatást a bizonyítékokhoz tudom kötni.
- [ ] Meg tudom határozni a frissítési/lesorolási küszöböt.