Izbira modela: pravi model za pravo delo

Dobički:

• Lahko primerja družino modelov (hiter/uravnotežen/zmogljiv) glede zmogljivosti, hitrosti in stroškov
• Oblikuje izbiro modela in strategije usmerjanja glede na kompleksnost naloge
• Izbor modela temelji na dokazih z majhnim nizom vrednosti

Edina odločitev, ki določa vaš največji izkupiček za vaš denar in kakovost pri integraciji LLM, je, kateri model boste uporabili. Pogost refleks je "izberi najmočnejši model"; Vendar to pogosto pomeni nepotrebne stroške in zamude. Pravi pristop je izbrati najlažji model, ki opravi vsako nalogo, in to izbiro temeljiti na meritvah, ne na ugibanjih. V tej enoti boste primerjali družino modelov na osi zmogljivost/hitrost/stroški, vzpostavili strategijo usmerjanja modela glede na kompleksnost naloge in dokazovali izbiro z majhnim naborom ocen.

Razumevanje vzorčne družine

Ponudniki običajno ponujajo tri razrede: hitro/poceni, stabilno in zmogljivo. Razmerje med njimi je povzeto na treh oseh: sposobnost (moč za reševanje zahtevnih nalog), hitrost (latenca), stroški (cena žetona).

razred

primer

talent

hitrost

Stroški

Razpoložljive naloge

hitro

Haiku 4.5

srednje

zelo visoko

nizka

Klasifikacija, označevanje, kratek povzetek, orientacija

uravnoteženo

sonet 5

visoka

visoka

srednje

Splošni namen, kodiranje, večstopenjski tok, večina agentskega dela

močan

Opus 4.8

najvišja

srednje

visoka

Kompleksno razmišljanje, dolgotrajne avtonomne naloge, težka analiza

Kritični vpogled: zmogljivejši model ne deluje bolje pri vsakem delu. Pri preprostem označevanju "nujno ali ne" dajeta močan in hiter model enak pravilen odgovor; razlika je le v tem, da je močnejši 5x dražji in počasnejši. Dodaten talent ustvari vrednost le, ko to zahteva naloga.

Korak za korakom: Kako izbrati model?

1. Razvrstite nalogo. Ali je rutinsko/vzorčno (označevanje, sklepanje) ali odprto/večstopenjsko (analiza, načrtovanje, kodiranje)?
2. Začnite z najlažjim kandidatom. Poskusite s hitrim modelom. Če je to dovolj, nehaj.
3. Če ni dovolj, prestopite v višji razred. Če je natančnost nizka, pojdite na uravnoteženega, če to ni dovolj, pojdite na močnega.
4. Izmerite, ne ugibajte. Primerjajte natančnost in ceno vsakega kandidata z majhnim naborom eval (spodaj).
5. Nastavite preusmeritev. Namesto povezovanja z enim modelom razdelite nalogo na pravi model z "usmerjevalnikom".

Usmerjanje modela

Resnične delovne obremenitve so mešane: večina dohodnih zahtev je preprostih, nekatere so težke. Škoda jih je pošiljati na močan model; Pošiljanje vseh v hitri model zmanjša kakovost. Usmerjanje to reši: poceni model (ali preprosto pravilo) najprej razvrsti nalogo, nato pa gre delo ustreznemu modelu.

# Poziv usmerjevalnika (deluje s poceni modelom) Razvrstite dohodno zahtevo glede na njeno težavnost. Vrni samo naslednje JSON:{"difficulty": "simple|complex"}Enostavno: enostopenjski, formularni, kratek odgovor.Zapleteno: zahteva sklepanje v več korakih, analizo ali dolgo generacijo.Zahteva: """{{request}}"""

• pojdite na preprost → hiter model (poceni, hitro).
• pojdite na zapleten → močan model (drag, a potreben).

Ta vzorec bistveno zmanjša povprečne stroške, ker je večina prometa na splošno enostavna.

Namig: odločitev o napotitvi ne zahteva vedno LLM. Preprosta pravila, kot je »Pojdi na hitri model, če je besedilo krajše od 20 besed«, so prav tako vodilo in ne prinašajo nobenih dodatnih stroškov žetonov. Najprej preizkusite pravilo.

Povezovanje izbire z dokazi: majhna skupina ocenjevanja

Ne izberite modela na podlagi "se mi zdi bolje". Eval (ocenjevalni niz) je majhen niz vzorcev, za katere je znan pravilen odgovor; zaženete vsak model na tem nizu in izmerite natančnost, stroške in zakasnitev.

# Predloga za nastavitev Eval1) Zberite 20–50 resničnih primerov, na vsakega z roko napišite "pravilen odgovor".2) Zaženite vsak model (hiter/uravnotežen/močan) v tem nizu.3) Za vsak model: število popravkov, žetoni povprečne prepustnosti, cena na zahtevo, povprečni čas.4) Izberite model, ki "najceneje zagotavlja zadostno natančnost".

# Eval primerjalna tabela (izpolni)Model | Natančnost | Cena na zahtevo | Povprečno trajanje Haiku | ... % | ... $ | ... snSonnet | ... % | ... $ | ... snOpus | ... % | ... $ | ...sek

Šibek poziv/močan poziv (odločitev o izbiri modela)

# ŠIBKO (brez podlage za odločitev)Uporabimo najboljši model, proračun ni pomemben.

# MOČNO (odločitev na podlagi meritev) Pri oceni 50 vzorcev je Haiku dal 96 % natančnost, Sonnet pa 97 % natančnost; Razlika je statistično nepomembna. Haiku smo izbrali, ker je 5x cenejši in 2x hitrejši. Če natančnost pade pod 95 %, bo odločitev o nadgradnji na Sonnet sprejeta samodejno.

Zmogljiva različica; veže izbor na številko, prag in pravilo stopnjevanja. To hkrati brani današnjo odločitev in upravlja prihodnje spremembe.

Trije mini kovčki

1. primer – Pobeg od premočnega modela. Klicni center je pripravljal vse povzetke pogovorov z Opusom; mesečni račun je bil visok. Pri 40-vzorčnem vrednotenju je Sonnet 1 % zaostajal za Opusom v natančnosti, vendar je stal eno tretjino. Zbirno delo so prestavili v Sonet; mesečni stroški so padli z 9.000 $ na 3.100 $, brez pritožb glede kakovosti.

Primer 2 – Mešani promet s preusmeritvijo. 80 % zahtev pravne tehnične ekipe je bilo preprosto označevanje dokumentov, 20 % je bilo zahtevna analiza pogodb. Vse so pošiljali k močnemu modelu. Dodali so poceni usmerjevalnik in razdelili enostavna opravila v Haiku in kompleksna opravila v Opus; povprečni stroški zahteve so se znižali za 64 %, kakovost analize pa se je ohranila.

Primer 3 – Stroški zmanjšanja velikosti brez merjenja. Da bi zmanjšali stroške, je ena ekipa zmanjšala ekstrakcijo kompleksne medicinske kode neposredno na hitri model; Niso ocenjevali. V živo je natančnost padla z 92 % na 78 %, kar je povzročilo vračanje napačnih sklepov. Najprej so morali oceniti: ta naloga je zahtevala močan model. Nauk: tako zmanjšanje kot dvig sta izvedena z merjenjem.

Pogoste napake

• Refleks »najmočnejšega modela«: zapravljanje in nepotrebno odlašanje pri preprostih opravilih.
• Spreminjanje modela brez merjenja: tako pomanjšanje kot povečava sta tvegani brez ocene.
• Zaklepanje v en sam model: usmerjanje v mešanem prometu je pogosto bolj učinkovito.
• Vedno zamenjajte usmerjevalnik za LLM: Preprosta pravila lahko delujejo brez stroškov.
• Nenastavitev praga povečanja: Kaj se zgodi, če natančnost pade, je treba določiti vnaprej.
• Brez popravljanja različice modela: zabeležite, na katerem modelu/različici delate v proizvodnji; Sprememba različice lahko spremeni vedenje.

Deeper: Perpetuating Eval and Incremental Trial

Izbira modela ni enkratna odločitev. Ponudniki uvajajo nove modele, cene se spreminjajo, opis vašega dela se razvija. Torej enkrat nastavite gručo eval in ne pozabite; drži ga kot živo bitje. Ko se pojavi nov model, skozenj pregledate istih 20–50 vzorcev, posodobite tabelo in se znova odločite. To vas ščiti pred pastjo »intuicije preklapljanja vzorcev«.

Druga napredna tehnika je nadomestni/kaskadni vzorec. Najprej daš nalogo poceni modelu; Če ima izhod nizko zaupanje ali ga plast preverjanja (enota 11) zavrne, eskalirate isto zahtevo. Tako se večina prometa reši na poceni modelu, le preostala manjšina pa na dragem modelu. To je cenejše in trajnejše od pristopa fiksnega enega modela.

Tretja točka je, da eval ne vključuje le natančnosti, ampak tudi stroške in zakasnitev. Če je model 1 % natančnejši, a 3-krat dražji in 2-krat počasnejši, se kompromis za večino delovnih mest ne splača. Odločite se po treh oseh (natančnost, stroški, zakasnitev) in določite »prag zadostnosti«: »če je natančnost nad 95 %, izberite najcenejšega.«

Na koncu zabeležite, kateri model/različico ste uporabili v proizvodnji. Če se nekega dne kakovost izpisa spremeni, boste najprej pogledali, ali se je različica modela spremenila. Sledljivost različici omogoča hitrejše iskanje vzroka težav s kakovostjo.

Še eno opozorilo: gruča eval bi morala predstavljati vašo dejansko delovno obremenitev. Ocena, ki je sestavljena le iz preprostih primerov, skriva, kje se model spotakne v težkih primerih in vas zaziblje v lažno zaupanje. Dobra ocena; Vključuje tako običajne enostavne primere kot tudi stranske primere, s katerimi se srečate v resnici (dvoumni, nepopolni, protislovni vnosi). Ta težka manjšina določa vašo izbiro modela, saj tako ali tako vsak model uspe v lahki večini. Poskrbite, da bo vaš Eval svež in reprezentativen, tako da ga občasno hranite z novimi pravimi primerki.

Če povzamem

Pravi model je najlažji model, ki opravi delo; Močnejši ni boljši pri vsakem delu, je le dražji in počasnejši. Razvrščanje naloge in začetek od najlažjega kandidata, porazdelitev mešanega prometa z usmerjanjem in utemeljitev izbire z majhnim naborom evalv večkrat zniža stroške, hkrati pa ohranja kakovost.

Aplikacijska naloga

Izberite delovno obremenitev. (1) Nalogo razvrstite kot preprosto/zapleteno. (2) Oblikujte majhen niz 20 resničnih primerov (z njihovimi pravilnimi odgovori). (3) Pripravite načrt za zapolnitev primerjalne tabele natančnosti/stroška/časa za tri razrede modelov. (4) Če imate mešan promet, napišite pravilo usmerjanja in nastavite prag stopnjevanja.

kontrolni seznam

• [ ] Družino modelov lahko primerjam na osi zmogljivost/hitrost/strošek.
• [ ] Lahko uporabim načelo "najlažjega uspešnega modela".
• [ ] Lahko nastavim usmerjanje modela glede na zahtevnost naloge.
• [ ] Z majhnim nizom eval lahko povežem izbor z dokazi.
• [ ] Lahko določim prag nadgradnje/nižanja.