Modelio pasirinkimas: tinkamas modelis tinkamam darbui

Pelnas:

• Gali palyginti modelių šeimą (greitas / subalansuotas / galingas) pagal pajėgumus, greitį ir kainą
• Sukuria modelio parinkimo ir maršruto parinkimo strategijas pagal užduoties sudėtingumą
• Modelio pasirinkimą grindžia įrodymais su nedideliu įvertinimų rinkiniu

Vienintelis sprendimas, lemiantis jūsų didžiausią pinigų sumą ir LLM integracijos kokybę, yra tai, kurį modelį naudojate. Dažnas refleksas yra „pasirink stipriausią modelį“; Tačiau tai dažnai reiškia nereikalingas išlaidas ir vėlavimus. Tinkamas požiūris yra pasirinkti lengviausią modelį, kuris atlieka kiekvieną užduotį, ir pagrįsti šį pasirinkimą matavimais, o ne spėlionėmis. Šiame skyriuje palyginsite modelių šeimą galimybių / greičio / sąnaudų ašyje, nustatysite modelio maršruto parinkimo strategiją pagal užduoties sudėtingumą ir patvirtinsite pasirinkimą atlikdami nedidelį vertinimų rinkinį.

Modelinės šeimos supratimas

Teikėjai paprastai siūlo tris klases: greitą / pigų, stabilų ir galingą. Santykis tarp jų apibendrinamas trimis ašimis: gebėjimas (galia išspręsti sudėtingas užduotis), greitis (latencija), kaina (žetono kaina).

klasė

pavyzdys

talentas

greitis

Kaina

Galimos užduotys

greitai

Haiku 4.5

vidutinis

labai aukštas

žemas

Klasifikavimas, ženklinimas, trumpa santrauka, orientacija

subalansuotas

5 sonetas

aukštas

aukštas

vidutinis

Bendra paskirtis, kodavimas, kelių žingsnių srautas, dauguma agentų darbas

stiprus

Opus 4.8

aukščiausias

vidutinis

aukštas

Sudėtingas samprotavimas, ilgalaikės savarankiškos užduotys, sudėtinga analizė

Kritinė įžvalga: galingesnis modelis neatlieka geresnių rezultatų atliekant kiekvieną darbą. Paprastame „skubu ar ne“ etiketėje tvirtas modelis ir greitas modelis pateikia tą patį teisingą atsakymą; skirtumas tik tas, kad galingas yra 5 kartus brangesnis ir lėtesnis. Papildomi talentai sukuria vertę tik tada, kai to reikalauja misija.

Žingsnis po žingsnio: kaip pasirinkti modelį?

1. Klasifikuokite užduotį. Ar tai įprastas / raštuotas (ženklinimas, išvados), ar atviras / daugiapakopis (analizė, planavimas, kodas)?
2. Pradėkite nuo lengviausio kandidato. Išbandykite su greituoju modeliu. Jei to pakanka, sustokite.
3. Jei to nepakanka, pereikite į aukštesnę klasę. Jei tikslumas mažas, eikite į subalansuotą, jei to nepakanka, eikite į stiprų.
4. Išmatuokite, nespėkite. Palyginkite kiekvieno kandidato tikslumą ir kainą su nedideliu įvertinimų rinkiniu (toliau).
5. Nustatyti peradresavimą. Užuot prisijungę prie vieno modelio, paskirstykite užduotį tinkamam modeliui naudodami „maršrutizatorių“.

Modelio maršrutizavimas

Tikrasis darbo krūvis yra įvairus: dauguma gaunamų užklausų yra paprastos, kai kurios sudėtingos. Beprasmiška juos visus siųsti į galingą modelį; Siunčiant juos visus į greitąjį modelį, sumažėja kokybė. Maršrutizavimas tai išsprendžia: pigus modelis (arba paprasta taisyklė) pirmiausia suskirsto užduotį, tada darbas pereina į atitinkamą modelį.

# Maršrutizatoriaus raginimas (veikia su pigiu modeliu) Klasifikuokite gaunamą užklausą pagal jos sudėtingumą. Pateikite tik šį JSON:{"sunkumas": "paprastas|sudėtingas"}Paprastas: vieno žingsnio, formulinis, trumpas atsakymas.Sudėtingas: reikia kelių žingsnių samprotavimo, analizės arba ilgo generavimo. Užklausa: """{{request}}"""

• eikite į paprastą → greitą modelį (pigus, greitas).
• eikite į sudėtingas → galingas modelis (brangus, bet būtinas).

Šis modelis žymiai sumažina vidutines išlaidas, nes didžioji srauto dalis paprastai yra paprasta.

Patarimas: sprendimui dėl siuntimo ne visada reikalingas LLM. Paprastos taisyklės, pvz., „Pereikite prie greito modelio, jei tekstas yra mažesnis nei 20 žodžių“, taip pat yra vadovas ir nereikalauja jokių papildomų mokesčių. Pirmiausia išbandykite taisyklę.

Pasirinkimo susiejimas su įrodymais: mažoji epochos grupė

Nesirinkite modelio pagal „man atrodo geriau“. Eval (vertinimo rinkinys) – tai nedidelis imčių rinkinys, kurio teisingas atsakymas žinomas; paleidžiate kiekvieną modelį šiame rinkinyje ir matuojate tikslumą, kainą ir delsą.

# Eval sąrankos šablonas1) Surinkite 20–50 tikrų pavyzdžių, kiekviename ranka parašykite „teisingą atsakymą“.2) Paleiskite kiekvieną modelį (greitas/subalansuotas/stiprus) šiame rinkinyje.3) Kiekvienam modeliui: pataisymų skaičius, vidutinės pralaidos žetonai, kaina už užklausą, vidutinis laikas.4) Pasirinkite modelį, kuris „pigiau suteikia pakankamai tikslumo“.

# Eval palyginimo lentelė (užpildykite)Modelis | Tikslumas | Užklausos kaina | Vidutinė trukmėHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek

Silpnas raginimas / Stiprus raginimas (modelio pasirinkimo sprendimas)

# SILPNAS (nėra pagrindo sprendimui) Naudokime geriausią modelį, biudžetas nėra svarbus.

# STIPRUS (sprendimas pagrįstas matavimu) Vertinant 50 mėginių, Haiku davė 96% tikslumą, Sonnetas davė 97% tikslumą; Skirtumas statistiškai nereikšmingas. Pasirinktas haiku, nes jis 5 kartus pigesnis ir 2 kartus greitesnis. Jei tikslumas nukris žemiau 95%, sprendimas atnaujinti į Sonnetą bus priimtas automatiškai.

Galinga versija; susieja pasirinkimą su skaičiumi, slenksčiu ir eskalavimo taisykle. Tai ir gina šiandieninį sprendimą, ir valdo būsimus pokyčius.

Trys mini dėklai

1 atvejis – pabėgimas nuo galingo modelio. Skambučių centras kūrė visas pokalbių su Opus santraukas; mėnesinė sąskaita buvo didelė. Įvertinus 40 mėginių, „Sonnet“ tikslumu nuo „Opus“ atsiliko 1%, tačiau kainavo trečdalį. Jie perkėlė apibendrintą darbą į Sonetą; mėnesinės išlaidos sumažėjo nuo 9 000 USD iki 3 100 USD be jokių skundų dėl kokybės.

2 atvejis – mišrus srautas su peradresavimu. 80 % teisinių technologijų komandos užklausų buvo paprastas dokumentų žymėjimas, 20 % – sudėtinga sutarčių analizė. Jie siuntė juos visus į galingą modelį. Jie pridėjo pigų maršruto parinktuvą ir paskirstė paprastus darbus į Haiku ir sudėtingus darbus Opusui; vidutinė užklausų kaina sumažėjo 64%, o analizės kokybė buvo išlaikyta.

3 atvejis – sumažinimo be matavimo kaina. Siekdama sumažinti išlaidas, viena komanda sumažino sudėtingo medicininio kodo išgavimą tiesiai į greitąjį modelį; Jie neįvertino. Tiesiogiai tikslumas sumažėjo nuo 92% iki 78%, todėl buvo grąžintos neteisingos išvados. Pirmiausia jie turėjo įvertinti: šiai užduočiai reikėjo galingo modelio. Pamoka: tiek sumažinimas, tiek pakėlimas atliekami matuojant.

Dažnos klaidos

• „Stipriausio modelio“ refleksas: švaistymas ir bereikalingas delsimas atliekant paprastas užduotis.
• Modelio keitimas nematuojant: ir sumažinimas, ir padidinimas yra rizikingi be įvertinimo.
• Prisijungimas prie vieno modelio: maršruto parinkimas mišraus eismo dažnai yra efektyvesnis.
• Visada painiojame maršrutizatorių su LLM: paprastos taisyklės gali veikti be jokių išlaidų.
• Nenustatoma padidinimo slenksčio: kas atsitiks, jei tikslumas sumažės, turėtų būti nustatytas iš anksto.
• Netaisykite modelio versijos: Įrašykite, su kuriuo modeliu / versija dirbate gamyboje; Versijos pakeitimas gali pakeisti elgesį.

Deeper: Perpetuating Eval ir Incremental Trial

Modelio pasirinkimas nėra vienkartinis sprendimas. Teikėjai pristato naujus modelius, keičiasi kainos, tobulėja jūsų pareigybės aprašymas. Taigi vieną kartą sukurkite eval klasterį ir nepamirškite; laikyk jį kaip gyvą būtybę. Kai pasirodo naujas modelis, paleidžiate tuos pačius 20–50 pavyzdžių, atnaujinate lentelę ir dar kartą priimate sprendimą. Tai apsaugo jus nuo „schemos keitimo intuicijos“ spąstų.

Antroji pažangi technika yra atsarginis / kaskadinis modelis. Pirmiausia duodate užduotį pigiam modeliui; Jei išvestis yra mažai patikima arba patvirtinimo sluoksnis (11 blokas) ją atmeta, jūs išplėtote tą pačią užklausą. Taigi didžioji srauto dalis išsprendžiama pigiame modelyje, o tik likusi mažuma atitenka brangiam modeliui. Tai ir pigiau, ir patvariau nei fiksuotas vieno modelio metodas.

Trečias dalykas yra tas, kad įvertinimas apima ne tik tikslumą, bet ir išlaidas bei delsą. Jei modelis yra 1 % tikslesnis, bet 3 kartus brangesnis ir 2 kartus lėtesnis, daugumos darbų atlikti kompromisą neverta. Priimkite sprendimą pagal tris ašis (tikslumas, kaina, delsa) ir apibrėžkite „pakankamumo slenkstį“: „jei tikslumas didesnis nei 95%, rinkitės pigiausią“.

Galiausiai įrašykite, kurį modelį/versiją naudojote gamyboje. Jei vieną dieną pasikeis išvesties kokybė, pirmiausia pažiūrėsite, ar pasikeitė modelio versija. Versijos atsekamumas leidžia greičiau rasti pagrindinę kokybės problemų priežastį.

Dar vienas įspėjimas: eval klasteris turėtų atspindėti jūsų faktinį darbo krūvį. Evalas, susidedantis tik iš lengvų pavyzdžių, slepiasi, kai modelis suklumpa sunkiais atvejais ir užliūliuoja klaidingu pasitikėjimu. Geras evalas; Jame pateikiami įprasti paprasti pavyzdžiai, taip pat paprasti atvejai, su kuriais susiduriate realybėje (dviprasmiški, neišsamūs, prieštaringi įvedimai). Ši sudėtinga mažuma lemia jūsų modelio pasirinkimą, nes kiekvienam modeliui vis tiek pavyksta lengviausia dauguma. Laikykite savo Eval šviežią ir reprezentatyvų, periodiškai pateikdami naujų tikrų pavyzdžių.

Apibendrinant

Tinkamas modelis yra lengviausias modelis, kuris atlieka darbą; Galingesnis nėra geresnis kiekviename darbe, jis tiesiog brangesnis ir lėtesnis. Klasifikuojant užduotį ir pradedant nuo lengviausio kandidato, paskirstant mišrų srautą su maršrutizavimu ir pagrindžiant pasirinkimą nedideliu įvertinimų rinkiniu, išlaidos daug kartų sumažinamos išlaikant kokybę.

Taikymo užduotis

Pasirinkite darbo krūvį. (1) Klasifikuokite užduotį kaip paprasta/sudėtinga. (2) Sukurkite nedidelį 20 realių pavyzdžių rinkinį (su teisingais atsakymais). (3) Sudarykite planą, kaip užpildyti trijų modelių klasių tikslumo / sąnaudų / laiko palyginimo lentelę. (4) Jei srautas yra mišrus, parašykite maršruto parinkimo taisyklę ir nustatykite eskalavimo slenkstį.

kontrolinis sąrašas

• [ ] Galiu palyginti modelių šeimą pajėgumų / greičio / sąnaudų ašyje.
• [ ] Galiu taikyti „lengviausio sėkmingo modelio“ principą.
• [ ] Galiu nustatyti modelio maršrutą pagal užduoties sudėtingumą.
• [ ] Turėdamas nedidelį eval rinkinį galiu susieti atranką su įrodymais.
• [ ] Galiu nustatyti atnaujinimo/pažeminimo slenkstį.