Mudelivalik: õige mudel õigeks tööks

Kasu:

• Saab võrrelda mudeliperekonda (kiire/tasakaalustatud/võimas) võimekuse, kiiruse ja kulude osas
• Kavandab mudelivaliku ja marsruutimise strateegiad vastavalt ülesande keerukusele
• Mudelivaliku aluseks on tõendusmaterjal, millel on väike arv väärtusi

Ainuke otsus, mis määrab teie kulu ja kvaliteedi LLM-i integreerimisel, on see, millist mudelit te kasutate. Üldine refleks on "vali tugevaim mudel"; Sageli tähendab see aga tarbetuid kulusid ja viivitusi. Õige lähenemisviis on valida kõige kergem mudel, mis täidab iga ülesande, ja tugineda selle valiku mõõtmisele, mitte oletustele. Selles üksuses saate võrrelda mudeliperekonda võime/kiiruse/kulu teljel, koostada mudeli marsruutimise strateegia vastavalt ülesande keerukusele ja tõendada valikut väikese hulga hinnangutega.

Mudelperekonna mõistmine

Pakkujad pakuvad üldiselt kolme klassi: kiire/odav, stabiilne ja võimas. Nendevahelised suhted on kokku võetud kolmel teljel: võime (võime raskete ülesannete lahendamiseks), kiirus (latentsus), kulu (märkhind).

klass

näide

talent

kiirust

Maksumus

Saadaolevad ülesanded

kiire

Haiku 4.5

keskmine

väga kõrge

madal

Klassifitseerimine, märgistamine, lühikokkuvõte, suund

tasakaalustatud

sonett 5

kõrge

kõrge

keskmine

Üldotstarbeline, kodeerimine, mitmeastmeline voog, enamik agenditöö

tugev

Opus 4.8

kõrgeim

keskmine

kõrge

Keeruline arutluskäik, pikaajalised autonoomsed ülesanded, keeruline analüüs

Kriitiline ülevaade: võimsam mudel ei toimi iga töö puhul paremini. Lihtsa "kiire või mitte" märgistuse korral annavad tugev mudel ja kiire mudel sama õige vastuse; vahe on vaid selles, et võimas on 5 korda kallim ja aeglasem. Lisatalent toodab väärtust ainult siis, kui missioon seda nõuab.

Samm-sammult: kuidas mudelit valida?

1. Klassifitseerige ülesanne. Kas see on rutiinne/mustriline (märgistamine, järeldus) või avatud/mitmeetapiline (analüüs, planeerimine, kood)?
2. Alustage kõige kergema kandidaadiga. Proovige seda kiire mudeliga. Kui sellest piisab, lõpetage.
3. Kui sellest ei piisa, minge kõrgemasse klassi. Kui täpsus on madal, mine tasakaalukale, kui sellest ei piisa, siis tugevama poole.
4. Mõõtke, ärge arvake. Võrrelge iga kandidaadi täpsust ja maksumust väikese evali komplektiga (allpool).
5. Seadistage ümbersuunamine. Ühe mudeliga ühenduse loomise asemel jagage ülesanne "ruuteriga" õigele mudelile.

Mudeli marsruutimine

Tegelik töökoormus on segane: enamik sissetulevaid päringuid on lihtsad, mõned keerulised. Neid kõiki võimsa mudeli juurde saata on raiskamine; Nende kõigi kiirmudelisse saatmine vähendab kvaliteeti. Marsruutimine lahendab selle: odav mudel (või lihtne reegel) klassifitseerib kõigepealt ülesande, seejärel läheb töö sobivale mudelile.

# Ruuteri viip (töötab odava mudeliga) Liigitage sissetulev päring selle raskusastme järgi. Tagasta ainult järgmine JSON:{"raskusaste": "lihtne|kompleks"}Lihtne: üheastmeline, valemiga, lühikese vastusega.Keeruline: nõuab mitmeastmelist arutluskäiku, analüüsi või pikka genereerimist.Taotlus: """{{request}}"""

• minge lihtsa → kiire mudeli juurde (odav, kiire).
• minge keerulise → võimsa mudeli juurde (kallis, kuid vajalik).

See muster vähendab oluliselt keskmisi kulusid, kuna suurem osa liiklusest on üldiselt lihtne.

Näpunäide: suunamisotsus ei nõua alati LLM-i. Lihtsad reeglid, nagu „Mine kiirmudeli juurde, kui tekst on lühem kui 20 sõna”, on samuti juhised ja toovad nulli lisatasu. Proovige kõigepealt reeglit.

Valiku sidumine tõenditega: Väike Eval Cluster

Ärge vali mudelit selle järgi, et "see tundub mulle parem". Eval (hindamiskomplekt) on väike kogum valimeid, mille õige vastus on teada; käitate selles komplektis iga mudelit ja mõõdate täpsust, maksumust ja latentsust.

# Eval setup template1) Koguge 20–50 tõelist näidet, kirjutage igaühele käsitsi "õige vastus".2) Käivitage selles komplektis iga mudel (kiire/tasakaalustatud/tugev).3) Iga mudeli puhul: paranduste arv, keskmise läbilaskevõime märgid, päringu hind, keskmine aeg.4) Valige mudel, mis "annab piisava täpsuse ja odavaim".

# Eval võrdlustabel (täitke)Mudel | Täpsus | Maksumus taotluse kohta | Keskmine kestusHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek

Nõrk viip / Tugev viip (mudeli valiku otsus)

# NÕRK (otsuse alus puudub)Kasutame parimat mudelit, eelarve pole oluline.

# TUGEV (otsus põhineb mõõtmisel) 50 proovi hindamisel andis Haiku 96% täpsuse, Sonneti täpsuse 97%; Erinevus on statistiliselt ebaoluline. Haiku sai valitud, kuna see on 5 korda odavam ja 2 korda kiirem. Kui täpsus langeb alla 95%, tehakse Sonneti versioonile ülemineku otsus automaatselt.

Võimas versioon; seob valiku numbri, läve ja eskalatsioonireegliga. See kaitseb nii tänast otsust kui juhib tulevasi muutusi.

Kolm miniümbrist

Juhtum 1 – põgenemine ülivõimsa mudeli eest. Kõnekeskus koostas kõik Opusega peetud vestluste kokkuvõtted; kuu arve oli suur. 40 valimi hindamisel jäi Sonnet täpsuse osas Opusest maha 1%, kuid maksis kolmandiku. Nad viisid kokkuvõtliku teose Sonetti; igakuised kulud langesid 9000 dollarilt 3100 dollarile, ilma kvaliteedikaebusteta.

Juhtum 2 – ümbersuunamisega segaliiklus. 80% juriidilise tehnikameeskonna taotlustest olid lihtsad dokumendisildid, 20% keerukad lepinguanalüüsid. Nad saatsid nad kõik võimsa mudeli juurde. Nad lisasid odava ruuteri ja jagasid lihtsad tööd Haikule ja keerulised tööd Opusele; keskmine päringu maksumus langes 64%, samas kui analüüsi kvaliteet säilis.

Juhtum 3 – ilma mõõtmiseta suuruse vähendamise kulud. Kulude vähendamiseks vähendas üks meeskond keeruka meditsiinilise koodi ekstraheerimist otse kiirele mudelile; Nad ei hinnanud. Reaalajas langes täpsus 92%-lt 78%-le, mille tulemuseks oli valed järeldused. Nad pidid kõigepealt hindama: see ülesanne nõudis võimsat mudelit. Õppetund: nii vähendamine kui ka tõstmine toimub mõõtmise teel.

Levinud vead

• "Tugevaim mudeli" refleks: raiskamine ja tarbetu viivitus lihtsate ülesannete täitmisel.
• Mudeli muutmine ilma mõõtmiseta: nii vähendamine kui ka suurendamine on ilma hindamata riskantne.
• Ühe mudeli lukustamine: marsruutimine segaliikluses on sageli tõhusam.
• Ruuterit alati LLM-iga segi ajades: lihtsad reeglid võivad töötada nullkuluga.
• Tõukeläve määramata jätmine: mis juhtub, kui täpsus langeb, tuleks eelnevalt määratleda.
• Mudeliversiooni parandamata jätmine: märkige üles, millise mudeli/versiooni kallal tootmises töötate; Versiooni muutmine võib käitumist muuta.

Deeper: Evali põlistamine ja järkjärguline kohtuprotsess

Mudelivalik ei ole ühekordne otsus. Pakkujad tutvustavad uusi mudeleid, hinnad muutuvad, teie ametijuhend areneb. Nii et looge üks kord eval klaster ja ärge unustage; hoia seda nagu elusolend. Kui uus mudel välja tuleb, jooksete selle läbi samad 20-50 näidist, värskendate tabelit ja teete oma otsuse uuesti. See kaitseb teid "mustrite vahetamise intuitsiooni" lõksu eest.

Teine täiustatud tehnika on varu-/kaskaadmuster. Esimesena annad ülesande odavale mudelile; Kui väljund on madala usaldusväärsusega või kui kinnituskiht (üksus 11) lükkab selle tagasi, edastate sama taotluse. Nii et suurem osa liiklusest lahendatakse odava mudeli järgi, ainult ülejäänud vähemus läheb kallile mudelile. See on nii odavam kui ka vastupidavam kui fikseeritud ühe mudeli lähenemisviis.

Kolmas punkt on see, et hindamine ei hõlma ainult täpsust, vaid ka kulusid ja latentsust. Kui mudel on 1% täpsem, kuid 3 korda kallim ja 2 korda aeglasem, pole kompromiss enamiku tööde puhul seda väärt. Tehke otsus mööda kolme telge (täpsus, maksumus, latentsus) ja määrake "piisavuse lävi": "kui täpsus on üle 95%, valige odavaim."

Lõpuks märkige üles, millist mudelit/versiooni te tootmises kasutasite. Kui ühel päeval väljundkvaliteet muutub, vaatate esimese asjana, kas mudeli versioon on muutunud. Versiooni jälgitavus võimaldab kiiremini leida kvaliteediprobleemide algpõhjuseid.

Veel üks hoiatus: eval-klaster peaks esindama teie tegelikku töökoormust. Vaid lihtsatest näidetest koosnev eval peidab endas seda, kus modell keerulistel juhtudel komistab ja sind võltsusse uinutab. Hea eval; See sisaldab nii levinud lihtsaid näiteid kui ka tegelikkuses esinevaid nurgajuhtumeid (mitmetähenduslikud, mittetäielikud, vastuolulised sisendid). See raske vähemus määrab teie mudelivaliku, sest igal mudelil õnnestub niikuinii kerges enamuses. Hoidke oma Eval värske ja esinduslik, andes sellele perioodiliselt uusi tõelisi näiteid.

Kokkuvõttes

Õige mudel on kõige kergem mudel, mis saab töö tehtud; Võimsam pole iga töö juures parem, see on lihtsalt kallim ja aeglasem. Ülesande klassifitseerimine ja kõige kergemast kandidaadist alustamine, segaliikluse jaotamine marsruutimisega ja valiku põhjendamine väikese evalite komplektiga vähendab kulusid kordades, säilitades samal ajal kvaliteedi.

Rakenduse ülesanne

Valige töökoormus. (1) Liigitage ülesanne lihtsaks/keeruliseks. (2) Koostage 20 reaalsest näitest koosnev väike komplekt (koos nende õigete vastustega). (3) Koostage plaan kolme mudeliklassi täpsuse/kulu/aja võrdlustabeli täitmiseks. (4) Kui teil on segaliiklus, kirjutage marsruudireegel ja määrake eskalatsioonilävi.

kontrollnimekiri

• [ ] Mudelite perekonda saan võrrelda võime/kiirus/kulu teljel.
• [ ] Oskan rakendada "kergeima eduka mudeli" põhimõtet.
• [ ] Saan seadistada mudeli marsruutimise vastavalt ülesande keerukusele.
• [ ] Väikese evali hulgaga saan valiku siduda tõenditega.
• [ ] Saan määratleda täiendamise/alandamise läve.