Mallin valinta: Oikea malli oikeaan työhön

Voitot:

• Voi vertailla malliperhettä (nopea/tasapainoinen/tehokas) suorituskyvyn, nopeuden ja kustannusten suhteen
• Suunnittelee mallien valinnan ja reititysstrategiat tehtävän monimutkaisuuden mukaan
• Perustaa mallin valinnan todisteisiin pienellä eval-joukolla

Yksittäinen päätös, joka määrittää parhaan vastineen ja laadun LLM-integraatiossa, on käyttämäsi malli. Yleinen refleksi on "valitse vahvin malli"; Tämä tarkoittaa kuitenkin usein tarpeettomia kustannuksia ja viivästyksiä. Oikea lähestymistapa on valita kevyin malli, joka suorittaa jokaisen tehtävän, ja perustaa valinta mittauksiin, ei arvauksiin. Tässä yksikössä vertaat malliperhettä kyky/nopeus/kustannus-akselilla, määrität mallin reititysstrategian tehtävän monimutkaisuuden mukaan ja todistat valinnan pienellä arvioinnilla.

Malliperheen ymmärtäminen

Palveluntarjoajat tarjoavat yleensä kolme luokkaa: nopea/halpa, vakaa ja tehokas. Niiden välinen suhde on tiivistetty kolmelle akselille: kyky (voima ratkaista vaikeita tehtäviä), nopeus (latenssi), kustannukset (merkkihinta).

luokkaa

esimerkki

lahjakkuutta

nopeus

Kustannukset

Käytettävissä olevat tehtävät

nopeasti

Haiku 4.5

keskikokoinen

erittäin korkea

alhainen

Luokitus, merkinnät, lyhyt yhteenveto, suunta

tasapainoinen

sonetti 5

korkea

korkea

keskikokoinen

Yleiskäyttöinen, koodaus, monivaiheinen kulku, useimmat agenttityöt

vahva

Opus 4.8

korkein

keskikokoinen

korkea

Monimutkainen päättely, pitkän kantaman itsenäiset tehtävät, vaikea analyysi

Kriittinen näkemys: tehokkaampi malli ei toimi paremmin kaikissa töissä. Yksinkertaisessa "kiireellinen tai ei" -merkinnässä vahva malli ja nopea malli antavat saman oikean vastauksen; ainoa ero on, että tehokas on 5 kertaa kalliimpi ja hitaampi. Ylimääräinen lahjakkuus tuottaa arvoa vain silloin, kun tehtävä vaatii sitä.

Askel askeleelta: kuinka valita malli?

1. Luokittele tehtävä. Onko se rutiini/kuvioitu (etiketti, päättely) vai avoin/monivaiheinen (analyysi, suunnittelu, koodi)?
2. Aloita kevyimmästä ehdokkaasta. Kokeile nopealla mallilla. Jos se riittää, lopeta.
3. Jos se ei riitä, siirry ylempään luokkaan. Jos tarkkuus on alhainen, siirry tasapainoiseen, jos se ei riitä, siirry vahvaan.
4. Mittaa, älä arvaa. Vertaa kunkin ehdokkaan tarkkuutta ja kustannuksia pieneen eval-sarjaan (alla).
5. Määritä uudelleenohjaus. Sen sijaan, että muodostaisit yhteyden yhteen malliin, jaa tehtävä oikealle mallille "reitittimen" avulla.

Mallin reititys

Todelliset työmäärät ovat sekalaisia: useimmat saapuvat pyynnöt ovat yksinkertaisia, osa vaikeita. On turhaa lähettää ne kaikki tehokkaaseen malliin; Niiden kaikkien lähettäminen nopeaan malliin heikentää laatua. Reititys ratkaisee tämän: halpa malli (tai yksinkertainen sääntö) luokittelee ensin tehtävän, sitten työ siirtyy sopivaan malliin.

# Reititinkehote (toimii halvan mallin kanssa) Luokittele saapuva pyyntö sen vaikeusasteen mukaan. Palauta vain seuraava JSON:{"vaikeusaste": "yksinkertainen|monimutkainen"}Yksinkertainen: yksivaiheinen, kaava, lyhyt vastaus. Monimutkainen: vaatii monivaiheisen päättelyn, analyysin tai pitkän luonnin. Pyyntö: """{{pyyntö}}"""

• siirry yksinkertaiseen → nopeaan malliin (halpa, nopea).
• Siirry kohtaan monimutkainen → tehokas malli (kallis mutta välttämätön).

Tämä malli pienentää merkittävästi keskimääräisiä kustannuksia, koska suurin osa liikenteestä on yleensä yksinkertaista.

Vinkki: Suosituspäätös ei aina edellytä LLM:tä. Yksinkertaiset säännöt, kuten "Siirry nopeaan malliin, jos teksti on alle 20 sanaa", ovat myös opastavia ja tuovat nolla lisäkuluja. Kokeile ensin sääntöä.

Valinnan yhdistäminen todisteisiin: Pieni Eval Cluster

Älä valitse mallia "se näyttää paremmalta minusta" perusteella. Eval (arviointijoukko) on pieni joukko näytteitä, joiden oikea vastaus tiedetään; käytät jokaista mallia tässä sarjassa ja mittaat tarkkuuden, hinnan ja viiveen.

# Eval setup template1) Kerää 20-50 todellista esimerkkiä, kirjoita käsin "oikea vastaus" kuhunkin.2) Suorita jokainen malli (nopea/tasapainoinen/vahva) tällä sarjalla.3) Jokaiselle mallille: korjausten määrä, keskimääräinen suoritusteho, hinta per pyyntö, keskimääräinen aika.4) Valitse malli, joka "antaa riittävän tarkkuuden ja halvin".

# Eval vertailutaulukko (täytä)Malli | Tarkkuus | Pyyntökohtainen hinta | Keskimääräinen kestoHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek

Heikko kehote / Vahva kehote (mallin valintapäätös)

# HEIKKO (ei perusteita päätökselle) Käytetään parasta mallia, budjetti ei ole tärkeä.

# VAHVA (mittaukseen perustuva päätös) 50 näytteen arvioinnissa Haiku antoi 96% tarkkuuden, Sonnet 97% tarkkuuden; Ero on tilastollisesti merkityksetön. Haiku valittiin, koska se on 5 kertaa halvempi ja 2 kertaa nopeampi. Jos tarkkuus putoaa alle 95 %, päätös päivittää Sonnetiin tehdään automaattisesti.

Tehokas versio; sitoo valinnan numeroon, kynnysarvoon ja eskalaatiosääntöön. Tämä sekä puolustaa tämän päivän päätöstä että hallitsee tulevaa muutosta.

Kolme minikoteloa

Tapaus 1 – Pakene ylivoimaista mallia. Puhelinkeskus tuotti kaikki keskusteluyhteenvedot Opuksen kanssa; kuukausilasku oli korkea. 40 näytteen arvioinnissa Sonnet oli 1 % jäljessä Opuksesta tarkkuudessa, mutta maksoi kolmanneksen. He siirsivät tiivistelmän Sonetiin; kuukausikustannukset putosivat 9 000 dollarista 3 100 dollariin ilman laatuvalituksia.

Tapaus 2 — Sekaliikenne uudelleenohjauksella. 80 % lakitekniikan tiimin pyynnöistä oli yksinkertaista dokumenttien merkitsemistä ja 20 % monimutkaista sopimusanalyysiä. He lähettivät heidät kaikki tehokkaan mallin luo. He lisäsivät halvan reitittimen ja jakoivat yksinkertaisia ​​töitä Haikulle ja monimutkaisia ​​töitä Opukselle; pyyntöjen keskimääräiset kustannukset laskivat 64 %, mutta analyysin laatu säilyi.

Tapaus 3 – Mittauksen vähentämisen kustannukset. Kustannusten vähentämiseksi yksi tiimi vähensi monimutkaisen lääketieteellisen koodin purkamisen suoraan nopeaan malliin; He eivät arvioineet. Live-tilassa tarkkuus putosi 92 prosentista 78 prosenttiin, mikä johti virheellisten päätelmien palautumiseen. Heidän täytyi ensin arvioida: tämä tehtävä vaati tehokkaan mallin. Oppitunti: sekä pienennys että nousu tehdään mittaamalla.

Yleisiä virheitä

• "Vahvin malli" -refleksi: tuhlausta ja tarpeetonta viivytystä yksinkertaisissa tehtävissä.
• Mallin vaihtaminen ilman mittausta: Sekä pienentäminen että suurentaminen ovat riskialttiita ilman arviointia.
• Lukiutuminen yhteen malliin: Sekaliikenteessä reititys on usein tehokkaampaa.
• Epäile reitittimen aina LLM:ksi: Yksinkertaiset säännöt voivat toimia ilman kustannuksia.
• Tehostusrajaa ei aseteta: Mitä tapahtuu, jos tarkkuus putoaa, on määritettävä etukäteen.
• Malliversion korjaamatta jättäminen: Kirjaa ylös, minkä mallin/version parissa työskentelet tuotannossa; Version muutos voi muuttaa käyttäytymistä.

Deeper: Perpetuating Eval and Incremental Trial

Mallin valinta ei ole kertaluonteinen päätös. Palveluntarjoajat esittelevät uusia malleja, hinnat muuttuvat, työnkuvasi kehittyy. Joten perusta eval-klusteri kerran ja älä unohda; pidä sitä kuin elävää olentoa. Kun uusi malli tulee ulos, käytät samat 20-50 näytettä sen läpi, päivität taulukon ja teet päätöksen uudelleen. Tämä suojaa sinua "kuvion vaihtavan intuition" ansalta.

Toinen edistynyt tekniikka on vara-/kaskadikuvio. Annat tehtävän ensin halvalle mallille; Jos lähdön luotettavuus on alhainen tai vahvistuskerros (yksikkö 11) hylkää sen, jatkat samaa pyyntöä. Joten suurin osa liikenteestä ratkaistaan ​​halvalla mallilla, ja vain jäljelle jäävä vähemmistö menee kalliille mallille. Tämä on sekä halvempaa että kestävämpää kuin kiinteä yhden mallin lähestymistapa.

Kolmas kohta on, että eval sisältää tarkkuuden lisäksi myös kustannukset ja latenssin. Jos malli on 1 % tarkempi, mutta 3 kertaa kalliimpi ja 2 kertaa hitaampi, kompromissi ei ole sen arvoinen useimmissa töissä. Tee päätös kolmella akselilla (tarkkuus, hinta, latenssi) ja määritä "riittävyyskynnys": "jos tarkkuus on yli 95%, valitse halvin."

Kirjaa lopuksi ylös, mitä mallia/versiota käytit tuotannossa. Jos jonakin päivänä tulosteen laatu muuttuu, katsot ensin, onko malliversio muuttunut. Version jäljitettävyys nopeuttaa laatuongelmien perimmäisen syyn löytämistä.

Vielä yksi varoitus: eval-klusterin pitäisi edustaa todellista työmäärääsi. Pelkästään helpoista esimerkeistä koostuva eval kätkee sisäänsä, missä malli kompastuu vaikeissa tapauksissa ja tuudittaa sinut väärään luottamukseen. Hyvä eval; Se sisältää yleisiä helppoja esimerkkejä sekä todellisuudessa kohtaamia kulmatapauksia (epäselviä, epätäydellisiä, ristiriitaisia ​​syötteitä). Tämä vaikea vähemmistö määrittää mallin valintasi, koska jokainen malli onnistuu joka tapauksessa helpossa enemmistössä. Pidä Evalisi tuoreena ja edustavana syöttämällä sille säännöllisesti uusia todellisia esimerkkejä.

Yhteenvetona

Oikea malli on kevyin malli, joka saa työn tehtyä; Tehokkaampi ei ole parempi jokaisessa työssä, se on vain kalliimpaa ja hitaampaa. Tehtävän luokittelu ja kevyimmästä ehdokkaasta aloittaminen, sekaliikenteen jakaminen reitityksellä ja valinnan perusteleminen pienellä arvosarjalla alentaa kustannuksia moninkertaisesti ja samalla laatu säilyy.

Sovellustehtävä

Valitse työmäärä. (1) Luokittele tehtävä yksinkertaiseksi/monimutkaiseksi. (2) Suunnittele pieni eval sarja 20 todellista esimerkkiä (oikeine vastauksineen). (3) Laadi suunnitelma tarkkuus/kustannus/aikavertailutaulukon täyttämiseksi kolmelle malliluokalle. (4) Jos sinulla on sekaliikennettä, kirjoita reitityssääntö ja aseta eskalaatiokynnys.

tarkistuslista

• [ ] Voin vertailla malliperhettä kyky/nopeus/kustannus-akselilla.
• [ ] Osaan soveltaa "kevyin onnistunut malli" -periaatetta.
• [ ] Pystyn määrittämään mallin reitityksen tehtävän monimutkaisuuden mukaan.
• [ ] Pienellä eval-joukolla voin sitoa valinnan todisteisiin.
• [ ] Voin määrittää päivitys-/alennuskynnyksen.