Odabir modela: pravi model za pravi posao — API, cijena i integracija

Dobici:

Može usporediti obitelj modela (brz/uravnotežen/snažan) u pogledu sposobnosti, brzine i cijene
Dizajnira odabir modela i strategije usmjeravanja prema složenosti zadatka
Temelji odabir modela na dokazima s malim skupom procjena

Jedina odluka koja određuje vaš najveći učinak za vaš novac i kvalitetu integracije LLM-a jest koji ćete model koristiti. Uobičajeni refleks je “odaberi najjači model”; Međutim, to često znači nepotrebne troškove i kašnjenja. Pravi pristup je odabrati najlakši model koji ispunjava svaki zadatak i temeljiti taj izbor na mjerenju, a ne nagađanju. U ovoj ćete jedinici usporediti obitelj modela na osi mogućnosti/brzine/troška, uspostaviti strategiju usmjeravanja modela prema složenosti zadatka i dokazati odabir malim skupom procjena.

Razumijevanje uzorne obitelji

Davatelji općenito nude tri klase: brzi/jeftini, stabilni i snažni. Odnos između njih sažet je na tri osi: sposobnost (moć za rješavanje teških zadataka), brzina (latencija), trošak (cijena tokena).

razreda

primjer

talent

brzina

trošak

Dostupni zadaci

brzo

Haiku 4.5

srednji

vrlo visoko

nizak

Klasifikacija, označavanje, kratki sažetak, orijentacija

uravnotežena

sonet 5

visoka

srednji

Opća namjena, kodiranje, tijek u više koraka, većina agenata

snažna

Opus 4.8

najviši

srednji

visoka

Složeno razmišljanje, dugotrajni autonomni zadaci, teška analiza

Kritičan uvid: moćniji model ne radi bolje na svakom poslu. U jednostavnom označavanju "hitno ili ne", jaki i brzi model daju isti točan odgovor; jedina razlika je što je moćnik 5 puta skuplji i sporiji. Dodatni talent proizvodi vrijednost samo kada to zahtijeva misija.

Korak po korak: Kako odabrati model?

Klasificirajte zadatak. Je li rutinski/po uzorku (označavanje, zaključivanje) ili otvoren/u više koraka (analiza, planiranje, kod)?
Počnite s najlakšim kandidatom. Pokušajte s brzim modelom. Ako je to dovoljno, prestani.
Ako nije dovoljno, prijeđi u viši razred. Ako je točnost niska, idite na uravnoteženi, ako to nije dovoljno, idite na jaki.
Mjerite, ne nagađajte. Usporedite točnost i cijenu svakog kandidata s malim skupom ocjena (ispod).
Postavite preusmjeravanje. Umjesto povezivanja s jednim modelom, rasporedite zadatak na pravi model pomoću "usmjerivača".

Usmjeravanje modela

Stvarna radna opterećenja su mješovita: većina dolaznih zahtjeva je jednostavna, neki su teški. Šteta je sve ih slati na moćni model; Slanje svih u brzi model smanjuje kvalitetu. Usmjeravanje to rješava: jeftini model (ili jednostavno pravilo) prvo klasificira zadatak, a zatim posao ide odgovarajućem modelu.

# Prompt usmjerivača (radi s jeftinim modelom) Klasificirajte dolazni zahtjev prema težini. Vrati samo sljedeći JSON:{"difficulty": "simple|complex"}Jednostavan: jedan korak, formuliran, kratak odgovor. Kompleksan: zahtijeva razmišljanje u više koraka, analizu ili dugo generiranje. Zahtjev: """{{request}}"""

idi na jednostavan → brzi model (jeftino, brzo).
idite na složen → snažan model (skup ali neophodan).

Ovaj uzorak značajno smanjuje prosječni trošak jer je većina prometa općenito jednostavna.

Savjet: odluka o preporuci ne zahtijeva uvijek LLM. Jednostavna pravila poput "Idite na brzi model ako je tekst kraći od 20 riječi" također su vodič i ne donose nikakav dodatni trošak simbola. Prvo isprobajte pravilo.

Povezivanje izbora s dokazima: mali klaster procjene

Nemojte birati model na temelju "bolje mi stoji". Eval (evaluation set) je mali skup uzoraka za koje je poznat točan odgovor; pokrećete svaki model na ovom skupu i mjerite točnost, cijenu i kašnjenje.

# Eval setup predložak1) Prikupite 20-50 stvarnih primjera, rukom napišite "točan odgovor" na svakom.2) Pokrenite svaki model (brz/uravnotežen/jak) na ovom skupu.3) Za svaki model: broj ispravaka, prosječni protok tokena, cijena po zahtjevu, prosječno vrijeme.4) Odaberite model koji "najjeftinije daje dovoljnu točnost".

# Eval usporedna tablica (ispuni) Model | Točnost | Cijena po zahtjevu | Prosječno trajanjeHaiku | ...% | ... $ | ... snSonet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek

Slab upit / Jak upit (odluka o odabiru modela)

# SLABO (nema osnove za odluku)Idemo koristiti najbolji model, proračun nije bitan.

# JAKO (odluka na temelju mjerenja) U ocjeni 50 uzoraka, Haiku je dao 96% točnosti, Sonnet je dao 97% točnosti; Razlika je statistički beznačajna. Haiku je odabran jer je 5 puta jeftiniji i 2 puta brži. Ako točnost padne ispod 95%, automatski će se donijeti odluka o nadogradnji na Sonnet.

Snažna verzija; povezuje odabir s brojem, pragom i pravilom eskalacije. Time se brani današnja odluka i upravlja budućom promjenom.

Tri mini kućišta

Slučaj 1 — Bijeg od nadmoćnog modela. Pozivni centar proizvodio je sve sažetke razgovora s Opusom; mjesečni račun je bio visok. Na ocjeni od 40 uzoraka, Sonnet je bio 1% iza Opusa u točnosti, ali je koštao jednu trećinu. Premjestili su sažeti rad u Sonet; mjesečni trošak pao je s 9000 USD na 3100 USD, bez pritužbi na kvalitetu.

Slučaj 2 — Mješoviti promet s preusmjeravanjem. 80% zahtjeva pravnog tehničkog tima bilo je jednostavno označavanje dokumenata, 20% bila je složena analiza ugovora. Sve su ih slali moćnom modelu. Dodali su jeftini usmjerivač i distribuirali jednostavne poslove Haikuu, a složene poslove Opusu; prosječni trošak zahtjeva pao je za 64%, dok je kvaliteta analize zadržana.

Slučaj 3 — Trošak smanjenja bez mjerenja. Kako bi smanjio troškove, jedan tim smanjio je ekstrakciju složenog medicinskog koda izravno na brzi model; Nisu ocjenjivali. Uživo, točnost je pala s 92% na 78%, što je rezultiralo vraćanjem netočnih zaključaka. Prvo su morali procijeniti: taj je zadatak zahtijevao snažan model. Pouka: i smanjenje i podizanje se vrše mjerenjem.

Uobičajene greške

Refleks "najjačeg modela": Rasipanje i nepotrebno odgađanje jednostavnih zadataka.
Promjena modela bez mjerenja: I smanjenje i povećanje su riskantni bez procjene.
Zaključavanje u jedan model: Usmjeravanje u mješovitom prometu često je učinkovitije.
Uvijek pogrešno zamijenite usmjerivač za LLM: Jednostavna pravila mogu funkcionirati bez troškova.
Nepostavljanje praga povećanja: Što se događa ako točnost padne treba definirati unaprijed.
Bez popravljanja verzije modela: Zabilježite na kojem modelu/verziji radite u proizvodnji; Promjena verzije može promijeniti ponašanje.

Dublje: Perpetuating Eval and Incremental Trial

Odabir modela nije jednokratna odluka. Pružatelji usluga uvode nove modele, cijene se mijenjaju, opis vašeg posla se razvija. Dakle, postavite eval klaster jednom i ne zaboravite; drži ga kao živo biće. Kad izađe novi model, prođete kroz njega istih 20-50 uzoraka, ažurirate tablicu i ponovno donesete odluku. To vas štiti od zamke "intuicije mijenjanja obrazaca".

Druga napredna tehnika je rezervni/kaskadni uzorak. Prvo zadajete zadatak jeftinom modelu; Ako izlaz ima nisku pouzdanost ili ga verifikacijski sloj (jedinica 11) odbije, eskalirate isti zahtjev. Dakle, većina prometa rješava se na jeftinom modelu, dok samo preostala manjina ide na skupi model. Ovo je i jeftinije i trajnije od fiksnog pristupa s jednim modelom.

Treća točka je da eval ne uključuje samo točnost, već i cijenu i latenciju. Ako je model 1% točniji, ali 3 puta skuplji i 2 puta sporiji, kompromis se ne isplati za većinu poslova. Donesite odluku po tri osi (točnost, trošak, latencija) i definirajte "prag dostatnosti": "ako je točnost iznad 95%, odaberite najjeftinije."

Na kraju zabilježite koji ste model/verziju koristili u proizvodnji. Ako se jednog dana kvaliteta ispisa promijeni, prvo što ćete pogledati jest je li se verzija modela promijenila. Sljedivost verzije omogućuje brže pronalaženje uzroka problema s kvalitetom.

Još jedno upozorenje: klaster eval trebao bi predstavljati vaše stvarno radno opterećenje. Ocjena koja se sastoji samo od lakih primjera skriva gdje model posrće u teškim slučajevima i uljuljkuje vas u lažno povjerenje. A good eval; Uključuje uobičajene jednostavne primjere kao i slučajeve u kutu s kojima se susrećete u stvarnosti (dvosmisleni, nepotpuni, kontradiktorni unosi). Ta teška manjina određuje vaš izbor modela, jer ionako svaki model uspijeva u lakoj većini. Održavajte svoj Eval svježim i reprezentativnim tako što ćete ga povremeno hraniti novim pravim primjercima.

Ukratko

Pravi model je najlakši model koji obavlja posao; More powerful isn't better at every job, it's just more expensive and slower. Klasificiranje zadatka i počevši od najlakšeg kandidata, distribucija mješovitog prometa s usmjeravanjem i potkrijepljivanje odabira s malim skupom ocjena višestruko smanjuje trošak uz održavanje kvalitete.

Zadatak aplikacije

Odaberite radno opterećenje. (1) Klasificirajte zadatak kao jednostavan/složen. (2) Dizajnirajte mali skup od 20 pravih primjera (s njihovim točnim odgovorima). (3) Napravite plan za popunjavanje tablice usporedbe točnosti/cijene/vremena za tri klase modela. (4) Ako imate mješoviti promet, napišite pravilo usmjeravanja i postavite prag eskalacije.

popis za provjeru

[ ] Mogu usporediti obitelj modela na osi mogućnosti/brzine/cijene.
[ ] Mogu primijeniti načelo "najlakšeg uspješnog modela".
[ ] Mogu postaviti model usmjeravanja prema složenosti zadatka.
[ ] S malim skupom eval mogu povezati odabir s dokazima.
[ ] Mogu definirati prag nadogradnje/degradacije.