Pagpili ng Modelo: Ang Tamang Modelo para sa Tamang Trabaho

Mga nadagdag:

Maaaring ihambing ang pamilya ng modelo (mabilis/balanse/makapangyarihan) sa kakayahan, bilis at gastos
Nagdidisenyo ng pagpili ng modelo at mga diskarte sa pagruruta ayon sa pagiging kumplikado ng gawain
Ibinabatay ang pagpili ng modelo sa ebidensya na may maliit na hanay ng mga eval

Ang nag-iisang desisyon na tumutukoy sa iyong pinakamaraming halaga para sa iyong pera at kalidad sa pagsasama ng LLM ay kung aling modelo ang iyong ginagamit. Ang karaniwang reflex ay "piliin ang pinakamalakas na modelo"; Gayunpaman, madalas itong nangangahulugan ng mga hindi kinakailangang gastos at pagkaantala. Ang tamang diskarte ay ang piliin ang pinakamagaan na modelo na nagagawa ang bawat gawain at ibase ang pagpipiliang iyon sa pagsukat, hindi sa hula. Sa yunit na ito, ihahambing mo ang pamilya ng modelo sa axis ng kakayahan/bilis/gastos, magtatag ng diskarte sa pagruruta ng modelo ayon sa pagiging kumplikado ng gawain, at patunayan ang pagpili sa isang maliit na hanay ng mga pagsusuri.

Pag-unawa sa Modelong Pamilya

Karaniwang nag-aalok ang mga provider ng tatlong klase: mabilis/mura, matatag at malakas. Ang ugnayan sa pagitan ng mga ito ay buod sa tatlong palakol: kakayahan (kapangyarihan upang malutas ang mahihirap na gawain), bilis (latency), gastos (presyo ng token).

klase

halimbawa

talento

bilis

Gastos

Magagamit na mga gawain

mabilis

Haiku 4.5

daluyan

napakataas

mababa

Pag-uuri, pag-label, maikling buod, oryentasyon

balanse

soneto 5

mataas

daluyan

Pangkalahatang layunin, coding, multi-step na daloy, karamihan sa trabaho ng ahente

malakas

Opus 4.8

pinakamataas

daluyan

mataas

Kumplikadong pangangatwiran, pangmatagalang autonomous na mga gawain, mahirap na pagsusuri

Kritikal na pananaw: ang mas makapangyarihang modelo ay hindi gumaganap nang mas mahusay sa bawat trabaho. Sa isang simpleng label na "kagyat o hindi", ang malakas na modelo at ang mabilis na modelo ay nagbibigay ng parehong tamang sagot; ang kaibahan lang ay ang makapangyarihan ay 5 beses na mas mahal at mas mabagal. Ang sobrang talento ay nagbubunga lamang ng halaga kapag ang misyon ay nangangailangan nito.

Hakbang sa Hakbang: Paano Pumili ng Modelo?

Uriin ang gawain. Ito ba ay nakagawian/may pattern (pag-label, hinuha), o open-ended/multi-step (pagsusuri, pagpaplano, code)?
Magsimula sa pinakamagaan na kandidato. Subukan ito sa mabilis na modelo. Kung sapat na, itigil mo na.
Kung hindi ito sapat, umakyat sa mas mataas na klase. Kung mababa ang katumpakan, pumunta sa balanse, kung hindi sapat, pumunta sa malakas.
Sukatin, huwag hulaan. Ihambing ang katumpakan at gastos ng bawat kandidato sa isang maliit na hanay ng eval (sa ibaba).
I-set up ang pag-redirect. Sa halip na kumonekta sa isang modelo, ipamahagi ang gawain sa tamang modelo gamit ang isang "router".

Pagruruta ng Modelo

Ang mga totoong workload ay halo-halong: karamihan sa mga papasok na kahilingan ay simple, ang ilan ay mahirap. Sayang na ipadala silang lahat sa makapangyarihang modelo; Ang pagpapadala sa kanila ng lahat sa mabilis na modelo ay nagpapababa ng kalidad. Ang pagruruta ay malulutas ito: ang isang murang modelo (o isang simpleng panuntunan) ay inuuri muna ang gawain, pagkatapos ang trabaho ay mapupunta sa naaangkop na modelo.

# Router prompt (gumagana sa murang modelo) Uriin ang papasok na kahilingan ayon sa kahirapan nito. Ibalik lamang ang sumusunod na JSON:{"difficulty": "simple|complex"}Simple: single-step, formulaic, short-answer.Complex: nangangailangan ng multi-step reasoning, analysis, o long generation.Request: """{{request}}"""

pumunta sa simple → mabilis na modelo (mura, mabilis).
pumunta sa complex → makapangyarihang modelo (mahal ngunit kailangan).

Ang pattern na ito ay makabuluhang binabawasan ang average na gastos dahil karamihan sa trapiko ay karaniwang simple.

Tip: Ang isang desisyon sa referral ay hindi palaging nangangailangan ng isang LLM. Ang mga simpleng panuntunan tulad ng "Pumunta sa mabilis na modelo kung ang teksto ay mas mababa sa 20 salita" ay isa ring gabay at wala ring karagdagang gastos sa token. Subukan muna ang panuntunan.

Pag-uugnay ng Pagpili sa Ebidensya: Ang Maliit na Eval Cluster

Huwag pumili ng modelo batay sa "mas maganda ito sa akin". Ang eval (evaluation set) ay isang maliit na hanay ng mga sample kung saan alam ang tamang sagot; pinapatakbo mo ang bawat modelo sa set na ito at sinusukat ang katumpakan, gastos, at latency.

# Eval setup template1) Mangolekta ng 20-50 totoong halimbawa, isulat sa kamay ang "tamang sagot" sa bawat isa.2) Patakbuhin ang bawat modelo (mabilis/balanse/malakas) sa set na ito.3) Para sa bawat modelo: bilang ng mga corrects, average throughput token, cost per request, average time.4) Piliin ang modelong "nagbibigay ng sapat na katumpakan na pinakamurang".

# Eval comparison table (fill)Modelo | Katumpakan | Gastos sa bawat kahilingan | Average na tagalHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sec

Mahinang prompt / Malakas na prompt (desisyon sa pagpili ng modelo)

# WEAK (no basis for decision)Gamitin natin ang pinakamagandang modelo, hindi importante ang budget.

# STRONG (desisyon batay sa pagsukat) Sa eval ng 50 sample, ang Haiku ay nagbigay ng 96% na katumpakan, ang Sonnet ay nagbigay ng 97% na katumpakan; Ang pagkakaiba ay hindi gaanong mahalaga sa istatistika. Napili ang Haiku dahil ito ay 5 beses na mas mura at 2 beses na mas mabilis. Kung ang katumpakan ay bumaba sa ibaba 95%, ang desisyon na mag-upgrade sa Sonnet ay awtomatikong gagawin.

Napakahusay na bersyon; nagbubuklod sa pagpili sa isang numero, isang threshold, at isang panuntunan sa pagdami. Pareho itong nagtatanggol sa desisyon ngayon at namamahala sa pagbabago sa hinaharap.

Tatlong Mini Case

Kaso 1 — Tumakas mula sa napakahusay na modelo. Isang call center ang gumagawa ng lahat ng buod ng pag-uusap kasama ang Opus; mataas ang buwanang bayarin. Sa 40-sample na eval, ang Sonnet ay 1% sa likod ng Opus sa katumpakan ngunit nagkakahalaga ng isang-katlo. Inilipat nila ang buod ng gawain sa Soneto; bumaba ang buwanang gastos mula $9,000 hanggang $3,100, nang walang mga reklamo sa kalidad.

Kaso 2 — Pinaghalong trapiko na may pag-redirect. 80% ng mga kahilingan ng isang legal na tech team ay simpleng pag-tag ng dokumento, 20% ay kumplikadong pagsusuri sa kontrata. Ipinapadala nila silang lahat sa makapangyarihang modelo. Nagdagdag sila ng murang router at namahagi ng mga simpleng trabaho sa Haiku at mga kumplikadong trabaho sa Opus; Ang average na gastos sa kahilingan ay bumaba ng 64%, habang pinapanatili ang kalidad ng pagsusuri.

Kaso 3 — Ang halaga ng pagbabawas ng laki nang hindi sinusukat. Upang mabawasan ang gastos, binawasan ng isang koponan ang kumplikadong pagkuha ng medikal na code nang direkta sa mabilis na modelo; Hindi sila nag-eval. Sa live, bumaba ang katumpakan mula 92% hanggang 78%, na nagreresulta sa pagbabalik ng mga maling hinuha. Kailangan muna nilang mag-ebal: ang gawaing iyon ay nangangailangan ng makapangyarihang modelo. Aralin: ang pagbabawas at elevation ay ginagawa sa pamamagitan ng pagsukat.

Mga karaniwang pagkakamali

Ang "pinakamalakas na modelo" reflex: Basura at hindi kinakailangang pagkaantala sa mga simpleng gawain.
Pagbabago ng modelo nang walang pagsukat: Parehong delikado ang pagbabawas at pagpapalaki nang walang eval.
Pag-lock sa isang modelo: Ang pagruruta sa magkahalong trapiko ay kadalasang mas mahusay.
Palaging napagkakamalan ang router para sa LLM: Ang mga simpleng panuntunan ay maaaring gumana nang walang halaga.
Hindi nagtatakda ng boost threshold: Ano ang mangyayari kung bumaba ang katumpakan ay dapat tukuyin nang maaga.
Hindi inaayos ang bersyon ng modelo: Itala kung aling modelo/bersyon ang iyong ginagawa sa produksyon; Ang pagbabago ng bersyon ay maaaring magbago ng gawi.

Mas malalim: Pagpapatuloy ng Eval at Incremental Trial

Ang pagpili ng modelo ay hindi isang beses na desisyon. Ipinakilala ng mga provider ang mga bagong modelo, nagbabago ang mga presyo, nagbabago ang paglalarawan ng iyong trabaho. Kaya i-set up ang eval cluster nang isang beses at huwag kalimutan; hawakan mo ito bilang isang buhay na nilalang. Kapag lumabas ang isang bagong modelo, magpapatakbo ka ng parehong 20-50 sample sa pamamagitan nito, i-update ang talahanayan, at muling magdesisyon. Pinoprotektahan ka nito mula sa bitag na "patern-switching intuition".

Ang pangalawang advanced na pamamaraan ay ang fallback / cascade pattern. Ibigay mo muna ang gawain sa murang modelo; Kung mababa ang kumpiyansa ng output o tinatanggihan ito ng layer ng pag-verify (unit 11), idaragdag mo ang parehong kahilingan. Kaya karamihan ng trapiko ay nareresolba sa murang modelo, na ang natitirang minorya lamang ang pupunta sa mamahaling modelo. Ito ay parehong mas mura at mas matibay kaysa sa fixed single-model approach.

Ang pangatlong punto ay kasama sa eval hindi lamang ang katumpakan kundi pati na rin ang gastos at latency. Kung ang isang modelo ay 1% na mas tumpak ngunit 3 beses na mas mahal at 2 beses na mas mabagal, ang trade-off ay hindi sulit para sa karamihan ng mga trabaho. Gumawa ng desisyon kasama ang tatlong axes (katumpakan, gastos, latency) at tukuyin ang isang "sufficiency threshold": "kung ang katumpakan ay higit sa 95%, piliin ang pinakamurang."

Panghuli, itala kung aling modelo/bersyon ang ginamit mo sa produksyon. Kung isang araw magbabago ang kalidad ng output, ang unang titingnan mo ay kung nagbago ang bersyon ng modelo. Pinapabilis ng pagsubaybay sa bersyon na mahanap ang ugat ng mga isyu sa kalidad.

Isa pang caveat: ang eval cluster ay dapat na kumakatawan sa iyong aktwal na workload. Ang isang eval na binubuo lamang ng mga madaling halimbawa ay nagtatago kung saan ang modelo ay natitisod sa mga mahihirap na kaso at nahihilo ka sa maling kumpiyansa. Isang magandang eval; Kabilang dito ang mga karaniwang madaling halimbawa at pati na rin ang mga kaso sa sulok na nakatagpo mo sa katotohanan (hindi maliwanag, hindi kumpleto, magkasalungat na mga input). Tinutukoy ng mahirap na minoryang ito ang iyong napiling modelo, dahil ang bawat modelo ay nagtatagumpay pa rin sa madaling mayorya. Panatilihing sariwa at kinatawan ang iyong Eval sa pamamagitan ng pana-panahong pagpapakain dito ng mga bagong tunay na halimbawa.

Sa buod

Ang tamang modelo ay ang pinakamagaan na modelo na nakakakuha ng trabaho; Ang mas malakas ay hindi mas mahusay sa bawat trabaho, ito ay mas mahal at mas mabagal. Ang pag-uuri ng gawain at simula sa pinakamagaan na kandidato, pamamahagi ng pinaghalong trapiko sa pagruruta, at pagpapatibay sa pagpili sa isang maliit na hanay ng mga eval ay binabawasan ang gastos nang maraming beses habang pinapanatili ang kalidad.

Gawain ng aplikasyon

Pumili ng workload. (1) Uriin ang gawain bilang simple/komplikado. (2) Magdisenyo ng maliit na eval set ng 20 totoong halimbawa (kasama ang kanilang mga tamang sagot). (3) Gumuhit ng isang plano upang i-populate ang talahanayan ng paghahambing ng katumpakan/gastos/oras para sa tatlong klase ng modelo. (4) Kung mayroon kang magkahalong trapiko, sumulat ng panuntunan sa pagruruta at magtakda ng threshold ng escalation.

checklist

[ ] Maihahambing ko ang pamilya ng modelo sa axis ng kakayahan/bilis/gastos.
[ ] Maaari kong ilapat ang prinsipyong "pinakamagaan na matagumpay na modelo".
[ ] Maaari akong mag-set up ng pagruruta ng modelo ayon sa pagiging kumplikado ng gawain.
[ ] Sa isang maliit na hanay ng eval, maaari kong isailalim ang pagpili sa ebidensya.
[ ] Maaari kong tukuyin ang isang upgrade/demotion threshold.