Għażla tal-Mudell: Il-Mudell it-Tajjeb għall-Impjieg it-Tajjeb

Qligħ:

Jista 'jqabbel il-mudell tal-familja (veloċi/bilanċjat/b'saħħtu) dwar il-kapaċità, il-veloċità u l-ispiża
Tiddisinja l-għażla tal-mudelli u l-istrateġiji tar-rotta skont il-kumplessità tal-kompitu
Tibbaża l-għażla tal-mudell fuq evidenza b'sett żgħir ta' evals

Id-deċiżjoni unika li tiddetermina l-aktar bang tiegħek għall-flus u l-kwalità tiegħek fl-integrazzjoni LLM hija liema mudell tuża. Ir-rifless komuni huwa "agħżel l-iktar mudell b'saħħtu"; Madankollu, dan ħafna drabi jfisser spejjeż u dewmien bla bżonn. L-approċċ it-tajjeb huwa li tagħżel l-eħfef mudell li jwettaq kull kompitu u tibbaża dik l-għażla fuq il-kejl, mhux suppożizzjonijiet. F'din l-unità, int se tqabbel il-familja tal-mudelli fuq l-assi tal-kapaċità/veloċità/ispiża, tistabbilixxi strateġija ta 'rotot tal-mudell skont il-kumplessità tal-kompitu, u tagħti prova tal-għażla b'sett żgħir ta' evalwazzjonijiet.

Nifhmu l-Mudell tal-Familja

Il-fornituri ġeneralment joffru tliet klassijiet: veloċi/irħas, stabbli u qawwija. Ir-relazzjoni bejniethom hija miġbura fil-qosor fuq tliet assi: kapaċità (setgħa li ssolvi ħidmiet diffiċli), veloċità (latency), spiża (prezz token).

klassi

eżempju

talent

veloċità

Spiża

Ħidmiet disponibbli

malajr

Haiku 4.5

medju

għolja ħafna

baxx

Klassifikazzjoni, tikkettar, sommarju qasir, orjentazzjoni

bilanċjat

sunet 5

għolja

medju

Għan ġenerali, kodifikazzjoni, fluss f'diversi stadji, il-biċċa l-kbira tax-xogħol tal-aġent

qawwija

Opus 4.8

l-ogħla

medju

għolja

Raġunament kumpless, kompiti awtonomi fuq medda twila, analiżi diffiċli

Għarfien kritiku: il-mudell aktar b'saħħtu ma jwettaqx aħjar f'kull xogħol. F'tikkettjar sempliċi "urġenti jew le", il-mudell b'saħħtu u l-mudell veloċi jagħtu l-istess tweġiba korretta; l-unika differenza hija li l-qawwi huwa 5 darbiet aktar għali u aktar bil-mod. Talent żejjed jipproduċi valur biss meta l-missjoni titlob dan.

Pass pass: Kif Agħżel Mudell?

Ikklassifika l-kompitu. Hija rutina/disinji (tikkettjar, inferenza), jew open-ended/multi-step (analiżi, ippjanar, kodiċi)?
Ibda bl-eħfef kandidat. Ipprova bil-mudell mgħaġġel. Jekk dan huwa biżżejjed, waqqaf.
Jekk mhux biżżejjed, imxi għal klassi ogħla. Jekk l-eżattezza hija baxxa, mur għal dik bilanċjata, jekk dan mhux biżżejjed, mur għal dak b'saħħtu.
Kejjel, taqtax. Qabbel l-eżattezza u l-ispiża ta 'kull kandidat ma' sett żgħir ta 'eval (hawn taħt).
Stabbilixxi direzzjoni mill-ġdid. Minflok ma tikkonnettja ma 'mudell wieħed, iddistribwixxi l-kompitu lill-mudell it-tajjeb b'"router".

Mudell tar-Rotot

Il-piżijiet tax-xogħol reali huma mħallta: il-biċċa l-kbira tat-talbiet li jidħlu huma sempliċi, xi wħud huma diffiċli. Huwa ħela li tibgħathom kollha lill-mudell qawwi; Li tibgħathom kollha lill-mudell veloċi tnaqqas il-kwalità. Ir-rotot issolvi dan: mudell irħis (jew regola sempliċi) jikklassifika l-kompitu l-ewwel, imbagħad ix-xogħol imur għall-mudell xieraq.

# Router fil-pront (jaħdem b'mudell irħis) Ikklassifika t-talba deħlin skont id-diffikultà tagħha. Irritorna biss il-JSON li ġej:{"diffikultà": "sempliċi|kumpless"}Sempliċi: pass wieħed, formuli, tweġiba qasira.Kumpless: li jeħtieġu raġunament, analiżi, jew ġenerazzjoni twila f'diversi stadji.Talba: """{{talba}}"""

mur sempliċi → mudell veloċi (irħis, veloċi).
mur kumpless → mudell b'saħħtu (għali iżda meħtieġ).

Dan il-mudell inaqqas b'mod sinifikanti l-ispiża medja minħabba li ħafna mit-traffiku huwa ġeneralment sempliċi.

Tip: Deċiżjoni ta' riferiment mhux dejjem teħtieġ LLM. Regoli sempliċi bħal "Mur fil-mudell mgħaġġel jekk it-test huwa inqas minn kelma 20" huma wkoll gwida u jġibu żero spejjeż addizzjonali ta 'token. Ipprova r-regola l-ewwel.

Ir-rabta tal-Għażla mal-Evidenza: Il-Għaqda Żgħar tal-Eval

M'għandekx tagħżel mudell ibbażat fuq "jidher aħjar għalija". Eval (sett ta' evalwazzjoni) huwa sett żgħir ta' kampjuni li għalihom hija magħrufa t-tweġiba t-tajba; inti tmexxi kull mudell fuq dan is-sett u tkejjel l-eżattezza, l-ispiża, u latency.

# Eval setup template1) Iġbor 20-50 eżempju reali, ikteb bl-idejn it-"tweġiba korretta" fuq kull wieħed.2) Mexxi kull mudell (mgħaġġel/bilanċjat/qawwi) fuq dan is-sett.3) Għal kull mudell: numru ta 'korreġi, tokens ta' throughput medju, spiża għal kull talba, ħin medju.4) Agħżel il-mudell li "jagħti preċiżjoni suffiċjenti irħas".

# Tabella ta' tqabbil ta' l-evalwazzjoni (imla)Mudell | Preċiżjoni | Spiża għal kull talba | Tul medjuHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sec

Pront dgħajjef / Pront qawwi (deċiżjoni tal-għażla tal-mudell)

# DGĦAJFJA (l-ebda bażi għal deċiżjoni) Ejja nużaw l-aħjar mudell, il-baġit mhuwiex importanti.

# B'SAĦĦITA (deċiżjoni bbażata fuq il-kejl) Fl-eval ta '50 kampjun, Haiku ta preċiżjoni ta' 96%, Sonnet ta preċiżjoni ta '97%; Id-differenza hija statistikament insinifikanti. Haiku ntgħażel għax huwa 5 darbiet orħos u 2 darbiet aktar mgħaġġel. Jekk l-eżattezza tinżel taħt il-95%, id-deċiżjoni li taġġorna għal Sonnet issir awtomatikament.

Verżjoni qawwija; jorbot l-għażla ma' numru, limitu, u regola ta' eskalazzjoni. Dan kemm jiddefendi d-deċiżjoni tal-lum kif ukoll jamministra l-bidla futura.

Tliet Każijiet Mini

Każ 1 — Ħarba mill-mudell overpowering. Call center kien qed jipproduċi s-sommarji kollha tal-konversazzjoni ma' Opus; kont ta' kull xahar kien għoli. Fl-eval 40-kampjun, Sonnet kien 1% wara Opus fl-eżattezza iżda jiswa terz. Huma mexxew ix-xogħol fil-qosor għas-Sonet; l-ispiża ta 'kull xahar niżlet minn $ 9,000 għal $ 3,100, mingħajr ilmenti ta' kwalità.

Każ 2 — Traffiku imħallat b'direzzjoni mill-ġdid. 80% tat-talbiet ta 'tim ta' teknoloġija legali kienu tikkettar ta 'dokumenti sempliċi, 20% kienu analiżi kumplessa tal-kuntratt. Kienu jibagħtuhom kollha lill-mudell qawwi. Huma żiedu router irħas u qassmu impjiegi sempliċi lil Haiku u impjiegi kumplessi lil Opus; l-ispiża medja tat-talba naqset b'64%, filwaqt li l-kwalità tal-analiżi nżammet.

Każ 3 — L-ispiża tat-tnaqqis fid-daqs mingħajr kejl. Biex tnaqqas l-ispiża, tim wieħed naqqas l-estrazzjoni tal-kodiċi mediku kumpless direttament lill-mudell mgħaġġel; Huma ma eval. Fil-ħajja, l-eżattezza niżlet minn 92% għal 78%, li rriżultat f'ritorn ta 'inferenzi mhux korretti. L-ewwel kellhom jevalwaw: dak il-kompitu kien jeħtieġ il-mudell qawwi. Lezzjoni: kemm it-tnaqqis kif ukoll l-elevazzjoni jsiru bil-kejl.

Żbalji komuni

Ir-rifless tal-"mudell l-aktar b'saħħtu": Skart u dewmien bla bżonn f'ħidmiet sempliċi.
Nibdlu l-mudell mingħajr kejl: Kemm it-tnaqqis kif ukoll it-tkabbir huma riskjużi mingħajr eval.
Qfil f'mudell wieħed: Ir-rotot fi traffiku mħallat ħafna drabi huwa aktar effiċjenti.
Dejjem tiżbalja r-router ma 'LLM: Regoli sempliċi jistgħu jaħdmu bi spiża żero.
Mhux iffissar ta 'limitu ta' spinta: X'jiġri jekk l-eżattezza tinżel għandha tiġi definita minn qabel.
Mhux tiffissa l-verżjoni tal-mudell: Irreġistra liema mudell/verżjoni qed taħdem fuqu fil-produzzjoni; Il-bidla fil-verżjoni tista' tbiddel l-imġiba.

Aktar fil-fond: Perpetwazzjoni Eval u Prova Inkrementali

L-għażla tal-mudell mhijiex deċiżjoni ta’ darba. Il-fornituri jintroduċu mudelli ġodda, il-prezzijiet jinbidlu, id-deskrizzjoni tax-xogħol tiegħek tevolvi. Allura waqqaf il-cluster eval darba u tinsiex; żommha bħal ħlejjaq ħaj. Meta joħroġ mudell ġdid, inti tmexxi l-istess 20-50 kampjun minnu, taġġorna t-tabella, u terġa' tieħu d-deċiżjoni tiegħek. Dan jipproteġik min-nassa ta '"intuwizzjoni ta' bidla fil-mudell".

It-tieni teknika avvanzata hija l-mudell fallback / cascade. Int tagħti l-kompitu lill-mudell irħis l-ewwel; Jekk l-output għandu kunfidenza baxxa jew is-saff ta 'verifika (unità 11) jirrifjutah, teskala l-istess talba. Allura l-biċċa l-kbira tat-traffiku huwa solvut fuq il-mudell irħis, bil-minoranza li fadal biss tmur għall-mudell għali. Dan huwa kemm irħas kif ukoll aktar fit-tul mill-approċċ ta 'mudell wieħed fiss.

It-tielet punt huwa li l-eval jinkludi mhux biss l-eżattezza iżda wkoll l-ispiża u l-latenza. Jekk mudell huwa 1% aktar preċiż iżda 3 darbiet aktar għali u darbtejn aktar bil-mod, il-kompromess ma jkunx worth it għall-biċċa l-kbira tal-impjiegi. Ħu d-deċiżjoni fuq tliet assi (eżattezza, spiża, latenza) u ddefinixxi "limitu ta' suffiċjenza": "jekk l-eżattezza hija 'l fuq minn 95%, agħżel l-irħas."

Fl-aħħarnett, irreġistra liema mudell/verżjoni użajt fil-produzzjoni. Jekk xi darba l-kwalità tal-output tinbidel, l-ewwel ħaġa li se tħares lejn hija jekk il-verżjoni tal-mudell nbidlitx. It-traċċabilità tal-verżjoni tagħmilha aktar mgħaġġla biex issib il-kawża ewlenija tal-kwistjonijiet ta 'kwalità.

Twissija oħra: il-cluster eval għandu jirrappreżenta l-ammont ta' xogħol attwali tiegħek. Evalwa li tikkonsisti biss f'eżempji faċli taħbi fejn il-mudell tfixkel f'każijiet diffiċli u ġġegħlek f'kunfidenza falza. Evalwazzjoni tajba; Jinkludi eżempji faċli komuni kif ukoll każijiet kantuniera li tiltaqa' magħhom fir-realtà (inputs ambigwi, mhux kompluti, kontradittorji). Din il-minoranza diffiċli tiddetermina l-għażla tal-mudell tiegħek, għax kull mudell jirnexxi xorta waħda fil-maġġoranza faċli. Żomm l-Eval tiegħek frisk u rappreżentattiv billi perjodikament tmigħlu eżempji reali ġodda.

Fil-qosor

Il-mudell it-tajjeb huwa l-eħfef mudell li jwettaq ix-xogħol; Aktar b'saħħtu mhux aħjar f'kull xogħol, huwa biss aktar għali u aktar bil-mod. Il-klassifikazzjoni tal-kompitu u l-bidu mill-eħfef kandidat, it-tqassim tat-traffiku mħallat bir-routing, u s-sostennjar tal-għażla b'sett żgħir ta 'evals inaqqas l-ispiża ħafna drabi filwaqt li tinżamm il-kwalità.

Kompitu ta' applikazzjoni

Agħżel ammont ta' xogħol. (1) Ikklassifika l-kompitu bħala sempliċi/kumpless. (2) Iddisinja sett eval żgħir ta’ 20 eżempju reali (bit-tweġibiet korretti tagħhom). (3) Ifassal pjan biex timla t-tabella tat-tqabbil tal-eżattezza/ispiża/ħin għat-tliet klassijiet tal-mudell. (4) Jekk għandek traffiku mħallat, ikteb regola tar-rotta u waqqaf limitu ta' eskalazzjoni.

lista ta' kontroll

[ ] Kapaċi nqabbel il-familja tal-mudelli fuq l-assi kapaċità/veloċità/kost.
[ ] Kapaċi napplika l-prinċipju tal-"eħfef mudell ta' suċċess".
[ ] Kapaċi nwaqqaf mudell ta' rotta skont il-kumplessità tal-kompitu.
[ ] B'sett żgħir ta' eval nista' jorbot l-għażla mal-evidenza.
[ ] Kapaċi niddefinixxi limitu ta' titjib/demozzjoni.