Fitimet:
- Mund të krahasojë familjen e modeleve (të shpejtë/të ekuilibruar/të fuqishëm) për aftësinë, shpejtësinë dhe koston
- Harton zgjedhjen e modeleve dhe strategjitë e rrugëtimit sipas kompleksitetit të detyrës
- Bazon zgjedhjen e modelit në prova me një grup të vogël vlerësimesh
Vendimi i vetëm që përcakton më të mirën tuaj për paratë dhe cilësinë tuaj në integrimin LLM është modeli që përdorni. Refleksi i përbashkët është “zgjidh modelin më të fortë”; Megjithatë, kjo shpesh nënkupton kosto dhe vonesa të panevojshme. Qasja e duhur është të zgjidhni modelin më të lehtë që përmbush çdo detyrë dhe ta bazoni atë në matje, jo në supozime. Në këtë njësi, ju do të krahasoni familjen e modeleve në boshtin e aftësive/shpejtësisë/kostos, do të krijoni një strategji të rrugëtimit të modelit sipas kompleksitetit të detyrës dhe do të evidentoni përzgjedhjen me një grup të vogël vlerësimesh.
Kuptimi i Familjes Model
Ofruesit në përgjithësi ofrojnë tre klasa: të shpejtë/të lirë, të qëndrueshëm dhe të fuqishëm. Marrëdhënia mes tyre përmblidhet në tre akse: aftësia (fuqia për të zgjidhur detyra të vështira), shpejtësia (latenca), kostoja (çmimi simbolik).
klasës
shembull
talent
shpejtësia
Kostoja
Detyrat e disponueshme
shpejtë
Haiku 4.5
e mesme
shumë e lartë
të ulëta
Klasifikimi, etiketimi, përmbledhja e shkurtër, orientimi
i balancuar
sonet 5
lartë
lartë
e mesme
Qëllimi i përgjithshëm, kodimi, rrjedha me shumë hapa, shumica e punës së agjentëve
të fortë
Opus 4.8
më i lartë
e mesme
lartë
Arsyetim kompleks, detyra autonome me rreze të gjatë, analizë e vështirë
Vështrim kritik: modeli më i fuqishëm nuk performon më mirë në çdo punë. Në një etiketim të thjeshtë “urgjent apo jo”, modeli i fortë dhe modeli i shpejtë japin të njëjtën përgjigje të saktë; i vetmi ndryshim është se i fuqishmi është 5 herë më i shtrenjtë dhe më i ngadalshëm. Talenti shtesë prodhon vlerë vetëm kur e kërkon misioni.
Hap pas hapi: Si të zgjidhni një model?
- Klasifikoni detyrën. A është rutinë/model (etiketim, konkluzion) apo i hapur/me shumë hapa (analizë, planifikim, kod)?
- Filloni me kandidatin më të lehtë. Provojeni me modelin e shpejtë. Nëse kjo është e mjaftueshme, ndaloni.
- Nëse nuk mjafton, shkoni në një klasë më të lartë. Nëse saktësia është e ulët, shkoni te ajo e balancuar, nëse kjo nuk mjafton, shkoni te e forta.
- Matni, mos merrni me mend. Krahasoni saktësinë dhe koston e secilit kandidat me një grup të vogël vlerësimesh (më poshtë).
- Konfiguro ridrejtimin. Në vend që të lidheni me një model të vetëm, shpërndani detyrën në modelin e duhur me një "ruter".
Drejtimi i modelit
Ngarkesat reale të punës janë të përziera: shumica e kërkesave hyrëse janë të thjeshta, disa janë të vështira. Është kot t'i dërgosh të gjitha te modeli i fuqishëm; Dërgimi i të gjithëve te modeli i shpejtë ul cilësinë. Rutimi e zgjidh këtë: një model i lirë (ose një rregull i thjeshtë) së pari klasifikon detyrën, pastaj puna shkon te modeli i duhur.
# Prompt i ruterit (funksionon me model të lirë) Klasifikoni kërkesën hyrëse sipas vështirësisë së saj. Ktheni vetëm JSON-in e mëposhtëm:{"vështirësi": "i thjeshtë|kompleks"}E thjeshtë: me një hap, formular, me përgjigje të shkurtër. Kompleks: kërkon arsyetim me shumë hapa, analizë ose gjenerim të gjatë. Kërkesë: """{{kërkesë}}"""
- shkoni te modeli i thjeshtë → i shpejtë (i lirë, i shpejtë).
- shkoni te modeli kompleks → i fuqishëm (i shtrenjtë, por i nevojshëm).
Ky model ul ndjeshëm koston mesatare sepse pjesa më e madhe e trafikut është përgjithësisht e thjeshtë.
Këshillë: Një vendim referimi nuk kërkon gjithmonë një LLM. Rregulla të thjeshta si "Shko te modeli i shpejtë nëse teksti është më pak se 20 fjalë" janë gjithashtu një udhëzues dhe sjellin zero kosto shtesë të shenjave. Së pari provoni rregullin.
Lidhja e zgjedhjes me dëshminë: Grupi i Vogël Eval
Mos zgjidhni një model të bazuar në "më duket më mirë". Vlerësimi (grupi i vlerësimit) është një grup i vogël mostrash për të cilat dihet përgjigja e saktë; ju përdorni çdo model në këtë grup dhe matni saktësinë, koston dhe vonesën.
# Modeli i konfigurimit të vlerësimit1) Mblidhni 20-50 shembuj realë, shkruani me dorë "përgjigjen e saktë" në secilin. 2) Ekzekutoni çdo model (i shpejtë/i balancuar/i fortë) në këtë grup. 3) Për secilin model: numri i korrigjimeve, shenjat mesatare të xhiros, kostoja për kërkesë, koha mesatare. 4) Zgjidhni modelin që "ju jep saktësi të mjaftueshme më të lirë".
# Tabela e krahasimit vlerësues (mbushje)Modeli | Saktësia | Kostoja për kërkesë | Kohëzgjatja mesatare Haiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek
Prompt i dobët / Prompt i fortë (vendimi për zgjedhjen e modelit)
# I DOBËT (pa bazë për vendim) Le të përdorim modelin më të mirë, buxheti nuk është i rëndësishëm.
# I FORTË (vendim i bazuar në matje) Në vlerën e 50 mostrave, Haiku dha saktësi 96%, Sonet dha saktësi 97%; Dallimi është statistikisht i parëndësishëm. Haiku u zgjodh sepse është 5 herë më i lirë dhe 2 herë më i shpejtë. Nëse saktësia bie nën 95%, vendimi për të përmirësuar në Sonet do të merret automatikisht.
Version i fuqishëm; lidh përzgjedhjen me një numër, një prag dhe një rregull përshkallëzimi. Kjo mbron vendimin e sotëm dhe menaxhon ndryshimin e ardhshëm.
Tre Mini Rastet
Rasti 1 - Shpëtimi nga modeli mbizotërues. Një qendër telefonike po prodhonte të gjitha përmbledhjet e bisedave me Opus; fatura mujore ishte e lartë. Në vlerësimin e 40 mostrave, Sonet ishte 1% prapa Opus në saktësi, por kushtonte një të tretën. Ata e zhvendosën veprën përmbledhëse në Sonet; Kostoja mujore ra nga 9,000 dollarë në 3,100 dollarë, pa ankesa për cilësinë.
Rasti 2 - Trafik i përzier me ridrejtim. 80% e kërkesave të një ekipi teknik ligjor ishin etiketime të thjeshta të dokumenteve, 20% ishin analiza komplekse të kontratës. Ata po i dërgonin të gjithë te modeli i fuqishëm. Ata shtuan një ruter të lirë dhe shpërndanë punë të thjeshta në Haiku dhe punë komplekse në Opus; Kostoja mesatare e kërkesës ra me 64%, ndërkohë që cilësia e analizës u ruajt.
Rasti 3 - Kostoja e zvogëlimit pa matje. Për të ulur koston, një ekip reduktoi nxjerrjen komplekse të kodit mjekësor direkt në modelin e shpejtë; Ata nuk vlerësuan. Në live, saktësia ra nga 92% në 78%, duke rezultuar në një rikthim të konkluzioneve të pasakta. Ata duhej të vlerësonin fillimisht: kjo detyrë kërkonte modelin e fuqishëm. Mësimi: si zvogëlimi ashtu edhe ngritja bëhen me matje.
Gabimet e zakonshme
- Refleksi i "modelit më të fortë": Humbje dhe vonesa të panevojshme në detyra të thjeshta.
- Ndryshimi i modelit pa matje: Si zvogëlimi ashtu edhe zmadhimi janë të rrezikshëm pa vlerësim.
- Bllokimi në një model të vetëm: Drejtimi në trafik të përzier është shpesh më efikas.
- Gjithmonë ngatërroni ruterin për LLM: Rregullat e thjeshta mund të funksionojnë me kosto zero.
- Mos vendosja e një pragu të rritjes: Çfarë ndodh nëse saktësia bie duhet të përcaktohet paraprakisht.
- Mos rregullimi i versionit të modelit: Regjistroni cilin model/version po punoni në prodhim; Ndryshimi i versionit mund të ndryshojë sjelljen.
Më e thellë: Përjetësimi i gjykimit vlerësues dhe rritës
Zgjedhja e modelit nuk është një vendim një herë. Ofruesit prezantojnë modele të reja, çmimet ndryshojnë, përshkrimi juaj i punës evoluon. Pra, konfiguroni një herë grupin eval dhe mos harroni; mbaje si një qenie të gjallë. Kur del një model i ri, ju kaloni të njëjtat 20-50 mostra përmes tij, përditësoni tabelën dhe merrni përsëri vendimin tuaj. Kjo ju mbron nga kurthi i "intuitës së ndërrimit të modelit".
Teknika e dytë e avancuar është modeli i kthimit / kaskadës. Ju i jepni detyrë së pari modelit të lirë; Nëse dalja ka besim të ulët ose shtresa e verifikimit (njësia 11) e refuzon atë, ju përshkallëzoni të njëjtën kërkesë. Pra, shumica e trafikut zgjidhet në modelin e lirë, me vetëm pakicën e mbetur që shkon te modeli i shtrenjtë. Kjo është edhe më e lirë dhe më e qëndrueshme se qasja fikse me një model.
Pika e tretë është se vlerësimi përfshin jo vetëm saktësinë, por edhe koston dhe vonesën. Nëse një model është 1% më i saktë, por 3 herë më i shtrenjtë dhe 2 herë më i ngadalshëm, kompensimi nuk ia vlen për shumicën e punëve. Merrni vendimin sipas tre akseve (saktësia, kostoja, vonesa) dhe përcaktoni një "prag mjaftueshmërie": "nëse saktësia është mbi 95%, zgjidhni më të lirën".
Së fundi, regjistroni cilin model/version keni përdorur në prodhim. Nëse një ditë cilësia e daljes ndryshon, gjëja e parë që do të shikoni është nëse versioni i modelit ka ndryshuar. Gjurmueshmëria e versionit e bën më të shpejtë gjetjen e shkakut rrënjësor të çështjeve të cilësisë.
Një paralajmërim tjetër: grupi vlerësues duhet të përfaqësojë ngarkesën tuaj aktuale të punës. Një vlerësim i përbërë vetëm nga shembuj të thjeshtë fshihet aty ku modelja pengohet në raste të vështira dhe të përgjum në besim të rremë. Një vlerësim i mirë; Ai përfshin shembuj të thjeshtë të zakonshëm, si dhe raste qoshe që hasni në realitet (të dhëna të paqarta, jo të plota, kontradiktore). Kjo pakicë e vështirë përcakton zgjedhjen tuaj të modelit, sepse çdo model gjithsesi ka sukses në shumicën e lehtë. Mbajeni Eval-in tuaj të freskët dhe përfaqësues duke i dhënë periodikisht shembuj të rinj realë.
Në përmbledhje
Modeli i duhur është modeli më i lehtë që e kryen punën; Më i fuqishmi nuk është më i mirë në çdo punë, thjesht është më i shtrenjtë dhe më i ngadalshëm. Klasifikimi i detyrës dhe fillimi nga kandidati më i lehtë, shpërndarja e trafikut të përzier me rrugëzim dhe vërtetimi i përzgjedhjes me një grup të vogël vlerësimesh ul koston shumë herë duke ruajtur cilësinë.
Detyra e aplikimit
Zgjidhni një ngarkesë pune. (1) Klasifikoni detyrën si të thjeshtë/të ndërlikuar. (2) Hartoni një grup të vogël vlerësues prej 20 shembujsh realë (me përgjigjet e tyre të sakta). (3) Hartoni një plan për të plotësuar tabelën e krahasimit të saktësisë/kostos/kohës për tre klasat e modelit. (4) Nëse keni trafik të përzier, shkruani një rregull rrugëtimi dhe vendosni një prag përshkallëzimi.
listë kontrolli
- [ ] Mund të krahasoj familjen e modelit në boshtin e aftësisë/shpejtësisë/kostos.
- [ ] Mund të zbatoj parimin "modeli më i lehtë i suksesshëm".
- [ ] Mund të konfiguroj drejtimin e modelit sipas kompleksitetit të detyrës.
- [ ] Me një grup të vogël vlerësimesh, unë mund ta lidh përzgjedhjen me provat.
- [ ] Mund të përcaktoj një prag përmirësimi/ulje.