Ieguvumi:
- Var salīdzināt modeļu saimi (ātrs/līdzsvarots/jaudīgs) pēc iespējām, ātruma un izmaksām
- Izstrādā modeļu atlases un maršrutēšanas stratēģijas atbilstoši uzdevuma sarežģītībai
- Modeļa atlase balstās uz pierādījumiem ar nelielu eval kopu
Vienīgais lēmums, kas nosaka jūsu naudu un LLM integrācijas kvalitāti, ir izmantotais modelis. Kopējais reflekss ir “izvēlies spēcīgāko modeli”; Tomēr tas bieži vien nozīmē nevajadzīgas izmaksas un kavēšanos. Pareizā pieeja ir izvēlēties vieglāko modeli, kas izpilda katru uzdevumu, un šo izvēli balstīt uz mērījumiem, nevis minējumiem. Šajā vienībā jūs salīdzināsit modeļu saimi uz iespēju/ātruma/izmaksu ass, izveidosiet modeļa maršrutēšanas stratēģiju atbilstoši uzdevuma sarežģītībai un apstiprināsiet izvēli ar nelielu novērtējumu kopu.
Izpratne par modeļu ģimeni
Pakalpojumu sniedzēji parasti piedāvā trīs klases: ātru/lētu, stabilu un jaudīgu. Attiecības starp tām ir apkopotas uz trim asīm: spēja (jauda atrisināt sarežģītus uzdevumus), ātrums (latents), izmaksas (žetona cena).
klasē
piemērs
talants
ātrumu
Izmaksas
Pieejamie uzdevumi
ātri
Haiku 4.5
vidējs
ļoti augsts
zems
Klasifikācija, marķējums, īss kopsavilkums, orientācija
līdzsvarots
sonets 5
augsts
augsts
vidējs
Vispārējs mērķis, kodēšana, daudzpakāpju plūsma, lielākā daļa aģentu
stiprs
Opus 4.8
augstākais
vidējs
augsts
Sarežģīta spriešana, ilgtermiņa autonomi uzdevumi, sarežģīta analīze
Kritisks ieskats: jaudīgāks modelis ne vienmēr darbojas labāk. Vienkāršā marķējumā "steidzami vai nē" spēcīgais modelis un ātrais modelis sniedz vienu un to pašu pareizo atbildi; vienīgā atšķirība, ka jaudīgais ir 5x dārgāks un lēnāks. Papildu talants rada vērtību tikai tad, kad misija to prasa.
Soli pa solim: kā izvēlēties modeli?
- Klasificējiet uzdevumu. Vai tas ir ikdienišķs/rakstveida (marķēšana, secinājumi) vai beztermiņa/daudzpakāpju (analīze, plānošana, kods)?
- Sāciet ar vieglāko kandidātu. Izmēģiniet to ar ātro modeli. Ja ar to pietiek, apstājieties.
- Ja ar to nepietiek, pārejiet uz augstāku klasi. Ja precizitāte ir zema, dodieties uz līdzsvaroto, ja ar to nepietiek, dodieties uz stipro.
- Izmēriet, neuzminiet. Salīdziniet katra kandidāta precizitāti un izmaksas ar nelielu eval komplektu (zemāk).
- Iestatiet novirzīšanu. Tā vietā, lai izveidotu savienojumu ar vienu modeli, sadaliet uzdevumu pareizajam modelim ar "maršrutētāju".
Modeļa maršrutēšana
Reālās darba slodzes ir dažādas: lielākā daļa ienākošo pieprasījumu ir vienkārši, daži ir sarežģīti. Ir veltīgi sūtīt tos visus uz jaudīgo modeli; To visu nosūtīšana uz ātro modeli samazina kvalitāti. Maršrutēšana to atrisina: lēts modelis (vai vienkāršs noteikums) vispirms klasificē uzdevumu, pēc tam darbs pāriet uz atbilstošo modeli.
# Maršrutētāja uzvedne (darbojas ar lētu modeli) Klasificējiet ienākošo pieprasījumu pēc tā sarežģītības. Atgriezt tikai šādu JSON:{"grūtības": "vienkāršs|sarežģīts"}Vienkāršs: vienpakāpes, formulas, īsas atbildes. Sarežģīts: nepieciešama daudzpakāpju argumentācija, analīze vai ilga ģenerēšana. Pieprasījums: """{{pieprasījums}}"""
- dodieties uz vienkāršu → ātru modeli (lēti, ātri).
- dodieties uz sarežģītu → jaudīgu modeli (dārgs, bet nepieciešams).
Šis modelis ievērojami samazina vidējās izmaksas, jo lielākā daļa satiksmes parasti ir vienkārša.
Padoms. Lai pieņemtu lēmumu par nodošanu, ne vienmēr ir nepieciešams LLM. Vienkārši noteikumi, piemēram, “Pāriet uz ātro modeli, ja teksts ir mazāks par 20 vārdiem”, ir arī ceļvedis, un tie nerada papildu marķiera izmaksas. Vispirms izmēģiniet noteikumu.
Izvēles saistīšana ar pierādījumiem: mazā laikmeta kopa
Neizvēlieties modeli, pamatojoties uz "tas man izskatās labāk". Eval (vērtēšanas kopa) ir neliels paraugu kopums, kuram ir zināma pareizā atbilde; jūs darbināt katru modeli šajā komplektā un izmērāt precizitāti, izmaksas un latentumu.
# Eval iestatīšanas veidne1) Savāciet 20–50 reālus piemērus, ar roku ierakstiet "pareizo atbildi" uz katra.2) Palaidiet katru modeli (ātri/līdzsvarots/spēcīgs) šajā komplektā.3) Katram modelim: labojumu skaits, vidējās caurlaidspējas marķieri, maksa par pieprasījumu, vidējais laiks.4) Izvēlieties modeli, kas "nodrošina pietiekamu precizitāti, lētākais".
# Eval salīdzināšanas tabula (aizpildiet)Modelis | Precizitāte | Maksa par pieprasījumu | Vidējais ilgumsHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek
Vāja uzvedne/Spēcīga uzvedne (lēmums par modeļa izvēli)
# VĀJS (nav pamata lēmumam)Izmantosim labāko modeli, budžetam nav nozīmes.
# STRONG (lēmums balstīts uz mērījumiem) 50 paraugu vērtēšanā Haiku sniedza 96% precizitāti, Sonnet - 97% precizitāti; Atšķirība ir statistiski nenozīmīga. Haiku izvēlējās, jo tas ir 5 reizes lētāks un 2 reizes ātrāks. Ja precizitāte nokrītas zem 95%, lēmums par jaunināšanu uz Sonnet tiks pieņemts automātiski.
Jaudīga versija; saista atlasi ar skaitli, slieksni un eskalācijas kārtulu. Tas gan aizstāv šodienas lēmumu, gan pārvalda izmaiņas nākotnē.
Trīs mini futrāļi
1. gadījums — bēgšana no pārspīlētā modeļa. Zvanu centrs sagatavoja visus sarunu kopsavilkumus ar Opus; ikmēneša rēķins bija liels. 40 paraugu eval Sonnet precizitātes ziņā atpalika no Opus par 1%, bet maksāja vienu trešdaļu. Viņi pārcēla kopsavilkuma darbu uz Sonnetu; ikmēneša izmaksas samazinājās no 9000 USD līdz 3100 USD, bez sūdzībām par kvalitāti.
2. gadījums — jaukta satiksme ar novirzīšanu. 80% juridisko tehnoloģiju komandas pieprasījumu bija vienkārša dokumentu marķēšana, 20% bija sarežģīta līgumu analīze. Viņi tos visus sūtīja uz jaudīgo modeli. Viņi pievienoja lētu maršrutētāju un izdalīja vienkāršus darbus Haiku un sarežģītus darbus Opus; vidējās pieprasījuma izmaksas samazinājās par 64%, bet analīzes kvalitāte tika saglabāta.
3. gadījums. Izmaksas par darbinieku skaita samazināšanu bez mērīšanas. Lai samazinātu izmaksas, viena komanda samazināja sarežģītu medicīniskā koda izgūšanu tieši uz ātro modeli; Viņi neizvērtās. Tiešraidē precizitāte samazinājās no 92% līdz 78%, kā rezultātā tika atgriezti nepareizi secinājumi. Viņiem vispirms bija jāvērtē: šim uzdevumam bija vajadzīgs spēcīgs modelis. Nodarbība: gan samazināšana, gan paaugstināšana tiek veikta ar mērījumiem.
Biežas kļūdas
- “Spēcīgākā modeļa” reflekss: izšķērdība un nevajadzīga kavēšanās vienkāršu uzdevumu veikšanā.
- Modeļa maiņa bez mērīšanas: gan samazināšana, gan palielināšana ir riskanti bez izvērtēšanas.
- Ieslēgšanās vienā modelī: maršrutēšana jauktā satiksmē bieži ir efektīvāka.
- Vienmēr sajaukt maršrutētāju ar LLM: vienkārši noteikumi var darboties bez maksas.
- Nav iestatīts pastiprināšanas slieksnis: kas notiek, ja precizitāte samazināsies iepriekš.
- Modeļa versijas nelabošana: ierakstiet, pie kura modeļa/versijas strādājat ražošanā; Versijas maiņa var mainīt uzvedību.
Deeper: Perpetuating Eval and Incremental Trial
Modeļa izvēle nav vienreizējs lēmums. Pakalpojumu sniedzēji ievieš jaunus modeļus, mainās cenas, mainās jūsu darba apraksts. Tāpēc vienreiz izveidojiet eval klasteru un neaizmirstiet; turiet to kā dzīvu būtni. Kad tiek izdots jauns modelis, jūs tajā izlaižat tos pašus 20–50 paraugus, atjauniniet tabulu un vēlreiz pieņemat lēmumu. Tas pasargā jūs no "modeļu maiņas intuīcijas" lamatas.
Otra uzlabotā tehnika ir atkāpšanās / kaskādes modelis. Vispirms dodat uzdevumu lētajam modelim; Ja izvadei ir zema ticamība vai verifikācijas slānis (11. vienība) to noraida, jūs pārsūtat to pašu pieprasījumu. Tātad lielākā daļa satiksmes tiek atrisināta ar lēto modeli, un tikai atlikušais mazākums dodas uz dārgo modeli. Tas ir gan lētāks, gan izturīgāks nekā fiksētā viena modeļa pieeja.
Trešais punkts ir tāds, ka novērtēšana ietver ne tikai precizitāti, bet arī izmaksas un latentumu. Ja modelis ir par 1% precīzāks, bet 3 reizes dārgāks un 2 reizes lēnāks, lielākajai daļai darbu kompromiss nav tā vērts. Pieņemiet lēmumu pēc trim asīm (precizitāte, izmaksas, latentums) un definējiet "pietiekamības slieksni": "ja precizitāte ir lielāka par 95%, izvēlieties lētāko."
Visbeidzot ierakstiet, kuru modeli/versiju izmantojāt ražošanā. Ja kādu dienu izvades kvalitāte mainās, vispirms apskatīsit, vai modeļa versija ir mainījusies. Versijas izsekojamība ļauj ātrāk atrast kvalitātes problēmu galveno cēloni.
Vēl viens brīdinājums: eval klasterim ir jāatspoguļo jūsu faktiskā darba slodze. Eval, kas sastāv tikai no viegliem piemēriem, slēpj situāciju, kad modele sarežģītos gadījumos paklūp un iemidzina jūs maldīgā pārliecībā. Labs eval; Tas ietver vienkāršus piemērus, kā arī stūra gadījumus, ar kuriem saskaraties patiesībā (neskaidras, nepilnīgas, pretrunīgas ievades). Šis sarežģītais mazākums nosaka jūsu modeļa izvēli, jo katrs modelis jebkurā gadījumā gūst panākumus vieglajā vairākumā. Saglabājiet savu Eval svaigu un reprezentatīvu, periodiski barojot to ar jauniem reāliem piemēriem.
Rezumējot
Pareizais modelis ir vieglākais modelis, kas nodrošina darbu; Jaudīgāks nav labāks katrā darbā, tas ir tikai dārgāks un lēnāks. Uzdevuma klasificēšana un sākot no vieglākā kandidāta, jauktās trafika sadale ar maršrutēšanu un atlases pamatošana ar nelielu eval komplektu samazina izmaksas daudzkārt, vienlaikus saglabājot kvalitāti.
Lietojumprogrammas uzdevums
Izvēlieties darba slodzi. (1) Klasificējiet uzdevumu kā vienkāršu/sarežģītu. (2) Izveidojiet nelielu 20 reālu piemēru kopu (ar pareizajām atbildēm). (3) Sastādiet plānu, lai aizpildītu precizitātes/izmaksu/laika salīdzināšanas tabulu trīs modeļu klasēm. (4) Ja jums ir jaukta satiksme, uzrakstiet maršrutēšanas kārtulu un iestatiet eskalācijas slieksni.
kontrolsaraksts
- [ ] Varu salīdzināt modeļu saimi uz iespēju/ātruma/izmaksu ass.
- [ ] Es varu pielietot "vieglākā veiksmīgā modeļa" principu.
- [ ] Varu iestatīt modeļa maršrutēšanu atbilstoši uzdevuma sarežģītībai.
- [ ] Ar nelielu eval kopumu varu saistīt atlasi ar pierādījumiem.
- [ ] Es varu definēt jaunināšanas/pazemināšanas slieksni.