Ieguvumi:
- Spēja atšķirt, vai problēma ir informācija vai uzvedība, un novērtēt uzvedības problēmu precizēšanu tikai pēc tam, kad ir izsmelts tūlītējs, dažu kadru un RAG.
- Izpratne par precizēšanas metodēm (SFT, LoRA/PEFT, RLHF) un datu atribūtiem, kas nosaka kvalitāti (konsekvenci, daudzveidību, konfidencialitāti)
- Spēja izmērīt precīzās pielāgošanas patieso vērtību ar pirms-pēc novērtēšanas, pārmācības un katastrofālas aizmirstības testiem
Precizēšana (tā uzvedības pielāgošana, apmācot iepriekš apmācītu modeli ar saviem datiem) ir spēcīgs, bet dārgs rīks inženiera, kas strādā ar LLM, arsenālā. Lietojot nepareizā vietā, tā ir naudas un laika izšķiešana, bet, ja to izmanto pareizajā vietā, tā nodrošina kvalitāti, ko citādi nevar sasniegt. Šajā nodaļā mēs aplūkojam, kad nepieciešama precizēšana, tās pamatmetodes un riski. Mērķis ir likt jums pieņemt lēmumus.
Vispirms pareizais jautājums: vai ir nepieciešama precizēšana?
Dārgākā iesācēju kļūda ir nekavējoties steigties precizēt problēmu, kuru var atrisināt. Iestatiet secību šādi:
- Prompt engineering: laba uzvedne, kas skaidri izskaidro uzdevumu, atrisina lielāko daļu problēmu. Vispirms patērē šeit.
- Dažu piemēru mācīšanās: ievietojot uzvednē dažus piemērus, modelis parāda vēlamo formātu un darbību.
- RAG: Ja problēma ir "informācijas trūkums" (nepieciešami dati, kurus modelis nezina), risinājums ir RAG (4. vienība), nevis precizēšana.
- Precizēšana: tas tiek izmantots, ja ar iepriekšminēto nepietiek un problēma ir “uzvedība/formāts/stils”.
Galvenā atšķirība: precizēšana ir vāja un riskanta, mācot modelim jaunu informāciju; bet tas ir spēcīgs, mācot, kā uzvesties (konkrēts formāts, tonis, lauka žargons, konsekventa struktūra). “Mans modelis nezina mūsu uzņēmuma informāciju” → RAG. "Ļaujiet manam modelim vienmēr sniegt izvadi tieši tādā formātā, kādu mēs vēlamies" → precizēšanas kandidāts.
Padoms. Pirms izlemjat par precizēšanu, jautājiet: "Vai tā ir zināšanu problēma vai uzvedības problēma?" Informācijas problēmas labāk risina ar RAG, uzvedības problēmas labāk risina ar precizēšanu.
Precīzākas pielāgošanas metodes
Pilnīga precizēšana: visu modeļa parametru pārkvalificēšana. Visspēcīgākais, bet visdārgākais; Tam nepieciešama liela aparatūra (GPU) un rūpīgi dati. Lielākajai daļai komandu tas nav vajadzīgs.
Parametru efektīva precizēšana (PEFT): metodes, kas iesaldē lielāko daļu modeļa, apmācot tikai nelielu papildu parametru kopu. Visizplatītākā ir LoRA (Low-Rank Adaptation: modelim pievienoto mazu "adaptera" slāņu apmācība). LoRA nodrošina rezultātus, kas ir tuvu pilnīgai precizēšanai, ar daudz mazāku atmiņu un izmaksām; Tāpēc praksē tā ir pirmā izvēle.
Uzraudzītā precīzā regulēšana (SFT): modeļa mācīšana "reaģēt uz šo ievadi šādi" ar datiem, kas sastāv no ieejas-ideāliem izvades pāriem. Tas ir visizplatītākais scenārijs.
Mācību pastiprināšana no cilvēku atgriezeniskās saites (RLHF): modeļa uzvedības saskaņošana ar cilvēku vēlamajām atbildēm. Tas ir sarežģīti un dārgi; Lielākajai daļai lietojumprogrammu grupu vajadzības tiek apmierinātas, izmantojot SFT. Pietiek zināt RLHF kā jēdzienu.
Dati: precizēšanas sirds
Precīzās pielāgošanas kvalitāte ir pilnībā atkarīga no apmācības datu kvalitātes. Daži simti augstas kvalitātes, konsekventu paraugu ir labāki nekā tūkstošiem aplietu paraugu. Sagatavojot datus:
- Konsekvence: visi piemēri konsekventi parāda vēlamo formātu un toni. Pretrunīgi piemēri modeli mulsina.
- Šķirne: piemēri aptver šķirni faktiskajā lietošanā, bet nav viendabīgi.
- Tīrīšana: gadījumi, kas satur nepareizus, neobjektīvus vai slēptus datus, tiek neatgriezeniski nodoti modelī. Precizēšanas dati ir jāizlasa tikpat uzmanīgi kā līgums.
Uzmanību! Visas novirzes, kļūdas un slēptā informācija, kas tiek ievadīta precizējošajos datos, tiek iegravēta modelī un atkal parādās tā izvados. Pārbaudiet savus treniņu datus tikpat rūpīgi, it kā jūs tos publicētu; Nepublicējiet personas datus.
Pārskats: vai precizēšana darbojās?
Pirms precīzās noregulēšanas rezervējiet noturētu vērtēšanas komplektu un izmēra modeļa punktu skaitu bez precīzas regulēšanas (bāzes modelis). Pēc precizēšanas veiciet mērījumus vēlreiz tajā pašā bankā. Bez salīdzināšanas nevar teikt "tas kļuva labāk". Jāņem vērā arī divi slazdi:
- Pārmācība: pārmērīga apmācība ar maziem datiem liek modelim zaudēt spēju iegaumēt un vispārināt apmācības piemērus.
- Katastrofāla aizmirstība: pārtrenēšanās šaura uzdevuma veikšanai var pasliktināt modeļa vispārējās spējas. Pārbaudiet, vai vecās prasmes tiek saglabātas, apgūstot jauno uzvedību.
Vāja pieeja / spēcīga pieeja
Vāji: "Man ir 3000 tērzēšanas žurnālu, nodosim tos visus precizēšanai, lai modelis varētu runāt tāpat kā mēs."
Güçlü: "Vispirms es novērtēju bāzes modeli ar 100 reāliem uzdevumiem, atzīmēju punktu skaitu. Es izmērīju, cik daudz tas uzlabojās ar uzvednēm un dažiem kadriem — ar to nebija pietiekami. Pēc tam no 3000 žurnāliem es atlasīju un notīrīju tikai 400 paraugus ar augstu kvalitāti, konsekventu formātu un bez slēptiem datiem. Es precizēju ar atsevišķiem uzdevumiem, kas tos pašus, un vēlreiz apstiprināju0 ar vispārīgiem uzdevumiem. spējas bija neskartas."
Atšķirība: spēcīgā pieeja vispirms izsmeļ alternatīvas, iegūst datus, veic mērījumus pirms un pēc un pārbauda blakusparādības.
Izmaksu un uzturēšanas realitāte
Precīza noregulēšana nav vienreizējs darbs; Tas ir rūpes pienākums. Ja bāzes modelis tiek atjaunināts, ir jāmaina vai tiek zaudēti dati, var būt nepieciešama atkārtota apmācība. Turklāt precīza modeļa mitināšana rada papildu izmaksas un darbības. Salīdziniet šīs kopējās īpašumtiesību izmaksas ar to nodrošināto kvalitātes pieaugumu. Lielāko daļu laika laba uzvedne + RAG ir lētāka un elastīgāka nekā precizēšana.
trīs mini futrāļi
1. gadījums — nevajadzīga precizēšana. Komanda uzsāka dārgu precizēšanas projektu, jo "mūsu modelis nezina mūsu produktus". Tika iztērēti mēneši un budžets, rezultāts bija trausls — modelis novecoja katru reizi, kad mainījās preču katalogs. Beidzot viņi pārgāja uz RAG: viņi ieguva produkta datus no dokumentu bāzes, atjaunināšana bija tūlītēja un izmaksas samazinājās. Mācība: informācijas problēma netiek atrisināta ar precizēšanu.
2. gadījums — pareiza precizēšana. Apdrošināšanas sabiedrība vēlējās, lai modelis vienmēr sagatavotu polišu kopsavilkumus tādā pašā stingrā struktūrā (pa klauzulai ar īpašiem virsrakstiem). Atbilstība uzvednei ir iestrēdzis pie 70%. Pēc LoRA precizēšanas ar 300 labiem paraugiem formāta konsekvence palielinājās līdz 98%. Tā bija uzvedības problēma, un precizēšana bija pareizais instruments.
3. gadījums — konfidencialitātes aizplūšana datos. Viena komanda iesniedza tērzēšanas žurnālus precizēšanai, tos netīrot. Žurnālos bija reāli klientu vārdi un identifikācijas numuri. Precīzi pielāgotais modelis sāka "nopludināt" šos nosaukumus kā rezultātu nesaistītos jautājumos. Modelis tika atsaukts, dati maskēti un atkārtoti apmācīti. Nodarbība: Precizēšanas datos slēptā informācija tiek neatgriezeniski pārsūtīta uz modeli.
Kopējamas veidnes
Palīdziet man izlemt, vai šai manai problēmai ir nepieciešama precizēšana. Problēma: [description] Vai tā ir INFORMĀCIJAS problēma (modelis kaut ko nezina) vai UZVEDĪBAS problēma (modelis nerada vēlamo formātu/toni/struktūru)? Vai to var atrisināt ar tūlītēju, dažu kadru un RAG vispirms? Kāpēc mēģināt/neizmēģināt katru no tiem?Tikai ar kādiem nosacījumiem jūs ieteiktu precizēt?
Pārbaudiet šo precizējošo datu kopu: 1) Vai piemēri formātā un tonī ir konsekventi?2) Vai tie aptver atšķirības faktiskajā lietošanā?3) Vai tajā ir ietverti konfidenciāli/personas dati (jānoslēpj)?4) Vai ir pretrunīgi piemēri?Piemēru apakškopa: [piemēri]Uzskaitiet katru atrasto problēmu un labojumu.
Izveidojiet novērtēšanas plānu pirms un pēc precizēšanas. Uzdevums: [paskaidrojums]- Kā jāizvēlas noturētā vērtēšanas kopa?- Kā tiek mērīts bāzes modeļa rezultāts?- Ar kādu metriku tas tiek salīdzināts pēc precizēšanas?- Kā pārbaudīt, vai netiek traucētas vispārējās iespējas (katastrofāla aizmirstība)?
Ieteikt sākotnējos hiperparametrus precizēšanai ar LoRA.Datu lielums: [paraugu skaits]Mērķis: [formāta/tona mācīšana]Ieteikt laikmetu, mācīšanās ātrumu un agrīnu apturēšanu, lai izvairītos no pārmācības.
Lēmumu tabula: kurš rīks kad
nepieciešams
vispirms pamēģini
Precizēšana?
Modelis nezina nekādu informāciju
RAG
nē
Nepieciešami pašreizējie dati
RAG
nē
Īpašs stingrs formāts
daži šāvieni
Ja nepietiek, jā
Konsekvents tonis/stils
uzvedne + daži kadri
Ja nepietiek, jā
Lauka žargons/stils
uzvedne
Ja ar to nepietiek, LoRA
Vienkārša uzdevumu optimizācija
ātra inženierija
Vispār nē
Biežas kļūdas
- Mēģina atrisināt informācijas problēmu ar precizēšanu. RAG ir pareizais instruments.
- Notiek precizēšana, neizmantojot tūlītēju/mazu kadru/RAG. Dārgi un nevajadzīgi.
- Apmācība ar zemas kvalitātes/pretrunīgiem datiem. Labāk ir mazāk, bet skaidri dati.
- Konfidenciālu datu ievietošana izglītībā. Pastāvīgi iefiltrējas modelī.
- Netiek mērīts pirms un pēc. Jūs nevarat pierādīt atveseļošanos.
- Nepārbaudot katastrofālu aizmirstību. Jaunā prasme var izjaukt veco.
Rezumējot
Precīzā iestatīšana ir spēcīgs, bet dārgs rīks, un to vajadzētu apsvērt tikai darbības/formāta problēmu gadījumā pēc tūlītējas-few-shot-RAG lietošanas; informācijas problēmas pieder RAG. Parametru efektīvas metodes, piemēram, LoRA, ir praktiskā pirmā izvēle. Kvalitāte pilnībā ir atkarīga no datu kvalitātes; Izmantojiet mazus, bet tīrus, konsekventus un konfidenciālus datus. Novērtējiet pirms un pēc, pārbaudiet pārmācīšanos un spēju zudumu. Precīza regulēšana ir rūpības pienākums; Nosveriet tā kopējās izmaksas pret piedāvāto kvalitāti.
Lietojumprogrammas uzdevums
Izvēlieties problēmu un izlemiet, vai ir nepieciešama precizēšana, nošķirot “zināšanas vai uzvedību”, un uzrakstiet savu pamatojumu. Ja tā ir uzvedības problēma, sagatavojiet 20–30 konsekventus paraugus, pārbaudiet slēptos datus un dokumentējiet pirms un pēc novērtēšanas plānu (noturētais klasteris, bāzes rezultāts, salīdzināšanas metrika, aizmirstības tests). Ja to var atrisināt ar RAG/few-shot, nevis precizēšanu, atzīmējiet arī to.
kontrolsaraksts
- [ ] Es noteicu, vai problēma ir zināšanas vai uzvedība.
- [ ] Vispirms es novērtēju tūlītējās, dažu kadru un RAG alternatīvas.
- [ ] Es pārbaudīju precizējošos datus, lai nodrošinātu konsekvenci, daudzveidību un konfidencialitāti.
- [ ] Es piešķiru ilgstošu vērtēšanas kopu un izmērīju bāzes punktu skaitu.
- [ ] Es plānoju pirms-pēc salīdzināšanu un aizmirstības testu.
- [ ] Es salīdzināju kopējās izmaksas ar tās sniegto kvalitāti.