Dobički:
- Sposobnost razločevanja, ali je težava informacija ali vedenje, in ovrednotenja natančnega prilagajanja vedenjskih težav šele po tem, ko so izčrpani hitri, nekajkratni in RAG.
- Razumevanje metod natančnega prilagajanja (SFT, LoRA/PEFT, RLHF) in atributov podatkov, ki določajo kakovost (doslednost, raznolikost, zaupnost)
- Sposobnost merjenja prave vrednosti natančnega prilagajanja s testi vrednotenja prej-potem, prekomernega učenja in katastrofalnega pozabljanja
Natančna nastavitev (prilagajanje njegovega vedenja z nadaljnjim usposabljanjem vnaprej usposobljenega modela z vašimi lastnimi podatki) je močno, a drago orodje v arzenalu inženirja, ki dela z LLM. Če se uporablja na napačnem mestu, je izguba denarja in časa, če pa se uporablja na pravem mestu, zagotavlja kakovost, ki je drugače ni mogoče doseči. V tej enoti obravnavamo, kdaj je potrebna fina nastavitev, njene osnovne metode in tveganja. Cilj je, da sprejemate odločitve.
Najprej pravo vprašanje: ali je potrebna fina nastavitev?
Najdražja napaka začetnikov je, da takoj pohitijo z natančno nastavitvijo problema, ki ga je mogoče rešiti. Nastavite vrstni red tako:
- Hitro inženirstvo: Dober poziv, ki jasno razloži nalogo, reši večino težav. Najprej zaužijte tukaj.
- Nekajkratno učenje: Če v poziv vnesete nekaj primerov, modelu pokažete želeno obliko in vedenje.
- RAG: Če je težava "pomanjkanje informacij" (potreba po podatkih, ki jih model ne pozna), je rešitev RAG (enota 4), ne pa fina nastavitev.
- Natančna nastavitev: pride v poštev, če zgoraj navedeno ni dovolj in je težava "vedenje/format/slog".
Ključna razlika: fino prilagajanje je šibko in tvegano pri podajanju novih informacij modelu; vendar je močan pri poučevanju, kako se obnašati (specifična oblika, ton, terenski žargon, dosledna struktura). “Moj model ne pozna podatkov o našem podjetju” → RAG. "Naj moj model vedno daje izhod v natančni obliki, ki jo želimo" → kandidat za fino nastavitev.
Namig: Preden se odločite za natančno nastavitev, se vprašajte: "Ali je to problem znanja ali vedenja?" Informacijske težave je bolje rešiti z RAG, vedenjske težave pa s fino nastavitvijo.
Metode natančnega prilagajanja
Popolna fina nastavitev: Ponovno usposabljanje vseh parametrov modela. Najmočnejši, a najdražji; Zahteva veliko strojno opremo (GPE) in skrbne podatke. Za večino ekip je nepotrebno.
Parametrsko učinkovito fino uravnavanje (PEFT): Metode, ki zamrznejo veliko večino modela, usposabljajo le majhen niz dodatnih parametrov. Najpogostejši je LoRA (Low-Rank Adaptation: usposabljanje majhnih "adapterskih" plasti, dodanih modelu). LoRA zagotavlja rezultate, ki so blizu popolni fini nastavitvi, z veliko manj pomnilnika in stroškov; Zato je v praksi prva izbira.
Nadzorovano fino uravnavanje (SFT): Učenje modela, da se "na ta vnos odzove takole" s podatki, ki so sestavljeni iz izhodnih parov, ki so idealni za vnos. To je najpogostejši scenarij.
Okrepitveno učenje iz človeških povratnih informacij (RLHF): Usklajevanje vedenja modela z želenimi odzivi ljudi. Je kompleksen in drag; Potrebe večine skupin aplikacij so zadovoljene s SFT. Dovolj je, da poznamo RLHF kot koncept.
Podatki: srce natančnega prilagajanja
Kakovost natančnega prilagajanja je v celoti odvisna od kakovosti podatkov o usposabljanju. Nekaj sto visokokakovostnih, doslednih vzorcev je boljših od tisočev površnih. Pri pripravi podatkov:
- Doslednost: vsi primeri dosledno prikazujejo obliko in ton, ki ju želite. Protislovni primeri pustijo model zmedenega.
- Raznolikost: Primeri pokrivajo raznovrstnost v dejanski uporabi, vendar niso enotni.
- Čiščenje: primerki, ki vsebujejo nepravilne, pristranske ali skrite podatke, se trajno posredujejo v model. Podatke o natančnem uravnavanju je treba brati tako natančno kot pogodbo.
Pozor: Vsaka pristranskost, napaka in skrite informacije, ki vstopajo v podatke natančnega uravnavanja, so vgravirane v model in se znova pojavijo v njegovih izhodih. Preglejte svoje podatke o usposabljanju tako natančno, kot če bi jih objavili; Ne objavljajte osebnih podatkov.
Pregled: ali je natančna nastavitev delovala?
Pred natančno nastavitvijo rezervirajte zadržan niz vrednosti in izmerite rezultat modela brez natančne nastavitve (osnovni model). Po natančni nastavitvi ponovno izmerite v isti banki. Brez primerjave ne morete reči, da je bilo bolje. Zavedati se morate tudi dveh pasti:
- Prekomerno učenje: Prekomerno usposabljanje z majhnimi podatki povzroči, da model izgubi sposobnost pomnjenja in posploševanja primerov usposabljanja.
- Katastrofalno pozabljanje: pretreniranost pri ozki nalogi lahko poslabša splošne sposobnosti modela. Preizkusite, ali se ob pridobivanju novega vedenja ohranijo stare veščine.
Šibek pristop / Močan pristop
Slab: "Imam 3000 dnevnikov klepetov, dajmo jih vse v natančno nastavitev, da bo model lahko govoril kot mi."
Güçlü: »Najprej sem ocenil osnovni model s 100 resničnimi nalogami, zabeležil rezultat. Izmeril sem, koliko se je izboljšal s pozivi in nekaj posnetki – to ni bilo dovolj. Nato sem izmed 3000 dnevnikov izbral in očistil le 400 vzorcev z visoko kakovostjo, dosledno obliko in brez skritih podatkov. Natančno sem nastavil z LoRA, znova izmeril z istimi 100 nalogami in potrdil z ločen preizkus, da so bile splošne zmogljivosti nedotaknjene."
Razlika: močan pristop najprej izčrpa alternative, izbere podatke, meri prej in potem ter testira stranske učinke.
Realnost stroškov in vzdrževanja
Fina nastavitev ni enkratna naloga; To je dolžnost skrbi. Morda bo treba znova usposobiti, ko je osnovni model posodobljen, ga je treba spremeniti ali se izgubijo podatki. Poleg tega gostovanje natančno nastavljenega modela prinaša dodatne stroške in operacije. Primerjajte te skupne stroške lastništva s povečanjem kakovosti, ki jo zagotavlja. Večino časa je dober poziv + RAG cenejši in bolj prilagodljiv kot fina nastavitev.
trije mini kovčki
1. primer - Nepotrebno natančno prilagajanje. Ekipa se je lotila dragega projekta natančnega prilagajanja, ker "naš model ne pozna naših izdelkov." Porabljeni so bili meseci in proračun, rezultat je bil krhek - model je zastarel vsakič, ko se je katalog izdelkov spremenil. Končno so prešli na RAG: pridobili so podatke o izdelku iz baze dokumentov, posodobitev je bila takojšnja in stroški so padli. Nauk: problem informacij se ne reši s finim prilagajanjem.
2. primer – pravilna fina nastavitev. Zavarovalnica je želela, da model vedno ustvari povzetke polic v isti togi strukturi (postavka za klavzulo, s posebnimi naslovi). Skladnost s pozivom je obstala pri 70 %. Po natančnem prilagajanju LoRA s 300 dobrimi vzorci se je skladnost formata povečala na 98 %. To je bila vedenjska težava in natančna nastavitev je bila pravo orodje.
Primer 3 – Bežanje zasebnosti v podatke. Ena ekipa je poslala dnevnike klepetov v natančno nastavitev, ne da bi jih očistila. Dnevniki so vsebovali prava imena strank in identifikacijske številke. Natančno nastavljeni model je začel "puščati" ta imena kot rezultat v nepovezanih vprašanjih. Model je bil umaknjen, podatki zamaskirani in ponovno usposobljeni. Lekcija: Skrite informacije v podatkih natančnega uravnavanja se trajno prenesejo v model.
Kopirane predloge
Pomagajte mi pri odločitvi, ali je potrebna fina nastavitev za to mojo težavo. Težava: [opis] Ali je to INFORMACIJSKA težava (model nečesa ne ve) ali VEDENJSKA težava (model ne proizvaja želenega formata/tona/strukture)? Ali je to mogoče rešiti s takojšnjim, nekaj posnetki in najprej RAG? Zakaj poskusiti/ne poskusiti vsakega od njih? Le pod kakšnim pogojem bi priporočali natančno nastavitev?
Preverite ta nabor podatkov za natančno uravnavanje: 1) Ali so primeri skladni v obliki in tonu? 2) Ali pokrivajo različico dejanske uporabe? 3) Ali vsebuje zaupne/osebne podatke (morajo biti prikriti)? 4) Ali obstajajo nasprotujoči si primeri? Podmnožica primerov: [primeri] Navedite vsako težavo in popravek, ki ste ga našli.
Izdelajte načrt ocenjevanja pred in po natančnem uravnavanju. Naloga: [razlaga]- Kako naj bo izbran nabor zadržanih vrednotenj?- Kako se meri rezultat osnovnega modela?- S katero metriko se primerja po natančnem prilagajanju?- Kako preizkusim, da splošne zmogljivosti niso oslabljene (katastrofalno pozabljanje)?
Predlagajte začetne hiperparametre za natančno nastavitev z LoRA. Velikost podatkov: [število vzorcev] Namen: [format/poučevanje tonov] Predlagajte obdobje, stopnjo učenja in zgodnjo zaustavitev, da se izognete prekomernemu učenju.
Tabela odločitev: katero orodje kdaj
potreba
najprej poskusi
Natančna nastavitev?
Model ne pozna nobenih informacij
RAG
št
Zahtevani so trenutni podatki
RAG
št
Poseben togi format
nekaj posnetkov
Če ni dovolj, da
Dosleden ton/slog
hiter + nekaj posnetkov
Če ni dovolj, da
Terenski žargon/slog
poziv
Če to ni dovolj, LoRA
Enostavna optimizacija nalog
hiter inženiring
Na splošno št
Pogoste napake
- Informacijski problem poskuša rešiti s finim prilagajanjem. RAG je pravo orodje.
- Tekanje v natančno uravnavanje brez porabe prompt/few-shot/RAG. Drago in nepotrebno.
- Usposabljanje z nizko kakovostjo/nasprotujočimi si podatki. Manj, a jasni podatki so boljši.
- Vnašanje zaupnih podatkov v izobraževanje. Trajno se infiltrira v model.
- Ne merim prej in potem. Okrevanja ne morete dokazati.
- Brez preizkušanja katastrofalne pozabe. Nova veščina lahko moti staro.
Če povzamem
Natančna nastavitev je zmogljivo, a drago orodje in jo je treba upoštevati samo pri težavah z vedenjem/formatom po porabi prompt-few-shot-RAG; informacijske težave pripadajo RAG. Parametrsko učinkovite metode, kot je LoRA, so praktična prva izbira. Kakovost je v celoti odvisna od kakovosti podatkov; Uporabite majhne, a čiste, dosledne in zaupne podatke. Izmerite pred in po, preizkusite prekomerno učenje in izgubo sposobnosti. Natančna nastavitev je skrbna naloga; Pretehtajte njegove skupne stroške glede na kakovost, ki jo zagotavlja.
Aplikacijska naloga
Izberite težavo in se odločite, ali je potrebno natančno prilagajanje z razlikovanjem med "znanjem ali vedenjem" in napišite svojo utemeljitev. Če gre za težavo z vedenjem, pripravite 20–30 konsistentnih vzorcev, preverite, ali obstajajo skriti podatki, in dokumentirajte načrt vrednotenja pred in po (zadržani grozd, osnovni rezultat, primerjalna metrika, test pozabljanja). Če je to mogoče rešiti z RAG/few-shot namesto natančne nastavitve, si zapomnite tudi to.
kontrolni seznam
- [ ] Ugotovil sem, ali je problem znanje ali vedenje.
- [ ] Najprej sem ocenil možnosti hitrega, nekajkratnega in RAG.
- [ ] Podatke o natančnem uravnavanju sem pregledal glede doslednosti, raznolikosti in zaupnosti.
- [ ] Dodelil sem zadržani eval grozd in izmeril osnovni rezultat.
- [ ] Načrtoval sem primerjavo prej-potem in preizkus pozabljanja.
- [ ] Primerjal sem skupne stroške s kakovostjo, ki jo zagotavlja.