Hagnaður:
- Hæfni til að greina hvort vandamál er upplýsingar eða hegðun og meta fínstillingu fyrir hegðunarvandamál aðeins eftir að skjótt, fá skot og RAG eru uppurin.
- Að skilja fínstillingaraðferðir (SFT, LoRA/PEFT, RLHF) og gagnaeiginleika sem ákvarða gæði (samkvæmni, fjölbreytni, trúnaður)
- Hæfni til að mæla raunverulegt gildi fínstillingar með fyrir-eftir mati, ofnámi og skelfilegum gleymskuprófum
Fínstilling (að sérsníða hegðun þess með því að þjálfa fyrirfram þjálfað líkan frekar með þínum eigin gögnum) er öflugt en dýrt tæki í vopnabúr verkfræðingsins sem vinnur með LLM. Þegar það er notað á röngum stað er það sóun á peningum og tíma, en þegar það er notað á réttum stað gefur það gæði sem ekki er hægt að ná á annan hátt. Í þessari einingu förum við yfir hvenær fínstilling er nauðsynleg, grunnaðferðir þess og áhættu. Markmiðið er að láta þig taka ákvarðanir.
Fyrst rétta spurningin: er fínstilling nauðsynleg?
Dýrustu mistök byrjenda eru að flýta sér strax að fínstilla vandamál sem hægt er að leysa. Settu upp pöntunina svona:
- Hraðverkfræði: Góð leiðbeining sem útskýrir verkefnið leysir greinilega flest vandamál. Neyta hér fyrst.
- Nám í fáum skotum: Með því að setja nokkur dæmi í hvetjunni sýnir líkanið æskilegt snið og hegðun.
- RAG: Ef vandamálið er „skortur á upplýsingum“ (þörf fyrir gögn sem líkanið þekkir ekki) er lausnin RAG (eining 4), ekki fínstilling.
- Fínstilling: Það kemur til greina ef ofangreint er ekki nóg og vandamálið er "hegðun/snið/stíll".
Lykilmunur: Fínstilling er veik og áhættusöm við að kenna líkaninu nýjar upplýsingar; en hún er sterk í því að kenna hvernig á að haga sér (ákveðið snið, tónn, sviðsmál, samkvæm uppbygging). „Mín líkan veit ekki upplýsingar um fyrirtækið okkar“ → RAG. "Láttu líkanið mitt alltaf gefa úttakið á nákvæmlega því sniði sem við viljum" → fínstilla frambjóðandi.
Ábending: Áður en þú tekur ákvörðun um fínstillingu skaltu spyrja: "Er þetta þekkingarvandamál eða hegðunarvandamál?" Upplýsingavandamál eru betur leyst með RAG, hegðunarvandamál eru betur leyst með fínstillingu.
Fínstillingaraðferðir
Full fínstilling: Endurþjálfa allar breytur líkansins. Öflugastur en dýrastur; Það krefst stórs vélbúnaðar (GPU) og vandaðra gagna. Það er óþarfi fyrir flest lið.
Skilvirk fínstilling (PEFT): Aðferðir sem frysta meirihluta líkansins og þjálfa aðeins lítið sett af viðbótarbreytum. Algengasta er LoRA (Low-Rank Adaptation: þjálfun lítilla „adapter“ laga bætt við líkanið). LoRA gefur niðurstöður nálægt fullri fínstillingu, með miklu minna minni og kostnaði; Þess vegna er það fyrsti kosturinn í reynd.
Supervised Fine-Tuning (SFT): Að kenna líkaninu að "svara við þetta inntak svona" með gögnum sem samanstanda af inntaks-hugsjónum úttakspörum. Það er algengasta atburðarásin.
Styrkingarnám af mannlegri endurgjöf (RLHF): Aðlaga hegðun líkansins út frá valinn svörum fólks. Það er flókið og dýrt; Þörfum flestra umsóknarteyma er mætt með SFT. Það er nóg að þekkja RLHF sem hugtak.
Gögn: hjarta fínstillingar
Gæði fínstillingar eru algjörlega háð gæðum þjálfunargagnanna. Nokkur hundruð hágæða, samræmd sýni eru betri en þúsundir slælegra. Þegar gögn eru útbúin:
- Samræmi: Öll dæmi sýna stöðugt sniðið og tóninn sem þú vilt. Misvísandi dæmi gera líkanið ruglaða.
- Fjölbreytni: Dæmi ná yfir fjölbreytni í raunverulegri notkun, en eru ekki einsleit.
- Þrif: Tilvik sem innihalda röng, hlutdræg eða falin gögn eru varanlega send inn í líkanið. Fínstillingargögn ættu að lesa jafn vandlega og samning.
Varúð: Sérhver hlutdrægni, villu og falin upplýsingar sem koma inn í fínstillingargögnin eru greypt inn í líkanið og birtast aftur í úttakinu. Skoðaðu þjálfunargögnin þín eins nákvæmlega og þú værir að birta þau; Ekki birta persónulegar upplýsingar.
Umsögn: virkaði fínstilling?
Áður en þú fínstillir skaltu panta úthaldsmatssett og mæla stig líkansins án þess að fínstilla (grunnlíkan). Eftir fínstillingu skaltu mæla aftur í sama banka. Þú getur ekki sagt "það batnaði" án samanburðar. Einnig tvær gildrur til að vera meðvitaður um:
- Ofnám: Ofþjálfun með litlum gögnum veldur því að líkanið missir getu sína til að leggja á minnið og alhæfa þjálfunardæmi.
- Hrikaleg gleymska: Ofþjálfun í þröngu verkefni getur skert heildargetu líkansins. Prófaðu hvort gömul færni haldist á meðan þú öðlast nýja hegðun.
Veik nálgun / Sterk nálgun
Veik: "Ég er með 3000 spjallskrár, við skulum gefa þeim alla til að fínstilla, svo líkanið geti talað eins og við."
Güçlü: "Fyrst lagði ég mat á grunnlíkanið með 100 raunverulegum verkefnum, tók eftir stiginu. Ég mældi hversu mikið það batnaði með leiðbeiningum og fáum skotum - það var ekki nóg. Síðan úr 3000 annálunum valdi ég og hreinsaði aðeins 400 sýni með hágæða, samræmdu sniði og engin falin gögn með LoRA og mældi aftur með LoRA, 10 mældi. með sérstakri prófun á að almennir hæfileikar væru ósnortnir.“
Munurinn: sterka nálgunin tæmir val fyrst, kirsuberjavalsgögn, mælingar fyrir og eftir og prófanir á aukaverkunum.
Raunveruleiki kostnaðar og viðhalds
Fínstilling er ekki einskiptisvinna; Það er skylda að gæta. Nauðsynlegt getur verið að endurþjálfa þegar grunnlíkanið er uppfært, þarf að breytast eða gögn glatast. Að auki hefur það í för með sér aukakostnað og rekstur að hýsa fínstillt líkan. Berðu þennan heildarkostnað við eignarhald saman við aukna gæði sem hann veitir. Oftast er góð hvetja + RAG ódýrari og sveigjanlegri en fínstilling.
þrjú smámál
Tilfelli 1 - Óþarfa fínstilling. Hópur fór í dýrt fínstillingarverkefni vegna þess að „módelið okkar þekkir ekki vörurnar okkar“. Mánuðum og fjárhagsáætlun var eytt, útkoman var viðkvæm - líkanið varð úrelt í hvert skipti sem vörulistinn breyttist. Að lokum skiptu þeir yfir í RAG: þeir sóttu vörugögnin úr skjalagrunninum, uppfærslan var samstundis og kostnaðurinn lækkaði. Lærdómur: upplýsingavandinn er ekki leystur með fínstillingu.
Tilfelli 2 - Rétt fínstilling. Vátryggingafélag vildi að líkanið myndi alltaf framleiða tryggingayfirlit í sömu stífu uppbyggingu (lið fyrir ákvæði, með sérstökum fyrirsögnum). Samræmi við hvetjandi er fastur við 70%. Eftir LoRA fínstillingu með 300 góðum sýnum jókst sniðsamkvæmni í 98%. Þetta var hegðunarvandamál og fínstilling var rétta tækið.
Mál 3 - Persónuvernd sleppur inn í gögn. Eitt teymi lagði spjallskrána til fínstillingar án þess að hreinsa þá. Logarnir innihéldu raunveruleg nöfn viðskiptavina og auðkennisnúmer. Fínstillta líkanið byrjaði að "leka" þessum nöfnum sem úttak í ótengdum spurningum. Líkanið var dregið til baka, gögn duluð og endurmenntuð. Lexía: Faldar upplýsingar í fínstillingargögnum eru varanlega fluttar í líkanið.
Afritanleg sniðmát
Hjálpaðu mér að ákveða hvort fínstilling sé nauðsynleg fyrir þetta vandamál mitt. Vandamál: [lýsing] Er þetta UPPLÝSINGAR vandamál (líkanið veit ekki eitthvað) eða HEGÐUNARvandamál (líkanið framleiðir ekki sniðið/tóninn/bygginguna sem ég vil)? Er hægt að leysa það með skjótum, fáum skotum og RAG fyrst? Af hverju að prófa/ekki prófa hvert þeirra? Aðeins við hvaða aðstæður myndir þú mæla með fínstillingu?
Athugaðu þetta fínstillandi gagnasafn:1) Eru dæmin í samræmi í sniði og tón?2) Ná þau yfir breytileika í raunverulegri notkun?3) Inniheldur það trúnaðargögn/persónuleg gögn (þarf að vera dulbúin)?4) Eru dæmi sem stangast á? Undirmengi dæmanna: [dæmi]Skráðu hvert mál og lagfærðu þig.
Gerðu matsáætlun fyrir og eftir fínstillingu. Verkefni: [skýring]- Hvernig ætti að velja úthaldsmatssettið?- Hvernig er stig grunnlíkans mæld?- Við hvaða mælistiku er það borið saman eftir fínstillingu?- Hvernig prófa ég að almennir hæfileikar séu ekki skertir (slysgleyming)?
Leggðu til upphafsstærðbreytur til að fínstilla með LoRA. Gagnastærð: [fjöldi sýna] Tilgangur: [snið/tónkennsla] Leggðu til tímabil, námshraða og snemma stöðvun til að forðast ofnám.
Ákvörðunartafla: hvaða tæki hvenær
þörf
reyndu fyrst
Fínstilla?
Líkanið veit engar upplýsingar
RAG
nei
Núverandi gögn krafist
RAG
nei
Sérstakt stíft snið
nokkur skot
Ef ekki nóg já
Stöðugur tónn/stíll
hvetja + fá-skot
Ef ekki nóg já
Málfræði/stíll á sviði
hvetja
Ef það er ekki nóg, LoRA
Einföld verkefnahagræðing
skjót verkfræði
Almennt nei
Algeng mistök
- Reynt er að leysa upplýsingavandann með fínstillingu. RAG er rétta tækið.
- Að keyra í fínstillingu án þess að neyta prompt/fáein skot/RAG. Dýrt og óþarft.
- Þjálfun með lággæða/misræmi gögn. Minni en skýr gögn eru betri.
- Að setja trúnaðargögn í menntun. síast varanlega inn í líkanið.
- Ekki mæla fyrir og eftir. Þú getur ekki sannað bata.
- Ekki prófa skelfilega gleymsku. Nýja hæfileikinn getur truflað þann gamla.
Í stuttu máli
Fínstilling er öflugt en dýrt tól og ætti aðeins að íhuga fyrir hegðunar-/sniðvandamál eftir að hafa neytt prompt-fáein skot-RAG; upplýsingavandamál tilheyra RAG. Skilvirkar aðferðir eins og LoRA eru hagnýtur fyrsti kostur. Gæði ráðast algjörlega af gæðum gagna; Notaðu lítil en hrein, samkvæm og trúnaðargögn. Mældu fyrir og eftir, prófaðu fyrir ofnám og tap á getu. Fínstilling er skylda að gæta; Vegið heildarkostnað þess á móti gæðum sem það skilar.
Umsóknarverkefni
Veldu vandamál og ákveðið hvort fínstilling sé nauðsynleg með því að greina á milli „þekkingar eða hegðunar“ og skrifa rökstuðninginn þinn. Ef það er hegðunarvandamál, undirbúið 20-30 samræmd sýni, athugaðu hvort gögn séu falin og skjalfestu matsáætlun fyrir og eftir (haldandi þyrping, grunnstig, samanburðarmæligildi, gleymdarpróf). Ef það er hægt að leysa það með RAG/fáum skotum í stað þess að fínstilla, takið eftir þessu líka.
gátlisti
- [ ] Ég ákvað hvort vandamálið væri þekking eða hegðun.
- [ ] Ég mat fyrst hvetjandi, fá-skot og RAG valkostina.
- [ ] Ég endurskoðaði fínstillingargögnin með tilliti til samræmis, fjölbreytileika og trúnaðar.
- [ ] Ég úthlutaði úthaldsklasa og mældi grunnstigið.
- [ ] Ég skipulagði fyrir-eftir samanburð og gleymskupróf.
- [ ] Ég bar saman heildarkostnaðinn við gæðin sem hann veitir.