Faida:
- Uwezo wa kutofautisha ikiwa tatizo ni taarifa au tabia na kutathmini urekebishaji mzuri kwa matatizo ya kitabia baada ya kumalizika kwa haraka, risasi chache na RAG.
- Kuelewa mbinu za kurekebisha vizuri (SFT, LoRA/PEFT, RLHF) na sifa za data zinazobainisha ubora (uwiano, utofauti, usiri)
- Uwezo wa kupima thamani ya kweli ya kurekebisha vizuri na tathmini ya kabla ya baada ya, kujifunza kupita kiasi na majaribio mabaya ya kusahau.
Urekebishaji mzuri (kubinafsisha tabia yake kwa kufunza modeli iliyofunzwa mapema zaidi na data yako mwenyewe) ni zana yenye nguvu lakini ya gharama kubwa katika ghala la mhandisi anayefanya kazi na LLMs. Inapotumiwa mahali pabaya, ni kupoteza pesa na wakati, lakini inapotumiwa mahali pazuri, hutoa ubora ambao hauwezi kupatikana vinginevyo. Katika kitengo hiki, tunashughulikia wakati urekebishaji mzuri ni muhimu, njia zake za msingi na hatari. Lengo ni kukufanya ufanye maamuzi.
Kwanza swali sahihi: ni muhimu kusawazisha vizuri?
Makosa ya gharama kubwa zaidi ya Kompyuta ni kukimbilia mara moja kurekebisha shida ambayo inaweza kutatuliwa. Panga agizo kama hili:
- Uhandisi wa haraka: Mwongozo mzuri unaoelezea kazi kwa uwazi hutatua matatizo mengi. Tumia hapa kwanza.
- Kujifunza kwa njia chache: Kuweka mifano michache katika dodoso kunaonyesha modeli umbizo na tabia inayotakikana.
- RAG: Ikiwa shida ni "ukosefu wa habari" (haja ya data ambayo mtindo haujui), suluhisho ni RAG (kitengo cha 4), sio kusawazisha.
- Urekebishaji mzuri: Inatumika ikiwa yaliyo hapo juu haitoshi na shida ni "tabia/umbizo/mtindo".
Tofauti kuu: Urekebishaji mzuri ni dhaifu na ni hatari katika kufundisha kielelezo habari mpya; lakini ina nguvu katika kufundisha jinsi ya kuishi (muundo maalum, toni, jargon ya shamba, muundo thabiti). "Mtindo wangu haujui habari za kampuni yetu" → RAG. "Wacha kielelezo changu kitoe matokeo katika umbizo halisi tunalotaka" → mpangilio mzuri wa kurekebisha.
Kidokezo: Kabla ya kuamua kurekebisha vizuri, uliza: "Je, hili ni tatizo la maarifa au tatizo la tabia?" Matatizo ya habari yanatatuliwa vyema na RAG, matatizo ya kitabia yanatatuliwa vyema kwa kurekebisha.
Mbinu za kurekebisha vizuri
Urekebishaji kamili: Kuunda upya vigezo vyote vya muundo. Nguvu zaidi lakini ghali zaidi; Inahitaji maunzi makubwa (GPU) na data makini. Sio lazima kwa timu nyingi.
Urekebishaji mzuri wa kigezo (PEFT): Mbinu ambazo husimamisha idadi kubwa ya muundo, hufunza tu seti ndogo ya vigezo vya ziada. Ya kawaida ni LoRA (Mabadiliko ya Kiwango cha Chini: mafunzo ya tabaka ndogo za "adapta" zilizoongezwa kwa mfano). LoRA hutoa matokeo karibu na urekebishaji kamili, na kumbukumbu na gharama kidogo; Ndiyo sababu ni chaguo la kwanza katika mazoezi.
Urekebishaji Uzuri Unaosimamiwa (SFT): Kufundisha muundo "kujibu ingizo hili kama hili" kwa data inayojumuisha jozi za matokeo bora ya ingizo. Ni hali ya kawaida zaidi.
Mafunzo ya kuimarisha kutoka kwa maoni ya binadamu (RLHF): Kuoanisha tabia ya modeli kutoka kwa majibu yanayopendekezwa na watu. Ni ngumu na ya gharama kubwa; Mahitaji ya timu nyingi za maombi yanatimizwa na SFT. Inatosha kujua RLHF kama dhana.
Data: moyo wa kurekebisha vizuri
Ubora wa kurekebisha vizuri unategemea kabisa ubora wa data ya mafunzo. Sampuli mia chache za ubora wa juu, thabiti ni bora kuliko maelfu ya sampuli zisizo na tija. Wakati wa kuandaa data:
- Uthabiti: Mifano yote inaonyesha mfululizo umbizo na toni unayotaka. Mifano kinzani huacha mfano kuchanganyikiwa.
- Aina mbalimbali: Mifano hufunika aina katika matumizi halisi, lakini si sawa.
- Kusafisha: Matukio yaliyo na data isiyo sahihi, ya upendeleo, au iliyofichwa hupitishwa kabisa kwenye muundo. Data ya kurekebisha vizuri inapaswa kusomwa kwa uangalifu kama mkataba.
Tahadhari: Kila upendeleo, hitilafu, na taarifa iliyofichwa inayoingiza data ya urekebishaji huwekwa kwenye modeli na kuonekana tena katika matokeo yake. Kagua data yako ya mafunzo kwa uangalifu kana kwamba unaichapisha; Usichapishe data ya kibinafsi.
Mapitio: urekebishaji mzuri ulifanya kazi?
Kabla ya kurekebisha vizuri, hifadhi seti ya tathmini iliyoshikiliwa na upime alama ya modeli bila kurekebisha vizuri (mfano wa msingi). Baada ya kusawazisha, pima tena katika benki hiyo hiyo. Huwezi kusema "imekuwa bora" bila kulinganisha. Pia mitego miwili ya kufahamu:
- Kuzidisha: Kufunza kupita kiasi na data ndogo husababisha modeli kupoteza uwezo wake wa kukariri na kujumlisha mifano ya mafunzo.
- Kusahau kwa janga: Kujizoeza kupita kiasi kwenye kazi nyembamba kunaweza kudhoofisha uwezo wa jumla wa mwanamitindo. Jaribu ikiwa ujuzi wa zamani unadumishwa wakati wa kupata tabia mpya.
Mbinu dhaifu / Mbinu kali
Dhaifu: "Nina kumbukumbu 3000 za gumzo, hebu tuzipange zote vizuri, ili mwanamitindo aweze kuzungumza kama sisi."
Güçlü: "Kwanza nilitathmini muundo msingi kwa kazi 100 halisi, nikabaini alama. Nilipima ni kiasi gani ulivyoboreshwa kwa vidokezo na risasi chache - haikutosha. Kisha kutoka kwenye kumbukumbu 3000, nilichagua na kusafisha sampuli 400 pekee zenye ubora wa juu, umbizo thabiti na hakuna data iliyofichwa. Nilithibitisha kwa usahihi mtihani huo huo kwa kutumia LORA, na kusawazisha tena kwa kazi sawa na LORA. kwamba uwezo wa jumla ulikuwa sawa."
Tofauti: mbinu dhabiti humaliza njia mbadala kwanza, data ya kuchagua cherry, hatua kabla na baada, na majaribio ya athari.
Ukweli wa gharama na matengenezo
Urekebishaji mzuri sio kazi ya mara moja; Ni wajibu wa kutunza. Huenda ikahitajika kujizoeza tena wakati muundo msingi unasasishwa, unahitaji mabadiliko, au data inapotea. Zaidi ya hayo, kukaribisha mtindo uliopangwa vizuri huleta gharama na uendeshaji zaidi. Linganisha jumla ya gharama hii ya umiliki na ongezeko la ubora inayotoa. Mara nyingi kidokezo kizuri + RAG ni cha bei nafuu na rahisi zaidi kuliko kurekebisha vizuri.
kesi tatu ndogo
Kesi ya 1 - urekebishaji usio wa lazima. Timu ilianza mradi wa usanifu wa bei ghali kwa sababu "mtindo wetu haujui bidhaa zetu." Miezi na bajeti zilitumika, matokeo yake yalikuwa tete - mtindo ukawa kizamani kila wakati orodha ya bidhaa ilibadilika. Hatimaye walibadilisha hadi RAG: walichukua data ya bidhaa kutoka msingi wa hati, sasisho lilikuwa la papo hapo na gharama ilishuka. Somo: tatizo la habari halitatuliwi kwa kurekebisha vizuri.
Kesi ya 2 - Urekebishaji sahihi. Kampuni ya bima ilitaka mtindo huo utoe muhtasari wa sera kila wakati katika muundo ule ule mgumu (kipengee kwa kifungu, chenye vichwa maalum). Uwiano na haraka umekwama kwa 70%. Baada ya urekebishaji mzuri wa LoRA na sampuli 300 nzuri, uthabiti wa umbizo uliongezeka hadi 98%. Hili lilikuwa tatizo la tabia na urekebishaji ulikuwa zana sahihi.
Kesi ya 3 - Kuepuka kwa faragha kwenye data. Timu moja iliwasilisha kumbukumbu za gumzo ili zirekebishwe bila kuzisafisha. Kumbukumbu hizo zilikuwa na majina halisi ya wateja na nambari za utambulisho. Muundo uliowekwa vizuri ulianza "kuvuja" majina haya kama matokeo katika maswali ambayo hayahusiani. Mtindo huo uliondolewa, data ilifunikwa na kufunzwa tena. Somo: Taarifa iliyofichwa katika data ya urekebishaji mzuri huhamishwa hadi kwa modeli.
Violezo vinavyoweza kunakiliwa
Nisaidie kuamua ikiwa kurekebisha vizuri ni muhimu kwa tatizo langu hili. Tatizo: [maelezo] Je, hili ni tatizo la MAELEZO (mfano haujui kitu) au ni tatizo la TABIA (mfano hautoi umbizo/toni/muundo ninaotaka)? Je, inaweza kutatuliwa kwa haraka, risasi chache na RAG kwanza? Kwa nini ujaribu/usijaribu kila mojawapo? Ni chini ya hali gani tu unaweza kupendekeza kusawazisha vizuri?
Angalia mkusanyiko huu wa data wa usanifu:1) Je, mifano inalingana katika umbizo na toni?2) Je, inashughulikia utofauti katika matumizi halisi?3) Je, ina data ya siri/ya kibinafsi (lazima ifunikwe)?4) Je, kuna mifano inayokinzana?Sehemu ndogo ya mifano: [mifano]Orodhesha kila toleo na urekebishe uliyopata.
Tengeneza mpango wa tathmini kabla na baada ya kurekebisha vizuri. Kazi: [maelezo]- Je, seti ya tathmini iliyoshikiliwa inapaswa kuchaguliwa vipi?- Je, alama ya muundo msingi hupimwaje?- Inalinganishwa na metriki gani baada ya kusawazisha vizuri?- Je, ninawezaje kupima kwamba uwezo wa jumla haujaharibika (kusahau kwa janga)?
Pendekeza vigezo vya awali vya kurekebisha vizuri kwa kutumia LoRA.Ukubwa wa Data: [idadi ya sampuli]Kusudi: [ufundishaji wa muundo/toni]Pendekeza enzi, kiwango cha kujifunza, na kuacha mapema ili kuepuka kujifunza kupita kiasi.
Jedwali la uamuzi: chombo gani wakati
haja
jaribu kwanza
Urekebishaji mzuri?
Mfano haujui habari yoyote
RAG
hapana
Data ya sasa inahitajika
RAG
hapana
Muundo mahususi thabiti
risasi chache
Kama haitoshi ndiyo
Toni/mtindo thabiti
haraka + risasi chache
Kama haitoshi ndiyo
Jarida la shamba/mtindo
haraka
Ikiwa hiyo haitoshi, LoRA
Uboreshaji rahisi wa kazi
uhandisi wa haraka
Kwa ujumla hapana
Makosa ya kawaida
- Kujaribu kutatua tatizo la habari kwa kurekebisha vizuri. RAG ni chombo sahihi.
- Kukimbia katika urekebishaji vizuri bila kutumia haraka/shot-chache/RAG. Gharama kubwa na isiyo ya lazima.
- Mafunzo yenye ubora wa chini/data zinazokinzana. Data chache lakini wazi ni bora.
- Kuweka data za siri katika elimu. Hujipenyeza ndani ya kielelezo kabisa.
- Sio kupima kabla na baada. Huwezi kuthibitisha ahueni.
- Si kupima janga kusahau. Ustadi mpya unaweza kuvuruga ule wa zamani.
Kwa muhtasari
Kurekebisha vizuri ni zana yenye nguvu lakini ya gharama kubwa na inapaswa kuzingatiwa tu kwa matatizo ya tabia/umbizo baada ya kutumia prompt- few-shot-RAG; matatizo ya habari ni ya RAG. Njia za ufanisi wa parameta kama vile LoRA ndio chaguo la kwanza la vitendo. Ubora hutegemea kabisa ubora wa data; Tumia data ndogo lakini safi, thabiti na ya siri. Pima kabla na baada, jaribu kujua zaidi na kupoteza uwezo. Urekebishaji mzuri ni jukumu la utunzaji; Pima gharama yake yote dhidi ya ubora inayotoa.
Jukumu la maombi
Chagua tatizo na uamue ikiwa urekebishaji mzuri ni muhimu kwa kutofautisha kati ya "maarifa au tabia" na uandike sababu zako. Ikiwa ni tatizo la tabia, tayarisha sampuli 20-30 thabiti, angalia data iliyofichwa, na uandike mpango wa tathmini ya kabla na baada ya (kundi lililoshikiliwa, alama ya msingi, kipimo cha kulinganisha, mtihani wa kusahau). Ikiwa inaweza kutatuliwa kwa RAG/shot-chache badala ya kurekebisha vizuri, kumbuka hili pia.
orodha ya ukaguzi
- [ ] Nilibaini ikiwa tatizo ni ujuzi au tabia.
- [ ] Kwanza nilitathmini njia mbadala za haraka, za risasi chache na RAG.
- [ ] Nilikagua data ya urekebishaji mzuri kwa uthabiti, utofauti na usiri.
- [ ] Nilitenga nguzo ya tathmini iliyoshikiliwa na kupima alama ya msingi.
- [ ] Nilipanga kabla-baada ya kulinganisha na mtihani wa kusahau.
- [ ] Nililinganisha jumla ya gharama na ubora inayotoa.