Qligħ:
- Kapaċità li tiddistingwi jekk problema hijiex informazzjoni jew imġieba u tevalwa l-irfinar għal problemi ta 'mġieba biss wara li jiġu eżawriti fil-pront, ftit sparatura u RAG.
- Fehim tal-metodi ta’ rfinar (SFT, LoRA/PEFT, RLHF) u attributi tad-dejta li jiddeterminaw il-kwalità (konsistenza, diversità, kunfidenzjalità)
- Kapaċità li tkejjel il-valur veru ta 'l-irfinar b'testijiet ta' evalwazzjoni qabel wara, ta 'tagħlim żejjed u ta' tinsa katastrofika
L-irfinar (jippersonalizza l-imġieba tiegħu billi jħarreġ aktar mudell imħarreġ minn qabel bid-dejta tiegħek stess) huwa għodda qawwija iżda għalja fl-armament tal-inġinier li jaħdem ma 'LLMs. Meta jintuża fil-post ħażin, huwa ħela ta 'flus u ħin, iżda meta jintuża fil-post it-tajjeb, jipprovdi kwalità li ma tistax tinkiseb mod ieħor. F'din l-unità, inkopru meta tkun meħtieġa rfinar, il-metodi bażiċi u r-riskji tagħha. L-għan huwa li tagħmel inti tieħu deċiżjonijiet.
L-ewwel il-mistoqsija t-tajba: huwa meħtieġ l-irfinar?
L-iżball l-aktar għali ta 'dawk li jibdew huwa li immedjatament tgħaġġel biex tirfina problema li tista' tiġi solvuta. Issettja l-ordni bħal din:
- Inġinerija fil-pront: Prompt tajjeb li jispjega l-kompitu b'mod ċar issolvi l-biċċa l-kbira tal-problemi. Ikkunsma hawn l-ewwel.
- Tagħlim bi ftit tiri: It-tqegħid ta’ ftit eżempji fil-pront juri lill-mudell il-format u l-imġieba mixtieqa.
- RAG: Jekk il-problema hija "nuqqas ta 'informazzjoni" (ħtieġa għal data li l-mudell ma jafx), is-soluzzjoni hija RAG (unità 4), mhux irfinar.
- Irfinar: Jidħol fis-seħħ jekk dak ta 'hawn fuq ma jkunx biżżejjed u l-problema hija "imġieba/format/stil".
Distinzjoni ewlenija: L-irfinar huwa dgħajjef u riskjuż fit-tagħlim tal-mudell ta' informazzjoni ġdida; iżda huwa b'saħħtu biex jgħallem kif iġib ruħu (format speċifiku, ton, lingwaġġ tal-qasam, struttura konsistenti). "Il-mudell tiegħi ma jafx l-informazzjoni tal-kumpanija tagħna" → RAG. "Ħalli l-mudell tiegħi dejjem jagħti l-output fil-format eżatt li rridu" → kandidat irfinar.
Tip: Qabel ma tiddeċiedi dwar l-irfinar, staqsi: "Din hija problema ta 'għarfien jew problema ta' mġiba?" Il-problemi tal-informazzjoni jissolvew aħjar bir-RAG, il-problemi tal-imġieba jissolvew aħjar b'irfinar.
Metodi ta' rfinar
Irfinar sħiħ: It-taħriġ mill-ġdid tal-parametri kollha tal-mudell. L-aktar qawwi iżda l-aktar għali; Jeħtieġ ħardwer kbir (GPU) u data bir-reqqa. Mhuwiex meħtieġ għal ħafna timijiet.
Irfinar effiċjenti tal-parametri (PEFT): Metodi li jiffriżaw il-maġġoranza l-kbira tal-mudell, iħarrġu biss sett żgħir ta 'parametri addizzjonali. L-aktar komuni hija LoRA (Adattament ta 'Rank Baxx: taħriġ ta' saffi żgħar "adapter" miżjuda mal-mudell). LoRA jipprovdi riżultati qrib l-irfinar sħiħ, b'ħafna inqas memorja u spiża; Huwa għalhekk li hija l-ewwel għażla fil-prattika.
Supervised Fine-Tuning (SFT): It-tagħlim tal-mudell biex "jirrispondi għal dan l-input bħal dan" b'dejta li tikkonsisti f'pari input-output ideali. Huwa l-aktar xenarju komuni.
Tagħlim ta' rinfurzar mir-rispons uman (RLHF): Allinjament tal-imġiba tal-mudell mit-tweġibiet preferuti tan-nies. Huwa kumpless u għali; Il-ħtiġijiet tal-biċċa l-kbira tat-timijiet tal-applikazzjoni huma sodisfatti bl-SFT. Huwa biżżejjed li tkun taf RLHF bħala kunċett.
Dejta: il-qalba tal-irfinar
Il-kwalità tal-irfinar tiddependi kompletament fuq il-kwalità tad-dejta tat-taħriġ. Ftit mijiet ta 'kampjuni ta' kwalità għolja u konsistenti huma aħjar minn eluf ta 'dawk sloppy. Meta tħejji d-dejta:
- Konsistenza: L-eżempji kollha juru b'mod konsistenti l-format u t-ton li trid. Eżempji kontradittorji jħallu l-mudell konfuż.
- Varjetà: Eżempji jkopru l-varjetà fl-użu attwali, iżda mhumiex uniformi.
- Tindif: Każijiet li fihom data mhux korretta, preġudikata jew moħbija huma mgħoddija b'mod permanenti fil-mudell. Id-dejta tal-irfinar għandha tinqara bir-reqqa daqs kuntratt.
Attenzjoni: Kull preġudizzju, żball, u informazzjoni moħbija li tidħol fid-dejta tal-irfinar hija nċiża fil-mudell u terġa' tidher fl-outputs tagħha. Awditja d-dejta tat-taħriġ tiegħek b'mod metikoluż daqs li kieku qed tippubblikaha; Tpoġġix data personali.
Reviżjoni: ħadmu l-irfinar?
Qabel l-irfinar, irriżerva sett ta' evalwazzjoni miżmuma u kejjel il-punteġġ tal-mudell mingħajr irfinar (mudell bażi). Wara l-irfinar, erġa' kejjel fl-istess bank. Ma tistax tgħid "marret aħjar" mingħajr paragun. Ukoll żewġ nases li għandek tkun konxju minnhom:
- Tagħlim żejjed: Taħriġ żejjed b'dejta żgħira jikkawża li l-mudell jitlef il-kapaċità tiegħu li jimmemorizza u jiġġeneralizza eżempji ta 'taħriġ.
- Tinsa katastrofika: It-taħriġ żejjed fuq biċċa xogħol dejqa jista 'jfixkel il-kapaċitajiet ġenerali tal-mudell. Ittestja jekk il-ħiliet qodma jinżammux waqt li takkwista l-imġieba ġdida.
Approċċ dgħajjef / Approċċ qawwi
Dgħajjef: "Għandi 3000 chat logs, ejja nagħtuhom kollha għall-irfinar, sabiex il-mudell ikun jista 'jitkellem bħalna."
Güçlü: "L-ewwel evalwajt il-mudell bażi b'100 biċċa xogħol reali, innutajt il-punteġġ. Kejjejt kemm tjieb b'prompts u ftit-shots - ma kienx biżżejjed. Imbagħad mit-3000 zkuk, għażilt u naddaf biss 400 kampjun bi kwalità għolja, format konsistenti u l-ebda dejta moħbija. Erġajt ikkonfermajt l-istess kompitu u kkonfermat10 b'LoRA test separat li l-kapaċitajiet ġenerali kienu intatti."
Id-differenza: l-approċċ b'saħħtu jeżawrixxi l-alternattivi l-ewwel, id-dejta taċ-ċirasa tagħżel, miżuri qabel u wara, u testijiet għall-effetti sekondarji.
Ir-realtà tal-ispiża u l-manutenzjoni
L-irfinar mhuwiex xogħol ta’ darba; Huwa dmir ta’ kura. Jista' jkun meħtieġ li terġa' titħarreġ meta l-mudell bażi jiġi aġġornat, jeħtieġ li jinbidel, jew tintilef id-dejta. Barra minn hekk, li jospita mudell irfinat iġib spejjeż u operazzjonijiet addizzjonali. Qabbel din l-ispiża totali tas-sjieda maż-żieda fil-kwalità li tipprovdi. Ħafna mill-ħin pront tajjeb + RAG huwa orħos u aktar flessibbli mill-irfinar.
tliet każijiet żgħar
Każ 1 - Irfinar bla bżonn. Tim imbarka fuq proġett ta 'rfinar għali għaliex "il-mudell tagħna ma jafx il-prodotti tagħna." Intefqu xhur u baġit, ir-riżultat kien fraġli - il-mudell sar skadut kull darba li l-katalgu tal-prodott inbidel. Fl-aħħar qalbu għal RAG: ġabu d-dejta tal-prodott mill-bażi tad-dokumenti, l-aġġornament kien istantanju u l-ispiża niżlet. Lezzjoni: il-problema tal-informazzjoni ma tissolvax bl-irfinar.
Każ 2 - Irfinar korrett. Kumpanija tal-assigurazzjoni riedet li l-mudell dejjem jipproduċi sommarji tal-polza fl-istess struttura riġida (oġġett b’klawsola, b’intestaturi speċifiċi). Il-konsistenza mal-pront hija mwaħħla f'70%. Wara l-irfinar tal-LoRA bi 300 kampjun tajjeb, il-konsistenza tal-format żdiedet għal 98%. Din kienet problema ta 'mġieba u l-irfinar kienet l-għodda t-tajba.
Każ 3 - Privatezza li toħroġ fid-dejta. Tim wieħed issottometta r-reġistri taċ-chat għall-irfinar mingħajr ma naddafhom. Iċ-zkuk kien fihom ismijiet reali tal-klijenti u numri ta' identifikazzjoni. Il-mudell irfinat beda "jixxi" dawn l-ismijiet bħala output f'mistoqsijiet mhux relatati. Il-mudell ġie rtirat, data mgħottija u mħarrġa mill-ġdid. Lezzjoni: Informazzjoni moħbija fid-dejta tal-irfinar tiġi trasferita b'mod permanenti għall-mudell.
Mudelli kopjabbli
Għinni niddeċiedi jekk l-irfinar huwiex meħtieġ għal din il-problema tiegħi. Problema: [deskrizzjoni] Din hija problema ta’ INFORMAZZJONI (il-mudell ma jafx xi ħaġa) jew problema ta’ IMĠIEBA (il-mudell ma jipproduċix il-format/ton/struttura li rrid)? Jista 'jiġi solvut bil-pront, ftit sparatura u RAG l-ewwel? Għaliex tipprova/ma tippruvax kull waħda minnhom? Taħt liema kundizzjoni biss tirrakkomanda rfinar?
Iċċekkja dan is-sett tad-dejta tal-irfinar:1) L-eżempji huma konsistenti fil-format u t-ton?2) Ikopru l-varjazzjoni fl-użu attwali?3) Fih dejta kunfidenzjali/personali (għandha tiġi mgħottija)?4) Hemm eżempji konfliġġenti?Subsett tal-eżempji: [eżempji]Elenka kull kwistjoni u rranġat li sibt.
Ipproduċi pjan ta' evalwazzjoni qabel u wara l-irfinar. Kompitu: [spjegazzjoni]- Kif għandu jintgħażel is-sett ta' evalwazzjoni miżmuma?- Kif jitkejjel il-punteġġ tal-mudell bażi?- Ma' liema metrika titqabbel wara l-irfinar?- Kif nittestja li l-kapaċitajiet ġenerali mhumiex imfixkla (jinsa katastrofika)?
Issuġġerixxi iperparametri inizjali għall-irfinar b'LoRA. Daqs tad-dejta: [numru ta' kampjuni] Għan: [tagħlim tal-format/ton]Suġġerixxi epoka, rata ta' tagħlim, u waqfien kmieni biex tevita t-tagħlim żejjed.
Tabella tad-Deċiżjoni: liema għodda meta
bżonn
ipprova l-ewwel
Irfinar?
Il-mudell ma jaf l-ebda informazzjoni
RAG
le
Dejta kurrenti meħtieġa
RAG
le
Format riġidu speċifiku
ftit tiri
Jekk mhux biżżejjed iva
Ton / stil konsistenti
fil-pront + ftit sparatura
Jekk mhux biżżejjed iva
Ġargon/stil tal-qasam
fil-pront
Jekk dan mhux biżżejjed, LoRA
Ottimizzazzjoni tal-kompitu sempliċi
inġinerija fil-pront
Ġeneralment le
Żbalji komuni
- Jippruvaw issolvi l-problema ta 'informazzjoni b'irfinar. RAG hija l-għodda t-tajba.
- Tidħol f'irfinar mingħajr ma tikkonsma fil-pront/ftit sparatura/RAG. Għaljin u bla bżonn.
- Taħriġ b'dejta ta' kwalità baxxa/konfliġġenti. Inqas iżda data ċara hija aħjar.
- It-tqegħid ta' data kunfidenzjali fl-edukazzjoni. Permanentment jinfiltra l-mudell.
- Mhux kejl qabel u wara. Ma tistax tipprova l-irkupru.
- Mhux ttestjat tinsa katastrofika. Il-ħila l-ġdida tista’ tfixkel dik l-antika.
Fil-qosor
L-irfinar huwa għodda qawwija iżda għalja u għandha titqies biss għal problemi ta 'mġieba/format wara li tikkonsma prompt-few-shot-RAG; problemi ta' informazzjoni jappartjenu lil RAG. Metodi effiċjenti fil-parametri bħal LoRA huma l-ewwel għażla prattika. Il-kwalità tiddependi kompletament fuq il-kwalità tad-dejta; Uża data żgħira iżda nadifa, konsistenti u kunfidenzjali. Kejjel qabel u wara, ittestja għal tagħlim żejjed u telf ta 'kapaċità. L-irfinar huwa dmir ta’ kura; Iżen l-ispiża totali tiegħu kontra l-kwalità li tagħti.
Kompitu ta' applikazzjoni
Agħżel problema u ddeċiedi jekk irfinar huwiex meħtieġ billi tiddistingwi bejn "għarfien jew imġieba" u ikteb il-ġustifikazzjoni tiegħek. Jekk hija problema ta 'mġieba, ipprepara 20-30 kampjun konsistenti, iċċekkja għal data moħbija, u ddokumenta pjan ta' evalwazzjoni qabel u wara (clud-out, punteġġ bażi, metrika ta 'tqabbil, test li jinsa). Jekk tista 'tiġi solvuta b'RAG/ftit-shot minflok irfinar, agħmel nota ta' dan ukoll.
lista ta' kontroll
- [ ] Iddeterminajt jekk il-problema hijiex għarfien jew imġieba.
- [ ] L-ewwel evalwajt l-alternattivi fil-pront, ftit sparatura u RAG.
- [ ] Ivverifikajt id-dejta tal-irfinar għall-konsistenza, id-diversità u l-kunfidenzjalità.
- [ ] Allokajt raggruppament ta' eval li nżammet u kejlt il-punteġġ bażi.
- [ ] Ippjanajt paragun qabel wara u test ta' tinsa.
- [ ] Qabbilt l-ispiża totali mal-kwalità li tipprovdi.