Girdeji:
- Meseläniň maglumat ýa-da özüni alyp barşyny tapawutlandyrmak we özüni alyp barşyň kynçylyklaryny diňe gyssagly, az sanly we RAG tükenenden soň bahalandyrmak ukyby.
- Inçe düzmek usullaryna (SFT, LoRA / PEFT, RLHF) we hilini (yzygiderliligi, dürlüligi, gizlinligi) kesgitleýän maglumat atributlaryna düşünmek;
- Gowy bahalandyrmagyň hakyky bahasyny bahalandyrmazdan ozal baha bermek, aşa düşürmek we katastrofiki ýatdan çykarmak synaglary bilen ölçemek ukyby
Inçe sazlamak (öňünden taýýarlanan modeli öz maglumatlaryňyz bilen taýýarlamak arkaly özüni alyp barşyny sazlamak) LLM-ler bilen işleýän inereneriň arsenalynda güýçli, ýöne gymmat gural. Nädogry ýerde ulanylanda, pul we wagt ýitirmek bolýar, ýöne gerek ýerinde ulanylanda başgaça gazanyp bolmajak hil berýär. Bu bölümde, inçe düzmek zerur bolanda, onuň esasy usullary we töwekgelçilikleri barada maglumat berýäris. Maksat size karar bermekdir.
Ilki bilen dogry sorag: inçe düzmek zerurmy?
Täze başlanlaryň iň gymmat ýalňyşlygy, çözülip bilinjek meseläni derrew düzetmäge howlukmakdyr. Şeýle tertibi düzüň:
- Çalt in engineeringenerçilik: Meseläni düşündirýän gowy teklip, köp meseläni anyk çözýär. Ilki bilen şu ýerde iýiň.
- Az okalýan okuw: Çalt teklipde birnäçe mysal goýmak modeli islenýän formaty we özüni alyp barşyny görkezýär.
- RAG: Mesele "maglumat ýetmezçiligi" bolsa (modeliň bilmeýän maglumatlaryna zerurlyk) bolsa, çözgüt RAG (4-nji bölüm), gowy düzmek däl.
- Inçe düzmek: aboveokardakylar ýeterlik bolmasa we mesele "özüni alyp barş / format / stil" bolsa, güýje girýär.
Esasy tapawut: Modeliň täze maglumatlary öwretmekde inçe düzmek gowşak we töwekgelçiliklidir; ýöne özüňi alyp barşyňy öwretmekde güýçli (belli bir format, äheň, meýdan jargony, yzygiderli gurluş). “Meniň modelim kompaniýamyzyň maglumatyny bilenok” → RAG. "Goý, modelim elmydama çykyşymyzy isleýän takyk formamyzda bersin" → sazlaýjy dalaşgär.
Maslahat: Gowy düzmek kararyna gelmezden ozal soraň: "Bu bilim meselesimi ýa-da özüni alyp barş meselesi?" Maglumat problemalary RAG bilen has gowy çözülýär, özüňi alyp barşyň meseleleri inçe düzmek bilen has gowy çözülýär.
Inçe düzmek usullary
Doly düzmek: Modeliň ähli parametrlerini täzeden taýýarlamak. Iň güýçli, ýöne iň gymmat; Uly enjam (GPU) we seresaply maglumatlary talap edýär. Toparlaryň köpüsi üçin zerur däl.
Parametrleri tygşytlaýan inçe düzmek (PEFT): Modeliň aglaba bölegini doňdurýan usullar, goşmaça parametrleriň diňe kiçi toplumyny öwredýär. Iň ýaýranlary LoRA (Pes derejeli uýgunlaşma: modele goşulan kiçi "adapter" gatlaklaryny taýýarlamak). LoRA has az ýada we çykdajy bilen doly inçe düzmäge ýakyn netijeleri berýär; Şonuň üçin bu iş ýüzünde ilkinji saýlawdyr.
Gözegçilik edilýän inçe düzmek (SFT): Giriş-ideal çykyş jübütlerinden ybarat maglumatlar bilen modeli "bu girişe şeýle jogap bermegi" öwretmek. Iň ýaýran ssenariýa.
Ynsan pikirlerinden (RLHF) berkitmek: Modeliň özüni alyp barşyny adamlaryň halanýan jogaplaryndan deňleşdirmek. Bu çylşyrymly we gymmat; Programma toparlarynyň köpüsiniň islegleri SFT bilen kanagatlandyrylýar. RLHF-ni düşünje hökmünde bilmek ýeterlikdir.
Maglumat: inçe sazlamagyň ýüregi
Inçe sazlamagyň hili, bütinleý okuw maglumatlarynyň hiline baglydyr. Birnäçe ýüz ýokary hilli, yzygiderli nusgalar müňlerçe samsyklardan has gowudyr. Maglumat taýýarlanylanda:
- Yzygiderlilik: exampleshli mysallar isleýän formatyňyzy we äheňiňizi yzygiderli görkezýär. Gapma-garşy mysallar modeli bulaşdyrýar.
- Dürlülik: Mysallar hakyky ulanylyşyň dürlüligini öz içine alýar, ýöne birmeňzeş däl.
- Arassalamak: Nädogry, ikitaraplaýyn ýa-da gizlin maglumatlary öz içine alýan ýagdaýlar modele hemişelik geçirilýär. Inçe düzülen maglumatlar şertnama ýaly ünsli okalmalydyr.
Üns beriň: Gowy sazlaýyş maglumatlaryna girýän her bir gapma-garşylyk, ýalňyşlyk we gizlin maglumatlar modele girizilýär we netijelerinde ýüze çykýar. Okuw maglumatlaryňyzy çap edýän ýaly üns bilen barlaň; Şahsy maglumatlary goýmaň.
Syn: inçe düzmek işledimi?
Inçe düzmezden ozal, bahalandyrylan baha toplumyny ätiýaçda saklaň we modeliň balyny inçe sazlamazdan ölçäň (esasy model). Gowy düzülenden soň, şol bankda gaýtadan ölçäň. Deňeşdirmän "gowulaşdy" diýip bilmersiňiz. Şeýle hem bilmeli iki duzak:
- Overlearning: Ownuk maglumatlar bilen artykmaç modeliň okuw mysallaryny ýatda saklamak we umumylaşdyrmak ukybynyň ýitmegine sebäp bolýar.
- Katastrofiki ýatdan çykarmak: Dar meselä aşa baha bermek modeliň umumy ukyplaryny bozup biler. Täze özüni alyp baranyňyzda köne endikleriň saklanýandygyny ýa-da ýokdugyny barlaň.
Gowşak çemeleşme / Güýçli çemeleşme
Gowşak: "Mende 3000 söhbetdeşlik gündeligi bar, geliň hemmesini gowy düzeliň, şonuň üçin model biziň ýaly gürleşip biler".
Güçlü: "Ilki bilen 100 sany hakyky iş bilen esasy modeline baha berdim, baly belledim. Teklipler we az oklar bilen näderejede gowulaşandygyny ölçedim - ýeterlik däldi. Soňra 3000 gündeliginden diňe ýokary hilli, yzygiderli formatda we gizlin maglumatlar ýok 400 sany nusgany saýladym we arassaladym. LoRA bilen gowy sazladym, şol bir 100 mesele bilen täzeden ölçedim we umumy mümkinçilikleriň üýtgemändigini aýratyn synag bilen tassykladym."
Tapawut: güýçli çemeleşme ilki bilen alternatiwalary tükenýär, alça maglumatlary alýar, öňünden we soňundan çäreleri we zyýanly täsirleri barlamak üçin synaglary geçirýär.
Bahanyň we tehniki hyzmatyň hakykaty
Inçe düzmek bir gezeklik iş däl; Aladanyň borjy. Esasy model täzelenende, üýtgemäge ýa-da maglumatlar ýitirilende täzeden öwrenmeli bolup biler. Mundan başga-da, gowy düzülen modeli ýerleşdirmek goşmaça çykdajylary we amallary getirýär. Eýeçiligiň umumy bahasyny üpjün edýän hiliň ýokarlanmagy bilen deňeşdiriň. Köplenç gowy haýyş + RAG inçe düzmekden has arzan we çeýe.
üç sany kiçi halat
1-nji hadysa - Gereksiz inçe düzmek. Bir topar gymmat bahaly inçe taslamasyna başlady, sebäbi "modelimiz önümlerimizi bilmeýär". Aýlar we býudjet sarp edildi, netijesi gowşakdy - önümiň katalogy üýtgän mahaly model köneldi. Ahyrynda RAG-a geçdiler: resminama bazasyndan önüm maglumatlaryny aldylar, täzelenme bada-bat boldy we çykdajy arzanlady. Sapak: maglumat meselesi inçe düzmek bilen çözülenok.
2-nji hadysa - Dogry düzmek. Insurancetiýaçlandyryş kompaniýasy modeliň hemişe şol bir berk gurluşda (gysgaça sözbaşylar bilen) gysgaça mazmuny çykarmagyny isledi. Çaltlyk bilen yzygiderlilik 70% -e ýapyşdy. LoRA 300 gowy nusga bilen inçe düzülenden soň, format yzygiderliligi 98% -e çenli ýokarlandy. Bu özüňi alyp barşyň meselesi we inçe düzmek dogry gural boldy.
3-nji waka - Maglumatlara gaçmak. Bir topar söhbetdeşlik surnallaryny arassalamazdan gowy düzmäge tabşyrdy. Surnallarda hakyky müşderileriň atlary we şahsyýet belgileri bar. Gowy düzülen model bu atlary baglanyşyksyz soraglarda çykyş hökmünde "syzdyryp" başlady. Model yzyna alyndy, maglumatlar maskalandy we gaýtadan taýýarlandy. Sapak: Gowy düzmek maglumatlaryndaky gizlin maglumatlar modele hemişelik geçirilýär.
Göçürip boljak galyplar
Bu meseläm üçin inçe sazlamagyň zerurdygyny ýa-da ýokdugyny çözmäge kömek ediň. Mesele: [düşündiriş] Bu MAGLUMAT meselesi (model bir zady bilmeýär) ýa-da BEJERMEK meselesi (model isleýän formatymy / äheňimi / gurluşy öndürmeýär)? Ilki bilen gyssagly, az okly we RAG bilen çözüp bolarmy? Näme üçin olaryň hersini synap görmeli däl? Diňe haýsy şertde gowy düzmegi maslahat berersiňiz?
Bu inçe düzülen maglumat binýadyny barlaň: 1) Mysallar formatda we äheňde gabat gelýärmi? 2) Hakyky ulanylyşdaky üýtgeşmäni öz içine alýarmy? 3) Gizlin / şahsy maglumatlar barmy (maskaly bolmaly)? 4) Gapma-garşylykly mysallar barmy? Mysallaryň bir bölegi: [mysallar] Her meseläni sanaň we tapyň.
Gowy düzülmezden ozal we soň baha beriş meýilnamasyny taýýarlaň. Wezipe: [düşündiriş] - Geçirilen baha toplumy nädip saýlanmaly? - Esasy modeliň baly nädip ölçelýär? - Gowy düzülenden soň haýsy ölçeg bilen deňeşdirilýär? - Umumy mümkinçilikleriň bozulmaýandygyny (katastrofiki ýatdan çykarmak) nädip barlamaly?
LoRA bilen gowy sazlamak üçin başlangyç giperparametrleri teklip ediň. Maglumatlaryň ululygy: [nusgalaryň sany] Maksady: [format / äheň öwretmek] Döwri, okuw tizligini we çakdanaşa öňüni almak üçin ir durmagy maslahat beriň.
Karar tablisasy: haýsy gural
zerur
ilki synap görüň
Gowy düzmek?
Model hiç hili maglumat bilmeýär
RAG
ýok
Häzirki maglumatlar talap edilýär
RAG
ýok
Idörite format
az ok
Enougheterlik däl bolsa
Yzygiderli äheň / stil
gyssagly + az ok
Enougheterlik däl bolsa
Meýdan jargon / stil
gyssagly
Bu ýeterlik däl bolsa, LoRA
Taskönekeý meseläni optimizasiýa
çalt in engineeringenerçilik
Umuman ýok
Adaty ýalňyşlyklar
- Maglumat meselesini inçe düzmek bilen çözmäge synanyşmak. RAG dogry guraldyr.
- Çalt / az ok / RAG sarp etmän inçe düzmek. Gymmat we zerur däl.
- Pes hilli / gapma-garşy maglumatlar bilen okuw. Az, ýöne düşnükli maglumatlar has gowudyr.
- Bilime gizlin maglumatlary goýmak. Modeliň içine yzygiderli aralaşýar.
- Öň we soň ölçemezlik. Dikeldişini subut edip bilmersiňiz.
- Katastrofiki ýatdan çykarmagy synamaýar. Täze ussatlyk köne ussatlygy bozup biler.
Gysgaça
Inçe düzmek güýçli, ýöne gymmat guraldyr we diňe gysga wagtyň içinde RAG-dan peýdalananyňyzdan soň özüni alyp barş / format meselesi üçin göz öňünde tutulmalydyr; maglumat problemalary RAG-a degişlidir. LoRA ýaly parametrleri tygşytlaýan usullar amaly ilkinji saýlawdyr. Hil doly maglumatyň hiline baglydyr; Ownuk, ýöne arassa, yzygiderli we gizlin maglumatlary ulanyň. Öň we soň ölçäň, artykmaçlygy we ukybyňyzy ýitiriň. Inçe düzmek ideg borjydyr; Jemi bahasyny berýän hiline görä ölçäň.
Programma meselesi
Bir meseläni saýlaň we "bilim ýa-da özüni alyp barşyny" tapawutlandyryp, gowy düzmegiň zerurdygyny ýa-da ýokdugyny kesgitläň. Özüňi alyp barşyň meselesi bolsa, 20-30 sany yzygiderli nusga taýýarlaň, gizlin maglumatlary barlaň we baha bermegiň öňünden we soňundan meýilnama düzüň (geçirilen klaster, esasy bal, deňeşdirme ölçegi, synagy ýatdan çykarmak). Ony RAG / inçe sazlamagyň ýerine birnäçe ok bilen çözüp bolýan bolsa, muny hem belläň.
gözegçilik sanawy
- [] Meseläniň bilim ýa-da özüni alyp barşyny kesgitledim.
- [] Ilki bilen gyssagly, az okly we RAG alternatiwalaryna baha berdim.
- [] Dowamlylyk, dürlilik we gizlinlik üçin inçe düzülen maglumatlary barladym.
- [] Geçirilen baha klasterini paýladym we esasy baly ölçedim.
- [] Deňeşdirmekden ozal synagy we ýatdan çykarmagy meýilleşdirdim.
- [] Jemi bahany onuň berýän hili bilen deňeşdirdim.