Qazanclar:
- Problemin məlumat və ya davranış olub-olmadığını ayırd etmək və davranış problemləri üçün dəqiq tənzimləməni yalnız tez, bir neçə atış və RAG tükəndikdən sonra qiymətləndirmək bacarığı.
- İncə tənzimləmə üsullarını (SFT, LoRA/PEFT, RLHF) və keyfiyyəti müəyyən edən məlumat atributlarını (ardıcıllıq, müxtəliflik, məxfilik) başa düşmək
- Əvvəlcədən-sonradan qiymətləndirmə, həddindən artıq öyrənmə və fəlakətli unutma testləri ilə incə tənzimləmənin əsl dəyərini ölçmək bacarığı
İncə tənzimləmə (öz məlumatlarınızla əvvəlcədən hazırlanmış modeli daha da öyrətməklə davranışını fərdiləşdirmək) LLM-lərlə işləyən mühəndisin arsenalında güclü, lakin bahalı bir vasitədir. Yanlış yerdə istifadə edildikdə pul və vaxt itkisi olur, lakin doğru yerdə istifadə edildikdə başqa cür əldə edilə bilməyəcək bir keyfiyyət verir. Bu bölmədə incə tənzimləmə lazım olduqda, onun əsas üsullarını və risklərini əhatə edirik. Məqsəd sizə qərar verməkdir.
Əvvəlcə düzgün sual: incə tənzimləmə lazımdırmı?
Yeni başlayanların ən bahalı səhvi dərhal həll edilə bilən bir problemi tənzimləməyə tələsməkdir. Sifarişi belə qurun:
- Tez mühəndislik: Tapşırığı aydın şəkildə izah edən yaxşı bir göstəriş əksər problemləri həll edir. Əvvəlcə burada istehlak edin.
- Bir neçə dəfə öyrənmə: Tələbdə bir neçə nümunə qoymaq modelə istədiyiniz formatı və davranışı göstərir.
- RAG: Əgər problem “informasiya çatışmazlığı”dırsa (modelin bilmədiyi məlumatlara ehtiyac), həll yolu dəqiq tənzimləmə deyil, RAG-dır (vahid 4).
- İncə tənzimləmə: Əgər yuxarıda göstərilənlər kifayət deyilsə və problem "davranış/format/üslub"dursa, işə düşür.
Əsas fərq: İncə tənzimləmə modelə yeni məlumatları öyrətməkdə zəif və risklidir; lakin özünü necə aparmağı öyrətməkdə güclüdür (konkret format, ton, sahə jarqonu, ardıcıl struktur). “Mənim modelim şirkətimiz haqqında məlumatı bilmir” → RAG. "Mənim modelim həmişə istədiyimiz formatda çıxışı versin" → dəqiq tənzimləmə namizədi.
İpucu: İncə tənzimləmə barədə qərar verməzdən əvvəl soruşun: "Bu, bilik problemidir, yoxsa davranış problemidir?" İnformasiya problemləri RAG ilə daha yaxşı həll edilir, davranış problemləri incə tənzimləmə ilə daha yaxşı həll edilir.
İncə tənzimləmə üsulları
Tam incə tənzimləmə: Modelin bütün parametrlərinin yenidən hazırlanması. Ən güclü, lakin ən bahalı; Bu, böyük avadanlıq (GPU) və diqqətli məlumat tələb edir. Əksər komandalar üçün bu lazımsızdır.
Parametr effektiv incə tənzimləmə (PEFT): Modelin böyük əksəriyyətini donduran, yalnız kiçik bir əlavə parametrlər toplusunu öyrədən üsullar. Ən çox yayılmış olanı LoRA-dır (Low-Rank Adaptation: təlim kiçik "adapter" qatlarının modelə əlavə edilməsi). LoRA daha az yaddaş və xərclə tam dəqiqləşdirməyə yaxın nəticələr verir; Buna görə də praktikada ilk seçimdir.
Nəzarət olunan İncə Tənzimləmə (SFT): Modelə giriş-ideal çıxış cütlərindən ibarət verilənlərlə "bu girişə belə cavab verməyi" öyrətmək. Ən ümumi ssenaridir.
İnsan rəyindən öyrənmənin gücləndirilməsi (RLHF): Modelin davranışını insanların üstünlük verdiyi cavablara uyğunlaşdırmaq. Bu mürəkkəb və bahalıdır; Əksər proqram komandalarının ehtiyacları SFT ilə qarşılanır. RLHF-ni bir konsepsiya kimi bilmək kifayətdir.
Məlumat: incə tənzimləmənin ürəyi
İncə tənzimləmə keyfiyyəti tamamilə təlim məlumatlarının keyfiyyətindən asılıdır. Bir neçə yüz yüksək keyfiyyətli, ardıcıl nümunə minlərlə səliqəsiz nümunədən daha yaxşıdır. Məlumat hazırlayarkən:
- Ardıcıllıq: Bütün nümunələr ardıcıl olaraq istədiyiniz formatı və tonu göstərir. Bir-birinə zidd olan nümunələr modeli çaşqın qoyur.
- Variety: Nümunələr faktiki istifadədə müxtəlifliyi əhatə edir, lakin vahid deyil.
- Təmizləmə: Yanlış, qərəzli və ya gizli məlumatları ehtiva edən nümunələr modelə daimi olaraq ötürülür. İncə tənzimləmə məlumatları müqavilə kimi diqqətlə oxunmalıdır.
Diqqət: İncə tənzimləmə məlumatlarına daxil olan hər bir qərəz, səhv və gizli məlumat modelə həkk olunur və onun çıxışlarında yenidən görünür. Təlim məlumatlarınızı dərc edirmiş kimi diqqətlə yoxlayın; Şəxsi məlumatları dərc etməyin.
Baxış: incə tənzimləmə iş gördü?
İncə tənzimləmədən əvvəl, gözlənilən qiymətləndirmə dəstini rezerv edin və incə tənzimləmə olmadan modelin xalını ölçün (əsas model). İncə tənzimləmədən sonra eyni bankda yenidən ölçün. Müqayisə etmədən “yaxşılaşdı” deyə bilməzsiniz. Həmçinin iki tələdən xəbərdar olmaq lazımdır:
- Həddindən artıq öyrənmə: Kiçik verilənlərlə həddən artıq məşq etmək modelin təlim nümunələrini yadda saxlamaq və ümumiləşdirmək qabiliyyətini itirməsinə səbəb olur.
- Fəlakətli unutma: Dar bir tapşırıq üzərində həddindən artıq məşq etmək modelin ümumi qabiliyyətlərini poza bilər. Yeni davranışı əldə edərkən köhnə bacarıqların saxlanılıb-saxlanılmadığını yoxlayın.
Zəif yanaşma / Güclü yanaşma
Zəif: "Mənim 3000 söhbət jurnalım var, gəlin hamısını incə tənzimləməyə verək ki, model də bizim kimi danışa bilsin."
Güçlü: "Əvvəlcə əsas modeli 100 real tapşırıqla qiymətləndirdim, xalını qeyd etdim. Onun nə qədər təkmilləşdiyini istəklər və bir neçə atışla ölçdüm - bu kifayət etmədi. Sonra 3000 jurnaldan yüksək keyfiyyətli, ardıcıl formata və heç bir gizli məlumata malik olmayan yalnız 400 nümunə seçdim və təmizlədim. Eyni tapşırıqla yenidən dəqiqləşdirdim, Lo10 ilə ayrı-ayrılıqda ölçdüm və Lo10 ilə ölçdüm. ümumi imkanların pozulmadığını yoxlayın."
Fərq: güclü yanaşma ilk növbədə alternativləri, albalı seçmə məlumatlarını, əvvəl və sonra ölçmələri və yan təsirləri yoxlayır.
Xərc və texniki xidmətin reallığı
İncə tənzimləmə birdəfəlik iş deyil; Bu qayğı borcudur. Əsas model yeniləndikdə, dəyişdirilməyə ehtiyac olduqda və ya məlumatlar itirildikdə yenidən məşq etmək lazım ola bilər. Bundan əlavə, incə tənzimlənmiş bir modelə sahib olmaq əlavə xərclər və əməliyyatlar gətirir. Bu ümumi sahiblik dəyərini onun təmin etdiyi keyfiyyət artımı ilə müqayisə edin. Çox vaxt yaxşı bir əmr + RAG incə tənzimləmədən daha ucuz və daha çevikdir.
üç mini qutu
Hal 1 - Lazımsız incə tənzimləmə. Komanda "modelimiz məhsullarımızı bilmir" deyə bahalı incə tənzimləmə layihəsinə başladı. Aylar və büdcə xərcləndi, nəticə kövrək oldu - məhsul kataloqu hər dəfə dəyişəndə model köhnəlirdi. Nəhayət, onlar RAG-a keçdilər: məhsul məlumatlarını sənəd bazasından götürdülər, yeniləmə ani oldu və xərclər aşağı düşdü. Dərs: məlumat problemi incə tənzimləmə ilə həll edilmir.
Case 2 - Düzgün incə tənzimləmə. Sığorta şirkəti modelin həmişə eyni sərt strukturda (maddə-maddə, xüsusi başlıqlarla) siyasət xülasələrini hazırlamasını istəyirdi. Tezliklə uyğunluq 70% -də ilişib qalıb. 300 yaxşı nümunə ilə LoRA incə tənzimləməsindən sonra format ardıcıllığı 98%-ə yüksəldi. Bu davranış problemi idi və dəqiq tənzimləmə düzgün alət idi.
3-cü hal - Məxfiliyin məlumatlara çevrilməsi. Bir komanda söhbət qeydlərini təmizləmədən incə tənzimləmə üçün təqdim etdi. Qeydlərdə real müştəri adları və identifikasiya nömrələri var idi. İncə tənzimlənmiş model bu adları əlaqəli olmayan suallarda çıxış kimi "sızdırmağa" başladı. Model geri götürüldü, məlumatlar maskalandı və yenidən öyrədilib. Dərs: İncə tənzimləmə məlumatlarında gizli məlumatlar daimi olaraq modelə ötürülür.
Kopyalana bilən şablonlar
Bu problemim üçün dəqiq tənzimləmənin lazım olub-olmadığını qərara almağa kömək edin. Problem: [təsvir] Bu MƏLUMAT problemidir (model nəyisə bilmir) yoxsa DAVRANIŞ problemidir (model mənim istədiyim formatı/tonu/strukturu yaratmır)? Tez, bir neçə vuruş və əvvəlcə RAG ilə həll edilə bilərmi? Nə üçün onların hər birini sınayın/sınamayın? Yalnız hansı şəraitdə incə tənzimləməni tövsiyə edərdiniz?
Bu incə tənzimləmə məlumat toplusunu yoxlayın:1) Nümunələr format və ton baxımından uyğundurmu?2) Onlar faktiki istifadədəki dəyişikliyi əhatə edirmi?3) O məxfi/şəxsi məlumatları ehtiva edirmi (maskalı olmalıdır)?4) Bir-birinə zidd nümunələr varmı? Nümunələrin alt çoxluğu: [nümunələr]Hər bir problemi sadalayın və tapdığınız problemi həll edin.
İncə tənzimləmədən əvvəl və sonra bir qiymətləndirmə planı hazırlayın. Tapşırıq: [izahat]- Uzadılmış qiymətləndirmə dəsti necə seçilməlidir?- Əsas modelin balı necə ölçülür?- İncə tənzimləmədən sonra o, hansı metrik ilə müqayisə edilir?- Ümumi imkanların pozulmadığını (fəlakətli unutma) necə yoxlaya bilərəm?
LoRA.Data ölçüsü ilə dəqiq tənzimləmə üçün ilkin hiperparametrlər təklif edin: [nümunələrin sayı]Məqsəd: [format/tonun öyrədilməsi]Həddindən artıq öyrənmənin qarşısını almaq üçün dövr, öyrənmə sürəti və erkən dayandırmağı təklif edin.
Qərar cədvəli: hansı alət nə vaxt
ehtiyac
əvvəlcə cəhd edin
İncə tənzimləmə?
Modelin heç bir məlumatı yoxdur
RAG
yox
Cari data tələb olunur
RAG
yox
Xüsusi sərt format
bir neçə atış
Kifayət qədər deyilsə, bəli
Davamlı ton/üslub
tez + bir neçə vuruş
Kifayət qədər deyilsə, bəli
Sahə jarqonu/üslub
tələsik
Bu kifayət deyilsə, LoRA
Sadə tapşırıqların optimallaşdırılması
operativ mühəndislik
Ümumiyyətlə yox
Ümumi səhvlər
- İncə tənzimləmə ilə informasiya problemini həll etməyə çalışırıq. RAG düzgün vasitədir.
- Tez/bir neçə atış/RAG istehlak etmədən incə tənzimləmə ilə məşğul olmaq. Bahalı və lazımsız.
- Aşağı keyfiyyətli/ziddiyyətli məlumatlarla təlim. Daha az, lakin aydın məlumat daha yaxşıdır.
- Məxfi məlumatların təhsilə yerləşdirilməsi. Daimi olaraq modelə nüfuz edir.
- Əvvəl və sonra ölçmə. Siz bərpa olunduğunu sübut edə bilməzsiniz.
- Fəlakətli unutmanı sınamaq deyil. Yeni bacarıq köhnəni poza bilər.
Xülasə
İncə tənzimləmə güclü, lakin bahalı bir vasitədir və yalnız tez-tez bir neçə vuruş-RAG istehlak etdikdən sonra davranış/format problemləri üçün nəzərə alınmalıdır; informasiya problemləri RAG-a məxsusdur. LoRA kimi parametr baxımından səmərəli üsullar praktiki ilk seçimdir. Keyfiyyət tamamilə məlumatın keyfiyyətindən asılıdır; Kiçik, lakin təmiz, ardıcıl və məxfi məlumatlardan istifadə edin. Əvvəl və sonra ölçün, həddən artıq öyrənmə və bacarıq itkisini yoxlayın. İncə tənzimləmə qayğıkeşlik borcudur; Onun ümumi dəyərini təqdim etdiyi keyfiyyətlə ölçün.
Tətbiq tapşırığı
Problemi seçin və "bilik və ya davranış" arasında fərq qoyaraq dəqiq tənzimləmənin zəruri olub-olmadığını qərar verin və əsaslandırmanızı yazın. Əgər bu davranış problemidirsə, 20-30 ardıcıl nümunə hazırlayın, gizli məlumatları yoxlayın və əvvəl və sonrakı qiymətləndirmə planını sənədləşdirin (tutulmuş çoxluq, əsas xal, müqayisə metrikası, unutma testi). Əgər bunu incə tənzimləmə əvəzinə RAG/bir neçə vuruşla həll etmək olarsa, bunu da qeyd edin.
yoxlama siyahısı
- [ ] Problemin bilik və ya davranış olduğunu müəyyən etdim.
- [ ] Mən ilk növbədə operativ, az vuruşlu və RAG alternativlərini qiymətləndirdim.
- [ ] Mən dəqiq tənzimləmə məlumatlarını ardıcıllıq, müxtəliflik və məxfilik baxımından yoxladım.
- [ ] Mən uzadılmış qiymətləndirmə klasterini ayırdım və əsas balı ölçdüm.
- [ ] Mən əvvəl-sonra müqayisə və unutma testini planlaşdırdım.
- [ ] Mən ümumi dəyəri onun təmin etdiyi keyfiyyətlə müqayisə etdim.