ලාභ:
- ගැටලුවක් තොරතුරු ද හැසිරීම ද යන්න වෙන්කර හඳුනා ගැනීමට සහ චර්යාත්මක ගැටළු සඳහා මනාව සකස් කිරීම ඇගයීමට හැකි වන්නේ ක්ෂණික, කිහිපයක්-වෙඩි සහ RAG අවසන් වූ පසුව පමණි.
- සියුම්-සුසර කිරීමේ ක්රම (SFT, LoRA/PEFT, RLHF) සහ ගුණාත්මකභාවය තීරණය කරන දත්ත ගුණාංග (අනුකූලත්වය, විවිධත්වය, රහස්යභාවය) අවබෝධ කර ගැනීම
- පෙර-පසු ඇගයීම, අධි ඉගෙනීම සහ ව්යසනකාරී අමතක කිරීමේ පරීක්ෂණ සමඟ සියුම් සුසර කිරීමේ සැබෑ වටිනාකම මැනීමේ හැකියාව
සියුම්-සුසර කිරීම (ඔබේ දත්ත සමඟ පෙර-පුහුණු ආකෘතියක් තවදුරටත් පුහුණු කිරීමෙන් එහි හැසිරීම අභිරුචිකරණය කිරීම) LLM සමඟ වැඩ කරන ඉංජිනේරුවෙකුගේ අවි ගබඩාවේ බලවත් නමුත් මිල අධික මෙවලමකි. වැරදි තැනක භාවිත කළ විට මුදල් හා කාලය අපතේ යෑමක් වුවත් නියම තැනින් භාවිත කළ විට වෙනත් ආකාරයකින් ළඟා කරගත නොහැකි ගුණයක් ලබා දෙයි. මෙම ඒකකය තුළ, අපි සියුම් සුසර කිරීම අවශ්ය විට, එහි මූලික ක්රම සහ අවදානම් ආවරණය කරමු. ඉලක්කය වන්නේ ඔබ තීරණ ගැනීමයි.
පළමුව නිවැරදි ප්රශ්නය: සියුම් සුසර කිරීම අවශ්යද?
ආරම්භකයින්ගේ වඩාත්ම මිල අධික වැරැද්ද නම් විසඳිය හැකි ගැටළුවක් මනාව සකස් කිරීමට වහාම ඉක්මන් වීමයි. මේ ආකාරයට ඇණවුම සකසන්න:
- ඉක්මන් ඉංජිනේරු: කාර්යය පැහැදිලි කරන හොඳ විමසුමක් බොහෝ ගැටලු විසඳයි. පළමුව මෙහි පරිභෝජනය කරන්න.
- සුළු-වෙඩි ඉගෙනීම: ප්රේරකයේ උදාහරණ කිහිපයක් තැබීමෙන් ආකෘතියට අපේක්ෂිත ආකෘතිය සහ හැසිරීම පෙන්වයි.
- RAG: ගැටලුව "තොරතුරු නොමැතිකම" නම් (ආකෘතිය නොදන්නා දත්ත අවශ්ය වේ), විසඳුම RAG (ඒකක 4), සියුම් සුසර කිරීම නොවේ.
- සියුම්-සුසර කිරීම: ඉහත ප්රමාණවත් නොවේ නම් සහ ගැටලුව "හැසිරීම/ආකෘතිය/විලාසය" නම් එය ක්රියාත්මක වේ.
ප්රධාන වෙනස: ආදර්ශයට නව තොරතුරු ඉගැන්වීමේදී සියුම් සුසර කිරීම දුර්වල සහ අවදානම් ය; නමුත් එය හැසිරෙන ආකාරය ඉගැන්වීමේදී ශක්තිමත් වේ (නිශ්චිත ආකෘතියක්, ස්වරය, ක්ෂේත්ර ප්රභාෂාව, ස්ථාවර ව්යුහයක්). "මගේ ආකෘතිය අපගේ සමාගමේ තොරතුරු දන්නේ නැත" → RAG. "මගේ ආකෘතියට සෑම විටම අපට අවශ්ය නිශ්චිත ආකෘතියෙන් ප්රතිදානය ලබා දීමට ඉඩ දෙන්න" → සියුම් සුසර කිරීමේ අපේක්ෂකයා.
ඉඟිය: සියුම් සුසර කිරීම තීරණය කිරීමට පෙර, අසන්න: "මෙය දැනුමේ ගැටලුවක් හෝ හැසිරීම් ගැටලුවක් ද?" තොරතුරු ගැටළු RAG සමඟ වඩා හොඳින් විසඳනු ලැබේ, චර්යාත්මක ගැටළු සියුම් සුසර කිරීම සමඟ වඩා හොඳින් විසඳනු ලැබේ.
සියුම් සුසර කිරීමේ ක්රම
සම්පූර්ණ සියුම් සුසර කිරීම: ආකෘතියේ සියලු පරාමිතීන් නැවත පුහුණු කිරීම. වඩාත්ම බලවත් නමුත් වඩාත්ම මිල අධික; එයට විශාල දෘඩාංග (GPU) සහ ප්රවේශම් දත්ත අවශ්ය වේ. බොහෝ කණ්ඩායම් සඳහා එය අනවශ්යයි.
පරාමිති-කාර්යක්ෂම සියුම්-සුසර කිරීම (PEFT): මාදිලියේ අතිමහත් බහුතරයක් කැටි කරන ක්රම, අතිරේක පරාමිතීන් කුඩා කට්ටලයක් පමණක් පුහුණු කරයි. වඩාත් සුලභ වන්නේ ලෝරා (පහළ ශ්රේණිගත අනුවර්තනය: ආකෘතියට එකතු කරන ලද කුඩා "ඇඩැප්ටර" ස්ථර පුහුණු කිරීම). LoRA සම්පූර්ණ සියුම් සුසර කිරීමට ආසන්න ප්රතිඵල සපයයි, ඉතා අඩු මතකය සහ පිරිවැය සමඟ; ප්රායෝගිකව එය පළමු තේරීම වන්නේ එබැවිනි.
සුපරීක්ෂණය කරන ලද සියුම්-සුසර කිරීම (SFT): ආදාන-පරමාදර්ශී ප්රතිදාන යුගල වලින් සමන්විත දත්ත සමඟ "මෙම ආදානයට ප්රතිචාර දැක්වීමට" ආකෘතියට ඉගැන්වීම. එය වඩාත් පොදු අවස්ථාවයි.
මානව ප්රතිපෝෂණ (RLHF) වෙතින් ශක්තිමත් කිරීමේ ඉගෙනීම: මිනිසුන්ගේ කැමති ප්රතිචාර වලින් ආකෘතියේ හැසිරීම පෙළගැස්වීම. එය සංකීර්ණ හා මිල අධිකයි; බොහෝ යෙදුම් කණ්ඩායම්වල අවශ්යතා SFT සමඟින් සපුරා ඇත. RLHF සංකල්පයක් ලෙස දැන ගැනීම ප්රමාණවත්ය.
දත්ත: සියුම් සුසර කිරීමේ හදවත
මනාව සකස් කිරීමේ ගුණාත්මකභාවය සම්පූර්ණයෙන්ම රඳා පවතින්නේ පුහුණු දත්තවල ගුණාත්මකභාවය මත ය. සිය ගණනක් උසස් තත්ත්වයේ, ස්ථාවර සාම්පල දහස් ගණනකට වඩා හොඳ ය. දත්ත සකස් කිරීමේදී:
- අනුකූලතාව: සියලුම උදාහරණ ඔබට අවශ්ය ආකෘතිය සහ ස්වරය අඛණ්ඩව පෙන්වයි. පරස්පර විරෝධී උදාහරණ ආකෘතිය ව්යාකූල කරයි.
- විවිධත්වය: උදාහරණ සැබෑ භාවිතයේ විවිධත්වය ආවරණය කරයි, නමුත් ඒකාකාරී නොවේ.
- පිරිසිදු කිරීම: වැරදි, පක්ෂග්රාහී හෝ සැඟවුණු දත්ත අඩංගු අවස්ථා ස්ථිරවම ආකෘතියට යවනු ලැබේ. සියුම් සුසර කිරීමේ දත්ත කොන්ත්රාත්තුවක් මෙන් ප්රවේශමෙන් කියවිය යුතුය.
අවවාදයයි: සියුම්-සුසර කිරීමේ දත්තවලට ඇතුළු වන සෑම පක්ෂග්රාහී, දෝෂයක් සහ සැඟවුණු තොරතුරු ආකෘතියට ඇතුළත් කර එහි ප්රතිදානයන්හි නැවත දිස්වේ. ඔබේ පුහුණු දත්ත ඔබ ප්රකාශනය කරනවා සේම ඉතා සූක්ෂම ලෙස විගණනය කරන්න; පුද්ගලික දත්ත පළ නොකරන්න.
සමාලෝචනය: සියුම් සුසර කිරීම වැඩ කළාද?
සියුම්-සුසර කිරීමට පෙර, රඳවා තබා ඇති eval කට්ටලයක් වෙන් කර සියුම්-සුසර කිරීමකින් තොරව ආකෘතියේ ලකුණු මැනීම (මූලික ආකෘතිය). හොඳින් සුසර කිරීමෙන් පසු, එම බැංකුව තුළම නැවත මැන බලන්න. සැසඳීමකින් තොරව ඔබට "එය හොඳ විය" යැයි පැවසිය නොහැක. එසේම දැනුවත් විය යුතු උගුල් දෙකක්:
- අධි ඉගෙනීම: කුඩා දත්ත සමඟ අධික ලෙස පුහුණු කිරීම මඟින් පුහුණු උදාහරණ කටපාඩම් කිරීමට සහ සාමාන්යකරණය කිරීමට ඇති හැකියාව ආකෘතියට අහිමි වේ.
- ව්යසනකාරී අමතක වීම: පටු කාර්යයක් මත වැඩිපුර පුහුණු කිරීම ආකෘතියේ සමස්ත හැකියාවන්ට හානි කළ හැකිය. නව හැසිරීම් අත්කර ගැනීමේදී පැරණි කුසලතා රඳවා තබා ගන්නේ දැයි පරීක්ෂා කරන්න.
දුර්වල ප්රවේශය / ශක්තිමත් ප්රවේශය
දුර්වල: "මා සතුව කතාබස් ලොග් 3000 ක් ඇත, අපි ඒවා සියල්ල සියුම් ලෙස සකස් කිරීමට ලබා දෙමු, එබැවින් ආකෘතියට අප මෙන් කතා කළ හැකිය."
Güçlü: "මුලින්ම මම පාදක ආකෘතිය සැබෑ කාර්යයන් 100ක් සමඟ ඇගයීමට ලක් කළෙමි, ලකුණු සටහන් කළෙමි. එය විමසුම් සහ පහරවල් කිහිපයකින් කොපමණ දියුණු වේද යන්න මම මැනිමි - එය ප්රමාණවත් නොවීය. පසුව ලොග් 3000 න්, මම 400 සාම්පල පමණක් තෝරා පිරිසිදු කළෙමි, උසස් තත්ත්වයේ, ස්ථාවර ආකෘතියක් සහිත සහ නැවත සඟවා නොතිබූ කාර්ය 10ක් සමඟ. සාමාන්ය හැකියාවන් නොවෙනස්ව පවතින බව වෙනම පරීක්ෂණයකින් තහවුරු විය.
වෙනස: ශක්තිමත් ප්රවේශය ප්රථමයෙන් විකල්ප අවසන් කරයි, චෙරි-පික්ස් දත්ත, පෙර සහ පසු මිනුම් සහ අතුරු ආබාධ සඳහා පරීක්ෂණ.
පිරිවැය සහ නඩත්තු කිරීමේ යථාර්ථය
සියුම් සුසර කිරීම එක් වරක් කළ හැකි කාර්යයක් නොවේ; එය රැකබලා ගැනීමේ යුතුකමකි. මූලික ආකෘතිය යාවත්කාලීන වූ විට, වෙනස් වීමට අවශ්ය වූ විට හෝ දත්ත නැති වූ විට නැවත පුහුණු කිරීම අවශ්ය විය හැකිය. මීට අමතරව, මනාව සකස් කරන ලද ආකෘතියක් සත්කාරකත්වය සැපයීම අමතර වියදම් සහ මෙහෙයුම් ගෙන එයි. මෙම සම්පූර්ණ හිමිකාරිත්වයේ පිරිවැය එය සපයන ගුණාත්මක භාවයේ වැඩිවීම සමඟ සසඳන්න. බොහෝ විට හොඳ ප්රොම්ප්ට් + RAG සියුම් සුසර කිරීමට වඩා ලාභදායී සහ නම්යශීලී වේ.
කුඩා නඩු තුනක්
නඩුව 1 - අනවශ්ය සියුම් සුසර කිරීම. කණ්ඩායමක් මිල අධික සියුම් සුසර කිරීමේ ව්යාපෘතියක් ආරම්භ කළේ "අපගේ ආකෘතිය අපගේ නිෂ්පාදන නොදන්නා" නිසාය. මාස සහ අයවැය වැය කරන ලදී, ප්රතිඵලය බිඳෙන සුළු විය - නිෂ්පාදන නාමාවලිය වෙනස් වන සෑම අවස්ථාවකදීම ආකෘතිය යල්පැන ගියේය. අවසානයේදී ඔවුන් RAG වෙත මාරු විය: ඔවුන් ලේඛන පදනමෙන් නිෂ්පාදන දත්ත ලබා ගත්හ, යාවත්කාලීන කිරීම ක්ෂණික වූ අතර පිරිවැය පහත වැටුණි. පාඩම: තොරතුරු ගැටළුව සියුම් ලෙස සකස් කිරීමෙන් විසඳාගත නොහැක.
නඩුව 2 - නිවැරදි සියුම් සුසර කිරීම. රක්ෂණ සමාගමකට ආකෘතිය අවශ්ය වූයේ සෑම විටම එකම දෘඩ ව්යුහය තුළ ප්රතිපත්ති සාරාංශ නිෂ්පාදනය කිරීමටය (නිශ්චිත මාතෘකා සහිත වගන්තියෙන් අයිතමය). ක්ෂණික සමග අනුකූලතාව 70% හි ඇණහිට ඇත. හොඳ සාම්පල 300ක් සමඟ LoRA සියුම් සුසර කිරීමෙන් පසුව, ආකෘති අනුකූලතාව 98% දක්වා වැඩි විය. මෙය හැසිරීම් ගැටලුවක් වූ අතර මනාව සකස් කිරීම නිවැරදි මෙවලම විය.
3 වන අවස්ථාව - පුද්ගලිකත්වය දත්ත වලට ගැලවී යාම. එක් කණ්ඩායමක් චැට් ලොග් පිරිසිදු නොකර සියුම් ලෙස සකස් කිරීමට ඉදිරිපත් කර ඇත. ලොග් වල සැබෑ පාරිභෝගික නම් සහ හැඳුනුම් අංක අඩංගු විය. සියුම්ව සකස් කරන ලද ආකෘතිය මෙම නම් සම්බන්ධ නොවන ප්රශ්නවල ප්රතිදානය ලෙස "කාන්දු" කිරීමට පටන් ගත්තේය. ආකෘතිය ඉවත් කර, දත්ත ආවරණය කර නැවත පුහුණු කරන ලදී. පාඩම: සියුම් සුසර කිරීමේ දත්තවල සැඟවුණු තොරතුරු ස්ථිරවම ආකෘතියට මාරු කරනු ලැබේ.
පිටපත් කළ හැකි සැකිලි
මගේ මෙම ගැටලුව සඳහා සියුම් සුසර කිරීම අවශ්ය දැයි තීරණය කිරීමට මට උදවු කරන්න. ගැටලුව: [විස්තරය] මෙය තොරතුරු ගැටලුවක් (ආකෘතිය යමක් නොදනී) හෝ හැසිරීම් ගැටලුවක් (ආකෘතිය මට අවශ්ය ආකෘතිය/ස්වරය/ව්යුහය නිපදවන්නේ නැත)? ප්රථමයෙන් ක්ෂණිකව, කිහිපයක්-වෙඩි සහ RAG මගින් එය විසඳිය හැකිද? ඒවායින් එකක් උත්සාහ කරන්න/නොකරන්නේ ඇයි?ඔබ හොඳින් සුසර කිරීම නිර්දේශ කරන්නේ කුමන කොන්දේසියක් යටතේද?
මෙම සියුම්-සුසර දත්ත කට්ටලය පරීක්ෂා කරන්න:1) උදාහරණ ආකෘතියෙන් සහ ස්වරයෙන් අනුකූලද?2) ඒවා සත්ය භාවිතයේ විචලනය ආවරණය කරයිද?3) එහි රහස්ය/පෞද්ගලික දත්ත තිබේද (වෙස් ආවරණය කළ යුතුය)?4) ගැටුම්කාරී උදාහරණ තිබේද?උදාහරණවල උප කුලකයක්: [උදාහරණ]එක් එක් ගැටලුව ලැයිස්තුගත කර ඔබ සොයා ගත් ඒවා නිවැරදි කරන්න.
හොඳින් සුසර කිරීමට පෙර සහ පසු ඇගයීම් සැලැස්මක් නිෂ්පාදනය කරන්න. කාර්යය: [පැහැදිලි කිරීම]- රඳවා තබා ඇති eval කට්ටලය තෝරාගත යුත්තේ කෙසේද?- පාදක ආකෘතියේ ලකුණු මනින්නේ කෙසේද?- සියුම්-සුසර කිරීමෙන් පසු එය සංසන්දනය කරන්නේ කුමන මෙට්රික් සමඟද?- සාමාන්ය හැකියාවන් දුර්වල නොවන බව (ව්යසනකාරී අමතක වීම) පරීක්ෂා කරන්නේ කෙසේද?
LoRA.Data ප්රමාණය සමඟ මනාව සුසර කිරීම සඳහා මූලික අධිපරාමිතීන් යෝජනා කරන්න: [නියැදි ගණන]අරමුණ: [ආකෘතිය/ස්වරය ඉගැන්වීම]අධික ඉගෙනීම වැළැක්වීම සඳහා යුගය, ඉගෙනීමේ වේගය සහ කලින් නැවැත්වීම යෝජනා කරන්න.
තීරණ වගුව: කුමන මෙවලම කවදාද
අවශ්යයි
පළමුව උත්සාහ කරන්න
සියුම් සුසර කිරීම?
ආකෘතිය කිසිදු තොරතුරක් නොදනී
RAG
නැත
වත්මන් දත්ත අවශ්ය වේ
RAG
නැත
විශේෂිත දෘඩ ආකෘතිය
වෙඩි කිහිපයක්
මදි නම් ඔව්
ස්ථාවර ස්වරය/විලාසය
prompt + කිහිපයක්-වෙඩි
මදි නම් ඔව්
ක්ෂේත්ර ප්රකාශය/විලාසය
ඉක්මන්
එය ප්රමාණවත් නොවේ නම්, ලෝරා
සරල කාර්ය ප්රශස්තකරණය
ඉක්මන් ඉංජිනේරු
සාමාන්යයෙන් නැත
පොදු වැරදි
- සියුම් සුසර කිරීම සමඟ තොරතුරු ගැටළුව විසඳීමට උත්සාහ කිරීම. RAG යනු නිවැරදි මෙවලමයි.
- ක්ෂණිකව/පහළ-වෙඩි/RAG පරිභෝජනයෙන් තොරව සියුම්ව සුසර කිරීම. මිල අධික හා අනවශ්ය.
- අඩු ගුණාත්මක/ගැටුම් දත්ත සමඟ පුහුණුව. අඩු නමුත් පැහැදිලි දත්ත වඩා හොඳය.
- රහස්ය දත්ත අධ්යාපනයට ඇතුළත් කිරීම. ආකෘතියට ස්ථිරවම ඇතුල් වේ.
- පෙර සහ පසු මැනීම නොවේ. ඔබට ප්රතිසාධනය ඔප්පු කළ නොහැක.
- ව්යසනකාරී අමතක කිරීම පරීක්ෂා නොකරයි. නව නිපුණතාවය පැරණි එක කඩාකප්පල් කළ හැකිය.
සාරාංශයක් ලෙස
සියුම්-සුසර කිරීම ප්රබල නමුත් මිල අධික මෙවලමක් වන අතර එය හැසිරීම/ආකෘති ගැටළු සඳහා සලකා බැලිය යුත්තේ prompt-few-shot-RAG පරිභෝජනය කිරීමෙන් පසුව පමණි; තොරතුරු ගැටළු RAG වලට අයත් වේ. LoRA වැනි පරාමිති-කාර්යක්ෂම ක්රම ප්රායෝගික පළමු තේරීම වේ. ගුණාත්මකභාවය සම්පූර්ණයෙන්ම දත්තවල ගුණාත්මකභාවය මත රඳා පවතී; කුඩා නමුත් පිරිසිදු, ස්ථාවර සහ රහසිගත දත්ත භාවිතා කරන්න. පෙර සහ පසු මැනීම, අධි ඉගෙනීම සහ හැකියාව නැතිවීම සඳහා පරීක්ෂා කරන්න. සියුම් සුසර කිරීම රැකවරණයේ යුතුකමකි; එය ලබා දෙන ගුණාත්මක භාවයට සාපේක්ෂව එහි සම්පූර්ණ පිරිවැය කිරා මැන බලන්න.
යෙදුම් කාර්යය
ගැටලුවක් තෝරා "දැනුම හෝ හැසිරීම" අතර වෙනස හඳුනා ගැනීමෙන් සියුම් සුසර කිරීම අවශ්ය දැයි තීරණය කර ඔබේ සාධාරණීකරණය ලියන්න. එය හැසිරීම් ගැටලුවක් නම්, ස්ථාවර සාම්පල 20-30ක් පිළියෙළ කරන්න, සැඟවුණු දත්ත සඳහා පරීක්ෂා කරන්න, සහ පෙර සහ පසු ඇගයීම් සැලැස්මක් ලේඛනගත කරන්න (තබාගෙන සිටින පොකුරු, මූලික ලකුණු, සංසන්දනාත්මක මෙට්රික්, අමතක වීමේ පරීක්ෂණය). එය සියුම් සුසර කිරීම වෙනුවට RAG/few-shot වලින් විසඳිය හැකි නම්, මෙයද සටහන් කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] ගැටලුව දැනුමද හැසිරීමද යන්න මම තීරණය කළෙමි.
- [ ] මම ප්රථමයෙන් ක්ෂණික, කිහිපයක්-වෙඩි සහ RAG විකල්ප ඇගයීමට ලක් කළෙමි.
- [ ] මම අනුකූලතාව, විවිධත්වය සහ රහස්යභාවය සඳහා සියුම් සුසර දත්ත විගණනය කළෙමි.
- [ ] මම රඳවා තබා ඇති eval පොකුරක් වෙන් කර මූලික ලකුණු මැන බැලුවෙමි.
- [ ] මම පෙර-පසු සංසන්දනය සහ අමතක වීමේ පරීක්ෂණයක් සැලසුම් කළෙමි.
- [ ] මම මුළු පිරිවැය එය සපයන ගුණාත්මකභාවය සමඟ සංසන්දනය කළෙමි.