ஃபைன்-டியூனிங் அடிப்படை: எப்போது, எப்படி மற்றும் என்ன ஆபத்து

ஆதாயங்கள்:

• ஒரு சிக்கல் தகவல் அல்லது நடத்தை என்பதை வேறுபடுத்தி, உடனடியாக, சில-ஷாட் மற்றும் RAG தீர்ந்த பிறகு மட்டுமே நடத்தை சிக்கல்களுக்கு நன்றாக-சரிசெய்யும் திறன்.
• ஃபைன்-ட்யூனிங் முறைகள் (SFT, LoRA/PEFT, RLHF) மற்றும் தரத்தை நிர்ணயிக்கும் தரவு பண்புகளை (நிலைத்தன்மை, பன்முகத்தன்மை, ரகசியத்தன்மை) புரிந்துகொள்வது
• முன்-பின் மதிப்பீடு, மேலோட்டமான கற்றல் மற்றும் பேரழிவு தரும் மறதி சோதனைகள் மூலம் நன்றாகச் சரிப்படுத்தலின் உண்மையான மதிப்பை அளவிடும் திறன்

எல்எல்எம்களுடன் பணிபுரியும் பொறியாளரின் ஆயுதக் களஞ்சியத்தில் ஃபைன்-ட்யூனிங் (முன் பயிற்சி பெற்ற மாதிரியை மேலும் பயிற்சி செய்வதன் மூலம் அதன் நடத்தையைத் தனிப்பயனாக்குதல்) ஒரு சக்திவாய்ந்த ஆனால் விலையுயர்ந்த கருவியாகும். தவறான இடத்தில் பயன்படுத்தும் போது, ​​அது பணத்தையும் நேரத்தையும் வீணடிக்கும், ஆனால் சரியான இடத்தில் பயன்படுத்தினால், இல்லையெனில் அடைய முடியாத ஒரு தரத்தை வழங்குகிறது. இந்த யூனிட்டில், ஃபைன்-டியூனிங் அவசியம், அதன் அடிப்படை முறைகள் மற்றும் அபாயங்கள் ஆகியவற்றை நாங்கள் உள்ளடக்குகிறோம். உங்களை முடிவெடுப்பதே குறிக்கோள்.

முதலில் சரியான கேள்வி: ஃபைன் டியூனிங் தேவையா?

ஆரம்பநிலையாளர்களின் மிகவும் விலையுயர்ந்த தவறு, உடனடியாக தீர்க்கப்படக்கூடிய ஒரு சிக்கலை சரிசெய்ய விரைந்து செல்ல வேண்டும். ஆர்டரை இப்படி அமைக்கவும்:

1. உடனடி பொறியியல்: பணியை விளக்கும் ஒரு நல்ல ப்ராம்ட் பெரும்பாலான பிரச்சனைகளை தெளிவாக தீர்க்கிறது. முதலில் இங்கே சாப்பிடுங்கள்.
2. சில ஷாட் கற்றல்: ப்ராம்ட்டில் சில உதாரணங்களை வைப்பது மாதிரி விரும்பிய வடிவம் மற்றும் நடத்தையைக் காட்டுகிறது.
3. RAG: சிக்கல் "தகவல் இல்லாமை" என்றால் (மாடலுக்குத் தெரியாத தரவு தேவை), தீர்வு RAG (அலகு 4), நன்றாகச் சரிப்படுத்துவது அல்ல.
4. ஃபைன்-ட்யூனிங்: மேலே உள்ளவை போதுமானதாக இல்லாவிட்டால், பிரச்சனை "நடத்தை/வடிவம்/பாணி"யாக இருந்தால் அது செயல்பாட்டுக்கு வரும்.

முக்கிய வேறுபாடு: ஃபைன்-டியூனிங் பலவீனமானது மற்றும் மாதிரி புதிய தகவலைக் கற்பிப்பதில் ஆபத்தானது; ஆனால் எப்படி நடந்து கொள்ள வேண்டும் என்று கற்பிப்பதில் அது வலிமையானது (ஒரு குறிப்பிட்ட வடிவம், தொனி, புல வாசகங்கள், சீரான அமைப்பு). "எனது மாடலுக்கு எங்கள் நிறுவனத்தின் தகவல் தெரியாது" → RAG. "எனது மாதிரி எப்பொழுதும் நாம் விரும்பும் சரியான வடிவத்தில் வெளியீட்டைக் கொடுக்கட்டும்" → ஃபைன்-ட்யூனிங் கேண்டிடேட்.

உதவிக்குறிப்பு: ஃபைன்-ட்யூனிங்கைத் தீர்மானிப்பதற்கு முன், "இது அறிவுப் பிரச்சனையா அல்லது நடத்தைப் பிரச்சனையா?" தகவல் சிக்கல்கள் RAG மூலம் சிறப்பாக தீர்க்கப்படுகின்றன, நடத்தை சிக்கல்கள் சிறந்த முறையில் சரிசெய்யப்படுகின்றன.

நேர்த்தியான சரிப்படுத்தும் முறைகள்

முழு ஃபைன்-ட்யூனிங்: மாதிரியின் அனைத்து அளவுருக்களையும் மீண்டும் பயிற்சி செய்தல். மிகவும் சக்திவாய்ந்த ஆனால் மிகவும் விலையுயர்ந்த; இதற்கு பெரிய வன்பொருள் (GPU) மற்றும் கவனமாக தரவு தேவைப்படுகிறது. பெரும்பாலான அணிகளுக்கு இது தேவையற்றது.

அளவுரு-திறமையான ஃபைன்-ட்யூனிங் (PEFT): பெரும்பாலான மாதிரிகளை உறைய வைக்கும் முறைகள், கூடுதல் அளவுருக்களின் ஒரு சிறிய தொகுப்பை மட்டுமே பயிற்றுவிக்கும். மிகவும் பொதுவானது லோரா (குறைந்த தரவரிசை தழுவல்: மாதிரியில் சேர்க்கப்படும் சிறிய "அடாப்டர்" லேயர்களைப் பயிற்றுவித்தல்). லோரா, மிகக் குறைந்த நினைவகம் மற்றும் விலையுடன், முழு நேர்த்தியான-டியூனிங்கிற்கு நெருக்கமான முடிவுகளை வழங்குகிறது; அதனால்தான் இது நடைமுறையில் முதல் தேர்வாக உள்ளது.

மேற்பார்வையிடப்பட்ட ஃபைன்-ட்யூனிங் (SFT): உள்ளீட்டு-சிறந்த வெளியீட்டு ஜோடிகளைக் கொண்ட தரவுகளுடன் "இந்த உள்ளீட்டிற்கு இது போன்ற பதிலளிக்க" மாதிரியைக் கற்பித்தல். இது மிகவும் பொதுவான காட்சியாகும்.

மனித பின்னூட்டத்திலிருந்து வலுவூட்டல் கற்றல் (RLHF): மக்களின் விருப்பமான பதில்களிலிருந்து மாதிரியின் நடத்தையை சீரமைத்தல். இது சிக்கலானது மற்றும் விலை உயர்ந்தது; பெரும்பாலான பயன்பாட்டுக் குழுக்களின் தேவைகள் SFT மூலம் பூர்த்தி செய்யப்படுகின்றன. RLHF ஐ ஒரு கான்செப்டாக அறிந்தால் போதும்.

தரவு: நன்றாகச் சரிப்படுத்தும் இதயம்

ஃபைன்-ட்யூனிங்கின் தரம் முற்றிலும் பயிற்சி தரவின் தரத்தைப் பொறுத்தது. சில நூறு உயர்தர, சீரான மாதிரிகள் ஆயிரக்கணக்கான ஸ்லோப்பிகளை விட சிறந்தவை. தரவு தயாரிக்கும் போது:

• நிலைத்தன்மை: எல்லா எடுத்துக்காட்டுகளும் நீங்கள் விரும்பும் வடிவத்தையும் தொனியையும் தொடர்ந்து காட்டுகின்றன. முரண்பாடான எடுத்துக்காட்டுகள் மாதிரி குழப்பமடைகின்றன.
• வெரைட்டி: எடுத்துக்காட்டுகள் உண்மையான பயன்பாட்டில் உள்ள பல்வேறு வகைகளை உள்ளடக்கியது, ஆனால் ஒரே மாதிரியாக இல்லை.
• சுத்தம் செய்தல்: தவறான, பாரபட்சமான அல்லது மறைக்கப்பட்ட தரவைக் கொண்ட நிகழ்வுகள் நிரந்தரமாக மாதிரியில் அனுப்பப்படும். ஃபைன்-டியூனிங் தரவை ஒப்பந்தம் போல கவனமாக படிக்க வேண்டும்.

எச்சரிக்கை: ஃபைன்-ட்யூனிங் தரவுக்குள் நுழையும் ஒவ்வொரு சார்பு, பிழை மற்றும் மறைக்கப்பட்ட தகவல் மாதிரியில் பொறிக்கப்பட்டு அதன் வெளியீடுகளில் மீண்டும் தோன்றும். உங்கள் பயிற்சித் தரவை நீங்கள் வெளியிடுவதைப் போல உன்னிப்பாகத் தணிக்கை செய்யுங்கள்; தனிப்பட்ட தரவை இடுகையிட வேண்டாம்.

விமர்சனம்: நன்றாக சரிசெய்தல் வேலை செய்ததா?

ஃபைன்-ட்யூனிங்கிற்கு முன், ஹோல்ட்-அவுட் எவல் செட்டை முன்பதிவு செய்து, ஃபைன்-ட்யூனிங் (அடிப்படை மாதிரி) இல்லாமல் மாதிரியின் ஸ்கோரை அளவிடவும். நன்றாக சரிசெய்த பிறகு, அதே வங்கியில் மீண்டும் அளவிடவும். ஒப்பீடு இல்லாமல் "அது நன்றாக இருந்தது" என்று சொல்ல முடியாது. மேலும் தெரிந்து கொள்ள வேண்டிய இரண்டு பொறிகள்:

• மிகை கற்றல்: சிறிய தரவுகளைக் கொண்டு அதிகப் பயிற்சி செய்வது, பயிற்சி எடுத்துக்காட்டுகளை மனப்பாடம் செய்து பொதுமைப்படுத்தும் திறனை மாடல் இழக்கச் செய்கிறது.
• பேரழிவு தரும் மறதி: ஒரு குறுகிய பணியில் அதிகப் பயிற்சி செய்வது மாதிரியின் ஒட்டுமொத்த திறன்களைக் கெடுக்கும். புதிய நடத்தையைப் பெறும்போது பழைய திறன்கள் தக்கவைக்கப்படுகிறதா என்று சோதிக்கவும்.

பலவீனமான அணுகுமுறை / வலுவான அணுகுமுறை

பலவீனம்: "என்னிடம் 3000 அரட்டை பதிவுகள் உள்ளன, அவை அனைத்தையும் நன்றாகச் சரிசெய்வோம், அதனால் அந்த மாதிரி எங்களைப் போலவே பேசலாம்."

Güçlü: "முதலில் நான் அடிப்படை மாதிரியை 100 உண்மையான பணிகளுடன் மதிப்பீடு செய்தேன், மதிப்பெண்ணைக் குறிப்பிட்டேன். ப்ராம்ப்ட்கள் மற்றும் சில-ஷாட்கள் மூலம் அது எவ்வளவு மேம்பட்டது என்பதை அளந்தேன் - அது போதாது. பின்னர் 3000 பதிவுகளிலிருந்து, உயர் தரமான, நிலையான வடிவத்துடன் 400 மாதிரிகளை மட்டுமே தேர்ந்தெடுத்து சுத்தம் செய்தேன், அதே அளவு 100 டாஸ்க் மற்றும் மறைக்கப்பட்ட தரவுகள் இல்லை. பொதுவான திறன்கள் அப்படியே இருப்பதை தனி சோதனை மூலம் உறுதிப்படுத்தியது."

வித்தியாசம்: வலுவான அணுகுமுறை முதலில் மாற்று வழிகளை வெளியேற்றுகிறது, செர்ரி-தேர்வு தரவு, முன்னும் பின்னும் அளவீடுகள் மற்றும் பக்க விளைவுகளுக்கான சோதனைகள்.

செலவு மற்றும் பராமரிப்பு உண்மை

ஃபைன்-ட்யூனிங் என்பது ஒரு முறை வேலை அல்ல; இது கவனிப்பது ஒரு கடமை. அடிப்படை மாதிரி புதுப்பிக்கப்படும்போது, ​​மாற்றம் தேவைப்படும்போது அல்லது தரவு இழக்கப்படும்போது மீண்டும் பயிற்சி செய்ய வேண்டியிருக்கலாம். கூடுதலாக, நன்றாக வடிவமைக்கப்பட்ட மாதிரியை ஹோஸ்ட் செய்வது கூடுதல் செலவுகள் மற்றும் செயல்பாடுகளைக் கொண்டுவருகிறது. இந்த மொத்த உரிமைச் செலவை அது வழங்கும் தரத்தின் அதிகரிப்புடன் ஒப்பிடுக. பெரும்பாலான நேரங்களில் ஒரு நல்ல ப்ராம்ட் + RAG ஆனது, ஃபைன்-டியூனிங்கை விட மலிவானது மற்றும் நெகிழ்வானது.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - தேவையற்ற நுணுக்கமாக்கல். ஒரு குழு விலையுயர்ந்த ஃபைன்-டியூனிங் திட்டத்தில் இறங்கியது, ஏனெனில் "எங்கள் மாதிரி எங்கள் தயாரிப்புகளை அறியவில்லை." மாதங்கள் மற்றும் பட்ஜெட் செலவழிக்கப்பட்டது, இதன் விளைவாக பலவீனமாக இருந்தது - ஒவ்வொரு முறை தயாரிப்பு அட்டவணை மாறும்போது மாதிரி வழக்கற்றுப் போனது. இறுதியாக அவர்கள் RAG க்கு மாறினார்கள்: ஆவணத் தளத்திலிருந்து தயாரிப்புத் தரவைப் பெற்றனர், புதுப்பிப்பு உடனடியாக இருந்தது மற்றும் செலவு குறைந்தது. பாடம்: தகவல் பிரச்சனை நன்றாகச் சரிசெய்வதன் மூலம் தீர்க்கப்படாது.

வழக்கு 2 - சரியாகச் சரிசெய்தல். ஒரு காப்பீட்டு நிறுவனம் இந்த மாதிரியானது எப்போதும் ஒரே திடமான கட்டமைப்பில் (குறிப்பிட்ட தலைப்புகளுடன்) பாலிசி சுருக்கங்களை உருவாக்க வேண்டும் என்று விரும்புகிறது. ப்ராம்ட் உடன் நிலைத்தன்மை 70% இல் சிக்கியுள்ளது. 300 நல்ல மாதிரிகளுடன் LoRA ஃபைன்-ட்யூனிங்கிற்குப் பிறகு, வடிவமைப்பு நிலைத்தன்மை 98% ஆக அதிகரித்தது. இது ஒரு நடத்தை பிரச்சனை மற்றும் நன்றாக சரிசெய்தல் சரியான கருவியாகும்.

வழக்கு 3 - தரவுக்குள் தனியுரிமை தப்பித்தல். ஒரு குழு, அரட்டை பதிவுகளை சுத்தம் செய்யாமலேயே அவற்றை நன்றாகச் சரிசெய்வதற்குச் சமர்ப்பித்தது. பதிவுகளில் உண்மையான வாடிக்கையாளர் பெயர்கள் மற்றும் அடையாள எண்கள் இருந்தன. நன்றாக வடிவமைக்கப்பட்ட மாதிரியானது, தொடர்பில்லாத கேள்விகளில் வெளியீடாக இந்தப் பெயர்களை "கசிவு" செய்யத் தொடங்கியது. மாதிரி திரும்பப் பெறப்பட்டது, தரவு மறைக்கப்பட்டு மீண்டும் பயிற்சி செய்யப்பட்டது. பாடம்: ஃபைன்-ட்யூனிங் தரவுகளில் மறைந்திருக்கும் தகவல் நிரந்தரமாக மாதிரிக்கு மாற்றப்படும்.

நகலெடுக்கக்கூடிய வார்ப்புருக்கள்

என்னுடைய இந்தப் பிரச்சனைக்கு ஃபைன்-ட்யூனிங் தேவையா என்பதைத் தீர்மானிக்க எனக்கு உதவுங்கள். பிரச்சனை: [விளக்கம்] இது ஒரு தகவல் பிரச்சனையா (மாடலுக்கு ஏதாவது தெரியவில்லை) அல்லது நடத்தை பிரச்சனையா (நான் விரும்பும் வடிவம்/தொனி/கட்டமைப்பை மாடல் உருவாக்கவில்லை)? ப்ராம்ட், சில-ஷாட் மற்றும் முதலில் RAG மூலம் அதை தீர்க்க முடியுமா? அவை ஒவ்வொன்றையும் ஏன் முயற்சி/முயற்சி செய்யக் கூடாது?எந்த நிபந்தனையின் கீழ் மட்டும் நன்றாகச் சரிசெய்ய பரிந்துரைக்கிறீர்கள்?

இந்த ஃபைன்-டியூனிங் தரவுத்தொகுப்பைச் சரிபார்க்கவும்:1) எடுத்துக்காட்டுகள் வடிவம் மற்றும் தொனியில் ஒத்துப்போகின்றனவா?2) அவை உண்மையான பயன்பாட்டில் உள்ள மாறுபாட்டை உள்ளடக்கியதா?3) அதில் ரகசிய/தனிப்பட்ட தரவு உள்ளதா (முகமூடியிடப்பட வேண்டும்)?4) முரண்பட்ட எடுத்துக்காட்டுகள் உள்ளதா?எடுத்துக்காட்டுகளின் துணைக்குழு: [எடுத்துக்காட்டுகள்]ஒவ்வொரு சிக்கலையும் பட்டியலிட்டு நீங்கள் கண்டறிந்ததை சரிசெய்யவும்.

நன்றாகச் சரிசெய்வதற்கு முன்னும் பின்னும் ஒரு மதிப்பீட்டுத் திட்டத்தை உருவாக்கவும். பணி: [விளக்கம்]- ஹோல்ட்-அவுட் எவல் தொகுப்பை எவ்வாறு தேர்ந்தெடுக்க வேண்டும்?- அடிப்படை மாதிரியின் மதிப்பெண் எப்படி அளவிடப்படுகிறது?- நன்றாகச் சரிசெய்த பிறகு எந்த மெட்ரிக் உடன் ஒப்பிடப்படுகிறது?- பொதுத் திறன்கள் பலவீனமடையவில்லை (பேரழிவு மறத்தல்) என்பதை நான் எவ்வாறு சோதிப்பது?

LoRA.Data அளவுடன் நன்றாகச் சரிசெய்வதற்கான ஆரம்ப ஹைப்பர்பாராமீட்டர்களைப் பரிந்துரைக்கவும்: [மாதிரிகளின் எண்ணிக்கை]நோக்கம்: [வடிவம்/தொனி கற்பித்தல்]சகாப்தம், கற்றல் விகிதம் மற்றும் முன்கூட்டியே நிறுத்துதல் ஆகியவற்றைப் பரிந்துரைக்கவும்.

முடிவு அட்டவணை: எந்த கருவி எப்போது

தேவை

முதலில் முயற்சிக்கவும்

ஃபைன்-ட்யூனிங்?

மாதிரி எந்த தகவலும் தெரியாது

RAG

இல்லை

தற்போதைய தரவு தேவை

RAG

இல்லை

குறிப்பிட்ட கடினமான வடிவம்

சில காட்சிகள்

போதாது என்றால் ஆம்

சீரான தொனி/நடை

உடனடி + சில-ஷாட்

போதாது என்றால் ஆம்

புல வாசகங்கள்/பாணி

உடனடியாக

அது போதாது என்றால், LoRA

எளிய பணி தேர்வுமுறை

உடனடி பொறியியல்

பொதுவாக இல்லை

பொதுவான தவறுகள்

• ஃபைன் டியூனிங் மூலம் தகவல் சிக்கலைத் தீர்க்க முயற்சிக்கிறது. RAG சரியான கருவி.
• ப்ராம்ட்/சில-ஷாட்/RAG ஐ உட்கொள்ளாமல் ஃபைன்-ட்யூனிங்கில் இயங்குகிறது. விலையுயர்ந்த மற்றும் தேவையற்றது.
• குறைந்த தரம்/முரண்பாடான தரவுகளுடன் பயிற்சி. குறைவான ஆனால் தெளிவான தரவு சிறந்தது.
• கல்வியில் ரகசியத் தரவை வைப்பது. நிரந்தரமாக மாதிரி ஊடுருவுகிறது.
• முன்னும் பின்னும் அளக்கவில்லை. நீங்கள் மீட்பு நிரூபிக்க முடியாது.
• பேரழிவை மறப்பதை சோதிக்கவில்லை. புதிய திறமை பழையதை சீர்குலைக்கலாம்.

சுருக்கமாக

ஃபைன்-ட்யூனிங் ஒரு சக்திவாய்ந்த ஆனால் விலையுயர்ந்த கருவியாகும், மேலும் இது நடத்தை/வடிவ பிரச்சனைகளுக்கு prompt-few-shot-RAGஐ உட்கொண்ட பிறகு மட்டுமே கருத்தில் கொள்ள வேண்டும்; தகவல் சிக்கல்கள் RAG க்கு சொந்தமானது. LoRA போன்ற அளவுரு-திறமையான முறைகள் நடைமுறை முதல் தேர்வாகும். தரம் முற்றிலும் தரவு தரத்தைப் பொறுத்தது; சிறிய ஆனால் சுத்தமான, நிலையான மற்றும் ரகசியமான தரவைப் பயன்படுத்தவும். முன்னும் பின்னும் அளவிடவும், அதிகமாகக் கற்றல் மற்றும் திறன் இழப்புக்கான சோதனை. ஃபைன்-ட்யூனிங் என்பது கவனிப்பின் கடமை; அதன் மொத்த செலவை அது வழங்கும் தரத்திற்கு எதிராக எடைபோடுங்கள்.

விண்ணப்ப பணி

ஒரு சிக்கலைத் தேர்ந்தெடுத்து, "அறிவு அல்லது நடத்தை" ஆகியவற்றை வேறுபடுத்தி, உங்கள் நியாயத்தை எழுதுவதன் மூலம் நன்றாகச் சரிப்படுத்துவது அவசியமா என்பதை முடிவு செய்யுங்கள். இது ஒரு நடத்தை பிரச்சனையாக இருந்தால், 20-30 நிலையான மாதிரிகளைத் தயாரித்து, மறைக்கப்பட்ட தரவைச் சரிபார்த்து, முன் மற்றும் பின் மதிப்பீட்டுத் திட்டத்தை ஆவணப்படுத்தவும் (நிறுத்தப்பட்ட கிளஸ்டர், அடிப்படை மதிப்பெண், ஒப்பீட்டு அளவீடு, மறத்தல் சோதனை). ஃபைன்-டியூனிங்கிற்குப் பதிலாக RAG/சில-ஷாட் மூலம் தீர்க்க முடியுமானால், இதையும் குறித்துக்கொள்ளவும்.

சரிபார்ப்பு பட்டியல்

• [ ] பிரச்சனை அறிவா அல்லது நடத்தையா என்பதை நான் தீர்மானித்தேன்.
• [ ] நான் முதலில் ப்ராம்ட், சில-ஷாட் மற்றும் RAG மாற்றுகளை மதிப்பீடு செய்தேன்.
• [ ] சீரான தன்மை, பன்முகத்தன்மை மற்றும் ரகசியத்தன்மை ஆகியவற்றிற்கான சிறந்த-சரிப்படுத்தும் தரவை நான் தணிக்கை செய்தேன்.
• [ ] நான் ஒரு ஹோல்ட்-அவுட் ஏவல் கிளஸ்டரை ஒதுக்கி அடிப்படை மதிப்பெண்ணை அளந்தேன்.
• [ ] நான் ஒரு முன்-பின் ஒப்பீடு மற்றும் மறக்கும் சோதனையை திட்டமிட்டேன்.
• [ ] மொத்த செலவையும் அது வழங்கும் தரத்துடன் ஒப்பிட்டுப் பார்த்தேன்.