தரவு பைப்லைன்: சேகரிப்பு, சுத்தப்படுத்துதல், குறியிடுதல் மற்றும் பதிப்பு செய்தல்

ஆதாயங்கள்:

• டேட்டா பைப்லைனை அமைக்கும் திறன் (சேகரிப்பு, சரிபார்த்தல், சுத்தப்படுத்துதல், மாற்றுதல், பிரித்தல், பதிப்பு செய்தல்) மற்றும் குழாயின் தொடக்கத்தில் ஸ்கீமா சரிபார்ப்பை வைப்பது
• தரவு கசிவைத் தடுக்க (குழு மற்றும் தற்காலிகம்) புலத்தின் பொருள் மற்றும் பிரிவின் அடிப்படையில் காணாமல் போன மதிப்பு மற்றும் லேபிளிங் முடிவுகளை எடுக்கும் திறன்
• தரவு பதிப்பு மற்றும் சீரற்ற விதைகளை சரிசெய்வதன் மூலம் மீண்டும் உருவாக்கக்கூடிய தரவு தளத்தை உருவாக்கும் திறன்

ஒவ்வொரு இயந்திர கற்றல் அமைப்பின் உண்மையான சக்தியும் தரவில் உள்ளது, மாதிரி அல்ல. அனுபவம் வாய்ந்த பொறியாளர்களுக்குத் தெரியும்: “குப்பை உள்ளே, குப்பை வெளியே” — மோசமான தரவைக் கொடுக்கப்பட்ட மிகவும் மேம்பட்ட மாதிரி கூட மோசமான முடிவுகளைத் தரும். இந்த யூனிட்டில், டேட்டா பைப்லைனை (டேட்டா பைப்லைன்: மாடல் பயிற்சிக்கு மூல தரவை தயார்படுத்தும் படிகளின் சங்கிலி) முடிவடைந்து, இந்த வரியின் எந்தப் படியில் நாம் செயற்கை நுண்ணறிவைப் பாதுகாப்பாகப் பயன்படுத்தலாம் என்பதைக் கற்றுக்கொள்கிறோம்.

தரவு வரியின் படிகள்

ஒரு தரவு வரி பொதுவாக இந்த நிறுத்தங்கள் வழியாக செல்கிறது:

1. சேகரிப்பு (உட்கொள்ளுதல்): மூலங்களிலிருந்து தரவை இழுத்தல் (தரவுத்தளம், API, பதிவு கோப்புகள், நிகழ்வு ஸ்ட்ரீம்கள்).
2. சரிபார்ப்பு: எதிர்பார்க்கப்படும் ஸ்கீமா, வகைகள் மற்றும் வரம்புகளுடன் தரவு இணங்குகிறதா என்பதைச் சரிபார்க்கிறது.
3. சுத்தம் செய்தல்: விடுபட்ட மதிப்புகள், நகல் பதிவுகள், வெளிப்புறங்கள் மற்றும் முரண்பாடுகளைக் கையாளுதல்.
4. உருமாற்றம்: மூலத் தரவை பண்புக்கூறுகளாக மாற்றுதல் — ஒரு வகை மாறியை எண்ணாக மாற்றுதல், ஒரு தேதியிலிருந்து "வாரத்தின் நாள்" உருவாக்குதல் போன்றவை.
5. பிரித்தல்: பயிற்சி, சரிபார்த்தல் மற்றும் சோதனைத் தொகுப்புகளாகப் பிரித்தல்.
6. பதிப்பு: எந்த மாதிரி எந்தத் தரவுடன் பயிற்சியளிக்கப்பட்டது என்பதைப் பதிவு செய்தல்.

செயற்கை நுண்ணறிவு குறியீடு வரைவுகள் மற்றும் யோசனைகளை உருவாக்குவதன் மூலம் நேரத்தை மிச்சப்படுத்துகிறது, குறிப்பாக படிகள் 2, 3 மற்றும் 4. ஆனால் எந்த பதிவை நிராகரிக்க வேண்டும், எந்த மதிப்பை நிரப்ப வேண்டும் மற்றும் எப்படி போன்ற முடிவுகள் தரவுகளை அறிந்த பொறியாளருக்கு சொந்தமானது; ஏனெனில் முறையற்ற துப்புரவு மாடலில் மறைக்கப்பட்ட சார்புகளை செலுத்தலாம்.

தரவு சரிபார்ப்பு: வரியின் ஆரம்ப பாதுகாப்பு

மிகவும் விலையுயர்ந்த பிழைகள் உற்பத்தியில் தொடங்குவதில்லை, ஆனால் சரிபார்ப்பு படி தவிர்க்கப்பட்ட இடத்தில். ஸ்கீமா சரிபார்ப்பு, ஒவ்வொரு உள்வரும் தரவுகள் எதிர்பார்க்கப்படும் கட்டமைப்பிற்கு இணங்குகிறதா என்பதை தானாகவே சரிபார்க்கிறது. எடுத்துக்காட்டாக, வயது நெடுவரிசை 0-120க்கு இடைப்பட்டதா, மின்னஞ்சல் புலம் காலியாக உள்ளதா, நெடுவரிசைகளின் எண்ணிக்கை மாறிவிட்டதா?

உதவிக்குறிப்பு: வரியின் தொடக்கத்தில் சரிபார்ப்பை வைக்கவும். விரைவில் ஊழல் தரவுகள் பிடிபட்டால், அதை சரிசெய்வது மலிவானது. உற்பத்தியில் சிக்கிய ஒரு திட்டப் பிழையானது பயிற்சி கட்டத்தில் சிக்கியதை விட பல மடங்கு விலை அதிகம்.

பின்வரும் தரவுத் திட்டத்திற்கான சரிபார்ப்புத் திட்டத்தை பாண்டிராவுடன் (அல்லது பெரும் எதிர்பார்ப்புகள்) எழுதவும். நெடுவரிசைகள் மற்றும் விதிகள்:- user_id: முழு எண், பூஜ்யமாக இருக்க முடியாது, தனித்துவம்- வயது: முழு எண், 0-120-லிருந்து இருக்க முடியாது- signup_date: தேதி, எதிர்காலத்தில் இருக்க முடியாது- நாடு: வகைப்படுத்தல், தொகுப்பிலிருந்து {TR, DE, US, UK}- இருப்பு: தசமம், எதிர்மறையாக இருக்க முடியாது ஒவ்வொரு விதி மீறலுக்கும் அர்த்தமுள்ள பிழைச் செய்தியை உருவாக்கவும். குறியீட்டின் முடிவில் உடைந்த கோட்டின் உதாரணத்துடன் சோதனையைக் காட்டு.

சுத்தம் செய்தல்: மனிதனே தீர்மானிக்கிறான்

காணாமல் போன மதிப்புகள் ஒவ்வொரு தரவுத் தொகுப்பின் உண்மை. கையாளும் வழிகள்:

• நீக்குதல்: மிக அதிகமான விடுபட்ட விகிதத்துடன் வரிசை/நெடுவரிசையை நிராகரித்தல். ஆனால் தகவல் இழப்பு மற்றும் பாரபட்சம் ஏற்படும் அபாயம் உள்ளது.
• இம்ப்யூடேஷன்: சராசரி, இடைநிலை, அடிக்கடி மதிப்பு அல்லது மாதிரி அடிப்படையிலான கணிப்பு.
• கொடி: "காணவில்லை" என்ற தகவலை ஒரு தனி கொடி நெடுவரிசையில் சேமிப்பது — சில சமயங்களில் காணாமல் போனதே சமிக்ஞையாக இருக்கும்.

எது சரியானது என்பது சிக்கலைப் பொறுத்தது. மருத்துவத் தரவுத் தொகுப்பில், "இரத்த மதிப்பு அளவிடப்படவில்லை" என்ற தகவல் நீக்கப்படுவதற்குப் பதிலாகப் பாதுகாக்கப்பட வேண்டும்; ஏனெனில் மருத்துவர் கூட அளவீடுகளை எடுக்க மறுப்பது ஒரு சமிக்ஞையாகும். AI உங்களுக்கு விருப்பங்களையும் குறியீட்டையும் வழங்க முடியும்; புலத்தின் யதார்த்தத்திற்கு எது பொருத்தமானது என்பதை நீங்கள் தேர்வு செய்கிறீர்கள்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான வரியில்: "விடுபட்ட மதிப்புகளை நிரப்பவும்."

வலுவான அறிவுறுத்தல்: "பின்வரும் நெடுவரிசைகளில் மதிப்புகள் விடுபட்டுள்ளன: வருமானம் (12% விடுபட்டது, வலதுபுறத்தில் வளைந்த விநியோகம்), கடைசி_உள்நுழைவு (30% காணவில்லை). சராசரியுடன் வருமானத்தை நிரப்ப பரிந்துரைக்கவும், ஆனால் ஏன் சராசரி மற்றும் அர்த்தமல்ல என்பதை விளக்கவும். கடைசி_உள்நுழைவுக்கு, விடுபட்ட மதிப்பு குறிப்பிடத்தக்கதாக இருக்கலாம் என்று கருதுங்கள் (பயனர் உள்நுழைந்திருக்கவில்லை. சார்பு அணுகுமுறை மாதிரியை சேர்க்கும்."

வேறுபாடு: வலுவான வரியில் விநியோக தகவல் மற்றும் பகுதி அர்த்தம் கொடுக்கிறது; செயற்கை நுண்ணறிவு இயந்திர நிரப்புதலுக்கு பதிலாக முடிவு ஆதரவை உருவாக்குகிறது.

லேபிளிங்: தரம் அளவிடப்படுகிறது

மேற்பார்வையிடப்பட்ட கற்றலில் (சரியான பதில்களுடன் எடுத்துக்காட்டுகள் கொடுக்கப்பட்ட கற்றல்), மாதிரி கற்றுக்கொள்வது லேபிள்கள் (லேபிள்கள்: ஒவ்வொரு உதாரணத்திற்கும் சரியான பதில்). லேபிள் தரம் உச்சவரம்பை அமைக்கிறது - மக்கள் சீரற்ற முறையில் லேபிளிட்டால், மாதிரி சீரற்ற முறையில் கற்றுக்கொள்கிறது.

வெவ்வேறு நபர்கள் ஒரே மாதிரிக்கு ஒரே லேபிளைக் கொடுக்கும் விகிதத்தை இடை-குறிப்பு ஒப்பந்தம் அளவிடுகிறது; இது கோஹனின் கப்பா போன்ற குணகத்தால் வெளிப்படுத்தப்படுகிறது. குறைந்த இணக்கம், பணி தெளிவாக இல்லை அல்லது அறிவுறுத்தல் பலவீனமாக இருப்பதைக் குறிக்கிறது.

செயற்கை நுண்ணறிவு இரண்டு வழிகளில் லேபிளிங்க உதவுகிறது: (1) சிறுகுறிப்பு வழிகாட்டி வரைவு, (2) முன் லேபிளிங் மற்றும் மனிதனால் மட்டுமே அதை சரிசெய்ய வேண்டும். ஆனால் LLM உடன் முன்-லேபிளிங்கில் ஒரு ஆபத்து உள்ளது: மாதிரியின் முறையான பிழையானது முழு லேபிள் தொகுப்பிலும் கசிந்துவிடும். அதனால்தான் மனிதர்கள் எப்போதும் சில எல்எல்எம் லேபிள்களை சரிபார்க்கிறார்கள்.

கவனம்: LLM தயாரித்த லேபிள்களை "மூல உண்மை" என்று கருத வேண்டாம். ஒரு மனிதனுடன் மாதிரியைச் சரிபார்த்து, LLM-மனித பொருத்தத்தை அளவிடவும். இணக்கம் குறைவாக இருந்தால், முன்-லேபிளிடுதல் நல்லதை விட அதிக தீங்கு விளைவிக்கும்.

தரவு பகிர்வு: கசிவைத் தடுக்கும்

பயிற்சி/சரிபார்ப்பு/சோதனை என தரவைப் பிரிப்பதில் மிகவும் ஆபத்தான தவறு தரவு கசிவு: சோதனைத் தகவலை பயிற்சியில் கலப்பது. எடுத்துக்காட்டுகள்:

• ஒரே பயனரின் பதிவுகள் பயிற்சி மற்றும் சோதனை (குழு கசிவு) ஆகிய இரண்டிலும் அடங்கும்.
• எதிர்காலத்தை பயிற்சியிலும், கடந்த காலத்தை நேரத் தொடரில் சோதனையிலும் பயன்படுத்துதல் (தற்காலிக கசிவு).
• எல்லா தரவிலிருந்தும் அளவிடுதல் (இயல்பாக்குதல்) அளவுருக்களைக் கணக்கிட்டு பின்னர் பிரித்தல்.

நேரம் சம்பந்தப்பட்ட பிரச்சனைகளுக்கு தற்காலிக பிளவு அவசியம்: கடந்த காலத்துடன் பயிற்சி, எதிர்காலத்தில் சோதனை. சீரற்ற பிரித்தல் உற்பத்தியில் ஒருபோதும் நடக்காத "எதிர்கால" நன்மையை அளிக்கிறது மற்றும் அளவீடுகளை உயர்த்துகிறது.

தரவு பதிப்பு மற்றும் மறுஉருவாக்கம்

"இந்த மாதிரியை நாங்கள் என்ன தரவுகளுடன் பயிற்சி செய்தோம்?" பல மாதங்கள் கழித்து கேள்விக்கு பதிலளிக்க முடியும் என்பது தீவிர ML பொறியியலின் தனிச்சிறப்பு. தரவு பதிப்பு ஒவ்வொரு தரவு ஸ்னாப்ஷாட்டையும் ஒரு ஐடியுடன் (ஹாஷ் அல்லது பதிப்பு குறிச்சொல்) சேமிக்கிறது. குறியீடு போன்ற DVC (Data Version Control) பதிப்பு தரவு போன்ற கருவிகள்.

மாதிரியின் முடிவை மீண்டும் உருவாக்க, மூன்று விஷயங்கள் சரி செய்யப்பட வேண்டும்: தரவு பதிப்பு, குறியீடு பதிப்பு மற்றும் சீரற்ற விதை. இந்த மூவரும் இல்லாமல் "எனக்கு ஒரே முடிவு கிடைத்தது" என்று சொல்ல முடியாது. அலகு 11 இல் மறுஉற்பத்தியை ஆழப்படுத்துவோம்; ஆனால் தரவுக் குழாயில் விதையை சரிசெய்வது இங்கிருந்து தொடங்குகிறது.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - நாள் திட்ட சரிபார்ப்பு சேமிக்கப்பட்டது. ஒரு குழு அப்ஸ்ட்ரீம் சிஸ்டம் விலைப் புலத்தை பென்னிகளில் இருந்து லிராஸாக மாற்றியபோது, ​​எல்லா விலைகளும் 100 மடங்கு குறைந்தன. ஸ்கீமா சரிபார்ப்பு "விலை வரம்பிற்கு அப்பாற்பட்டது" என நிராகரித்தது மற்றும் மாடல் சிதைந்த தரவுகளுடன் பயிற்சியளிக்கப்படவில்லை. சரிபார்ப்பு இல்லாமல், பிழையானது தவறான கணிப்புகளுடன் தயாரிப்பில் மட்டுமே கவனிக்கப்படும்.

வழக்கு 2 - தவறான நிரப்புதலின் சார்பு. கடன் மாதிரியில், விடுபட்ட வருமான மதிப்புகள் சராசரியாக நிரப்பப்பட்டன. ஆனால் காணாமல் போன வருமானங்கள் பெரும்பாலும் குறைந்த வருமானம் கொண்ட குழுவில் இருந்தன; சராசரியாக செயற்கையாக இந்த குழுவை "செறிவூட்டியது", மேலும் மாடல் அவர்களுக்கு நியாயமற்ற உயர் வரம்பை வழங்கியது. மீடியன் + விடுபட்ட கொடியில் உள்ள சிக்கல் சரி செய்யப்பட்டது.

வழக்கு 3 - தற்காலிக கசிவு. டிமாண்ட் முன்கணிப்பு மாதிரியானது சோதனைத் தொகுப்பில் (95% துல்லியம்) நன்றாகத் தெரிந்தது, ஆனால் உற்பத்தியில் செயலிழந்தது. ஏன்: சீரற்ற பிளவு காரணமாக, மாதிரி எதிர்காலத்தைப் பார்த்தது. டெம்போரல் பின்னிங்கிற்கு மாறுவது சோதனைத் துல்லியத்தை 78% ஆகக் குறைத்தது - ஆனால் அது உண்மையான செயல்திறன் மற்றும் அதை உற்பத்தியில் வைத்திருந்தது.

நகலெடுக்கக்கூடிய வார்ப்புருக்கள்

பின்வரும் தரவுத்தொகுப்பை மூன்று தொகுப்புகளாகப் பிரிக்கவும்: பயிற்சி/சரிபார்த்தல்/சோதனை.கட்டுப்பாடு: இது ஒரு நேரத் தொடர்; தற்காலிகப் பிரித்தலைப் பயன்படுத்தவும் (கடந்த காலத்தில் பயிற்சி, எதிர்காலத்தில் சோதனை). தொகுதி கசிவைத் தடுக்கவும்: ஒரே ஒரு கிளஸ்டரில் மட்டும் அதே `வாடிக்கையாளர்_ஐடி' இருக்க வேண்டும். பயிற்சித் தொகுப்பிலிருந்து மட்டுமே அளவிடுதல் அளவுருக்களைக் கணக்கிடுங்கள், பின்னர் அனைவருக்கும் பொருந்தும். ஒவ்வொரு அடியிலும் குறியீட்டில் எத்தனை வரிகள் மீதமுள்ளன என்பதை அச்சிட்டு, கசிவுகள் இல்லை என்பதைச் சரிபார்க்கும் உறுதிமொழியைச் சேர்க்கவும்.

இந்த லேபிளிங் பணிக்கான வரைவு சிறுகுறிப்பு வழிகாட்டியை எழுதவும். பணி: [எ.கா. வாடிக்கையாளர் மதிப்புரை நேர்மறை/எதிர்மறை/நடுநிலை என்று லேபிளிடுக]எல்லைக்குட்பட்ட நிகழ்வுகளை தெளிவுபடுத்துங்கள்: கிண்டல், கலப்பு உணர்ச்சி, தயாரிப்புடன் தொடர்பில்லாத மதிப்பாய்வை எவ்வாறு லேபிளிடுவது? டேக்கர்களில் நிலைத்தன்மையை அதிகரிக்கும் 5 எடுத்துக்காட்டுகள் மற்றும் 3 கடினமான எட்ஜ் கேஸ்களைக் கொடுங்கள்.

இந்த டேட்டா பைப்லைனுக்கான மறுஉருவாக்கம் சரிபார்ப்புப் பட்டியலை உருவாக்கவும்:- தரவுப் பதிப்பை எவ்வாறு சரி செய்ய வேண்டும்?- எந்த சீரற்ற விதைகளை எங்கு அமைக்க வேண்டும்?- என்ன மெட்டாடேட்டா (தரவு ஹாஷ், வரிசை எண்ணிக்கை, தேதி) பதிவு செய்யப்பட வேண்டும்? எனது கோட்பேஸ்: [மொழி/நூலகம்]

தரவு கசிவுக்காக இந்த சுத்தப்படுத்தும் குறியீட்டைச் சரிபார்க்கவும். குறிப்பாக இதைப் பார்க்கவும்: அளவிடுதல்/குறியீட்டு அளவுருக்கள் பிரிப்பதற்கு முன் கணக்கிடப்பட்டதா? அனைத்து தரவுகளிலிருந்தும் அல்லது பயிற்சியிலிருந்தும் ஏதேனும் புள்ளிவிவரங்கள் கணக்கிடப்பட்டதா? குறியீடு: [குறியீடு]

முடிவு அட்டவணை: காணவில்லை மதிப்பு உத்தி

நிலை

பரிந்துரைக்கப்பட்ட அணுகுமுறை

ஏன்

எண்ணியல், வளைந்த விநியோகம்

சராசரி நிரப்பவும்

சராசரி வெளியாட்களால் பாதிக்கப்படுகிறது

எண், சமச்சீர்

சராசரியாக நிரப்பவும்

தகவல்களைப் பாதுகாக்கிறது

குறைபாடு குறிப்பிடத்தக்கதாக இருக்கலாம்

கொடி நெடுவரிசை + நிரப்பு

பற்றாக்குறை ஒரு சமிக்ஞை

விடுபட்ட விகிதம் > 60%

நெடுவரிசையை மதிப்பிடவும்/நிராகரிக்கவும்

சத்தம் அதிகம்

வகைப்பட்ட

"தெரியாத" வகை

செயற்கையான பெரும்பான்மையை உருவாக்கவில்லை

பொதுவான தவறுகள்

• சரிபார்ப்பைத் தவிர்க்கிறது. ஸ்கீமா கட்டுப்பாடு இல்லாமல், சிதைந்த தரவு அமைதியாக உள்ளே நுழைகிறது.
• பிரிப்பதற்கு முன் அளவிடுதல். இது கல்வியில் சோதனை புள்ளிவிவரங்களை கசிய விடுகிறது.
• நேரத் தொடரில் சீரற்ற பிளவுகளைப் பயன்படுத்துதல். இது போலி உயர் அளவீடுகளை உருவாக்குகிறது.
• LLM லேபிள்களை கண்மூடித்தனமாக நம்புதல். முறையான பிழை தரவு முழுவதும் பரவுகிறது.
• தரவு பதிப்பைச் சேமிக்கவில்லை. நீங்கள் முடிவை மீண்டும் உருவாக்க முடியாது.
• சராசரியுடன் இயந்திர நிரப்புதல். இது புல அர்த்தத்தை புறக்கணிக்கிறது, சார்பு சேர்க்கிறது.

சுருக்கமாக

தரவு பைப்லைன் ML அமைப்பின் அடித்தளம் மற்றும் மாதிரியை விட அதிக முயற்சிக்கு தகுதியானது. சரிபார்ப்பை மேலே வைக்கவும்; டொமைன் அறிவுடன் சுத்தம் மற்றும் லேபிளிங் முடிவுகளை எடுக்கவும்; பெட்டியில் கசிவு (குழு மற்றும் தற்காலிக) தடுக்க; தரவு பதிப்பு மற்றும் விதையை சரிசெய்யவும். AI இந்த வரிசையில் குறியீடு மற்றும் யோசனைகளை உருவாக்குகிறது, ஆனால் எந்தத் தரவை எவ்வாறு செயலாக்குவது என்பதை நீங்கள் தீர்மானிக்க வேண்டும் - ஏனெனில் இங்குள்ள ஒவ்வொரு தவறான முடிவும் ஒரு மறைக்கப்பட்ட குறைபாடாக மாதிரியில் செல்கிறது.

விண்ணப்ப பணி

உங்கள் சொந்த தரவுத்தொகுப்பில் சரிபார்ப்புத் திட்டத்தை (பண்டேரா/கிரேட் எக்ஸ்பெக்டேஷன்ஸ்) எழுதி, வேண்டுமென்றே ஒரு மோசமான வரிசையைச் சேர்த்து, அது சிக்கியதைக் காட்டவும். பின்னர் தரவை தற்காலிகமாக அல்லது தொகுதி வாரியாகப் பிரித்து, பயிற்சியிலிருந்து மட்டும் அளவிடுதல் அளவுருக்களைக் கணக்கிட்டு, உறுதியுடன் கசிவு இல்லை என்பதைச் சரிபார்க்கவும். தரவு பதிப்பு மற்றும் வரிசை எண்ணிக்கையை மெட்டாடேட்டா கோப்பில் எழுதவும்.

சரிபார்ப்பு பட்டியல்

• [ ] திட்ட சரிபார்ப்பு வரியின் மேல் இயங்குகிறது.
• [ ] புலத்தின் அர்த்தத்தின் அடிப்படையில் விடுபட்ட மதிப்பு மூலோபாயத்தைத் தேர்ந்தெடுத்தேன், நான் அதை இயந்திரத்தனமாக நிரப்பவில்லை.
• [ ] நான் லேபிள் தரத்தை (இணக்கம்) அளந்தேன்; நான் LLM குறிச்சொற்களை மனிதனால் சரிபார்த்தேன்.
• [ ] பலகத்தில் குழு மற்றும் தற்காலிக கசிவை தடுத்தேன்.
• [ ] அளவிடுதல் / குறியாக்கம் பயிற்சி தொகுப்பிலிருந்து மட்டுமே கணக்கிடப்படுகிறது.
• [ ] தரவு பதிப்பு, வரிசைகளின் எண்ணிக்கை மற்றும் பதிவு செய்யப்பட்ட விதை.