தரவு கசிவு மற்றும் மறுஉருவாக்கம்: அமைதியான பேரழிவுகள் மற்றும் ஒழுக்கம்

ஆதாயங்கள்:

• தரவு கசிவு வகைகளை அடையாளம் காணும் திறன் (இலக்கு, நேரம், முன் செயலாக்கம், குழுவாக்கப்பட்ட வரிசை) மற்றும் 'உண்மையாக இருப்பது மிகவும் நல்லது' மதிப்பெண்ணை அலாரமாக வினவவும்
• சோதனைத் தொகுப்பு, பைப்லைன் மற்றும் சரியான பிரிவு (காலவரிசை/குழுவாக) ஆகியவற்றை முன்கூட்டியே பிரிப்பதன் மூலம் கசிவைத் தடுக்கும் திறன்
• நிலையான விதைகள், பதிப்பு கட்டுப்பாடு மற்றும் கையேடு படிகளை அகற்றுவதன் மூலம் பகுப்பாய்வு மறுஉருவாக்கம் செய்யும் திறன்

தரவு அறிவியலில் அதிக முயற்சியை வீணடிக்கும் இரண்டு தவறுகள் உள்ளன, மேலும் அவை இரண்டும் நயவஞ்சகமானவை, ஏனெனில் அவை அனைத்தும் "நன்றாக இருப்பதாகத் தோன்றும்" போது பேரழிவிற்கு வழிவகுக்கும். முதலாவது தரவு கசிவு: சோதனைத் தொகுப்பில் மாடல் நன்றாக வேலை செய்கிறது ஆனால் உற்பத்தியில் செயலிழக்கிறது. இரண்டாவது மறுஉருவாக்கம் செய்ய முடியாதது: நீங்கள் ஆறு மாதங்களுக்குப் பிறகு ஒரு பகுப்பாய்வை நடத்தி முற்றிலும் மாறுபட்ட முடிவைப் பெறுவீர்கள். இந்த இரண்டு இடர்பாடுகளையும் ஆழமாக அறிந்து அவற்றைத் தவிர்ப்பதற்காக இந்த அலகு அர்ப்பணிக்கப்பட்டுள்ளது. AI இரண்டு அபாயங்களையும் அதிகரிக்கலாம் (விரைவாக உருவாக்குகிறது, மறைக்கப்பட்ட கசிவுகளைப் பரிந்துரைக்கிறது, கைமுறையாகப் படிகளை எடுப்பதை எளிதாக்குகிறது) ஆனால் சரியாகப் பயன்படுத்தினால் அவற்றைக் குறைக்கலாம். வித்தியாசம் ஒழுக்கத்தில் உள்ளது.

தரவு கசிவு: தெளிவான மாதிரி

தரவு கசிவு என்பது பயிற்சியின் போது மாதிரியான தகவல்களைப் பார்க்கும் போது அது உண்மையான கணிப்பு நேரத்தில் இருக்காது. மாடல் இந்தத் தகவலுடன் "ஏமாற்றுகிறது", சோதனைத் தொகுப்பில் நன்றாகத் தெரிகிறது, ஆனால் அந்தத் தகவல் இல்லாமல் தயாரிப்பில் செயலிழக்கிறது. கசிவின் அறிகுறி எப்போதும் ஒரே மாதிரியாக இருக்கும்: உண்மையாக இருப்பதற்கு மிகவும் நல்லது. 99% துல்லியத்தைக் கண்டு நீங்கள் மகிழ்ச்சியடைவதற்கு முன், நீங்கள் கசிவுகளைத் தேட வேண்டும்.

கசிவின் முக்கிய வகைகள்:

1. இலக்கு கசிவு: ஒரு அம்சம் என்பது இலக்கின் விளைவாகும். "ரத்து செய்யப்பட்டது" முன்னறிவிப்பில், "ரத்துசெய்யப்பட்ட தேதி" அல்லது "திரும்பத் தொகை" நெடுவரிசைகள் இலக்கின் விளைவாகும்; முடிவு தெளிவாக இருக்கும்போது மட்டுமே அவை நிரப்பப்படும்.

2. நேரக் கசிவு: எதிர்காலத் தகவல்களை கடந்த காலத்திற்குக் கொண்டு வருதல். "கடந்த 30 நாட்களின் சராசரியை" கணக்கிடும் போது, ​​முன்னறிவிப்பு நாளுக்குப் பிந்தைய நாட்களைச் சேர்க்கவும் அல்லது நேரத் தொடரைத் தோராயமாகப் பிரிக்கவும்.

3. முன்-செயலாக்க கசிவு: பயிற்சி/சோதனை பகிர்வுக்கு முன் அனைத்து தரவுகளிலிருந்தும் அளவிடுதல், நிரப்புதல், குறியிடுதல் போன்ற மாற்றங்களைக் கற்றல். சோதனை தரவுகளின் சராசரி பயிற்சியில் குறுக்கிடுகிறது.

4. நகல்/குழுவாக்கப்பட்ட வரிசை கசிவு: பயிற்சி மற்றும் சோதனை ஆகிய இரண்டிலும் ஒரே நபருக்கு சொந்தமான வரிசைகள் உள்ளன (ஒரே நோயாளியின் இரண்டு வருகைகள் வெவ்வேறு தொகுப்புகளில்). மாதிரி நபரை மனப்பாடம் செய்கிறது.

கசிவு வகை

எப்படி பிறக்கிறது

எப்படி தடுப்பது

இலக்கு கசிவு

இலக்கின் விளைவான நெடுவரிசை

"கணிப்பின் போது என்னிடம் அது இருக்கிறதா" சோதனை

நேரம் கசிவு

எதிர்காலத்தை கடந்த காலத்திற்கு கொண்டு வருதல்

காலவரிசைப் பிரிவு, சாளரக் கட்டுப்பாடு

முன் செயலாக்க கசிவு

முன்-பிளவு மாற்றம்

பைப்லைன், பயிற்சியில் இருந்து தான் பொருந்தும்

குழுவான வரிசை கசிவு

இரண்டு செட்களில் ஒரே அலகு

குழுவால் பிரிக்கவும் (குரூப்கே மடங்கு)

கசிவைத் தடுக்க ஒரே ஒழுக்கம்

அனைத்து வகையான கசிவுகளுக்கும் பொதுவான தீர்வு ஒரு வாக்கியத்தில் கொதிக்கிறது: உண்மையான எதிர்காலத்தைப் பிரதிபலிக்கும் வகையில் சோதனைத் தொகுப்பை விரைவில் தனிமைப்படுத்தவும், அதற்கு எதையும் "கற்பிக்க" வேண்டாம். நடைமுறையில், இதன் பொருள்: முதலில் பிரித்து, பின்னர் அனைத்து மாற்றங்களையும் பயிற்சியிலிருந்து மட்டுமே கற்றுக் கொள்ளுங்கள் மற்றும் அவற்றை ஒரு குழாய் வழியாகப் பயன்படுத்துங்கள் (அனைத்து படிகளையும் ஒரே சங்கிலியில் சேகரிக்கும் ஒரு அமைப்பு). ஒவ்வொரு அம்சத்திற்கும், "கணிப்பின் போது இந்த தகவல் என்னிடம் உள்ளதா?" என்ற கேள்வியைக் கேளுங்கள். நேரம் இருந்தால், அதை காலவரிசைப்படி பிரிக்கவும்; ஒரே அலகு மீண்டும் மீண்டும் இருந்தால், குழுவாகப் பிரிக்கவும்.

எச்சரிக்கை: கசிவின் மிகவும் ஆபத்தான அம்சம் என்னவென்றால், அது ஒரு வெற்றியாகக் காட்சியளிக்கிறது. ஒரு மோசமான மாதிரி வெளிப்படையாக மோசமான முடிவுகளை உருவாக்கும் மற்றும் கவனிக்கப்படும்; ஒரு கசிந்த மாதிரி நன்றாக வேலை செய்கிறது, அனைவரையும் மகிழ்விக்கிறது, மேலும் உற்பத்தி செய்யப்படுகிறது - அங்குதான் சரிவு தொடங்குகிறது. அதனால்தான் "மிகவும் நல்ல" முடிவு எச்சரிக்கைக்கு காரணமாகும், கொண்டாட்டத்திற்கு அல்ல.

மறுஉருவாக்கம்: ஒரே முடிவை இரண்டு முறை பெறுதல்

மறுஉருவாக்கம் என்பது மற்றொரு நேரத்தில், மற்றொரு கணினியில் மீண்டும் ஒரு பகுப்பாய்வை இயக்கும்போது அதே முடிவைப் பெறுவதற்கான திறன் ஆகும். இது இல்லாமல், உங்கள் பகுப்பாய்வு தற்செயலானது, அறிவியல் அல்ல. இனப்பெருக்கத் திறனைக் குறைக்கும் முக்கிய காரணங்கள் மற்றும் தீர்வுகள்:

கைமுறை படிகள்: எக்செல் இல் ஒரு கலத்தை கைமுறையாக மாற்றுதல், விளக்கப்படத்தை கைமுறையாக திருத்துதல். தீர்வு: குறியீட்டில் ஒவ்வொரு அடியையும் வைத்திருங்கள்.

நிலையான சீரற்ற தன்மை: மாதிரி பயிற்சி, மாதிரி, பிரித்தல் ஆகியவை சீரற்ற தன்மையை உள்ளடக்கியது. தீர்வு: சீரற்ற விதையை (ரேண்டம் ஜெனரேட்டரின் ஆரம்ப மதிப்பு) சரிசெய்யவும் (ரேண்டம்_ஸ்டேட்=42).

பதிப்பு மாறுகிறது: நூலகப் பதிப்பு மாறும்போது முடிவு மாறலாம். தீர்வு: சார்புகளை சரிசெய்யவும் (requirements.txt, சூழல் கோப்பு).

பதிவேடு இல்லை: எந்த தரவு, எந்த குறியீடு, எந்த அளவுரு பயன்படுத்தப்பட்டது என்பது தெளிவாக இல்லை. தீர்வு: பதிப்பு கட்டுப்பாடு (Git — குறியீட்டின் அனைத்து பதிப்புகளையும் சேமிக்கும் அமைப்பு) மற்றும் தரவு பதிப்பு.

"இது எனது கணினியில் மட்டுமே இயங்குகிறது": தீர்வு: சுற்றுச்சூழலை ஆவணப்படுத்தவும், முடிந்தால் கொள்கலன்களை (டாக்கர்) பயன்படுத்தவும்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - இலக்கு கசிவு. ஒரு உடல்நலப் பகுப்பாய்வில் "நோயாளி மீண்டும் அனுமதிக்கப்படுவாரா" என்பதைக் கணிப்பதில் "பிந்தைய வெளியேற்ற மருந்து" பத்தியில் இடம்பெற்றது. நோயாளி டிஸ்சார்ஜ் செய்யப்பட்ட பின்னரே இந்த நெடுவரிசை நிரப்பப்பட்டது. மாடல் 96%, உற்பத்தியில் 61% கொடுத்தது. 8 வார திட்டம் குப்பை. பாடம்: ஒவ்வொரு அம்சத்தையும் "கணிக்கும் நேரத்தில் உள்ளதா?"

வழக்கு 2 - முன் செயலாக்க கசிவு. ஒரு குழு அனைத்து தரவையும் அளவிட்டு பின்னர் பிரித்தது. சோதனை தரவுகளின் சராசரி அளவிடுதலில் ஈடுபட்டுள்ளது. CV மதிப்பெண் 89%, உண்மையான உற்பத்தி 76%. நான் பைப்லைனுக்கு மாறியதும், பயிற்சியிலிருந்து மட்டுமே மாற்றங்களைப் பற்றி அறிந்ததும் போலி வெற்றி மறைந்தது. பாடம்: முதலில் பிரித்து பின்னர் மாற்றவும்.

வழக்கு 3 - இனப்பெருக்கம் செய்வதில் தோல்வி. ஒரு ஆய்வாளர் மூன்று மாதங்களுக்குப் பிறகு நிர்வாகத்திற்கு வழங்கிய விளக்கப்படத்தை புதுப்பிக்க விரும்பினார், ஆனால் அவர் அதை எவ்வாறு தயாரித்தார் என்பதை நினைவில் கொள்ள முடியவில்லை; எக்செல் இல் பல படிகள் கைமுறையாக செய்யப்பட்டன. முடிவு வேலை செய்யவில்லை மற்றும் நம்பிக்கை அசைந்தது. பாடம்: கைமுறை படிகள் இல்லை, அனைத்தும் குறியீடு மற்றும் Git இல் உள்ளன.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) கசிவு ஆய்வு:

உங்கள் பங்கு: கசிவு இன்ஸ்பெக்டர். இலக்கு: "சர்ன்" (0/1), முன்னறிவிப்பு குறிப்பு தேதி: பதிவு_தேதி. இந்த அம்சங்களின் பட்டியலை நான் உங்களுக்கு தருகிறேன். ஒவ்வொரு அம்சத்திற்கும்: (அ) இது இலக்கின் விளைவா, (ஆ) கணிக்கும் நேரத்தில் அது எனக்குக் கிடைக்குமா, (இ) நேர சாளரத்தில் எதிர்காலம் உள்ளதா? அதை "பாதுகாப்பற்ற/சந்தேகத்திற்குரிய/கசிவு" எனக் குறிப்பிட்டு காரணத்தை எழுதவும். அம்சங்கள்: [பட்டியல்]

2) கசிவு இல்லாத குழாய்:

sklearn பைப்லைனை அமைக்கவும்: முதலில் பிரித்த ரயில்/சோதனை (அடுப்பு, விதை=42), பின்னர் பயிற்சியிலிருந்து மட்டுமே அனைத்து முன் செயலாக்கத்தையும் (இம்ப்யூட், ஸ்கேல், என்கோட்) பைப்லைனில் பொருத்தவும். குறியீடு ஏன் கசிவு இல்லாதது என்பதை விளக்குங்கள், எந்தப் படி எங்கே கற்றுக் கொள்ளப்பட்டது.

3) மறுஉருவாக்கம் சரிபார்ப்பு பட்டியல் குறியீடு:

எனது பகுப்பாய்வை மீண்டும் உருவாக்க விரும்புகிறேன். சேர்க்கும் குறியீடு/கட்டமைப்பைப் பரிந்துரைக்கவும்: (1) அனைத்து சீரற்ற தன்மைக்கும் கடினமான விதை, (2) பயன்படுத்தப்பட்ட அச்சிடும் நூலக பதிப்புகள், (3) தரவு மற்றும் வெளியீட்டிற்கான தேதி/பதிப்பு குறிச்சொல். கைமுறையான படிகள் எதுவும் இல்லை என்பதை உறுதிப்படுத்த எனக்கு ஒரு சரிபார்ப்புப் பட்டியலைக் கொடுங்கள்.

4) குழுவான பகிர்வு (அதே அலகு கசிவு):

தரவுகளில் ஒரே customer_id பல வரிசைகளில் உள்ளது. பயிற்சி மற்றும் சோதனை ஆகிய இரண்டிலும் ஒரே வாடிக்கையாளரைத் தடுக்கும் ஒரு பிரிவை (GroupKFold orGroupShuffleSplit, group = customer_id) உருவாக்கவும். பிரித்த பிறகு இரண்டு செட்களிலும் வாடிக்கையாளர்கள் யாரும் இல்லை என்பதைச் சரிபார்க்க குறியீட்டைச் சேர்க்கவும்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

எனது மாடல் 98% துல்லியத்தை அளித்தது, அது நன்றாக இல்லையா? குறியீட்டை மேம்படுத்தவும்.

98% கொண்டாடுவது கசிவை மறைக்கிறது. மேம்படுத்துவதற்கு முன், இந்த மதிப்பெண் உண்மையானதா இல்லையா என்று கேள்வி கேட்க வேண்டும்.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: கசிவு இன்ஸ்பெக்டர். எனது மாதிரியானது சோதனைத் தொகுப்பில் 98% துல்லியத்தை அளிக்கிறது, இது எனக்கு "உண்மையாக இருப்பது மிகவும் நல்லது". சரிபார்க்கவும்: (1) இலக்கின் விளைவாக ஏதேனும் அம்சங்கள் உள்ளன, (2) பிரிப்பதற்கு முன் செய்யப்பட்ட மாற்றங்கள், (3) இரண்டு தொகுப்புகளில் ஒரே அலகு, (4) ஏதேனும் நேர கசிவுகள் உள்ளனவா. சந்தேகத்திற்கிடமான புள்ளிகளை பட்டியலிடுங்கள்; கசிவைக் கண்டுபிடிப்பதில் கவனம் செலுத்துங்கள், மதிப்பெண்ணை நிர்ணயிப்பதில் அல்ல.

இங்கே, அதிக மதிப்பெண் என்பது கேள்விக்குட்படுத்தப்பட வேண்டிய அடையாளமாக கருதப்படுகிறது, கொண்டாடப்படக்கூடாது.

பொதுவான தவறுகள்

• "மிகவும் நல்ல" முடிவைக் கொண்டாடுகிறோம். மிகவும் நல்ல மதிப்பெண் என்பது ஒரு கசிவு எச்சரிக்கை, சாதனை அல்ல.
• பிரிவுக்கு முன் அனைத்து தரவுகளிலிருந்தும் மாற்றத்தைக் கற்றுக்கொள்வது. மிகவும் பொதுவான கசிவு; முதலில் குழாய் மூலம் பிரிக்கவும்.
• நேரத் தொடரைத் தோராயமாகப் பிரித்தல். மாதிரி எதிர்காலத்தைப் பார்க்கிறது; காலவரிசை வகுத்தல் அவசியம்.
• இரண்டு செட்களில் ஒரே அலகு விட்டு. மாதிரி நபரை மனப்பாடம் செய்கிறது; குழுவாக பிரிக்கவும்.
• கைமுறையாக நுழைந்து குறியீட்டில் எழுதவில்லை. பகுப்பாய்வு மீண்டும் உருவாக்க முடியாததாகிறது; எல்லாம் குறியீடு மற்றும் Git இல் இருக்க வேண்டும்.

உதவிக்குறிப்பு: உங்கள் திட்டத்தின் தொடக்கத்தில் இரண்டு வாக்கிய "கௌரவ உறுதிமொழியை" எழுதுங்கள்: "உற்பத்தியில் பார்க்கும் முன் நான் சோதனைத் தொகுப்பை எந்த வகையிலும் தொடவில்லை. ஒவ்வொரு அடியும் குறியீட்டில் உள்ளது மற்றும் விதை நிலையானது." இந்த இரண்டு வாக்கியங்களையும் நீங்கள் நேர்மையாக கையொப்பமிட முடியாவிட்டால், உங்கள் முடிவு இன்னும் நம்பகமானதாக இல்லை.

சுருக்கமாக

தரவு கசிவு மற்றும் மறுஉருவாக்கம் செய்யாதது ஆகியவை தரவு அறிவியலில் மிகவும் விலையுயர்ந்த இரண்டு அமைதியான பிழைகள். கசிவு என்பது எதிர்காலத்தைப் பற்றிய மாதிரியின் பார்வை மற்றும் தவறான வெற்றியாக தன்னைக் காட்டுகிறது; சோதனைத் தொகுப்பை முன்கூட்டியே பிரித்து, பயிற்சியிலிருந்து (பைப்லைன்) மாற்றங்களைக் கற்றுக்கொள்வது, ஒவ்வொரு அம்சத்திற்கும் "கணிக்கும் நேரத்தில் என்னிடம் உள்ளதா" என்ற கேள்வியைக் கேட்டு, சரியான பிரிப்பைச் செய்வது (காலவரிசை/குழுவாக) செய்வதுதான் தீர்வு. மறுஉருவாக்கம் என்பது ஒரே முடிவை இரண்டு முறை பெற முடியும்; அவரது தீர்வு கைமுறையாக படிகளை அகற்றுவது, விதைகளை பின் செய்வது, பதிப்புகளை முடக்குவது மற்றும் எல்லாவற்றையும் Git இல் வைத்திருப்பது. AI இந்த அபாயங்களை அதிகரிக்கலாம் அல்லது குறைக்கலாம்; உங்கள் ஒழுக்கம்தான் தீர்மானிக்கிறது.

விண்ணப்ப பணி

நீங்கள் உருவாக்கிய மாதிரியின் அம்சப் பட்டியலை எடுத்து (அல்லது ஒரு அனுமானம்) மற்றும் ஒவ்வொரு அம்சத்திற்கும் "கணிக்கும் நேரத்தில் இந்தத் தகவல் என்னிடம் உள்ளதா?" என்ற கேள்வியைக் கேளுங்கள். எழுத்தில்; குறைந்தது ஒரு கசிவு வேட்பாளரையாவது கண்டறியவும். உங்கள் பகுப்பாய்வை மறுஉருவாக்கம் செய்ய ஒரு சரிபார்ப்புப் பட்டியலை நிரப்பவும்: விதை நிலையானதா, கைமுறை படிகள் உள்ளதா, பதிப்புகள் பதிவு செய்யப்பட்டதா, அவை Git இல் உள்ளதா. குறைபாடுகளை சரிசெய்யவும்.

சரிபார்ப்பு பட்டியல்

• [ ] கசிவு எச்சரிக்கையாக "உண்மையாக இருப்பதற்கு மிகவும் நல்லது" மதிப்பெண்ணைக் கேட்டேனா?
• [ ] பிரிவிற்குப் பிந்தைய அனைத்து மாற்றங்களையும் நான் பயிற்சியில் இருந்து கற்றுக்கொண்டேனா?
• [ ] நான் நேரம்/குழு கட்டமைப்பின்படி (காலவரிசை/குழுமடிப்பு) வகுத்திருக்கிறேனா?
• [ ] நான் நிலையான விதை மூலம் அனைத்து சீரற்ற தன்மையையும் மீண்டும் மீண்டும் செய்யக்கூடியதாக மாற்றியுள்ளேன்?
• [ ] நான் கையேடு படிகளை அகற்றி எல்லாவற்றையும் குறியீடு மற்றும் பதிப்புக் கட்டுப்பாட்டில் வைத்திருந்தேனா?