மாதிரி மதிப்பீடு: அளவீடுகள், குறுக்கு சரிபார்ப்பு மற்றும் தீவிர கற்றல்

ஆதாயங்கள்:

• வேலையின் நோக்கத்திற்கு ஏற்ப வகைப்பாடு மற்றும் பின்னடைவு அளவீடுகளை (குழப்ப மேட்ரிக்ஸ், துல்லியம்/ரீகால்/F1, MAE/RMSE/R²) தேர்ந்தெடுத்து விளக்கும் திறன்
• பயிற்சி மற்றும் சோதனை மதிப்பெண்களை ஒப்பிடுவதன் மூலம் மேலோட்டத்தைக் கண்டறியும் திறன் மற்றும் குறுக்கு சரிபார்ப்புடன் நம்பகமான செயல்திறனைப் பெறுதல்
• ஒவ்வொரு மாதிரியும் ஒரு அடிப்படையுடன் ஒப்பிடுவதன் மூலம் உண்மையான மதிப்பைச் சேர்க்கிறதா என்பதை மதிப்பிடும் திறன்

ஒரு மாதிரியை அமைப்பது எளிது; இது உண்மையில் செயல்படுகிறதா என்பதை நேர்மையாக அளவிடுவது கடினம். இந்த அலகின் பொருள் தரவு விஞ்ஞானியின் மிக முக்கியமான திறமை: சரியான அளவீடுகளுடன் மாதிரியை மதிப்பீடு செய்தல், நம்பகமான முன்கணிப்பு செயல்திறனை அடைதல் மற்றும் மிகவும் நயவஞ்சகமான பொறியைப் பிடிப்பது: ஓவர்லேர்னிங் (மனப்பாடம்). AI அளவீடுகளை கணக்கிடுகிறது, விளக்குகிறது மற்றும் ஒப்பிடுகிறது; ஆனால் உங்கள் வணிகத்திற்கு எந்த அளவுகோல் சரியானது மற்றும் ஒரு மாடல் "போதுமானதாக" உள்ளதா என்பதைத் தீர்மானிப்பது மனிதனின் பொறுப்பாகும். தவறான மெட்ரிக்கைப் பார்க்கும் குழு பல மாதங்களாக மோசமான மாதிரியை "வெற்றி" என்று தவறாகப் புரிந்து கொள்ளலாம்.

துல்லியம் ஏன் போதாது: குழப்ப அணி

வகைப்படுத்தலில் முதலில் நினைவுக்கு வரும் மெட்ரிக் துல்லியம் (துல்லியம் — சரியான கணிப்புகளின் மொத்த விகிதம்). ஆனால் யூனிட் 6 இல் நாம் பார்த்தது போல, சமநிலையற்ற தரவுகளுடன் துல்லியம் தவறாக வழிநடத்துகிறது. ஒரு சிறந்த தொடக்கமானது குழப்ப மேட்ரிக்ஸ் - கணிப்புகளை நான்கு தொட்டிகளாகப் பிரிக்கும் அட்டவணை:

• உண்மை நேர்மறை (TP): உண்மையில் போலியானதை நாம் போலி என்று அழைத்தோம். (நல்லது)
• உண்மை எதிர்மறை (TN): நாங்கள் மிகவும் சுத்தமாகச் சொன்னோம். (நல்லது)
• தவறான நேர்மறை (FP): சுத்தமானது போலியானது என்று தவறாகச் சொன்னோம். (தவறான அலாரம்)
• தவறான எதிர்மறை (FN): நாங்கள் போலியைத் தவறவிட்டோம், அதை சுத்தமாக அழைத்தோம். (தவறவிட்ட அச்சுறுத்தல்)

இந்த நான்கு பெட்டிகளிலிருந்து இரண்டு முக்கிய அளவீடுகள் பெறப்படுகின்றன. துல்லியம்: "நான் போலி என்று அழைப்பதில் உண்மையில் எவ்வளவு போலியானது?" - தவறான எச்சரிக்கை செலவுகள் அதிகமாக இருந்தால் முக்கியமானது. உணர்திறன் (ஆங்கிலத்தில் நினைவு): "நான் எத்தனை உண்மையான போலிகளைப் பிடித்தேன்?" - அச்சுறுத்தலைக் காணவில்லை என்பது விலை உயர்ந்ததாக இருக்கும் போது முக்கியமானது. இரண்டும் பெரும்பாலும் ஒன்றுக்கொன்று முரண்படுகின்றன: நீங்கள் வாசலைக் குறைத்து, "போலி" என்று அதிகமாகச் சொன்னால், நினைவு கூர்தல் அதிகரிக்கிறது ஆனால் துல்லியம் குறைகிறது. F1 மதிப்பெண் இந்த இரண்டின் சமநிலை சராசரி (ஹார்மோனிக் சராசரி) ஆகும்.

கவனம்: "எந்த மெட்ரிக் முக்கியமானது" என்ற கேள்விக்கான பதில் வணிக முடிவு, தொழில்நுட்பம் அல்ல. கேன்சர் ஸ்கிரீனிங்கில் ஒரு கேஸ் (குறைந்த நினைவு) காணாமல் போனது பேரழிவு தரும்; ஸ்பேம் ஃபில்டரில் உள்ள ஸ்பேமுக்கு (குறைந்த துல்லியம்) முக்கியமான மின்னஞ்சலை அனுப்புவது எரிச்சலூட்டும். செலவு அளவீட்டை தீர்மானிக்கிறது.

பின்னடைவு அளவீடுகள்

வெளியீடு எண்களாக இருந்தால், வெவ்வேறு அளவீடுகள் பயன்படுத்தப்படும். MAE (சராசரி முழுமையான பிழை): அதே யூனிட்டில் உள்ள உண்மையான சராசரியிலிருந்து எவ்வளவு மதிப்பீடுகள் விலகுகின்றன (எ.கா. "சராசரியாக 4,200 TL ஆல் தவறாக இருக்கிறோம்"). RMSE (ரூட் மீன் ஸ்கொயர் பிழை): பெரிய பிழைகளை மிகக் கடுமையாக தண்டிக்கும் மற்றும் வெளியூர்களுக்கு உணர்திறன். R² (R-squared — குணகம்): இலக்கில் எவ்வளவு மாறுபாடு உள்ளது என்பதை மாதிரி விளக்குகிறது.

மிகவும் நயவஞ்சகமான பொறி: மேல்படிப்பு

அதிகப்படியான பொருத்துதல் - மாதிரியானது பயிற்சித் தரவை மனப்பாடம் செய்யும் ஆனால் புதிய தரவுகளில் தோல்வியடைகிறது - தரவு அறிவியலில் மிகவும் பொதுவான தவறு. அறிகுறி தெளிவாக உள்ளது: பயிற்சித் தொகுப்பில் (98%), சோதனைத் தொகுப்பில் (72%) மோசமான மாதிரி உள்ளது. மாடல் அந்த குறிப்பிட்ட மாதிரியின் சத்தத்தை மனப்பாடம் செய்துள்ளது, தரவுகளில் உள்ள உண்மையான வடிவத்தை அல்ல. இதற்கு நேர்மாறாகவும் உள்ளது: அண்டர்ஃபிட்டிங் - மாதிரியானது பயிற்சி மற்றும் சோதனை இரண்டிலும் மோசமாக உள்ளது, ஏனெனில் இது மாதிரியைப் பிடிக்க மிகவும் எளிதானது.

ஓவர்லேர்னிங்கை எதிர்த்துப் போராடுவதற்கான வழிகள்: மாதிரியை எளிமையாக்குதல், அதிக தரவு, முறைப்படுத்துதல் — மாடலை மிகவும் சிக்கலாக்குவதைத் தடுக்கும் கணித பிரேக் — மிக முக்கியமாக, குறுக்கு சரிபார்ப்பு.

குறுக்கு சரிபார்ப்பு: ஒற்றை பலகத்தை நம்ப வேண்டாம்

ஒரு ஒற்றை பயிற்சி/சோதனை பாட் அதிர்ஷ்டம் அல்லது துரதிர்ஷ்டவசமாக இருக்கலாம்; அந்த மாதிரி எளிதாக இருப்பதால்தான் தேர்வுத் தொகுப்பிற்கு அதிக மதிப்பெண்கள் பெற முடியும். குறுக்கு சரிபார்ப்பு (சுருக்கமாக CV) இதை தீர்க்கிறது. மிகவும் பொதுவான வடிவம் k-fold CV ஆகும்: தரவு k பகுதிகளாக பிரிக்கப்பட்டுள்ளது (எ.கா. 5); ஒவ்வொரு சுற்றிலும், ஒரு பகுதி சோதனை மற்றும் மீதமுள்ள பயிற்சி; இது 5 முறை உருளும் மற்றும் 5 மதிப்பெண்கள் சராசரியாக இருக்கும். எனவே செயல்திறன் பல பிளவுகளின் சராசரியை அடிப்படையாகக் கொண்டது என்பதை நீங்கள் காண்பீர்கள், ஒரு அதிர்ஷ்டமான பிளவு இல்லை. மதிப்பெண்களின் விநியோகமும் தகவலறிந்ததாகும்: மிகவும் கொந்தளிப்பான மதிப்பெண்கள் (ஒரு தளத்தில் 85%, மற்றொன்று 62%) மாதிரி நிலையற்றது என்பதைக் குறிக்கிறது.

நேரத் தொடரில் சாதாரண k-மடிப்பு பயன்படுத்தப்படாது (எதிர்காலத்தை கசிகிறது); அதற்குப் பதிலாக, நீங்கள் "முன்னோக்கிச் சங்கிலியிடல்" (நேரத் தொடரைப் பிரித்தல்) செய்கிறீர்கள்: எப்போதும் கடந்த காலத்துடன் பயிற்சி செய்து எதிர்காலத்தைச் சோதித்துப் பாருங்கள்.

மெட்ரிக்

பிரச்சனை வகை

அது எப்போது முக்கியம்?

துல்லியம்

வகைப்பாடு

வகுப்புகள் சமநிலையில் இருந்தால்

துல்லியம்

வகைப்பாடு

தவறான எச்சரிக்கை விலை அதிகம்

உணர்திறன் (நினைவூட்டல்)

வகைப்பாடு

தவறவிடுவது விலை உயர்ந்ததாக இருந்தால்

F1

வகைப்பாடு

சமநிலை தேவைப்பட்டால்

MAE

பின்னடைவு

புரிந்துகொள்ளக்கூடிய பிழை

ஆர்எம்எஸ்இ

பின்னடைவு

பெரிய தவறுகள் முக்கியமானவை என்றால்

R²

பின்னடைவு

விளக்க சக்தி

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - உயர் துல்லியத்தின் மாயை. ஒரு மோசடி மாதிரி 99.2% துல்லியத்தைக் காட்டியது மற்றும் குழு கொண்டாடியது. குழப்ப மேட்ரிக்ஸைப் பார்த்தால், உண்மையானது: தரவுகளில் போலி விகிதம் 0.8%; மாடல் கிட்டத்தட்ட எந்த போலியையும் பிடிக்கவில்லை, "எல்லாம் தெளிவாக" என்று மட்டும் கூறுகிறது. திரும்பப் பெறுதல் 6% ஆகும். பாடம்: அளவீடுகளைப் பாருங்கள், துல்லியம் அல்ல.

வழக்கு 2 - மறைந்த மேலான கற்றல். பயிற்சித் தொகுப்பில் ஒரு குழு XGBoostஐ 97%க்கு வழங்கியது மற்றும் உயர்த்தியது. சோதனை செட் 69%, ஆனால் யாரும் பார்க்கவில்லை. உற்பத்தியில் மாடல் சரிந்தது. குறுக்கு சரிபார்ப்பு செய்யப்பட்டிருந்தால், மடிப்புகளுக்கு இடையேயான பெரிய வித்தியாசம் (ஓவர்லேர்னிங்) ஆரம்பத்தில் இருந்தே தெரியும். பாடம்: CV மற்றும் தேர்வு மதிப்பெண்ணை நம்புங்கள், கல்வி மதிப்பெண்ணை அல்ல.

வழக்கு 3 - அதிர்ஷ்ட பிளவு. ஒரு ஆய்வாளர் ஒரே பிளவில் 88% பெறுவதில் மகிழ்ச்சி அடைந்தார். அவரது சக ஊழியர் 5 மடங்கு CV செய்தபோது, ​​மதிப்பெண்கள் 88%, 71%, 83%, 64%, 79% - சராசரி 77%, ஆனால் அது மிகவும் நிலையற்றது. மாதிரி நிலையற்றது; ஒற்றைப் பெட்டி தவறாக இருந்தது. பாடம்: CV சராசரி மற்றும் விநியோகத்தைப் பார்க்கவும், தனிப்பட்ட தொட்டியை அல்ல.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) முழு வகைப்பாடு அறிக்கை:

நான் மாடல் மற்றும் டெஸ்ட் செட் பயிற்சி பெற்றுள்ளேன். உருவாக்கு: குழப்ப அணி, துல்லியம், நினைவுபடுத்துதல், F1 (ஒவ்வொரு வகுப்பிற்கும்) மற்றும் ஆதரவு எண்ணிக்கை. நான் அனுமானிக்கிறேன், ஆனால் அது என்னைப் பொறுத்தது: எந்த மெட்ரிக் முக்கியமானது என்பதை நான் உங்களுக்குச் சொல்கிறேன். சமநிலையற்ற தரவு மூலம் துல்லியம் தவறாக வழிநடத்தும் என்பதை நினைவில் கொள்ளவும்.

2) மேலான கற்றல் கட்டுப்பாடு:

பயிற்சி மற்றும் டெஸ்ட் செட் இரண்டிலும் எனது மாடலின் மதிப்பெண்களை அருகருகே அச்சிடுங்கள். அவற்றுக்கிடையேயான வேறுபாட்டைக் கணக்கிட்டு, ஒரு பெரிய வித்தியாசம் அதிகமாகக் கற்றலின் அடையாளம் என எச்சரிக்கவும். வேறுபாடு பெரியதாக இருந்தால், முறைப்படுத்துதல் அல்லது எளிமைப்படுத்த பரிந்துரைக்கவும்.

3) குறுக்கு சரிபார்ப்பு:

5-மடங்கு குறுக்கு சரிபார்ப்பைச் செய்யவும் (அடுப்பு, வகைப்படுத்தலுக்கு). ஒவ்வொரு மடங்கின் மதிப்பெண், சராசரி மற்றும் நிலையான விலகலை அச்சிடவும். மதிப்பெண்கள் மிகவும் நிலையற்றதாக இருந்தால் (உயர் வகுப்பு), மாதிரி நிலையற்றது என்பதைக் குறிக்கவும். பைப்லைன்களைப் பயன்படுத்துங்கள், இதனால் ஒவ்வொரு அடுக்கிலும் உள்ள பயிற்சிப் பகுதியிலிருந்து மட்டுமே மாற்றங்கள் கற்றுக்கொள்ளப்படும்.

4) அடிப்படை ஒப்பீடு:

DummyClassifier பேஸ்லைனுடன் எனது மாடலின் மெட்ரிக்கை அருகருகே வைக்கவும். மாடல் குறிப்பிடத்தக்க அளவில் அடிப்படையை வெல்லுமா? அது கடந்து செல்லவில்லை என்றால், மாடல் எந்த உண்மையான மதிப்பையும் சேர்க்கவில்லை என்பதை தெளிவுபடுத்தவும்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

என் மாதிரி நன்றாக இருக்கிறதா?

"நல்லது" என்பது வரையறுக்கப்படவில்லை; எந்த மெட்ரிக், எந்த வாசல், எந்த அடிப்படை என்று தெரியவில்லை. AI ஆனது ஒரு துல்லிய எண்ணைக் கொடுத்து தவறாக வழிநடத்தும்.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: மதிப்பீட்டு உதவியாளர். வகைப்பாடு, சமநிலையற்ற தரவு (12% நேர்மறை). முன்னுரிமை: நினைவுகூருதல் (நேர்மறைகளை இழக்கவில்லை). பணி: (1) குழப்ப அணி,(2) துல்லியம்/ரீகால்/F1, (3) 5-மடங்கு அடுக்கு CV சராசரி மற்றும் std,(4) DummyClassifier அடிப்படை ஒப்பீடு. ரீகால் மற்றும் அடிப்படை வித்தியாசத்தில் கவனம் செலுத்துங்கள், துல்லியம் அல்ல. கருத்து, ஆனால் நான் இறுதி முடிவை எடுக்கிறேன்.

இங்கே, மெட்ரிக் முன்னுரிமை, CV மற்றும் அடிப்படை நிலை தெளிவாக உள்ளன.

பொதுவான தவறுகள்

• சமநிலையற்ற தரவுகளில் துல்லியத்தை நம்புதல். 99% துல்லியம் சிறுபான்மை வகுப்பினரைப் பிடிக்காமல் போகலாம்; குழப்ப மேட்ரிக்ஸைப் பாருங்கள்.
• உங்கள் கல்வி மதிப்பெண்ணை மட்டும் பார்க்க வேண்டும். உயர்கல்வி, குறைந்த தேர்வில் மதிப்பெண் அதிகமாகக் கற்றல்; எப்போதும் இரண்டு மதிப்பெண்களை ஒப்பிடுங்கள்.
• ஒற்றைப் பெட்டியை நம்பி. அதிர்ஷ்டப் பிரிவு தவறானது; குறுக்கு சரிபார்ப்புடன் சராசரி மற்றும் விநியோகத்தைப் பாருங்கள்.
• அடிப்படையுடன் ஒப்பிடவில்லை. ஒரு முட்டாள் கணிப்பாளரை மாதிரி அடிக்கிறதா என்று தெரியாமல் "நல்லது" என்று சொல்ல முடியாது.
• நேரத் தொடரில் சாதாரண k-மடிப்பைப் பயன்படுத்துதல். இது எதிர்காலத்தை கசிகிறது; நேரத் தொடர் பிரிப்பு தேவை.

உதவிக்குறிப்பு: ஒவ்வொரு மாதிரிக்கும் அடுத்ததாக மூன்று எண்களை எழுதவும்: பயிற்சி மதிப்பெண், குறுக்கு சரிபார்ப்பு சராசரி மற்றும் அடிப்படை மதிப்பெண். இந்த மூவரும் மேலோட்டமாக கற்றல் (பயிற்சி >> CV) மற்றும் குறைமதிப்பீடு (CV ≈ அடிப்படை) ஆகியவற்றை ஒரு பார்வையில் வெளிப்படுத்துகிறது.

சுருக்கமாக

ஒரு மாதிரியை உருவாக்குவது எளிதானது, ஆனால் அதை நேர்மையாக மதிப்பிடுவது கடினம். வகைப்படுத்தலில், குழப்ப அணி, துல்லியம் மற்றும் நினைவு கூர்தல் ஆகியவை துல்லியத்தை விட அதிக தகவல் தரக்கூடியவை; வேலையின் விலை எது முக்கியமானது என்பதை தீர்மானிக்கிறது. MAE, RMSE மற்றும் R² ஆகியவை பின்னடைவில் பயன்படுத்தப்படுகின்றன. மிகவும் நயவஞ்சகமான பொறி மேல்படிப்பு: எப்போதும் பயிற்சி மற்றும் சோதனை மதிப்பெண்ணை ஒப்பிட்டுப் பாருங்கள். குறுக்கு சரிபார்ப்பின் சராசரி மற்றும் விநியோகத்தை நம்புங்கள், ஒரு பிளவு இல்லை; எல்லாவற்றையும் ஒரு அடிப்படையுடன் ஒப்பிடுங்கள். AI இவை அனைத்தையும் கணக்கிடுகிறது, ஆனால் எந்த மெட்ரிக்கைப் பயன்படுத்த வேண்டும் என்பதை மனிதனே தீர்மானிக்க வேண்டும்.

விண்ணப்ப பணி

ஒரு வகைப்பாடு மாதிரிக்கான குழப்ப அணி, துல்லியம், நினைவுபடுத்துதல் மற்றும் F1 ஆகியவற்றைப் பிரித்தெடுக்கவும்; பின்னர் 5 மடங்கு குறுக்கு சரிபார்ப்பைச் செய்து, மடிப்புகளில் மதிப்பெண் விநியோகத்தைப் பார்க்கவும். இறுதியாக, பயிற்சி மதிப்பெண், CV சராசரி மற்றும் ஒரு அடிப்படை மதிப்பெண்ணை அருகருகே எழுதுங்கள். உங்கள் மாடல் மிகையாகக் கற்றுக்கொண்டு, அடிப்படையை கடந்து செல்கிறதா என்பதை ஒரு வாக்கியத்தில் கருத்துத் தெரிவிக்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் துல்லியத்திற்குப் பதிலாக வேலையின் உண்மையான அளவீட்டை (துல்லியமாக/நினைவூட்டல்/F1 முதலியன) பார்த்திருக்கிறேனா?
• [ ] குழப்ப மேட்ரிக்ஸை நான் ஆய்வு செய்தேனா?
• [ ] நான் பயிற்சி மற்றும் சோதனை மதிப்பெண்களை ஒப்பிட்டுப் பார்த்து, மேலெழுந்தவாரியாகச் சோதித்திருக்கிறேனா?
• [ ] நான் சராசரி மற்றும் விநியோகத்தை குறுக்கு சரிபார்ப்புடன் பார்த்திருக்கிறேனா?
• [ ] நான் மாதிரியை ஒரு அடிப்படையுடன் ஒப்பிட்டுப் பார்த்தேனா?