மாதிரி பயிற்சி மற்றும் மதிப்பீடு: துல்லியமான அளவீடுகள், நேர்மையான தரப்படுத்தல்

ஆதாயங்கள்:

• சிக்கல் வகை மற்றும் வணிகச் சூழலுக்குப் பொருத்தமான அளவீட்டைத் தேர்வுசெய்யும் திறன் (சமநிலையற்ற தரவுகளில் PR-AUC/ரீகால், பின்னடைவில் MAE/RMSE) மற்றும் கற்றல் மேல்/கீழ் இருப்பதை அங்கீகரிக்கும் திறன்
• ஒவ்வொரு அளவீட்டையும் ஒரு அடிப்படைக்கு எதிராகப் புரிந்துகொள்ளும் திறன் மற்றும் விலகலை அளவிடுதல் மற்றும் குறுக்கு சரிபார்ப்புடன் முன்னேற்றத்திலிருந்து சத்தத்தை பிரிக்கும் திறன்
• சரிபார்ப்பு தொகுப்புடன் ஹைப்பர் பாராமீட்டர்களை டியூன் செய்வதன் மூலமும், சோதனைத் தொகுப்பை இறுதியில் மட்டுமே பயன்படுத்துவதன் மூலமும் நம்பிக்கையற்ற முடிவுகளைப் புகாரளிக்கும் திறன்

மாதிரி பயிற்சி (பயிற்சி: தரவுகளிலிருந்து கற்றல் முறைகள்) என்பது ML பொறியியலின் மிகவும் புலப்படும் ஆனால் மிகவும் தவறாக வழிநடத்தும் படியாகும். "துல்லியம் 95%" போன்ற திருப்திகரமான எண்ணை உருவாக்குவதால் இது தோன்றுகிறது. தவறான கேள்விக்கு அந்த எண் பெரும்பாலும் சரியான பதில் என்பதால் தவறாக வழிநடத்துகிறது. இந்த பிரிவில், பொறியியல் துறையுடன் கல்வி மற்றும் மதிப்பீடு விவாதிக்கப்படுகிறது; நாங்கள் செயற்கை நுண்ணறிவை சோதனை வடிவமைப்பில் பங்குதாரராகப் பயன்படுத்துகிறோம் மற்றும் அளவீட்டின் அடிப்படையில் முடிவெடுக்கிறோம்.

பயிற்சி சுழற்சியின் தர்க்கம்

ஒரு மாதிரியானது இழப்புச் செயல்பாட்டைக் குறைப்பதன் மூலம் தரவில் உள்ள வடிவத்தைக் கற்றுக்கொள்கிறது: மாதிரியின் பிழையை எண்ணியல் ரீதியாக அளவிடும் செயல்பாடு. தேர்வுமுறை அல்காரிதம் (எ.கா. சாய்வு வம்சாவளி) அளவுருக்களை படிப்படியாக சரிசெய்வதன் மூலம் இழப்பைக் குறைக்கிறது. பயிற்சி தரவை மனப்பாடம் செய்வதல்ல, முன்னோடியில்லாத தரவுகளுக்கு பொதுமைப்படுத்துவதே இதன் நோக்கம்.

இரண்டு முக்கிய ஆபத்துகள்:

• அதிகப்படியான பொருத்துதல்: மாடல் பயிற்சித் தரவை மனப்பாடம் செய்து புதிய தரவுகளில் தோல்வியடைகிறது. பயிற்சி வெற்றி அதிகமாக உள்ளது, சரிபார்ப்பு வெற்றி குறைவாக உள்ளது.
• பொருத்தமற்றது: மாதிரியானது வடிவத்தைப் பிடிக்க முடியாது; பயிற்சி மற்றும் சரிபார்ப்பு வெற்றி இரண்டும் குறைவு.

சமநிலையைக் கண்டறிவது கல்வியின் கலை. இந்த சமநிலையை கண்காணிக்க சரிபார்ப்பு தொகுப்பு உள்ளது: பயிற்சி வெற்றி அதிகரிக்கும் போது சரிபார்ப்பு வெற்றி குறைய ஆரம்பித்தால், மேலோட்டமாக கற்றல் தொடங்கிவிட்டது.

உதவிக்குறிப்பு: ஒவ்வொரு அடியிலும் பயிற்சி மற்றும் சரிபார்ப்பு இழப்பை ஒன்றாகத் திட்டமிடுங்கள். இரண்டு வளைவுகளும் பிரிந்து செல்லத் தொடங்கும் புள்ளியில்தான் மேலதிகக் கற்றல் தொடங்குகிறது மற்றும் "முன்கூட்டியே நிறுத்த" சரியான தருணம்.

மெட்ரிக் தேர்வு: மிக முக்கியமான முடிவு

தவறான அளவீடு ஒரு நல்ல மாதிரியை மோசமாகவும், மோசமான மாதிரியை அழகாகவும் மாற்றுகிறது. சிக்கல் அளவீட்டை தீர்மானிக்கிறது:

• சமநிலையற்ற வகைப்பாடு (ஒரு வகுப்பு மிகவும் அரிதானது, எ.கா. மோசடி): துல்லியம் தவறாக வழிநடத்துகிறது. "எல்லாவற்றையும் சாதாரணமாக அழைக்கவும்" என்று கூறும் மாதிரியானது 99% துல்லியத்தைப் பெறும், ஆனால் ஒரு மோசடி கூட பிடிக்காது. அதற்கு பதிலாக, துல்லியம் (நான் பிடித்ததில் உண்மையில் நேர்மறை), நினைவுபடுத்துதல் (நான் பிடித்ததில் எவ்வளவு உண்மையான நேர்மறை) மற்றும் அவற்றின் இருப்பு F1 அல்லது PR-AUC ஆகியவை பயன்படுத்தப்படுகின்றன.
• சமப்படுத்தப்பட்ட வகைப்பாடு: துல்லியம் மற்றும் ROC-AUC பொருத்தமானதாக இருக்கலாம்.
• பின்னடைவு (எண் மதிப்பீடு): MAE (சராசரி முழுமையான பிழை), RMSE (பெரிய பிழைகளுக்கு அபராதம் விதிக்கிறது), MAPE (சதவீதப் பிழை).
• தரவரிசை/பரிந்துரை: NDCG, MRR, Recall@K.

துல்லியமா அல்லது நினைவுகூருவது முக்கியமா என்பது வணிகச் சூழலைப் பொறுத்தது. நினைவுபடுத்துதல் (எந்த நோயாளிகளையும் காணவில்லை) புற்றுநோய் பரிசோதனையில் முன்னுரிமை; ஸ்பேம் வடிப்பானில் துல்லியம் (முக்கியமான மின்னஞ்சல்களை ஸ்பேமிற்கு அனுப்பாமல் இருப்பது) முக்கியமானது. இது ஒரு வணிக முடிவு, தொழில்நுட்பம் அல்ல, பொறியாளர் மற்றும் உரிமையாளரால் ஒன்றாக எடுக்கப்படுகிறது.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான ப்ராம்ட்: "எனது மாதிரியின் செயல்திறனை மதிப்பிடு, துல்லியம் 0.97."

சக்திவாய்ந்த அறிவுறுத்தல்: "என்னிடம் மோசடி கண்டறிதல் மாதிரி உள்ளது; நேர்மறை வகுப்பு விகிதம் 1.5%. துல்லியம் 0.97 எனப் புகாரளிக்கப்பட்டுள்ளது. இந்த அளவீடு ஏன் தவறாக வழிநடத்தும் என்பதை விளக்குங்கள், எந்த அளவீடுகளை (துல்லியமாக, திரும்பப் பெறுதல், PR-AUC) நான் விரும்ப வேண்டும், ஏன் என்று சொல்லுங்கள். மேலும், 'அனைத்தும் எதிர்மறையாக அழைக்கவும்' அடிப்படை மதிப்பை எவ்வளவு துல்லியமாகக் கணக்கிட முடியும், எனவே இந்த அடிப்படை மாதிரியை எவ்வளவு துல்லியமாகக் கணக்கிட முடியும்."

வேறுபாடு: சக்திவாய்ந்த வரியில் வர்க்க விகிதம் மற்றும் வணிக சூழல் கொடுக்கிறது; இது ஒரு அடிப்படை மாதிரி ஒப்பீட்டையும் கேட்கிறது - மெட்ரிக் அர்த்தமுள்ளதா என்பதற்கு இது மிக முக்கியமான நங்கூரம்.

அடிப்படை: ஒப்பீடு இல்லாத அளவீடு அர்த்தமற்றது

ஒரு மெட்ரிக் நல்லது அல்லது கெட்டது அல்ல; இது ஒரு அடிப்படை மாதிரியின் படி நல்லது அல்லது கெட்டது. அடிப்படை மாதிரி என்பது மனதில் தோன்றும் எளிய தீர்வாகும்: "எப்போதும் பெரும்பான்மை வகுப்பைச் சொல்லுங்கள்", "கடந்த வார மதிப்பை மீண்டும் செய்யவும்", "சராசரியை யூகிக்கவும்". உங்கள் மாதிரி இந்த எளிய தீர்வைத் தெளிவாகக் கடக்க முடியாவிட்டால், அனைத்து சிக்கலானது எதுவுமில்லை.

எச்சரிக்கை: "எனது மாதிரி 85% துல்லியமானது" என்ற வாக்கியம் எதுவும் கூறவில்லை. அடிப்படை மாதிரி ஏற்கனவே 84% பெற்றிருந்தால், உங்கள் மாதிரி கிட்டத்தட்ட பயனற்றது; அடிப்படை மாதிரி 50% பெற்றால், உங்கள் மாதிரி சரியானது. எப்போதும் அடிப்படை மாதிரியின் அடிப்படையில் பேசுங்கள்.

குறுக்கு சரிபார்ப்பு மற்றும் நம்பிக்கை

ஒரு ஒற்றை பயிற்சி/சோதனை பிளவு வாய்ப்பு காரணமாக இருக்கலாம். குறுக்கு சரிபார்ப்பு: தரவை கே பகுதிகளாகப் பிரித்து ஒவ்வொரு பகுதியையும் தொடர்ச்சியாகச் சோதிப்பது செயல்திறன் எவ்வளவு நிலையானது என்பதைக் காட்டுகிறது. 5 மடங்கு குறுக்கு சரிபார்ப்பில் நீங்கள் ஐந்து வெவ்வேறு மதிப்பெண்களைப் பெறுவீர்கள்; அவற்றின் சராசரி மற்றும் நிலையான விலகல் முக்கியமானது. சராசரி 80% ஆனால் விலகல் ± 12% என்றால், உங்கள் மாதிரி நிலையற்றது - இது அடுத்த தொகுதி தரவுகளில் மிகவும் வித்தியாசமாக செயல்படலாம்.

இது "இரண்டு மாதிரி ஒப்பீடு" க்கும் முக்கியமானதாகும். மாடல் A 81% மற்றும் மாடல் B 82% பெற்றிருந்தால், B உண்மையில் சிறந்ததா? விலகல் ± 3% ஆக இருந்தால், இந்த வேறுபாடு சத்தமாக இருக்கலாம். முடிவெடுப்பதற்கு முன் வேறுபாடு குறிப்பிடத்தக்கதா என்பதைக் கவனியுங்கள்.

ஹைப்பர்பாராமீட்டர் டியூனிங்: சரிபார்ப்புடன், சோதனை அல்ல

உயர் அளவுருக்கள் (பயிற்சிக்கு முன் கைமுறையாக நிர்ணயிக்கப்பட்ட அமைப்புகள்-கற்றல் வீதம், மரத்தின் ஆழம் போன்றவை) சரிபார்ப்பு தொகுப்புடன் அமைக்கப்பட்டுள்ளன. சோதனைத் தொகுப்பு முடிவில் ஒருமுறை மட்டுமே பயன்படுத்தப்படுகிறது. சோதனைத் தொகுப்பைப் பார்த்து நீங்கள் ஹைப்பர் பாராமீட்டர்களைத் தேர்ந்தெடுத்தால், சோதனைத் தொகுப்பு மாசுபடும் மற்றும் நீங்கள் அறிக்கை செய்யும் செயல்திறன் நம்பிக்கையுடன் இருக்கும், இது உண்மையில் இல்லை.

செயற்கை நுண்ணறிவு ஹைபர்பாராமீட்டர் தேடல் இடத்தை வடிவமைத்தல் மற்றும் தேடல் குறியீட்டை (கட்டம் தேடல், சீரற்ற தேடல், பேய்சியன் தேர்வுமுறை) எழுதுவதில் ஒரு நல்ல உதவியாளர். ஆனால் நீங்கள் இன்னும் "எந்த அளவீட்டை மேம்படுத்துவோம்?"

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - துல்லியப் பொறி. ஒரு மருத்துவக் குழு ஒரு அரிய நோயைக் கண்டறிந்த மாதிரியைப் பற்றி பெருமிதம் கொண்டது: 98% துல்லியம். அடிப்படை மாதிரி ஒப்பீடு செய்தபோது, ​​​​உண்மை வெளிப்பட்டது: நோய் விகிதம் 2% என்பதால், "அனைவரையும் ஆரோக்கியமாக அழைக்கவும்" என்று சொன்ன மாதிரியும் 98% பெற்றது. மாடலின் ரீகால் 11% மட்டுமே - பெரும்பாலான நோயாளிகளைக் காணவில்லை. மெட்ரிக் PR-AUC ஆக மாற்றப்பட்டதும், உண்மையான செயல்திறன் அளவிடப்பட்டு, மாதிரி மறுவடிவமைப்பு செய்யப்பட்டது.

வழக்கு 2 - முன்னேற்றத்திற்கான தவறான சத்தம். ஒரு குழு 86.2% இலிருந்து 86.9% வரை மாதிரியை மேம்படுத்த பல மாதங்கள் செலவிட்டது. குறுக்கு சரிபார்ப்பு சார்பு ± 1.4% என்று காட்டியது - எனவே 0.7 புள்ளி "மேம்பாடு" என்பது புள்ளிவிவர இரைச்சல். உண்மையற்ற வருவாயில் அணி மூன்று வாரங்களை வீணடித்தது. பாடம்: விலகலை விட முன்னேற்றம் அதிகம் என்பதை சரிபார்க்காமல் வெற்றியை அறிவிக்காதீர்கள்.

வழக்கு 3 - சோதனைத் தொகுப்பின் மாசுபாடு. ஒரு பொறியியலாளர் சிறந்த உயர் அளவுகோலைத் தேர்வுசெய்ய சோதனைத் தொகுப்பை மீண்டும் மீண்டும் பார்த்தார். அது அறிவித்த 91% உற்பத்தியில் 83% ஆகக் குறைந்தது. ஏன்: தேர்வுத் தொகுப்பைத் திரும்பத் திரும்பப் பார்த்து (தேர்வுத் தொகுப்பில் ஓவர்லேர்னிங்) அதற்கேற்ப மாதிரியைத் தேர்வு செய்திருந்தார். ஒரு தனி சரிபார்ப்பு தொகுப்பு பயன்படுத்தப்படும் போது அறிக்கை மற்றும் உண்மையான செயல்திறன் ஒன்றுடன் ஒன்று.

நகலெடுக்கக்கூடிய வார்ப்புருக்கள்

இந்த வகைப்பாடு சிக்கலுக்கான சரியான அளவீட்டைத் தேர்வுசெய்ய எனக்கு உதவவும். சிக்கல்: [எது கணிக்கப்பட்டுள்ளது] வகுப்பு விநியோகம்: [நேர்மறை விகிதம்

பின்வரும் இரண்டு மாடல்களின் ஒப்பீட்டை மதிப்பிடவும். மாடல் A குறுக்கு சரிபார்ப்பு: [மதிப்பெண்களின் பட்டியல்]மாடல் B குறுக்கு சரிபார்ப்பு: [மதிப்பெண்களின் பட்டியல்]சராசரி மற்றும் நிலையான விலகலைக் கணக்கிடவும். வித்தியாசம் புள்ளிவிவர ரீதியாக முக்கியத்துவம் வாய்ந்ததா அல்லது விலகலில் உள்ள சத்தம் மட்டும்தானா? நான் எதை தேர்வு செய்ய பரிந்துரைக்கிறீர்கள், ஏன்?

பின்வருவனவற்றிற்கு இந்தப் பயிற்சிக் குறியீட்டைச் சரிபார்க்கவும்.

இந்த பின்னடைவு பிரச்சனைக்கு MAE, RMSE மற்றும் MAPE ஆகியவற்றில் எதைப் பற்றி நான் புகாரளிக்க வேண்டும்? இலக்கு மாறியின் அளவு: [வரம்பு] பெரிய பிழைகள் விகிதாச்சாரத்தில் மோசமாக உள்ளதா (RMSE), அல்லது அவை அனைத்தும் சமமாக உள்ளதா (MAE)? பூஜ்ஜியத்திற்கு அருகில் மதிப்புகள் உள்ளதா (MAPE ஐ சிதைக்கிறதா)? சுருக்கமான நியாயத்துடன் பரிந்துரைக்கவும்.

மெட்ரிக் தேர்வு அட்டவணை

பிரச்சனை வகை

பொருத்தமான அளவீடு

தவிர்க்க வேண்டும்

ஏன்

சமநிலையற்ற வகைப்பாடு

PR-AUC, F1, ரீகால்

துல்லியம்

பெரும்பான்மை வகுப்பு மெட்ரிக்கை உயர்த்துகிறது

சமச்சீர் வகைப்பாடு

துல்லியம், ROC-AUC

—

சீரான தரவுகளில் நம்பகமானது

பின்னடைவு (குறிப்பிடத்தக்க வெளிப்புற)

ஆர்எம்எஸ்இ

MAPE (பூஜ்ஜியமாக இருந்தால்)

பெரிய தவறுகளை தண்டிக்கிறார்

பின்னடைவு (சம எடை)

MAE

—

விளக்குவது எளிது

தரவரிசை/பரிந்துரை

NDCG, Recall@K

துல்லியம்

ஒழுங்கு முக்கியம்

பொதுவான தவறுகள்

• சமநிலையற்ற தரவுகளில் துல்லியத்தைப் பயன்படுத்துதல். மிகவும் பொதுவான மெட்ரிக் பிழை.
• அடிப்படை மாதிரி ஒப்பீடுகளைச் செய்யவில்லை. இது மெட்ரிக் அதன் அர்த்தத்தை இழக்கச் செய்கிறது.
• ஹைப்பர் பாராமீட்டர்களுக்கான சோதனைத் தொகுப்பைப் பார்க்கிறது. நம்பிக்கையான, நம்பத்தகாத முடிவு.
• ஒற்றைப் பெட்டியை நம்பி. குறுக்கு சரிபார்ப்பு இல்லாமல் நீங்கள் சார்பு பார்க்க முடியாது.
• சத்தத்தை முன்னேற்றம் என்று தவறாக நினைக்கிறார்கள். விலகலில் இருந்து சிறிய "மேம்பாடுகள்" பெரும்பாலும் அதிர்ஷ்டம்.
• வணிக சூழலை புறக்கணித்தல். துல்லியமான/திரும்ப அழைக்கும் இருப்பு ஒரு வணிக முடிவு.

சுருக்கமாக

மாதிரி பயிற்சியின் உண்மையான திறமை அதிக எண்ணிக்கையை உருவாக்குவது அல்ல, ஆனால் அந்த எண் என்ன என்பதை அறிவது. பிரச்சனை மற்றும் வணிக சூழல் சரியான மெட்ரிக்கை தீர்மானிக்கிறது; ஒவ்வொரு அளவீட்டையும் ஒரு அடிப்படை மாதிரியின்படி விளக்கவும்; குறுக்கு சரிபார்ப்புடன் சார்புநிலையை அளவிடவும் மற்றும் முன்னேற்றம் என்று தவறாக சத்தம் போடாதீர்கள்; சோதனைத் தொகுப்பை இறுதியில், ஒரு முறை மட்டுமே பயன்படுத்தவும். சோதனை வடிவமைப்பில் AI உங்கள் பங்குதாரர், ஆனால் "போதும் நல்லது" என்ற முடிவு உங்களுக்கும் உங்களுடையது.

விண்ணப்ப பணி

ஒரு வகைப்பாடு மாதிரிக்கு: (1) வகுப்பு விநியோகத்தை எழுதவும், (2) பொருத்தமான அடிப்படை மாதிரியை உருவாக்கி அதன் மதிப்பெண்ணை அளவிடவும், (3) உங்கள் மாதிரியை 5 மடங்கு குறுக்கு சரிபார்ப்புடன் மதிப்பீடு செய்து சராசரி மற்றும் நிலையான விலகலைப் புகாரளிக்கவும், (4) துல்லியத்திற்குப் பதிலாக சிக்கலுக்குப் பொருத்தமான அளவீட்டைக் கணக்கிடவும் (எ.கா. PR-AUC). உங்கள் மாடல் பேஸ்லைன் மாடலை ஒரு பெரிய வித்தியாசத்தில் பாரபட்சமின்றி அடிக்கிறதா என்பதை எழுதுங்கள்.

சரிபார்ப்பு பட்டியல்

• [ ] சிக்கல் வகை மற்றும் வணிகச் சூழலின் அடிப்படையில் மெட்ரிக்கைத் தேர்ந்தெடுத்தேன்.
• [ ] நான் ஒரு அடிப்படை மாதிரியை உருவாக்கி அதற்கு எதிராக ஒப்பிட்டேன்.
• [ ] குறுக்கு சரிபார்ப்புடன் சராசரி மற்றும் விலகலைப் புகாரளித்தேன்.
• [ ] விலகலை விட முன்னேற்றம் அதிகம் என்பதை உறுதி செய்தேன்.
• [ ] சரிபார்த்தல் தொகுப்புடன் கூடிய உயர் அளவுகோல்களைத் தேர்ந்தெடுத்தேன்.
• [ ] நான் சோதனைத் தொகுப்பை ஒருமுறை மட்டுமே பயன்படுத்தினேன், கடைசியில்.