மாதிரி கட்டிடம்: சிக்கல் வரையறை, அல்காரிதம் தேர்வு மற்றும் பயிற்சி/சோதனை பிரிப்பு

ஆதாயங்கள்:

• வேலையின் உண்மையான விலைக்கு ஏற்ப சிக்கல் வகை (வகைப்படுத்தல், பின்னடைவு, கிளஸ்டரிங்) மற்றும் வெற்றிக்கான அளவுகோல்களை வரையறுக்கும் திறன்
• தரவை நேர்மையாகப் பிரிக்கும் திறன் (சோதனைத் தொகுப்பைத் தொடாமல்; காலவரிசைப்படி நேரத் தொடரில்) மற்றும் கசிவு இல்லாத மதிப்பீட்டு அடிப்படையை நிறுவுதல்
• எளிமையான அடிப்படையுடன் தொடங்கி, அதற்குத் தகுதியான போது மட்டுமே சிக்கலைச் சேர்ப்பதன் மூலம் விளக்கக்கூடிய மாதிரியைத் தேர்ந்தெடுக்கும் திறன்.

இதுவரை நாங்கள் தரவுகளைச் சேகரித்து, சுத்தம் செய்து, ஆராய்ந்து, அம்சங்களைத் தயாரித்துள்ளோம். இப்போது நாம் உண்மையான வேலைக்கு வருகிறோம், ஒரு மாதிரியை உருவாக்குகிறோம். ஒரு மாதிரி என்பது ஒரு கணிதக் கட்டமைப்பாகும், இது தரவுகளிலிருந்து ஒரு வடிவத்தைக் கற்றுக்கொள்கிறது மற்றும் புதிய சூழ்நிலைகளுக்கான கணிப்புகளை உருவாக்குகிறது. ஆனால் ஒரு மாதிரியை உருவாக்குவதில் மிகவும் முக்கியமான பகுதி குறியீடு அல்ல, ஆனால் அதற்கு முந்தைய இரண்டு முடிவுகள்: சரியான சிக்கலை வரையறுத்தல் மற்றும் தரவை சரியாகப் பிரித்தல். AI என்பது அல்காரிதம் தேர்வு, குறியீடு எழுதுதல் மற்றும் அளவுரு ட்யூனிங் ஆகியவற்றில் சக்திவாய்ந்த ஆலோசகர்; ஆனால் எதைக் கணிக்க வேண்டும், வெற்றி என்றால் என்ன என்பதைத் தீர்மானிக்க வேண்டியது ஒருவர்தான். சரியாக எழுதப்பட்ட மாதிரியுடன் கூட தவறாக வரையறுக்கப்பட்ட சிக்கல் வேலை செய்யாது.

முதலில் பிரச்சனை வரையறை: நாம் என்ன கணிக்கிறோம்

ஒவ்வொரு மாடலிங் வேலையும் ஒரு கேள்வியுடன் தொடங்குகிறது, மேலும் இந்த கேள்வி மாதிரியின் வகையை தீர்மானிக்கிறது. வகைப்பாடு — வெளியீடு என்பது ஒரு வகை: "இந்த வாடிக்கையாளர் வெளியேறுவாரா அல்லது தங்குவாரா?", "இந்த பரிவர்த்தனை போலியா?". பின்னடைவு (ஆங்கில பின்னடைவில் - வெளியீடு ஒரு எண்): "இந்த வீட்டின் மதிப்பு எவ்வளவு?", "அடுத்த மாதம் எத்தனை ஆர்டர்கள் வரும்?". கிளஸ்டரிங் (லேபிளிடப்படாத தரவை இயற்கையான குழுக்களாகப் பிரித்தல்): "எனது வாடிக்கையாளர்கள் எத்தனை இயற்கைப் பிரிவுகளாகப் பிரிக்கப்பட்டுள்ளனர்?".

சிக்கல் அறிக்கையின் இரண்டாம் பகுதி வெற்றிக்கான அளவுகோலாகும்: இந்த மாதிரி "நல்லது" என்றால் என்ன? ஒரு மோசடி மாதிரியில், ஒரு நேர்மையான வாடிக்கையாளரைத் தற்செயலாகத் தடுப்பதை விட மோசடி செய்பவரைக் காணவில்லை என்பது மிகவும் விலை உயர்ந்தது; எனவே, "பொது துல்லியம்" அல்ல, மாறாக "மோசடியாளர்களைப் பிடிக்கும் விகிதம்" முன்னுக்கு வருகிறது. ஆரம்பத்தில் இருந்தே இந்த அளவுகோலை நீங்கள் வரையறுக்கவில்லை என்றால், வணிக உரிமையாளருடன் சேர்ந்து, வேலை செய்யாத ஒரு "மிகவும் துல்லியமான" மாதிரியை நீங்கள் பெறுவீர்கள் (நாங்கள் அலகு 7 இல் உள்ள அளவீடுகளுக்கு ஆழமாகச் செல்வோம்).

எச்சரிக்கை: "துல்லியம்" தவறாக வழிநடத்தும். 1000 பரிவர்த்தனைகளில் 10 மோசடியாக இருந்தால், "எதுவும் மோசடி இல்லை" என்று கூறும் ஒரு முட்டாள் மாதிரியானது 99% துல்லியத்தைக் கொடுக்கும், ஆனால் ஒரு மோசடி செய்பவரைப் பிடிக்காது. சிக்கலின் உண்மையான விலையின் அடிப்படையில் வெற்றிக்கான அளவுகோல்களைத் தேர்ந்தெடுக்கவும்.

பயிற்சி/சோதனை பிரித்தல்: மாதிரியின் நேர்மையான ஆய்வு

ஒரு மாதிரியை அது கற்றுக்கொண்ட தரவுகளைக் கொண்டு சோதனை செய்வது, தேர்வில் படித்த அதே கேள்விகளை மாணவரிடம் கேட்பது போன்றது; அவர் அதிக மதிப்பெண்களைப் பெறுகிறார், ஆனால் அவர் உண்மையில் அறிந்ததைக் காட்டவில்லை. எனவே நாங்கள் தரவை இரண்டாகப் பிரிக்கிறோம் (பெரும்பாலும் மூன்றாக):

• பயிற்சி தொகுப்பு (ஆங்கிலத்தில் பயிற்சி தொகுப்பு, பொதுவாக 70-80%): மாதிரி இதைப் பற்றி கற்றுக்கொள்கிறது.
• சோதனைத் தொகுப்பு (சோதனை தொகுப்பு, பொதுவாக 20-30%): மாடல் இதைப் பார்க்கவில்லை; உண்மையான செயல்திறன் இங்கே அளவிடப்படுகிறது.
• சரிபார்ப்பு தொகுப்பு: மாதிரி அமைப்பிற்கு பயன்படுத்தப்படும் இடைநிலை தொகுப்பு (எந்த அளவுரு சிறந்தது); சோதனைத் தொகுப்பை "சுத்தமாக" வைத்திருக்க.

மிக அடிப்படையான விதி: பயிற்சியின் போது சோதனைத் தொகுப்பு ஒருபோதும் தொடப்படாது. அளவிடுதல், குறியீட்டு முறை, அம்சத் தேர்வு - அனைத்தும் பயிற்சித் தொகுப்பிலிருந்து கற்றுக் கொள்ளப்பட்டு, பின்னர் சோதனைக்குப் பயன்படுத்தப்படும் (அலகு 5 இலிருந்து கசிவு கொள்கை). சோதனைத் தொகுப்புதான் முதல் முறை மாதிரி உண்மையான உலகத்தைப் பார்க்கிறது; நீங்கள் அதை மிக விரைவாக இயக்கினால், உண்மையான செயல்திறன் உங்களுக்கு ஒருபோதும் தெரியாது.

நேரத் தொடர் விதிவிலக்கு: உங்கள் தரவு நேரத்தைச் சார்ந்ததாக இருந்தால் (விற்பனை, பங்குச் சந்தை, தேவை), சீரற்ற பிரித்தல் செய்யப்படாது. ஏனெனில் சீரற்ற பிளவு மாதிரியானது எதிர்காலத்தைப் பார்க்கவும் கடந்த காலத்தைக் கணிக்கவும் காரணமாகிறது - இது கசிவு. மாறாக, காலவரிசைப்படி பிரிக்கவும்: பழைய காலத்துடன் பயிற்சி, புதிய காலகட்டத்துடன் சோதனை.

அல்காரிதம் தேர்வு: எளிமையானது முதல் சிக்கலானது வரை

ஆரம்பநிலையின் மிகவும் பொதுவான தவறு மிகவும் சிக்கலான மாதிரியுடன் தொடங்குவதாகும். சரியான அணுகுமுறை இதற்கு நேர்மாறானது: முதலில் ஒரு எளிய அடிப்படையை நிறுவவும். ஒரு வகைப்பாட்டில் "எப்போதும் பெரும்பான்மை வகுப்பை யூகிக்கவும்"; பின்னடைவில் "எப்போதும் சராசரியை மதிப்பிடு". இந்த முட்டாள் மாதிரி ஒரு அடிப்படை கொடுக்கிறது; உங்கள் உண்மையான மாதிரி இதை கடக்க முடியாவிட்டால், ஒரு சிக்கல் உள்ளது. பின்னர் எளிய மற்றும் விளக்கக்கூடிய மாதிரிகளுக்கு செல்லவும்.

மாதிரி

பிரச்சனை வகை

வலுவான புள்ளி

பலவீனம்

அடிப்படை (பெரும்பான்மை/சராசரி)

இரண்டும்

அளவுகோலைத் தருகிறது

கற்றுக் கொள்வதில்லை

லாஜிஸ்டிக் பின்னடைவு

வகைப்பாடு

எளிமையானது, விளக்கக்கூடியது

நேரியல் உறவு மட்டுமே

நேரியல் பின்னடைவு

பின்னடைவு

எளிய, வேகமான

நேரியல் அனுமானம்

முடிவு மரம்

இரண்டும்

விளங்கக்கூடியது

எளிதான மனப்பாடம்

சீரற்ற காடு

இரண்டும்

வலுவான, நீடித்த

குறைவான விளக்கம்

சாய்வு அதிகரிப்பு (XGBoost போன்றவை)

இரண்டும்

மிகவும் வலுவான

சரிசெய்வது கடினம், மனப்பாடம் செய்யும் ஆபத்து

விதி: எளிமையான "போதுமான" மாதிரியைத் தேர்ந்தெடுக்கவும். பெரும்பாலான வணிகச் சூழல்களில் அதிகாரத்தை விட விளக்கம் மிகவும் மதிப்புமிக்கது; "கருப்புப் பெட்டியில் சொன்னதால்" என்பதை விட "உங்கள் கடன்-வருமான விகிதம் அதிகமாக இருப்பதால்" கடன் நிராகரிப்பை விளக்குவது நல்லது.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - தவறான சிக்கல் வரையறை. ஒரு குழு "வாடிக்கையாளர் திருப்தியாக இருக்கிறார்" என்பதன் அடிப்படையில் ஒரு வகைப்பாடு மாதிரியை உருவாக்கியது, ஆனால் "துல்லியம்" என்பதை வெற்றி அளவுகோலாகத் தேர்ந்தெடுத்தது. தரவுகளில், 88% வாடிக்கையாளர்கள் திருப்தி அடைந்துள்ளனர்; அனைவரையும் "திருப்தி" என்று அழைப்பதன் மூலம் இந்த மாடல் 88% துல்லியத்தைப் பெற்றது மற்றும் அதிருப்தி அடைந்தவர்களைக் கண்டறிவதே உண்மையான இலக்காக இருந்தாலும் அவர்களைப் பிடிக்கவில்லை. பாடம்: உண்மையான நோக்கத்தின் அடிப்படையில் வெற்றிக்கான அளவுகோல்களைத் தேர்ந்தெடுக்கவும்.

வழக்கு 2 - பெட்டியில் நேரம் கசிவு. தேவை முன்கணிப்பு திட்டத்தில், தரவு தோராயமாக பிரிக்கப்பட்டது. மாடல் 93% துல்லியத்தைக் கொடுத்தது, ஆனால் உற்பத்தியில் செயலிழந்தது, ஏனெனில் பயிற்சியில் அது ஜனவரி, பின்னர் நவம்பர், டிசம்பர் தரவுகளுடன் கணித்திருந்தது - அது எதிர்காலத்தைக் கண்டது. நாங்கள் காலவரிசைப் பிரிவுக்கு மாறியபோது, ​​உண்மையான செயல்திறன் 74% ஆக அதிகரித்தது. பாடம்: காலவரிசையில் காலவரிசைப் பிரிவு.

வழக்கு 3 - தேவையற்ற சிக்கலானது. ஒரு ஆய்வாளர் ஒரு ஆழமான நரம்பியல் வலையமைப்புடன் நேரடியாகத் தொடங்கி, வாரக்கணக்கில் டியூன் செய்து, 81% துல்லியத்தைப் பெற்றார். பின்னர் ஒரு சக ஊழியர் 20 வரிகள் லாஜிஸ்டிக் பின்னடைவுடன் 80% பெற்றார் - மிக வேகமாகவும், புரிந்துகொள்ளக்கூடியதாகவும், பராமரிக்க எளிதாகவும் இருந்தது. பாடம்: அடிப்படை மற்றும் எளிய மாதிரியுடன் தொடங்கவும், அது தகுதியான போது சிக்கலைச் சேர்க்கவும்.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) சிக்கல் வரையறையை தெளிவுபடுத்துதல்:

உங்கள் பங்கு: மாடலிங் ஆலோசகர். இந்த வேலையை வரையறுக்க எனக்கு உதவுங்கள்: "வாடிக்கையாளரின் குழப்பத்தை குறைக்க விரும்புகிறேன்." என்னிடம் கேட்டு தெளிவுபடுத்தவும்: (1) இது ஒரு வகைப்பாடு அல்லது பின்னடைவு, (2) இலக்கு மாறி சரியாக என்ன, அதை எவ்வாறு வரையறுக்க வேண்டும், (3) வெற்றிக்கான அளவுகோல் என்னவாக இருக்க வேண்டும், ஏன். முடிவு என்னுடையது; நீங்கள் கேள்விகள் மற்றும் விருப்பங்களை முன்வைக்கிறீர்கள்.

2) பாதுகாப்பான பயிற்சி/சோதனை பெட்டி:

எனது dfஐ பயிற்சி/சோதனை 80%/20% என பிரிக்கவும். வகுப்பு விநியோகத்தை (அடுக்கு) பராமரிக்கவும்.random_state=42. இது நேரத் தொடர் அல்ல (சுதந்திரமான அவதானிப்புகள்). பிரிவுக்குப் பிறகு ஒவ்வொரு தொகுப்பின் வர்க்க விகிதத்தையும் அச்சிடவும். எந்த மாற்றத்தையும் பயன்படுத்தாமல் சோதனைத் தொகுப்பிற்கு பிளவுக் குறியீட்டைக் கொடுங்கள்.

3) நேரத் தொடர் காலவரிசைப் பிரிவு:

தரவு நேரம் சார்ந்தது (தேதி நெடுவரிசை: ஒழுங்கு_தேதி). சீரற்றதாக இல்லை, காலவரிசைப்படி பிரிக்கவும்: பழமையான 80% பயிற்சி, புதிய 20% சோதனை. பயிற்சி மற்றும் சோதனை தேதி வரம்புகளை அச்சிடுங்கள், அதனால் எதிர்காலம் கசியவில்லை என்பதை என்னால் சரிபார்க்க முடியும்.

4) அடிப்படையை அமைத்தல்:

எனக்கு ஒரு வகைப்பாடு சிக்கல் உள்ளது (இலக்கு: 0/1 மாற்றவும்). முதலில் ஒரு அடிப்படையை நிறுவவும்: DummyClassifier உடன் பயிற்சி/சோதனை துல்லியத்தை அளவிடவும், இது எப்போதும் பெரும்பான்மை வகுப்பைக் கணிக்கும். பின்னர் ஒரு எளிய லாஜிஸ்டிக் பின்னடைவைப் பயிற்றுவித்து, அது பேஸ்லைனைத் தாக்குகிறதா என்பதை ஒப்பிட்டுப் பாருங்கள். இரண்டின் அளவீடுகளை அருகருகே காட்டு.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

இந்தத் தரவைக் கொண்டு சிறந்த மாதிரியை உருவாக்கவும்.

"சிறந்தது" என்பது வரையறுக்கப்படவில்லை; பிரச்சனை வகை இல்லை, இலக்கு இல்லை, வெற்றி அளவுகோல் இல்லை மற்றும் பிரிவு உத்தி இல்லை. AI ஒரு சீரற்ற வடிவத்தை உருவாக்குகிறது, ஒருவேளை கசியும்.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: மாடலிங் உதவியாளர். சிக்கல்: வகைப்பாடு, இலக்கு "மறுத்தல்" (0/1), வர்க்க ஏற்றத்தாழ்வு உள்ளது (~12% மந்தம்). வெற்றிக்கான அளவுகோல்: சலிப்படையச் செய்பவர்களை நினைவுபடுத்துவது முன்னுரிமை. தரவு சுயாதீன கண்காணிப்பு (நேரத் தொடர் அல்ல). பணி: (1) 80/20% அடுக்கு பிளவு, (2) டம்மிகிளாசிஃபையர் அடிப்படை, (3) லாஜிஸ்டிக் பின்னடைவு, பைப்லைனில் உள்ள அனைத்து மாற்றங்கள் மற்றும் பயிற்சியிலிருந்து மட்டுமே கற்றுக் கொள்ளப்பட்டது. பிரிப்பதற்கு முன் சோதனைத் தொகுப்பைத் தொடாதே.

இங்கே பிரச்சனை வகை, ஏற்றத்தாழ்வு, அளவுகோல் மற்றும் கசிவு அளவு தெளிவாக உள்ளது.

பொதுவான தவறுகள்

• உண்மையான நோக்கத்தின்படி வெற்றிக்கான அளவுகோல்களைத் தேர்ந்தெடுக்கவில்லை. சமநிலையற்ற தரவுகளில் "துல்லியம்" தவறாக வழிநடத்துகிறது; நீங்கள் சிறுபான்மை வகுப்பினரைப் பிடிக்க விரும்பினால், நினைவுகூருதல் முன்னுக்கு வருகிறது.
• பயிற்சியின் போது சோதனைத் தொகுப்பைத் தொடுதல். பிரிப்பதற்கு முன் அளவிடுதல்/குறியீடு செய்வது கசிவு மற்றும் உண்மையான செயல்திறனை மறைக்கிறது.
• நேரத் தொடரில் சீரற்ற பிளவு. மாதிரி எதிர்காலத்தைப் பார்க்கிறது, உற்பத்தியில் சரிகிறது; காலவரிசைப் பிரிவு அவசியம்.
• அடிப்படையை நிறுவாமல் சிக்கலான மாதிரியில் குதித்தல். அளவுகோல்கள் இல்லாமல் ஒரு மாதிரி உண்மையில் நல்லதா இல்லையா என்பதை நீங்கள் அறிய முடியாது.
• விளக்கத்தை புறக்கணித்தல். வணிக முடிவுகளில், ஒரு எளிய விளக்கக்கூடிய மாதிரி பெரும்பாலும் கருப்பு பெட்டியை விட மதிப்புமிக்கது.

உதவிக்குறிப்பு: நீங்கள் ஒரு மாதிரியை உருவாக்கத் தொடங்குவதற்கு முன், ஒரு வாக்கியத்தை எழுதுங்கள்: "இந்த மாதிரி _____ ஐக் கணிக்கும், அதன் வெற்றி மெட்ரிக் _____ மூலம் அளவிடப்படும், ஏனெனில் வேலையின் உண்மையான விலை _____ ஆகும்." இந்த வாக்கியத்தை உங்களால் நிரப்ப முடியவில்லை என்றால், நீங்கள் இன்னும் குறியீட்டை எழுதத் தயாராக இல்லை.

சுருக்கமாக

ஒரு மாதிரியை உருவாக்குவதில் மிகவும் முக்கியமான பகுதி குறியீடு அல்ல, ஆனால் அதற்கு முந்தைய முடிவுகள்: சரியான சிக்கலை வரையறுத்தல் (வகைப்படுத்தல் அல்லது பின்னடைவு, இலக்கு என்ன, வெற்றி அளவுகோல் என்ன) மற்றும் தரவை நியாயமான முறையில் பிரித்தல் (சோதனை தொகுப்பைத் தொடாமல்; காலவரிசையில் காலவரிசை). எப்பொழுதும் ஒரு எளிய அடிப்படையுடன் தொடங்கி, அதற்குத் தகுதியான போது மட்டுமே சிக்கலைச் சேர்க்கவும்; பெரும்பாலான வணிகச் சூழல்களில் அதிகாரத்தின் மீது வியாக்கியானம் மதிப்பிடப்படுகிறது. AI என்பது அல்காரிதம் தேர்வு மற்றும் குறியீடு ஆகியவற்றில் ஒரு சக்திவாய்ந்த ஆலோசகர், ஆனால் நீங்கள் என்ன கணிக்கிறீர்கள், ஏன் என்று மனிதர் தீர்மானிக்கிறார்.

விண்ணப்ப பணி

ஒரு முன்கணிப்பு சிக்கலை வரையறுத்து, பின்வரும் வாக்கியத்தை எழுத்துப்பூர்வமாக முடிக்கவும்: "இந்த மாதிரி ___ (வகைப்படுத்தல்/பின்னடைவு) கணிக்கும், இலக்கு ___, வெற்றி அளவுகோல் ___, ஏனெனில் ___." பின்னர் சரியான மூலோபாயத்துடன் தரவைப் பிரிக்கவும் (காலவரிசைப்படி அது ஒரு நேரத் தொடராக இருந்தால்), ஒரு அடிப்படையை நிறுவி, ஒரு எளிய முறை அந்த அடிப்படையை உடைக்கிறதா என்பதை அளவிடவும்.

சரிபார்ப்பு பட்டியல்

• [ ] பிரச்சனை வகை (வகைப்படுத்தல்/பின்னடைவு) மற்றும் இலக்கை நான் தெளிவாக வரையறுத்திருக்கிறேனா?
• [] வேலையின் உண்மையான செலவின் அடிப்படையில் வெற்றிக்கான அளவுகோலை நான் தேர்ந்தெடுத்திருக்கிறேனா?
• [ ] பயிற்சியின் போது நான் சோதனைத் தொகுப்பைத் தொடாமல் விட்டுவிட்டேனா?
• [ ] இது ஒரு நேரத் தொடராக இருந்தால், நான் அதை காலவரிசைப்படி வகுத்திருக்கிறேனா?
• [ ] சிக்கலான மாதிரிக்கு செல்லும் முன் நான் ஒரு அடிப்படையை நிறுவியுள்ளேனா?