அம்சப் பொறியியல்: மாறுபாடுகளை உருவாக்குதல், குறியிடுதல், அளவிடுதல் மற்றும் கசிவைத் தவிர்ப்பது

ஆதாயங்கள்:

• டொமைன் அறிவைக் கொண்டு அர்த்தமுள்ள வழித்தோன்றல் அம்சங்களை உருவாக்கும் திறன் மற்றும் வகைப்படுத்தப்பட்ட வகைகளை பொருத்தமான முறைகளுடன் (ஒன்-ஹாட், லேபிள், இலக்கு) குறியாக்கம் செய்யும் திறன்
• மாதிரி வகைக்கு ஏற்ப எண் மாறிகளை அளவிடும் திறன் (தரப்படுத்தல், இயல்பாக்கம்) மற்றும் தேவையற்ற அல்லது முழுமையற்ற அளவைத் தவிர்க்கவும்
• பயிற்சி/சோதனை பிரிவிற்குப் பிறகு மற்றும் பயிற்சியிலிருந்து மட்டுமே அனைத்து மாற்றங்களையும் கற்றுக்கொள்வதன் மூலம் அம்சம் கசிவைத் தவிர்க்கும் திறன்

இயந்திரக் கற்றலில் ஒரு பழைய பழமொழி உள்ளது: "பயன்பாட்டு இயந்திரக் கற்றல் அடிப்படையில் சிறப்புப் பொறியியல் ஆகும்." ஏனெனில் ஒரு மாதிரியின் வெற்றி பெரும்பாலும் நீங்கள் எந்த வழிமுறையைத் தேர்வு செய்கிறீர்கள் என்பதை விட, மாடலுக்கு என்ன உள்ளீடுகளை வழங்குகிறீர்கள் என்பதிலிருந்தே வருகிறது. அம்சப் பொறியியல் என்பது மாதிரியிலிருந்து கற்றுக்கொள்ளக்கூடிய மூல தரவுகளிலிருந்து அர்த்தமுள்ள சமிக்ஞைகளை உருவாக்கும் கலையாகும். இந்த கட்டத்தில் செயற்கை நுண்ணறிவு என்பது யோசனைகளின் வளமான ஆதாரமாகும்: "இந்தத் தரவிலிருந்து என்ன அம்சங்களை உருவாக்க முடியும்" என்று நீங்கள் கேட்கும்போது, ​​அது டஜன் கணக்கான பரிந்துரைகளை பட்டியலிடுகிறது. ஆனால் இந்த பரிந்துரைகளில் சில மதிப்புமிக்கதாக இருக்கலாம், சில பயனற்றதாக இருக்கலாம் மற்றும் சில ஆபத்தானதாக இருக்கலாம் (கசிவு). அதை வரிசைப்படுத்துவது உங்கள் வேலை.

ஏன் அம்சம் பொறியியல்

மூல தரவு அதன் சிறந்த வடிவத்தில் மாடலுக்கு அரிதாகவே வருகிறது. "பிறந்த தேதி" நெடுவரிசை மட்டும் அர்த்தமற்றதாக இருந்தாலும், அதில் இருந்து உருவாக்கப்பட்ட "வயது" மதிப்பு ஒரு வலுவான சமிக்ஞையாகும். "வாரத்தின் நாள்", "பகல்/இரவு", "விடுமுறையா" போன்ற பண்புகளை "ஆர்டர் நேர முத்திரையிலிருந்து" பிரித்தெடுக்கலாம். நீங்கள் இரண்டு நெடுவரிசைகளை இணைத்து ஒரு விகிதத்தை உருவாக்கலாம் ("கடன்/வருமான விகிதம்"). இங்கே, அம்ச பொறியியல் என்பது டொமைன் அறிவை கணித சமிக்ஞையாக மொழிபெயர்ப்பது; அதனால்தான் இது மிகவும் மனித நுண்ணறிவு தேவைப்படும் நிலை.

வகை மாறிகளை எண்களாக மாற்றுதல்: குறியீட்டு முறை

மாதிரிகள் பொதுவாக எண்களுடன் வேலை செய்கின்றன, உரை அல்ல. வகைப்படுத்தப்பட்ட மாறிகளை (நகரம், நிறம், தயாரிப்பு வகை போன்றவை) எண்களாக மாற்றுவது குறியாக்கம் எனப்படும். மூன்று பொதுவான முறைகள்:

ஒரு-சூடான குறியாக்கம்: ஒவ்வொரு வகைக்கும் 0/1 மதிப்புடன் தனி நெடுவரிசையைத் திறக்கும். "நகரத்திற்கு", இஸ்தான்புல், அங்காரா, இஸ்மிர் நெடுவரிசைகள் உருவாகின்றன; ஒரு வாடிக்கையாளர் இஸ்தான்புல்லைச் சேர்ந்தவர் என்றால், அந்த நெடுவரிசை மட்டும் 1. பிரிவுகளின் எண்ணிக்கை சிறியதாக இருக்கும்போது சிறந்தது; பல பிரிவுகள் இருந்தால், அது நூற்றுக்கணக்கான நெடுவரிசைகளை உருவாக்குகிறது (இது "அளவு வெடிப்பு" என்று அழைக்கப்படுகிறது).

லேபிள் குறியாக்கம்: ஒவ்வொரு வகைக்கும் ஒரு எண்ணைக் கொடுக்கிறது (இஸ்தான்புல்=0, அங்காரா=1). இது எளிமையானது, ஆனால் அது தற்செயலாக மாதிரிக்கு ஒரு வரிசையைக் கற்பிக்கலாம் (அங்காரா > இஸ்தான்புல் போன்றவை); எனவே இது வரிசைப்படுத்தப்படாத வகைகளில் எச்சரிக்கையுடன் பயன்படுத்தப்படுகிறது.

இலக்கு குறியாக்கம்: ஒவ்வொரு வகையையும் அந்த வகையில் உள்ள இலக்கு மாறியின் சராசரியைக் கொண்டு மாற்றுகிறது. இது மிகவும் சக்தி வாய்ந்தது, ஆனால் கசிவுக்கான மிகவும் ஆபத்தான ஆதாரம்: சோதனைத் தரவின் இலக்கை நீங்கள் கணக்கில் எடுத்துக் கொண்டால், மாதிரி எதிர்காலத்தைப் பார்க்கிறது. இது பயிற்சி தரவிலிருந்து மட்டுமே கணக்கிடப்பட வேண்டும் மற்றும் கவனமாக (குறுக்கு சரிபார்ப்புக்குள்).

அளவிடுதல்: பெரிய எண்கள் மாதிரியை மூழ்கடிக்காது

சில மாதிரிகள் (தூரத்தை அடிப்படையாகக் கொண்டவை, நேரியல் மாதிரிகள், நரம்பியல் நெட்வொர்க்குகள்) மாறிகளின் அளவை உணர்திறன் கொண்டவை. "வருமானம்" (0-500,000) மற்றும் "வயது" (0-100) ஒரே மாதிரியாக இருந்தால், வருமானம் பெரியதாக இருப்பதால் மட்டுமே ஆதிக்கம் செலுத்தலாம். அளவிடுதல் இதை சரிசெய்கிறது. இரண்டு பொதுவான முறைகள்: தரநிலைப்படுத்தல் (ஒவ்வொரு மதிப்பையும் "சராசரியிலிருந்து எத்தனை நிலையான விலகல்கள்" என மாற்றுகிறது) மற்றும் இயல்பாக்கம் (குறைந்த-அதிகபட்ச இயல்பாக்கம் - மதிப்புகளை 0-1 வரம்பிற்குள் சுருக்குகிறது). மர அடிப்படையிலான மாதிரிகள் (முடிவு மரங்கள், சீரற்ற காடுகள்) அளவு உணர்வற்றவை, அவை அளவிடுதல் தேவையில்லை.

எச்சரிக்கை: அளவிடுதல் மற்றும் குறியீட்டு அளவுருக்கள் (சராசரி, நிலையான விலகல், வகை-சராசரி மேப்பிங்) பயிற்சி தரவிலிருந்து மட்டுமே கணக்கிடப்பட வேண்டும், பின்னர் அதையே சோதனைத் தரவுக்கும் பயன்படுத்த வேண்டும். சோதனைத் தரவைச் சேர்ப்பது கசிவு மற்றும் உங்கள் மாதிரி உண்மையில் இருப்பதை விட சிறப்பாக இருக்கும்.

அம்ச பொறியியலில் கசிவின் இதயம்

அம்ச உருவாக்கம் என்பது தரவு கசிவு பெரும்பாலும் உருவாகும் இடமாகும். இரண்டு பொதுவான தவறுகள்: நேரக் கசிவு - எதிர்காலத் தகவலை உள்ளடக்கிய ஒரு அம்சத்தை உருவாக்குதல் ("கடைசி 30 நாள் சராசரியை" கணக்கிடும் போது முன்னறிவிப்பு நாளுக்குப் பிறகு நாட்கள் உட்பட). புள்ளியியல் கசிவு - பயிற்சி/சோதனை பிரிப்பதற்கு முன் அனைத்து தரவுகளிலிருந்தும் ஒரு அம்சத்தை (அளவீடு சராசரி, இலக்கு குறியாக்க மதிப்பு) கணக்கிடுதல். விதி: ரயில்/சோதனையை பிரித்த பிறகு ஒவ்வொரு மாற்றத்தையும் முதலில் பயிற்சி தரவிலிருந்து மட்டுமே கற்றுக்கொள்ளுங்கள். இதை வழக்கமாகச் செய்வதற்கான பாதுகாப்பான வழி பைப்லைனைப் பயன்படுத்துவதாகும் - இது அனைத்து மாற்றங்களையும் ஒரே சங்கிலியில் சேகரித்து அவற்றைப் பிரித்த பிறகு பயன்படுத்துகிறது.

முறை

எதற்கு

கசிவு ஆபத்து

குறிப்பு

ஒரு சூடான குறியாக்கம்

சில வகைகளுடன் மாறி

குறைந்த

பல வகைகளில் அளவு வெடிக்கிறது

லேபிள் குறியீட்டு முறை

வரிசைப்படுத்தப்பட்ட வகை

குறைந்த

ஒழுங்கின்மை தவறான ஒழுங்கைக் கற்பிக்கிறது

இலக்கு குறியாக்கம்

பல வகை, வலுவான சமிக்ஞை

மிக உயர்ந்தது

வெறும் கல்வியில் இருந்து, சி.வி

தரப்படுத்தல்

நேரியல்/தூர மாதிரிகள்

நடுத்தர

அளவுரு கல்வியை மட்டுமே சார்ந்துள்ளது

நேர சாளர அம்சம்

நேரத் தொடர்

உயர்

எதிர்காலத்தைச் சேர்க்கவும்

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - மதிப்புமிக்க சொத்து. "மாதாந்திர வருமானம்" மற்றும் "மாதாந்திர கடன் செலுத்துதல்" நெடுவரிசைகளில் இருந்து "கடன்-வருமான விகிதம்" அம்சத்தை ஒரு கடன் குழு உருவாக்கியது. இந்த ஒற்றை பெறப்பட்ட அம்சம் மாதிரி துல்லியத்தை 71% இலிருந்து 79% ஆக அதிகரித்தது; ஏனெனில் இது விகிதமே, முழுமையான வருமானம் அல்ல, உண்மையில் ஆபத்தை தீர்மானித்தது. பாடம்: டொமைன் அறிவால் உருவாக்கப்பட்ட விகிதங்கள் வலுவான சமிக்ஞைகள்.

வழக்கு 2 - இலக்கு குறியாக்க கசிவு. ஒரு குழு "ஜிப் குறியீட்டை" இலக்கு குறியாக்கத்துடன் ஒரு எண்ணாக மாற்றியது (அந்தப் பகுதியில் உள்ள சராசரி கர்ன் வீதம்), ஆனால் பிரிப்பதற்கு முன் அனைத்து தரவிலிருந்தும் அவ்வாறு செய்தது. மாடல் சோதனைத் தொகுப்பில் 94% கொடுத்தது, உற்பத்தியில் 68% ஆகக் குறைந்தது. 6 வார முயற்சி வீணானது. பாடம்: இலக்கு குறியீட்டு முறை பயிற்சியில் மட்டுமே கவனமாக செய்யப்படுகிறது.

வழக்கு 3 - அளவிடுதல் மறத்தல். ஒரு பகுப்பாய்வாளர் வருவாய் (0-400,000) மற்றும் வாடிக்கையாளர் வயது (18-75) ஆகியவற்றை அளவிடாமல் தூர அடிப்படையிலான மாதிரியாக மாற்றினார். மாடல் கிட்டத்தட்ட வருமானத்தைப் பார்த்தது, வயது விளைவை நசுக்கியது. அளவிடுதல் சேர்க்கப்படும் போது, ​​பிரிவு அர்த்தமுள்ளதாக ஆனது. பாடம்: தொலைவு/நேரியல் மாதிரிகளில் அளவிடுதல் புறக்கணிக்கப்படவில்லை.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) அம்ச யோசனை உருவாக்கம் (நீக்குவது உங்களுடையது):

உங்கள் பங்கு: அம்ச பொறியியல் உதவியாளர். எனது டிஎஃப் நெடுவரிசைகள்: பிறந்த_தேதி, ஆர்டர்_நேரம் (நேரமுத்திரை), வருமானம்_டிஎல், கடன்_டிஎல், நகரம், தயாரிப்பு_வகை. இலக்கு: "கடன் திருப்பிச் செலுத்தப்படுமா" (0/1). இந்த நெடுவரிசைகளிலிருந்து உருவாக்கக்கூடிய 15 அம்சங்களைப் பரிந்துரைக்கவும்; ஒவ்வொன்றிற்கும் கசிவு (குறைந்த/நடுத்தர/உயர்) அபாயத்தைக் குறிப்பிடவும். எதிர்காலத் தகவல்களைக் கொண்டவற்றைத் தெளிவாகக் குறிக்கவும்.

2) பாதுகாப்பான குறியீட்டு முறை (பிளவுக்குப் பின்):

"நகரம்" மற்றும் "product_category" ஆகியவற்றை ஒரு சூடான குறியாக்க குறியீட்டை எழுதவும். முக்கியமானது: பயிற்சித் தரவிற்கு மட்டும் குறியாக்கத்தைப் பொருத்தவும், பின்னர் சோதனைத் தரவை மாற்றவும் (sklearn OneHotEncoder உடன்). கல்வியில் காணப்படாத வகையை (கைப்பிடி_தெரியாத) எவ்வாறு கையாளுகிறீர்கள் என்பதை விளக்குக.

3) பைப்லைனுடன் கசிவு இல்லாத மாற்றம்:

sklearn பைப்லைனை அமைக்கவும்: எண் நெடுவரிசைகளுக்கு StandardScaler ஐப் பயன்படுத்தவும், வகைப்படுத்தப்பட்ட நெடுவரிசைகளுக்கு OneHotEncoder ஐப் பயன்படுத்தவும், இறுதியில் ஒரு வகைப்படுத்தியைச் சேர்க்கவும். ரயில்/சோதனை பிரிந்த பிறகு மற்றும் பயிற்சியிலிருந்து மட்டுமே அனைத்து மாற்றங்களும் கற்றுக் கொள்ளப்படும் என்பதற்கு உத்தரவாதம். குறியீடு மற்றும் அது ஏன் கசிவு இல்லாதது என்பதை விளக்குங்கள்.

4) நேர சாளர அம்சம் (கசிவு கட்டுப்பாடு):

ஒவ்வொரு வாடிக்கையாளருக்கும் "கடந்த 30 நாட்களில் ஆர்டர்களின் எண்ணிக்கை" பண்புக்கூறை உருவாக்கவும், ஆனால் முன்னறிவிப்பு நாளுக்குப் பிறகு தரவைச் சேர்க்க வேண்டாம். குறியீடு எதிர்காலத்தைப் பார்க்காது என்பதை வரிக்கு வரி விளக்கவும். நான் குறிப்பு தேதி நிரலை வழங்குகிறேன்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

இந்தத் தரவில் நல்ல பண்புகளைச் சேர்க்கவும்.

"நல்லது" என்பது வரையறுக்கப்படவில்லை, இலக்கு தெளிவாக இல்லை, கசிவு கட்டுப்பாடு இல்லை. AI சீரற்ற, ஒருவேளை கசிவு, அம்சங்களை உருவாக்குகிறது.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: அம்ச பொறியாளர். இலக்கு: "30 நாட்களில் சலனம்" (0/1), மதிப்பிடப்பட்ட குறிப்பு தேதி: save_date. df.Task இல் பரிவர்த்தனை வரலாறு உள்ளது: 8 அம்சங்களை உருவாக்கவும், ஒவ்வொருவருக்கும் "கணிப்பின் போது இந்த தகவல் என்னிடம் உள்ளதா" என்ற கேள்விக்கு பதிலளிக்கவும். நேர சாளர அம்சங்களில் குறிப்பு தேதிக்குப் பிறகு தேதியைச் சேர்த்தல். ரயில்/சோதனைப் பகுதிக்குப் பிறகு செயல்படுத்தப்பட வேண்டிய பைப்லைன்-இணக்கமான முறையில் குறியீட்டை எழுதவும்.

இங்கே, இலக்கு, குறிப்பு நேரம் மற்றும் கசிவு கட்டுப்பாடு ஆரம்பத்தில் இருந்து வரையறுக்கப்படுகிறது.

பொதுவான தவறுகள்

• பிரிவுக்கு முன் அனைத்து தரவுகளிலிருந்தும் மாற்றத்தைக் கற்றுக்கொள்வது. அளவிடுதல்/குறியீட்டு அளவுரு சோதனைத் தரவைப் பார்த்தால், கசிவு ஏற்படுகிறது.
• இலக்கு குறியீட்டு முறையின் கவனக்குறைவான பயன்பாடு. இது மிகவும் சக்திவாய்ந்த ஆனால் மிகவும் கசிவு முறை; பயிற்சியிலிருந்து, குறுக்கு சரிபார்ப்பில்.
• நேர சாளர அம்சத்துடன் எதிர்காலத்தைச் சேர்த்தல். முன்னறிவிப்பு நாளுக்குப் பிறகு "கடைசி 30 நாட்கள்" கணக்கீடு உள்ளிடப்பட்டால், மாதிரி எதிர்காலத்தைப் பார்க்கிறது.
• மரம் மாதிரியில் தேவையற்ற அளவீடு மற்றும் நேரியல் மாதிரியில் முழுமையற்ற அளவிடுதல். மாதிரி வகைக்கு ஏற்ப அளவிடுதல் முடிவுகள் எடுக்கப்படுகின்றன.
• கேள்வியின்றி AI இன் ஒவ்வொரு அம்சப் பரிந்துரையையும் சேர்த்தல். பரிந்துரைகளில் பயனற்ற மற்றும் கசிவு அம்சங்கள் இருக்கலாம்.

உதவிக்குறிப்பு: நீங்கள் உருவாக்கும் ஒவ்வொரு அம்சத்திற்கும் ஒரு கேள்வியை எழுதுங்கள்: "நான் கணிப்பு செய்யும் நேரத்தில் என்னிடம் உள்ள தகவலைக் கொண்டு இந்த மதிப்பைக் கணக்கிட முடியுமா?" பதில் தெளிவாக இல்லை என்றால் "ஆம்", அம்சத்தைப் பயன்படுத்த வேண்டாம். இந்த ஒற்றை ஒழுங்குமுறை அம்சம் தொடர்பான கசிவுகளை நீக்குகிறது.

சுருக்கமாக

அம்சப் பொறியியல் என்பது மூலத் தரவுகளிலிருந்து அர்த்தமுள்ள சிக்னல்களை உருவாக்கும் கலையாகும், மேலும் அல்காரிதத்தை விட மாதிரியின் வெற்றியை பெரும்பாலும் தீர்மானிக்கிறது. குறியாக்க வகைப்பாடுகள் (ஒன்-ஹாட், லேபிள், இலக்கு), அளவிடும் எண்கள் (தரப்படுத்தல், இயல்பாக்குதல்) மற்றும் டொமைன் அறிவைக் கொண்டு வழித்தோன்றல் அம்சங்களை உருவாக்குதல் ஆகியவை அடிப்படைக் கருவிகளாகும். ஆனால் இந்த கட்டம் கசிவின் இதயமாகவும் உள்ளது: பயிற்சி/சோதனை பிரிவிற்குப் பிறகு அனைத்து மாற்றங்களும் பயிற்சி தரவிலிருந்து மட்டுமே கற்றுக்கொள்ளப்பட வேண்டும். AI ஏராளமான யோசனைகளை உருவாக்குகிறது; மதிப்புமிக்கதை ஆபத்தானவற்றிலிருந்து வேறுபடுத்துவது மனித தீர்ப்பு.

விண்ணப்ப பணி

இலக்கு மாறி ஒன்றைத் தேர்ந்தெடுத்து, உங்களிடம் உள்ள நெடுவரிசைகளிலிருந்து குறைந்தது ஐந்து வழித்தோன்றல் அம்சங்களை வடிவமைக்கவும். அவை ஒவ்வொன்றிற்கும், "கணிப்பின் நேரத்தில் நான் கிடைக்கிறேனா" என்ற கேள்விக்கு எழுத்துப்பூர்வமாக பதிலளித்து, குறைந்தபட்சம் ஒன்றையாவது "கசிவு அபாயம்" என்று நீக்கவும். பகிர்வுக்குப் பின் செயல்படுத்தப்படும் பைப்லைனில் பாதுகாப்பான அம்சங்களைக் குறியிடவும்.

சரிபார்ப்பு பட்டியல்

• [ ] ரயில்/சோதனை பிரிந்த பிறகு அனைத்து மாற்றங்களையும் நான் பயன்படுத்தியுள்ளேனா?
• [ ] நான் பயிற்சியிலிருந்து அளவிடுதல்/குறியீட்டு அளவுருக்களை மட்டும் கற்றுக்கொண்டேனா?
• [ ] ஒவ்வொரு அம்சத்திற்கும் "கணிக்கும் நேரத்தில் என்னிடம் அது இருக்கிறதா" என்ற கேள்விக்கு நான் பதிலளித்திருக்கிறேனா?
• [ ] இலக்கு குறியீட்டு முறை போன்ற அதிக ஆபத்துள்ள முறைகளில் நான் கூடுதல் கவனம் எடுத்துள்ளேனா?
• [ ] மாதிரி வகைக்கு (மரம்/நேரியல்) சரியான அளவில் அளவிட நான் முடிவு செய்துள்ளேனா?