ஆதாயங்கள்:
- பொருத்தமான வரைபடங்களுடன் (ஹிஸ்டோகிராம், பாக்ஸ் ப்ளாட், ஸ்கேட்டர் ப்ளாட்) மாறிகளின் பரவல், மையம், பரவல் மற்றும் முரண்பாடுகளை ஆராயும் திறன்.
- தொடர்புகளை சரியாக விளக்கி, அதை காரணத்துடன் குழப்பாமல், சிதறல் சதித்திட்டத்துடன் சேர்த்து படிக்கும் திறன்
- சுருக்கமான புள்ளிவிவரங்கள் தவறாக வழிநடத்தும் (Anscombe பாடம்) மற்றும் மாடலிங்கின் திசையை தீர்மானிக்கும் கருதுகோள்களை உருவாக்கும் திறன்.
ஒரு மாதிரியை உருவாக்குவதற்கு முன், தரவை அறிந்து கொள்வது அவசியம். ஒரு மருத்துவர் நோயாளியை பரிசோதிக்காமல் மருந்துகளை பரிந்துரைக்காதது போல, தரவு விஞ்ஞானி தரவுகளை "ஆய்வு" செய்யாமல் ஒரு மாதிரியை உருவாக்க மாட்டார். இந்த ஆய்வு ஆய்வு தரவு பகுப்பாய்வு (சுருக்கமாக EDA) என்று அழைக்கப்படுகிறது: இது தரவுகளின் விநியோகம், உறவுகள், ஆச்சரியங்கள் மற்றும் பொறிகளை பார்வை மற்றும் வரைபடமாக கண்டறியும் கட்டமாகும். EDA இன் நோக்கம் கருதுகோள்களை உருவாக்குவது, பிழைகளைப் பிடிப்பது மற்றும் மாடலிங் திசையைத் தீர்மானிப்பது. இந்த கட்டத்தில் செயற்கை நுண்ணறிவு மிகவும் சக்திவாய்ந்த உதவியாளர்: இது எந்த விளக்கப்படம் பொருத்தமானது என்று பரிந்துரைக்கிறது, அதன் குறியீட்டை எழுதுகிறது, விநியோகத்தை விளக்குகிறது. ஆனால் ஒரு நபர், தான் பார்க்கும் முறை உண்மையானதா அல்லது தற்செயலானதா என்பதை அவரது/அவளுடைய துறை அறிவைக் கொண்டு தீர்மானிக்கிறார்.
EDA எதைத் தேடுகிறது?
EDA நான்கு கேள்விகளுக்கு விடை தேடுகிறது. விநியோகம்: ஒவ்வொரு மாறியும் எவ்வாறு விநியோகிக்கப்படுகிறது-அது சமச்சீர், வளைவு அல்லது இரண்டு-உச்சமாக உள்ளதா? மையப் போக்கு மற்றும் பரவல்: சராசரி, இடைநிலை, நிலையான விலகல் என்ன? உறவுகள்: மாறிகள் எவ்வாறு ஒன்றோடொன்று தொடர்புடையவை? முரண்பாடுகள்: எதிர்பாராத மதிப்புகள், இடைவெளிகள், குழுக்கள் உள்ளதா? இந்த நான்கு கேள்விகள் எந்த அம்சம் வேலை செய்யும் மற்றும் எந்த மாதிரி பொருத்தமானது என்பதை தீர்மானிக்கிறது.
சில அடிப்படைக் கருத்துகளை வரையறுப்போம். ஹிஸ்டோகிராம் என்பது ஒரு எண் மாறியின் மதிப்புகளை இடைவெளிகளாகப் பிரித்து ஒவ்வொரு இடைவெளியிலும் எத்தனை அவதானிப்புகள் உள்ளன என்பதைக் காட்டும் வரைபடம் ஆகும்; விநியோகத்தைப் பார்க்க இது விரைவான வழியாகும். வளைவு என்பது ஒரு திசையில் விநியோகத்தின் மாற்றம்; வருமானம் போன்ற மாறிகள் வலது பக்கம் வளைந்திருக்கும் (பெரும்பான்மை குறைவு, சில மிக அதிகம்). ஒரு பாக்ஸ் ப்ளாட் சராசரி, காலாண்டுகள் மற்றும் வெளிப்புறங்களை ஒரு பார்வையில் காட்டுகிறது. ஒரு சிதறல் சதி புள்ளிகளின் மேகத்துடன் இரண்டு எண் மாறிகளின் உறவைக் காட்டுகிறது.
தொடர்பு: ஒரு உறவு இருக்கிறது ஆனால் கவனமாக இருங்கள்
தொடர்பு - இரண்டு மாறிகள் எவ்வாறு ஒன்றாக நகர்கின்றன என்பதற்கான அளவீடு; -1 மற்றும் +1 இடையே உள்ள எண் - EDA இன் மிகவும் பயன்படுத்தப்படும் மற்றும் தவறாகப் புரிந்துகொள்ளப்பட்ட கருவியாகும். +1 என்றால் சரியான இணை அதிகரிப்பு, -1 என்றால் சரியான தலைகீழ் உறவு, 0 என்றால் நேரியல் உறவு இல்லை. இரண்டு பெரிய பொறிகள் உள்ளன. முதலாவதாக, பிரபலமான விதி: தொடர்பு என்பது காரணமல்ல. ஐஸ்கிரீம் விற்பனையால் மூச்சுத் திணறல் அதிகரிக்கும்; ஒன்று மற்றொன்றுக்கு இட்டுச் செல்வதால் அல்ல, ஆனால் கோடை (மறைக்கப்பட்ட மூன்றாவது மாறி) இரண்டையும் தூண்டுகிறது. இரண்டாவதாக, தொடர்பு என்பது நேரியல் உறவை மட்டுமே அளவிடுகிறது; இது 0 க்கு நெருக்கமான வலுவான ஆனால் வளைந்த உறவைக் குறிக்கலாம். எனவே தொடர்புகளைப் பார்க்கும்போது, சிதறல் சதியையும் பார்க்கவும்.
எச்சரிக்கை: AI ஒரு தொடர்பு எண்ணைக் கொடுக்கும்போது, அது "A அதிகரிக்கிறது B" போன்ற காரண மொழியில் நழுவக்கூடும். இது ஆபத்தானது. தொடர்பு என்பது ஒன்றாக இயக்கத்தை மட்டுமே குறிக்கிறது; அனுபவம், கள அறிவு மற்றும் கவனமாக அனுமானம் மட்டுமே காரணத்தை நிறுவுகிறது.
அன்ஸ்கோம்ப் குவார்டெட்: ஏன் எண்ணை மட்டும் பார்க்கக்கூடாது
புள்ளிவிவரங்களில் ஒரு பிரபலமான உதாரணம் உள்ளது: அன்ஸ்காம்ப் குவார்டெட். நான்கு வெவ்வேறு தரவுத் தொகுப்புகள் கிட்டத்தட்ட ஒரே சராசரி, ஒரே மாறுபாடு மற்றும் ஒரே தொடர்பு (0.82); ஆனால் கிராப் செய்யும் போது, அவை முற்றிலும் வித்தியாசமாகத் தெரிகின்றன - ஒரு நேர் கோடு, ஒன்று வளைந்திருக்கும், ஒன்று ஒரு மேகத்தை ஒற்றை வெளியினால் இழுக்கப்படும். பாடம் தெளிவாக உள்ளது: சுருக்கமான புள்ளிவிவரங்கள் தவறாக வழிநடத்துகின்றன, வரைபடத்தைப் பார்ப்பது அவசியம். AI உங்களுக்கு சராசரிகள் மற்றும் தொடர்புகளை வழங்க முடியும், ஆனால் வரைபடத்தைப் பார்க்காமல் அந்த எண்களை நம்புவது அன்ஸ்காம்ப் வலையில் விழுகிறது.
எந்தக் கேள்விக்கு எந்த விளக்கப்படம் பொருந்தும் என்பதை கீழே உள்ள அட்டவணை சுருக்கமாகக் கூறுகிறது:
கேள்வி
பொருத்தமான கிராபிக்ஸ்
என்ன காட்டுகிறது
ஒற்றை மாறியின் விநியோகம்
ஹிஸ்டோகிராம் / KDE
வடிவம், வளைவு, முனைகளின் எண்ணிக்கை
மையம் மற்றும் வெளிப்புறங்கள்
பெட்டி சதி
இடைநிலை, காலாண்டுகள், புறம்போக்குகள்
இரண்டு எண்களின் உறவு
சிதறல் விளக்கப்படம்
திசை, வலிமை, வளைவு
வகை ஒப்பீடு
பார் விளக்கப்படம்
குழுக்களுக்கு இடையிலான வேறுபாடு
காலப்போக்கில் மாற்றம்
வரி விளக்கப்படம்
போக்கு, பருவநிலை
பன்முக உறவு
தொடர்பு வெப்ப வரைபடம்
பொது உறவு அணி
சிம்சனின் முரண்பாடு: ஒருங்கிணைக்கப்பட்ட தரவு பொய்யாக இருக்கலாம்
சிம்ப்சனின் முரண்பாடாக EDA இல் உள்ள ஒரு ஸ்னீக்கி பொறி அறியப்பட வேண்டும்: எல்லா தரவையும் ஒன்றாக ஆய்வு செய்யும் போது ஒரு முறை ஒரு திசையைக் காட்டலாம், ஆனால் தரவு அர்த்தமுள்ள துணைக்குழுக்களாகப் பிரிக்கப்படும் போது தலைகீழாக மாறலாம். கிளாசிக் உதாரணம்: ஒரு பல்கலைக்கழகத்தில் பெண் விண்ணப்பதாரர்களுக்கான ஒட்டுமொத்த ஏற்றுக்கொள்ளும் விகிதம் ஆண்களை விட குறைவாக இருப்பதாக தோன்றுகிறது; ஆனால் துறை வாரியாகப் பார்க்கும் போது, பெரும்பாலான துறைகளில் ஆண்களை விட பெண்களின் ஏற்றுக்கொள்ளும் விகிதம் அதிகமாக உள்ளது. எங்கிருந்து? பெண்கள் அதிக போட்டி (குறைந்த ஏற்றுக்கொள்ளும் விகிதங்கள்) துறைகளுக்கு விண்ணப்பித்துள்ளனர்; ஒருங்கிணைந்த எண் இந்த மறைக்கப்பட்ட மாறியை சேமிக்கிறது. பாடம் தெளிவாக உள்ளது: மொத்த அல்லது சராசரியைப் பார்க்கும்போது, அர்த்தமுள்ள துணைக்குழுக்களாக (பிரிவு, காலம், சேனல்) பிரிக்கப்படும்போது அந்த எண் அதே கதையைச் சொல்கிறதா என்பதைச் சரிபார்க்கவும். AI உங்களுக்கு ஒருங்கிணைந்த விகிதத்தை வழங்கும்போது, "நீங்கள் அதைப் பிரிக்கும்போது அது இன்னும் செல்லுபடியாகுமா" என்று கேட்பது மிகவும் தவறான முடிவுகளை ஆரம்பத்திலேயே பிடிக்கும்.
மூன்று சிறிய வழக்குகள்
வழக்கு 1 - இரண்டு மறைக்கப்பட்ட மலைகள். ஒரு ஆய்வாளர் சராசரி வாடிக்கையாளரின் வயது 41 ஆக இருப்பதைக் கண்டறிந்து அதை "நடுத்தர வயதுக் கூட்டம்" என்று அறிவித்தார். ஆனால் ஹிஸ்டோகிராம் இரண்டு சிகரங்களைக் காட்டியது: 22-28 மற்றும் 55-62 வயதுக் குழுக்கள். சராசரி 41 உண்மையில் யாரையும் பிரதிநிதித்துவப்படுத்தவில்லை. பாடம்: சராசரியை நம்புவதற்கு முன் விநியோகத்தைத் திட்டமிடுங்கள்.
வழக்கு 2 - போலியான தொடர்பு. ஒரு குழு "விளம்பரச் செலவு" மற்றும் "விற்பனை" ஆகியவற்றுக்கு இடையே 0.78 தொடர்பைக் கண்டறிந்து பட்ஜெட்டை இரட்டிப்பாக்கியது. இருப்பினும், இரண்டையும் தூண்டியது பருவகால பிரச்சாரங்கள்; பிரச்சாரம் இல்லாத காலத்தில், உறவு 0.10 ஆகக் குறைந்தது. 340 ஆயிரம் TL கூடுதல் விளம்பரம் எதிர்பார்த்த வருமானத்தை அளிக்கவில்லை. பாடம்: காரணத்திற்காக தவறான தொடர்பு மிகவும் விலை உயர்ந்தது.
வழக்கு 3 - தனி முரண்பாட்டால் வரையப்பட்ட கோடு. ஒரு ரியல் எஸ்டேட் பகுப்பாய்வு சதுர அடிக்கும் விலைக்கும் இடையே வலுவான உறவைக் காட்டியது (r=0.80). சிதறல் சதி வரையப்பட்டபோது, கிட்டத்தட்ட முழு உறவும் ஒரு 12 மில்லியன் TL சொகுசு வில்லாவால் உருவாக்கப்பட்டது; அந்த புள்ளி அகற்றப்பட்டபோது, தொடர்பு 0.31 ஆக குறைந்தது. பாடம்: எப்பொழுதும் சிதறல் சதித்திட்டத்துடன் தொடர்பைப் படிக்கவும்.
நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்
1) தானியங்கி EDA சுருக்கம்:
என்னிடம் பாண்டாஸ் டிஎஃப் உள்ளது. உருவாக்கும் குறியீட்டை எழுதவும்: (1) df.info() மற்றும் df.describe(), (2) ஒவ்வொரு எண் நெடுவரிசைக்கும் ஹிஸ்டோகிராம், (3) ஒவ்வொரு வகைப்பட்ட நெடுவரிசைக்கும் எண்ணிக்கை. கருத்து தெரிவிக்க வேண்டாம், கண்டுபிடிப்பு குறியீட்டை உருவாக்கவும்; நான் வடிவங்களை விளக்குகிறேன்.
2) தொடர்பு + காட்சி (காரணத்தின் எச்சரிக்கையுடன்):
எண் நெடுவரிசைகளுக்கான தொடர்பு அணி மற்றும் வெப்ப வரைபடத்தை வரைந்த குறியீட்டை எழுதவும். 3 உயர்ந்த தொடர்புள்ள ஜோடிகளின் சிதறல் சதியையும் வரையவும். தொடர்பு என்பது காரணத்தைக் குறிக்காது என்பதை நினைவூட்டும் வகையில் வெளியீட்டில் கருத்து வரியைச் சேர்க்கவும். காரண காரியங்களைச் செய்யாதீர்கள்.
3) விநியோக நோயறிதல்:
"income_tl" நெடுவரிசைக்கு: ஹிஸ்டோகிராம், பாக்ஸ் ப்ளாட், வளைவு மதிப்பு மற்றும் சராசரி/சராசரி ஒப்பீடு ஆகியவற்றை உருவாக்கும் குறியீட்டை எழுதவும். விநியோகம் வளைந்ததா இல்லையா என்பதை நான் விளக்குவேன்; குறியீட்டை மட்டும் கொடுங்கள்.
4) பிரிவு ஒப்பீடு:
"சேனல்" (இணையம்/மொபைல்) மூலம் வாடிக்கையாளர்களை ஒப்பிடுக: ஒவ்வொரு சேனலுக்கும் சராசரித் தொகை, சராசரித் தொகை, ஆர்டர்களின் எண்ணிக்கை மற்றும் தொகை விநியோகம் ஆகியவற்றின் பாக்ஸ்ப்ளாட்டை உருவாக்கும் குறியீட்டை எழுதுங்கள். இரண்டு சேனல்களுக்கு இடையிலான வித்தியாசத்தின் புள்ளிவிவர முக்கியத்துவத்திற்கு எந்த சோதனை பொருத்தமானது என்று பரிந்துரைக்கவும், ஆனால் முடிவு என்னுடையது.
பலவீனமான வரியில் / வலுவான வரியில்
பலவீனமான உடனடி:
இந்தத் தரவில் சுவாரஸ்யமான ஒன்றைக் கண்டறியவும்.
"சுவாரஸ்யமானது" வரையறுக்கப்படவில்லை; AI தரவைப் பார்க்கவில்லை, எனவே அது அதை உருவாக்குகிறது அல்லது பொதுவான அறிக்கைகளை செய்கிறது. திசை இல்லை, மாறிகள் இல்லை, நோக்கம் இல்லை.
சக்திவாய்ந்த தூண்டுதல்:
உங்கள் பங்கு: EDA உதவியாளர். df பத்திகள்: வயது (int), income_tl (float), நகரம் (வகை), சேனல் (இணையம்/மொபைல்), தொகை (float). நோக்கம்: "தொகையை" பாதிக்கும் காரணிகளைக் கண்டறிய. பணி: (1) தொகையின் விநியோகத்தைத் திட்டமிடும் குறியீடு, (2) தொகை மற்றும் வயது மற்றும் வருமானம்_tl இடையே விநியோக வரைபடங்கள், (3) சேனல் முறிவில் உள்ள தொகையின் பாக்ஸ் ப்ளாட். காரண உரிமைகோரலை நிறுவுதல்; கண்டுபிடிப்பு குறியீட்டை உருவாக்கவும், நான் வடிவத்தை விளக்குகிறேன்.
இங்கே, "காரணத்தைக் கூறுவதன்" நோக்கம், மாறிகள் மற்றும் வரம்பு தெளிவாக உள்ளன.
பொதுவான தவறுகள்
- சுருக்கமான புள்ளிவிவரங்களை மட்டுமே நம்பியிருக்கிறது. Anscombe குவார்டெட் காட்டுவது போல், அதே சராசரி மிகவும் வேறுபட்ட விநியோகங்களை மறைக்கிறது; விளக்கப்படத்தைப் பார்க்கவும்.
- காரணத்திற்கான தவறான தொடர்பு. ஒன்று மற்றொன்றிற்கு இட்டுச் செல்லும் என்பதை இணைச் செயல் குறிப்பதில்லை; மறைக்கப்பட்ட மாறிகள் ஜாக்கிரதை.
- ஒரு சிதறல் சதி இல்லாமல் தொடர்பு பார்க்கிறது. ஒற்றை புறம்போக்கு அல்லது வளைவு எண்ணை தவறாக வழிநடத்துகிறது.
- சராசரியுடன் இரண்டு-உச்சி/வளைந்த விநியோகத்தை சுருக்கவும். சராசரி யாரையும் பிரதிநிதித்துவப்படுத்தாமல் இருக்கலாம்.
- EDA ஐத் தவிர்த்துவிட்டு நேராக மாதிரிக்குச் செல்கிறது. அங்கீகரிக்கப்படாத தரவு என்பது குருட்டு மாதிரி.
உதவிக்குறிப்பு: ஒவ்வொரு புதிய தரவுத் தொகுப்பிலும், முதல் 30 நிமிடங்களை வரைபடங்களை வரையவும்: ஒவ்வொரு எண்களின் வரைபடம், குறிப்பிடத்தக்க ஜோடிகளின் சிதறல் சதி, வகைகளின் பட்டை விளக்கப்படம். இந்த 30 நிமிடங்கள் எதிர்கால மாடலிங் பிழைகளைத் தடுக்கும்.
சுருக்கமாக
EDA என்பது ஒரு மாதிரியை உருவாக்குவதற்கு முன் தரவை அறிந்துகொள்வதற்கான கட்டமாகும் மற்றும் நான்கு கேள்விகளுக்கான பதில்களைத் தேடுகிறது: விநியோகம், மையம்-பரவல், உறவுகள் மற்றும் முரண்பாடுகள். சுருக்கமான புள்ளிவிவரங்கள் தவறாக வழிநடத்தும்; வரைபடத்தைப் பார்ப்பது அவசியம் (Anscombe விரிவுரை). தொடர்பு என்பது ஒரு சக்திவாய்ந்த கருவியாகும், ஆனால் காரணமானது ஒரு சிதறல் சதித்திட்டத்துடன் சேர்த்து கண்டிப்பாக படிக்கப்பட வேண்டும். AI என்பது கிராபிக்ஸ் மற்றும் எழுதும் குறியீட்டை பரிந்துரைக்கும் ஒரு சிறந்த முடுக்கி; ஆனால் மக்கள் தாங்கள் பார்க்கும் முறை உண்மையானதா அல்லது தற்செயலானதா என்பதை தங்கள் புல அறிவைக் கொண்டு விளக்குகிறார்கள்.
விண்ணப்ப பணி
தரவுத்தொகுப்பைத் தேர்வுசெய்து EDA செய்யுங்கள்: குறைந்தது மூன்று எண் மாறிகளின் வரைபடத்தைப் பிரித்தெடுக்கவும், இரண்டு ஜோடி மாறிகளின் சிதறல் சதி மற்றும் ஒரு தொடர்பு வெப்ப வரைபடம். குறைந்தபட்சம் ஒரு "ஆச்சரியம்" (இரண்டு சிகரங்களைக் கொண்ட ஒரு விநியோகம், போலியான தொடர்புக்கான வேட்பாளர், ஒரு தனி நபர் மூலம் ஈர்க்கப்பட்ட உறவு போன்றவை) கண்டுபிடித்து அதை ஒரு வாக்கியத்தில் விளக்கவும். எந்த காரணத்தையும் கூறாமல் எழுதுங்கள்.
சரிபார்ப்பு பட்டியல்
- [ ] ஒவ்வொரு எண் மாறியின் பரவலையும் நான் வரைபடமாக்கியிருக்கிறேனா?
- [ ] நான் சிதறலுடன் உள்ள தொடர்புகளைப் பார்த்தேனா?
- [ ] நான் காரணத்தையும் தொடர்புகளையும் தனித்தனியாக வைத்திருந்தேனா?
- [ ] நான் வளைந்த அல்லது இரண்டு உச்சநிலை விநியோகங்களைக் கவனித்தேன் மற்றும் சராசரியை கண்மூடித்தனமாக நம்பவில்லையா?
- [ ] எனது EDA கண்டுபிடிப்புகளிலிருந்து குறைந்தபட்சம் ஒரு மாடலிங் அம்சம்/கருதுகோளையாவது நான் பெற்றிருக்கிறேனா?