एक्सप्लोरेटरी डेटा ॲनालिसिस आणि व्हिज्युअलायझेशन: आर्टिफिशियल इंटेलिजन्ससह आलेख आणि व्याख्या

नफा:

• कृत्रिम बुद्धिमत्ता समर्थनासह वर्णनात्मक आकडेवारी आणि वितरण/संबंध चार्ट तयार करण्याची क्षमता आणि डेटा आणि प्रश्नानुसार योग्य चार्ट प्रकार निवडा
• कृत्रिम बुद्धिमत्तेद्वारे तयार केलेल्या प्रतिमांमधील दिशाभूल करणाऱ्या निवडी (डॅश केलेला अक्ष, अयोग्य स्केल, अत्यधिक स्मूथिंग) ओळखण्याची आणि प्रामाणिक व्हिज्युअलायझेशन तत्त्वे लागू करण्याची क्षमता
• हे वेगळे करण्यात सक्षम असणे हे अन्वेषणात्मक विश्लेषण गृहीतके निर्माण करण्यासाठी आणि त्याच डेटासह शोध आणि पुष्टीकरण करण्याच्या सापळ्यासाठी आहे (जे पी-हॅकिंगचे दरवाजे उघडते).

डेटा साफ केल्यानंतर, अनुभवजन्य संशोधकाचे पहिले काम ते जाणून घेणे आहे. या टप्प्याला एक्सप्लोरेटरी डेटा ॲनालिसिस (EDA - एक्सप्लोरेटरी डेटा ॲनालिसिस) असे म्हणतात: आलेख आणि सारांश आकडेवारीसह डेटा तपासण्याची आणि त्याची रचना, नमुने आणि आश्चर्ये पाहण्याची ही प्रक्रिया आहे. अद्याप एखाद्या गृहीतकाची चाचणी घेणे हे उद्दिष्ट नाही, परंतु डेटाशी परिचित होणे, प्रश्न निर्माण करणे आणि भविष्यात तुम्ही तयार कराल त्या मॉडेलची पायाभरणी करणे. या युनिटमध्ये, आर्टिफिशियल इंटेलिजन्स (एआय) EDA आणि व्हिज्युअलायझेशनला गती कशी देते हे आपण पाहू, परंतु ते तयार करत असलेल्या ग्राफिक्सचे काळजीपूर्वक ऑडिट केले पाहिजे.

प्रथम दोन मूलभूत फरक करूया. प्रथम, वर्णनात्मक सांख्यिकी (संख्या ज्या डेटाचा सारांश देतात जसे की सरासरी, मध्य, मानक विचलन, चतुर्थांश) आणि व्हिज्युअलायझेशन (समान माहिती ग्राफिकरित्या दर्शविणारी) एकमेकांना पूरक आहेत; ते एकत्रितपणे डेटाचे वर्णन करतात. दुसरे, आणि सर्वात गंभीर: शोध आणि पुष्टीकरण वेगळे करणे आवश्यक आहे. अन्वेषणात्मक विश्लेषण हे गृहितके निर्माण करण्यासाठी आहे; समान डेटासह गृहितकाचे अन्वेषण करणे आणि "मी ते तपासले आणि ते लक्षणीय आढळले" असे म्हणणे पी-हॅकिंगचे दरवाजे उघडते, जे आपण पुढील युनिटमध्ये पाहू. डेटा पाहणे आणि नमुना पाहणे विनामूल्य आहे; परंतु त्याच डेटामध्ये तो नमुना "सिद्ध शोध" घोषित करणे दिशाभूल करणारे आहे.

स्टेप बाय स्टेप एक्सप्लोरेटरी विश्लेषण

1. एकरूप दृश्य. प्रत्येक व्हेरिएबलचे स्वतंत्रपणे परीक्षण करा: त्याचे वितरण सममितीय किंवा तिरपे आहे; तेथे किती टेकड्या आहेत; आउटलायर्स कुठे आहेत? संख्यात्मक चलांसाठी, हिस्टोग्राम (मूल्यांना श्रेणींमध्ये विभाजित करून वारंवारता दर्शविणारा प्लॉट) आणि बॉक्सप्लॉट (बॉक्सप्लॉट — मध्य, चतुर्थक आणि अत्यंत मूल्ये दर्शविणारा तक्ता); वर्गीय चलांसाठी, वारंवारता सारण्या आणि बार चार्ट वापरा.

2. द्विविभाजन दृश्य. दोन व्हेरिएबल्समधील संबंध पहा: दोन संख्यात्मक व्हेरिएबल्ससाठी स्कॅटर प्लॉट (प्रत्येक निरीक्षण x-y प्लेनवर एक बिंदू म्हणून दर्शवितो), संख्यात्मक-वर्गीय साठी गटबद्ध बॉक्स प्लॉट, दोन वर्गीय साठी क्रॉसटॅब. सहसंबंध गुणांक पाहण्याआधी, स्कॅटर प्लॉटकडे लक्ष देण्याची खात्री करा: समान सहसंबंध खूप भिन्न नमुने दर्शवू शकतात (प्रसिद्ध Anscombe चौकडी हे दर्शवते; चार डेटा सेटमध्ये जवळजवळ समान आकडेवारी असते, परंतु प्लॉट केल्यावर ते पूर्णपणे भिन्न असल्याचे दिसून येते).

3. योग्य चार्ट प्रकार निवडा. चार्ट प्रकार तुमचा प्रश्न आणि डेटा प्रकारावर अवलंबून असतो. वितरणासाठी हिस्टोग्राम; नातेसंबंधासाठी विखुरणे; कालांतराने बदलण्यासाठी रेखा चार्ट; श्रेणी तुलनेसाठी बार चार्ट; पूर्ण भागांच्या गुणोत्तरासाठी (काळजीपूर्वक) स्टॅक केलेला बार. AI तुमच्यासाठी पटकन कोड तयार करते, पण "कोणता आलेख कोणत्या प्रश्नासाठी" हा निर्णय तुमचा आहे.

4. नमुना लक्षात घ्या, निकाल घोषित करू नका. आपण "शोध नोट" म्हणून पाहत असलेला कोणताही मनोरंजक नमुना रेकॉर्ड करा, परंतु त्यास पुष्टी केलेला शोध मानू नका. पुष्टीकरण एका वेगळ्या चरणात केले जाते, शक्यतो स्वतंत्र डेटा किंवा पूर्वनिर्धारित शेड्यूलसह.

प्रामाणिक व्हिज्युअलायझेशन तत्त्वे

ग्राफिक पटवून देतो; त्यामुळे त्याची दिशाभूल करण्याची शक्तीही जास्त आहे. AI सौंदर्याचा पण कधी कधी दिशाभूल करणारी निवड करू शकते. ही धोरणे तपासा:

• बार चार्टमध्ये, y-अक्ष शून्यापासून सुरू होणे आवश्यक आहे. डॅश केलेला अक्ष लहान फरक मोठ्या म्हणून दाखवतो.
• प्रमाण सुसंगत असावे. दोन चार्ट्सची तुलना होत असल्यास, समान अक्ष श्रेणी वापरा.
• जास्त स्मूथिंग खरा नमुना लपवू शकते. ट्रेंड लाइन छान दिसते, परंतु जर ती डेटा खूप "गुळगुळीत" करते, तर ती दिशाभूल करणारी असू शकते.
• रंग आणि 3D सजावट लक्ष विकृत करते, डेटा नाही. साधेपणा निवडा.
• गहाळ डेटा आणि नमुना आकार दृश्यमान असावा. "n=12" आणि "n=12,000" समान दिसू नये.

लक्ष द्या: AI द्वारे निर्मित ग्राफिक्स सुंदर असल्यामुळे ते खरे नाहीत. बार चार्टमध्ये शून्यापासून अक्ष सुरू न करणे आणि दोन गटांमधील फरक अतिशयोक्ती करणे ही त्याने केलेली सर्वात सामान्य चूक आहे. नेहमी अक्ष तपासा.

तुलना चार्ट: प्रश्न → चार्ट

विचारा

योग्य तक्ता

सामान्य चूक

हे व्हेरिएबल कसे वितरित केले जाते?

हिस्टोग्राम/बॉक्स प्लॉट

पाई चार्ट वापरा

दोन अंकीय चल एकमेकांशी संबंधित आहेत का?

स्कॅटर प्लॉट

फक्त सहसंबंधांची संख्या पहात आहे

कालांतराने ते कसे बदलले आहे?

रेखा चार्ट

बार चार्टसह ट्रेंड सांगणे

गटांमध्ये काय फरक आहे?

गटबद्ध बॉक्स/बार (सुरुवातीपासून)

कापलेली अक्ष रॉड

भाग-ते-संपूर्ण गुणोत्तर?

स्टॅक केलेला बार (सावधगिरीने)

मल्टी-स्लाइस पाई चार्ट

चार कॉपी करण्यायोग्य प्रॉम्प्ट

1. स्वयं शोध कोड:

तुमची भूमिका: EDA सहाय्यक. मी डेटा शेअर करत नाही, मला R (ggplot2) कोड हवा आहे. 'डेटा' डेटा फ्रेममध्ये संख्यात्मक (उत्पन्न, वय, खर्च) आणि श्रेणीबद्ध (प्रदेश, शिक्षण) चल आहेत. कार्य: कोड लिहा जो प्रत्येक अंकासाठी एक हिस्टोग्राम तयार करतो, प्रत्येक श्रेणीसाठी एक बार चार्ट आणि उत्पन्नासाठी स्कॅटर प्लॉट तयार करतो~ वय. बार चार्टमध्ये, y-अक्ष शून्य पासून सुरू होऊ द्या. टिप्पणी ओळ जोडा.

2. सहसंबंध पुनरावलोकन (सहसंबंध + दृश्य एकत्र):

दोन्ही मिळकत आणि खर्चासाठी पिअर्सन सहसंबंधाची गणना करणारे कोड लिहा आणि स्कॅटर प्लॉट + रेखीय ट्रेंड प्लॉट करा. सहसंबंध संख्या (Anscombe चेतावणी) वर विश्वास ठेवण्यापूर्वी चार्टचे परीक्षण करण्याची आठवण करून देणारी टिप्पणी ओळ जोडा. ट्रेंड लाइन जास्त गुळगुळीत करू नका.

3. अखंडता ऑडिट:

प्रामाणिक व्हिज्युअलायझेशनसाठी खालील ggplot कोड तपासा:[code]. खालील तपासा आणि दुरुस्त करा: y-अक्ष शून्यापासून सुरू होतो का, स्केल सुसंगत आहे का, नमुना आकार दृश्यमान आहे का, जास्त स्मूथिंग आहे का? तुम्ही केलेल्या प्रत्येक दुरुस्तीचे औचित्य स्पष्ट करा.

4. शोध नोट तयार करणे (शोध नाही):

मी तयार केलेल्या आलेखांच्या आधारे, निरीक्षणांना 'डिस्कव्हरी नोट' म्हणून सूचीबद्ध करा; प्रत्येक बाबी 'परीक्षित परिकल्पना' या भाषेत लिहा, 'निर्णायक निष्कर्ष' नाही. उदाहरण: 'उच्च शिक्षणातील उत्पन्न अधिक पसरलेले दिसते; स्वतंत्र डेटासह चाचणी केली पाहिजे.' कारणात्मक आणि निश्चित विधाने टाळा.

कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट

कमकुवत प्रॉम्प्ट:

उत्पन्नातून छान आलेख बनवा आणि त्यांचा अर्थ मला सांगा.

हे प्रॉम्प्ट भ्रामक आउटपुटला आमंत्रित करते: "सुंदर" सौंदर्यशास्त्रावर लक्ष केंद्रित करते, तर "त्याचा अर्थ काय" AI ला शोधातून निश्चित निष्कर्षापर्यंत जाण्यास प्रवृत्त करते. कारण, अतिशयोक्तीपूर्ण टिप्पण्या फॉलो करतात.

शक्तिशाली सूचना:

तुमची भूमिका: प्रामाणिक EDA सहाय्यक. कार्य: (1) माझ्या प्रश्नाला अनुकूल असा चार्टचा प्रकार निवडा आणि औचित्य लिहा, (2) बार चार्टमध्ये शून्यापासून अक्ष सुरू करा, (3) डिस्कव्हरी नोट भाषेतील आउटपुटचा अर्थ लावा: "चाचणी करणे आवश्यक आहे" मध्ये कोणताही निश्चित/कारणभाव दावा सुचवत नाही, जर मी लहान नमुना (4) चालवा (3) नमुना (4) असेल तर मी (3) लहान आहे. माझ्या स्वतःच्या वातावरणातील चार्ट आणि ते सत्यापित करा.

फरक: मजबूत इच्छा चार्ट प्रकाराचे समर्थन करते, प्रामाणिकपणाचे नियम लादते आणि पुष्टीकरणासह शोध गोंधळात टाकत नाही.

तीन लहान प्रकरणे

केस 1 - स्वतंत्र अक्ष अतिशयोक्ती. एका विश्लेषकाने बार चार्टमध्ये दोन शाखांचे (7.8 आणि 8.0; 10 पैकी) समाधानकारक गुण दाखवले. 7.5 पासून YZ अक्ष सुरू करताना, दुसरी शाखा पहिल्यापेक्षा जवळजवळ दुप्पट उंच दिसली; तर फरक फक्त 2.5% होता. व्यवस्थापन चुकीच्या छापाखाली एका शाखेला बक्षीस देणार होते. जेव्हा मी सुरवातीपासून अक्ष सुरू केला तेव्हा फरक जवळजवळ अदृश्य होता. धडा: केवळ अक्षाची निवड धारणा बदलते.

केस 2 - सहसंबंधावर विश्वास ठेवणे आणि चार्ट वगळणे. एका संशोधकाने दोन चलांमधील r = 0.81 पाहिले आणि "मजबूत रेखीय संबंध" लिहिले. जेव्हा त्याच्या सल्लागाराने स्कॅटर प्लॉटसाठी विचारले तेव्हा असे दिसून आले की संबंध प्रत्यक्षात एकाच टोकाच्या निरीक्षणामुळे आहे आणि जेव्हा तो बिंदू काढून टाकला गेला तेव्हा सहसंबंध 0.12 पर्यंत खाली आला. धडा: सहसंबंध संख्या ग्राफसाठी पर्याय नाही; नेहमी स्कॅटर पहा.

केस 3 - पुष्टीकरणासह गोंधळात टाकणारा शोध. एका विद्यार्थ्याने 40-व्हेरिएबल डेटा सेटमधील सर्व जोडीवार परस्परसंबंध पाहिले, सर्वोच्च (r=0.52) निवडले आणि लिहिले, "आम्हाला शिक्षण आणि बचत (p=0.004) यांच्यातील महत्त्वपूर्ण संबंध आढळला." तथापि, 40 व्हेरिएबल्समध्ये शेकडो जोड्या होत्या; संधीमुळे सर्वोच्च निवडणे हा चुकीचा शोध होता. धडा: शोधलेला नमुना त्याच डेटामध्ये "चाचणी आणि महत्त्वपूर्ण घोषित" केला जाऊ शकत नाही; स्वतंत्र पुष्टीकरण आवश्यक आहे.

सामान्य चुका

• बार चार्टमध्ये शून्यापासून अक्ष सुरू करत नाही. तो लहान फरक अतिशयोक्ती; सर्वात सामान्य दृश्य खोटे. नेहमी तपासा.
• सहसंबंध पाहणे आणि चार्ट वगळणे. समान सहसंबंध खूप भिन्न नमुन्यांमधून येतो; बाह्य संबंध बसू शकतात. प्रथम, विखुरणे.
• त्याच डेटामधील "पुरावा" म्हणून शोधात सापडलेल्या पॅटर्नचा विचार करणे. हे पी-हॅकिंगचे प्रवेशद्वार आहे; पुष्टीकरण स्वतंत्रपणे केले जाते.
• चुकीचा चार्ट प्रकार. ट्रेंडसाठी बार आणि वितरणासाठी पाई यासारखे सामने दिशाभूल करणारे आहेत. प्रश्नावर आधारित शैली निवडा.
• नमुना आकार लपवत आहे. n=8 आणि n=8,000 एकाच आलेखावर सारखे दिसू नयेत; अनिश्चितता दर्शविली पाहिजे.

टीप: चार्ट प्रकाशित करण्यापूर्वी, स्वतःला विचारा: "मी अक्ष बदलल्यास कथा बदलेल का?" जर उत्तर होय असेल, तर तुम्ही कदाचित अप्रामाणिक ठिकाणाहून पिव्होट सुरू केले असेल.

सारांशात

एक्सप्लोरेटरी डेटा ॲनालिसिस हा डेटा पूर्ण करण्याचा, नमुने पाहण्याचा आणि गृहीतके निर्माण करण्याचा टप्पा आहे; ते पुष्टीकरण नाही. AI त्वरीत वर्णनात्मक आकडेवारी आणि आलेख कोड व्युत्पन्न करते, परंतु तुम्ही तुमच्या प्रश्नावर आधारित आलेख प्रकार निवडता आणि निष्पक्षतेची तत्त्वे (शून्य अक्ष, सातत्यपूर्ण स्केल, स्पष्ट अनिश्चितता) नियंत्रित करता. सहसंबंध क्रमांकावर विश्वास ठेवण्यापूर्वी स्कॅटर पहा; शोधात सापडलेला नमुना त्याच डेटामध्ये "पुरावा" म्हणून घोषित करू नका. AI चा सुंदर आलेख म्हणजे योग्य आलेख नाही.

अर्ज कार्य

डेटा सेटमध्ये किमान तीन व्हेरिएबल्स निवडा. प्रामाणिकपणाच्या नियमांची अंमलबजावणी करणाऱ्या प्रॉम्प्टसह एक्सप्लोरेटरी आलेख (हिस्टोग्राम, स्कॅटर, बॉक्स्ड) तयार करणारा कोड AI ला विचारा आणि चालवा. प्रत्येक तक्त्यासाठी: (1) प्रश्नाशी संबंधित तक्त्याची योग्यता, (2) अक्षाची प्रामाणिकता, (3) नमुना आकाराची दृश्यमानता तपासा. गृहीतक भाषेत किमान एक "शोध नोट" लिहा ("...स्वतंत्रपणे चाचणी केली जाईल असे दिसते"). काउंट आणि स्कॅटर या दोन्हींशी परस्परसंबंध तपासा आणि त्यांच्यामध्ये काही विसंगती असल्यास अहवाल द्या.

चेकलिस्ट

• [ ] मी माझा प्रश्न आणि डेटा प्रकारावर आधारित चार्ट प्रकार निवडला आहे.
• [ ] बार चार्टमध्ये, मी y-अक्ष शून्यापासून सुरू करतो; मी अक्षाची प्रामाणिकता तपासली.
• सहसंबंधावर विश्वास ठेवण्यापूर्वी मी स्कॅटरप्लॉटकडे पाहिले.
• [ ] मी आलेखावर नमुना आकार आणि अनिश्चितता प्रतिबिंबित केली.
• [ ] मी शोधात सापडलेले नमुने "पुरावा" ऐवजी "परीक्षण करण्यासाठी गृहीतक" म्हणून लिहिले.
• [ ] मी नमूद केले आहे की मी पुष्टीकरणासाठी समान डेटा वापरणार नाही आणि एक वेगळी पायरी आवश्यक आहे.