అన్వేషణాత్మక డేటా విశ్లేషణ మరియు విజువలైజేషన్: కృత్రిమ మేధస్సుతో గ్రాఫింగ్ మరియు వివరణ

లాభాలు:

• కృత్రిమ మేధస్సు మద్దతుతో వివరణాత్మక గణాంకాలు మరియు పంపిణీ/సంబంధ చార్ట్‌లను రూపొందించగల సామర్థ్యం మరియు డేటా మరియు ప్రశ్నకు అనుగుణంగా సరైన చార్ట్ రకాన్ని ఎంచుకోండి
• కృత్రిమ మేధస్సు ద్వారా రూపొందించబడిన చిత్రాలలో తప్పుదారి పట్టించే ఎంపికలను (డాష్ అక్షం, తగని స్కేల్, అధిక మృదుత్వం) గుర్తించగల సామర్థ్యం మరియు నిజాయితీగల విజువలైజేషన్ సూత్రాలను వర్తింపజేయడం
• అన్వేషణాత్మక విశ్లేషణ అనేది పరికల్పనలను రూపొందించడం మరియు అదే డేటాతో (ఇది p-హ్యాకింగ్‌కు తలుపులు తెరుస్తుంది) ఆవిష్కరణ మరియు నిర్ధారణను రూపొందించడం కోసం అని వేరు చేయగలదు.

డేటాను క్లీన్ చేసిన తర్వాత, దానిని తెలుసుకోవడం అనుభావిక పరిశోధకుడి మొదటి పని. ఈ దశను ఎక్స్‌ప్లోరేటరీ డేటా అనాలిసిస్ (EDA - ఎక్స్‌ప్లోరేటరీ డేటా అనాలిసిస్) అంటారు: ఇది గ్రాఫ్‌లు మరియు సారాంశ గణాంకాలతో డేటాను పరిశీలించడం మరియు దాని నిర్మాణం, నమూనాలు మరియు ఆశ్చర్యాలను చూసే ప్రక్రియ. లక్ష్యం ఇంకా పరికల్పనను పరీక్షించడం కాదు, డేటాతో పరిచయం పొందడం, ప్రశ్నలను రూపొందించడం మరియు భవిష్యత్తులో మీరు నిర్మించబోయే మోడల్‌కు పునాది వేయడం. ఈ యూనిట్‌లో, ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ (AI) EDA మరియు విజువలైజేషన్‌ను ఎలా వేగవంతం చేస్తుందో మనం చూస్తాము, అయితే అది ఉత్పత్తి చేసే గ్రాఫిక్‌లను ఎందుకు జాగ్రత్తగా ఆడిట్ చేయాలి.

మొదట రెండు ప్రాథమిక వ్యత్యాసాలను చేద్దాం. ముందుగా, వివరణాత్మక గణాంకాలు (సగటు, మధ్యస్థ, ప్రామాణిక విచలనం, క్వార్టైల్స్ వంటి డేటాను సంగ్రహించే సంఖ్యలు) మరియు విజువలైజేషన్ (అదే సమాచారాన్ని గ్రాఫికల్‌గా చూపడం) ఒకదానికొకటి పూరకంగా ఉంటాయి; వారు కలిసి డేటాను వివరిస్తారు. రెండవది మరియు అత్యంత క్లిష్టమైనది: ఆవిష్కరణ మరియు నిర్ధారణ తప్పనిసరిగా వేరు చేయబడాలి. పరికల్పనలను రూపొందించడం కోసం అన్వేషణాత్మక విశ్లేషణ; అదే డేటాతో పరికల్పనను అన్వేషించడం మరియు "నేను దానిని పరీక్షించాను మరియు ముఖ్యమైనదిగా గుర్తించాను" అని చెప్పడం p-హ్యాకింగ్‌కు తలుపులు తెరుస్తుంది, దానిని మనం తదుపరి యూనిట్‌లో చూస్తాము. డేటాను చూడటం మరియు నమూనాను చూడటం ఉచితం; కానీ అదే డేటాలో ఆ నమూనాను "నిరూపితమైన అన్వేషణ"గా ప్రకటించడం తప్పుదారి పట్టించేది.

దశల వారీ విశ్లేషణ విశ్లేషణ

1. ఏకరూప వీక్షణ. ప్రతి వేరియబుల్‌ను ఒక్కొక్కటిగా పరిశీలించండి: దాని పంపిణీ సుష్టంగా లేదా వక్రంగా ఉందా; ఎన్ని కొండలు ఉన్నాయి; బయటివారు ఎక్కడ ఉన్నారు? సంఖ్యా వేరియబుల్స్ కోసం, హిస్టోగ్రాం (విలువలను పరిధులుగా విభజించడం ద్వారా ఫ్రీక్వెన్సీని చూపే ప్లాట్) మరియు బాక్స్‌ప్లాట్ (బాక్స్‌ప్లాట్ — మధ్యస్థ, త్రైమాసికం మరియు తీవ్ర విలువలను చూపే చార్ట్); వర్గీకరణ వేరియబుల్స్ కోసం, ఫ్రీక్వెన్సీ పట్టికలు మరియు బార్ చార్ట్‌లను ఉపయోగించండి.

2. ద్విపద వీక్షణ. రెండు వేరియబుల్స్ మధ్య సంబంధాన్ని చూడండి: రెండు సంఖ్యా వేరియబుల్స్ కోసం స్కాటర్ ప్లాట్ (ప్రతి పరిశీలనను x-y ప్లేన్‌లో ఒక బిందువుగా చూపుతుంది), సంఖ్యా-కేటగిరికల్ కోసం సమూహ పెట్టె ప్లాట్, రెండు వర్గాలకు క్రాస్‌టాబ్. సహసంబంధ గుణకాన్ని చూసే ముందు, స్కాటర్ ప్లాట్‌ను చూడండి: అదే సహసంబంధం చాలా భిన్నమైన నమూనాలను చూపుతుంది (ప్రసిద్ధ Anscombe క్వార్టెట్ దీనిని ప్రదర్శిస్తుంది; నాలుగు డేటా సెట్‌లు దాదాపు ఒకే విధమైన గణాంకాలను కలిగి ఉంటాయి, కానీ ప్లాట్ చేసినప్పుడు అవి పూర్తిగా భిన్నంగా ఉంటాయి).

3. సరైన చార్ట్ రకాన్ని ఎంచుకోండి. చార్ట్ రకం మీ ప్రశ్న మరియు డేటా రకంపై ఆధారపడి ఉంటుంది. పంపిణీ కోసం హిస్టోగ్రాం; సంబంధం కోసం చెదరగొట్టడం; కాలానుగుణంగా మార్పు కోసం లైన్ చార్ట్; వర్గం పోలిక కోసం బార్ చార్ట్; (జాగ్రత్తగా) మొత్తానికి భాగాల నిష్పత్తి కోసం పేర్చబడిన బార్. AI త్వరగా మీ కోసం కోడ్‌ని రూపొందిస్తుంది, అయితే "ఏ ప్రశ్నకు ఏ గ్రాఫ్" అనే నిర్ణయం మీదే.

4. నమూనాను గమనించండి, ఫలితాలను ప్రకటించవద్దు. మీరు "డిస్కవరీ నోట్"గా చూసే ఏదైనా ఆసక్తికరమైన నమూనాను రికార్డ్ చేయండి, కానీ దానిని ధృవీకరించబడిన అన్వేషణగా పరిగణించవద్దు. ప్రత్యేక డేటా లేదా ముందుగా నిర్ణయించిన షెడ్యూల్‌తో ప్రత్యేక దశలో నిర్ధారణ జరుగుతుంది.

నిజాయితీ విజువలైజేషన్ సూత్రాలు

గ్రాఫిక్ ఒప్పిస్తుంది; అందువల్ల, దాని తప్పుదోవ పట్టించే శక్తి కూడా ఎక్కువగా ఉంటుంది. AI సౌందర్యపరమైన కానీ కొన్నిసార్లు తప్పుదోవ పట్టించే ఎంపికలను చేయగలదు. ఈ విధానాలను తనిఖీ చేయండి:

• బార్ చార్ట్‌లలో, y-యాక్సిస్ తప్పనిసరిగా సున్నా వద్ద ప్రారంభం కావాలి. డాష్ చేసిన అక్షం చిన్న తేడాలను పెద్దదిగా చూపుతుంది.
• స్కేల్ స్థిరంగా ఉండాలి. రెండు చార్ట్‌లను పోల్చినట్లయితే, అదే అక్షం పరిధిని ఉపయోగించండి.
• అధిక మృదుత్వం నిజమైన నమూనాను దాచవచ్చు. ట్రెండ్ లైన్ చాలా బాగుంది, కానీ అది డేటాను ఎక్కువగా "స్మూత్" చేస్తే, అది తప్పుదారి పట్టించవచ్చు.
• రంగు మరియు 3D అలంకరణ దృష్టిని వక్రీకరిస్తుంది, డేటా కాదు. సరళతను ఎంచుకోండి.
• తప్పిపోయిన డేటా మరియు నమూనా పరిమాణం కనిపించాలి. "n=12" మరియు "n=12,000" ఒకేలా కనిపించకూడదు.

శ్రద్ధ: AI ద్వారా రూపొందించబడిన గ్రాఫిక్స్ అందంగా ఉన్నందున, అవి నిజం కాదు. బార్ చార్ట్‌లో సున్నా నుండి అక్షాన్ని ప్రారంభించకపోవడం మరియు రెండు సమూహాల మధ్య వ్యత్యాసాన్ని అతిశయోక్తి చేయడం అతను చేసే అత్యంత సాధారణ తప్పు. ఎల్లప్పుడూ అక్షాన్ని తనిఖీ చేయండి.

పోలిక చార్ట్: ప్రశ్న → చార్ట్

అడగండి

సరైన చార్ట్

సాధారణ తప్పు

ఈ వేరియబుల్ ఎలా పంపిణీ చేయబడింది?

హిస్టోగ్రాం/బాక్స్ ప్లాట్

పై చార్ట్ ఉపయోగించండి

రెండు సంఖ్యా వేరియబుల్స్ సంబంధం కలిగి ఉన్నాయా?

స్కాటర్ ప్లాట్

సహసంబంధాల సంఖ్యను మాత్రమే చూడటం

కాలక్రమేణా అది ఎలా మారింది?

లైన్ చార్ట్

బార్ చార్ట్‌తో ట్రెండ్‌ని చెప్పడం

సమూహాల మధ్య తేడా ఏమిటి?

సమూహ పెట్టె/బార్ (మొదటి నుండి)

కత్తిరించబడిన అక్షం రాడ్

పార్ట్-టు-హోల్ నిష్పత్తి?

పేర్చబడిన బార్ (జాగ్రత్తతో)

బహుళ స్లైస్ పై చార్ట్

నాలుగు కాపీ చేయదగిన ప్రాంప్ట్‌లు

1. స్వీయ ఆవిష్కరణ కోడ్:

మీ పాత్ర: EDA అసిస్టెంట్. నేను డేటాను భాగస్వామ్యం చేయను, నాకు R (ggplot2) కోడ్ కావాలి. 'డేటా' డేటా.ఫ్రేమ్‌లో సంఖ్యాపరమైన (ఆదాయం, వయస్సు, వ్యయం) మరియు వర్గీకరణ (ప్రాంతం, విద్య) వేరియబుల్స్ ఉన్నాయి. టాస్క్: ప్రతి సంఖ్యకు హిస్టోగ్రాం, ప్రతి వర్గానికి బార్ చార్ట్ మరియు ఆదాయం~ వయస్సు కోసం స్కాటర్ ప్లాట్‌ను రూపొందించే కోడ్‌ను వ్రాయండి. బార్ చార్ట్‌లలో, y-యాక్సిస్‌ను ZERO నుండి ప్రారంభించనివ్వండి. వ్యాఖ్య లైన్ జోడించండి.

2. సహసంబంధ సమీక్ష (సహసంబంధం + దృశ్యమానం కలిసి):

ఆదాయం మరియు వ్యయం కోసం పియర్సన్ సహసంబంధాన్ని లెక్కించే కోడ్‌ను వ్రాయండి మరియు స్కాటర్ ప్లాట్ + లీనియర్ ట్రెండ్‌ను ప్లాట్ చేయండి. సహసంబంధ గణనను విశ్వసించే ముందు చార్ట్‌ను పరిశీలించమని నాకు గుర్తు చేసే వ్యాఖ్య లైన్‌ను జోడించండి (Anscombe హెచ్చరిక). ట్రెండ్ లైన్‌ను అతిగా స్మూత్ చేయవద్దు.

3. సమగ్రత తనిఖీ:

నిజాయితీ విజువలైజేషన్ కోసం క్రింది ggplot కోడ్‌ని తనిఖీ చేయండి:[code]. కింది వాటిని తనిఖీ చేయండి మరియు సరి చేయండి: y-అక్షం సున్నా నుండి మొదలవుతుందా, స్కేల్ స్థిరంగా ఉందా, నమూనా పరిమాణం కనిపిస్తుందా, మితిమీరిన సున్నితత్వం ఉందా? మీరు చేసిన ప్రతి దిద్దుబాటుకు సమర్థనను వివరించండి.

4. డిస్కవరీ నోట్‌ను రూపొందించడం (కనుగొనడం కాదు):

నేను రూపొందించిన గ్రాఫ్‌ల ఆధారంగా, పరిశీలనలను 'డిస్కవరీ నోట్'గా జాబితా చేయండి; ప్రతి అంశాన్ని 'పరీక్షించవలసిన పరికల్పన' భాషలో వ్రాయండి, 'నిశ్చయాత్మక అన్వేషణ' కాదు. ఉదాహరణ: 'ఉన్నత విద్యలో ఆదాయం మరింత విస్తరించినట్లు కనిపిస్తోంది; ప్రత్యేక డేటాతో పరీక్షించబడాలి.' కారణ మరియు ఖచ్చితమైన ప్రకటనలను నివారించండి.

బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్

బలహీనమైన ప్రాంప్ట్:

దిగుబడి నుండి చక్కని గ్రాఫ్‌లను రూపొందించండి మరియు వాటి అర్థం ఏమిటో నాకు చెప్పండి.

ఈ ప్రాంప్ట్ తప్పుదారి పట్టించే అవుట్‌పుట్‌ను ఆహ్వానిస్తుంది: “అందమైన” సౌందర్యంపై దృష్టి పెడుతుంది, అయితే “దీని అర్థం” AIని ఆవిష్కరణ నుండి ఖచ్చితమైన ముగింపుకు వెళ్లేలా చేస్తుంది. కారణ, అతిశయోక్తి వ్యాఖ్యలు అనుసరిస్తాయి.

శక్తివంతమైన ప్రాంప్ట్:

మీ పాత్ర: నిజాయితీ గల EDA అసిస్టెంట్. టాస్క్: (1) నా ప్రశ్నకు సరిపోయే చార్ట్ రకాన్ని ఎంచుకుని, సమర్థనను వ్రాయండి,(2) బార్ చార్ట్‌లలో సున్నా నుండి అక్షాన్ని ప్రారంభించండి,(3) డిస్కవరీ నోట్ భాషలో అవుట్‌పుట్‌ను అన్వయించండి: ఖచ్చితమైన/కారణ క్లెయిమ్‌ను సూచించదు: "నమూనా చిన్నదైతే నేను రన్ చేస్తాను" (4 నమూనా చిన్నది అయితే) భాషలో పరికల్పనను సూచించదు,(3) నా స్వంత వాతావరణంలో చార్ట్ చేయండి మరియు దానిని ధృవీకరించండి.

తేడా: బలమైన సంకల్పం చార్ట్ రకాన్ని సమర్థిస్తుంది, నిజాయితీ యొక్క నియమాలను విధిస్తుంది మరియు నిర్ధారణతో ఆవిష్కరణను గందరగోళపరచదు.

మూడు చిన్న కేసులు

కేసు 1 - వివిక్త అక్షం అతిశయోక్తి. ఒక విశ్లేషకుడు బార్ చార్ట్‌లో రెండు శాఖల (7.8 మరియు 8.0; 10లో) సంతృప్తి స్కోర్‌లను చూపించారు. 7.5 నుండి YZ అక్షాన్ని ప్రారంభించినప్పుడు, రెండవ శాఖ మొదటిదాని కంటే దాదాపు రెండు రెట్లు ఎక్కువగా కనిపించింది; అయితే తేడా 2.5% మాత్రమే. మేనేజ్‌మెంట్ తప్పుడు అభిప్రాయంతో శాఖకు రివార్డ్ ఇవ్వబోతోంది. నేను మొదటి నుండి అక్షాన్ని ప్రారంభించినప్పుడు వ్యత్యాసం దాదాపు కనిపించదు. పాఠం: అక్షం ఎంపిక మాత్రమే అవగాహనను మారుస్తుంది.

కేసు 2 - సహసంబంధాన్ని విశ్వసించడం మరియు చార్ట్‌ను దాటవేయడం. ఒక పరిశోధకుడు రెండు వేరియబుల్స్ మధ్య r = 0.81ని చూసి "బలమైన లీనియర్ రిలేషన్‌షిప్" అని రాశాడు. అతని కన్సల్టెంట్ స్కాటర్ ప్లాట్‌ని అడిగినప్పుడు, ఆ సంబంధం నిజానికి ఒక విపరీతమైన పరిశీలన కారణంగా కనిపించింది మరియు ఆ పాయింట్ తీసివేయబడినప్పుడు, సహసంబంధం 0.12కి పడిపోయింది. పాఠం: సహసంబంధ గణన గ్రాఫ్‌కు ప్రత్యామ్నాయం కాదు; ఎల్లప్పుడూ చెల్లాచెదురుగా చూడండి.

కేస్ 3 - నిర్ధారణతో గందరగోళ ఆవిష్కరణ. ఒక విద్యార్థి 40-వేరియబుల్ డేటా సెట్‌లో అన్ని జత వైపు సహసంబంధాలను చూసి, అత్యధికంగా (r=0.52) ఎంచుకుని, "మేము విద్య మరియు పొదుపుల మధ్య ముఖ్యమైన సంబంధాన్ని కనుగొన్నాము (p=0.004)" అని వ్రాశాడు. అయితే, 40 వేరియబుల్స్‌లో వందల జంటలు ఉన్నాయి; అత్యున్నతమైనదాన్ని ఎంచుకోవడం అవకాశం కారణంగా తప్పుగా కనుగొనబడింది. పాఠం: కనుగొనబడిన నమూనా అదే డేటాలో "పరీక్షించబడదు మరియు ముఖ్యమైనదిగా ప్రకటించబడదు"; ప్రత్యేక నిర్ధారణ అవసరం.

సాధారణ తప్పులు

• బార్ చార్ట్‌లో సున్నా నుండి అక్షాన్ని ప్రారంభించడం లేదు. ఇది చిన్న వ్యత్యాసాన్ని అతిశయోక్తి చేస్తుంది; అత్యంత సాధారణ దృశ్య అబద్ధం. ఎల్లప్పుడూ తనిఖీ చేయండి.
• సహసంబంధాన్ని చూడటం మరియు చార్ట్‌ను దాటవేయడం. ఒకే సహసంబంధం చాలా భిన్నమైన నమూనాల నుండి వస్తుంది; బయటి సంబంధానికి సరిపోతాయి. మొదట, చెదరగొట్టడం.
• ఆవిష్కరణలో కనుగొనబడిన నమూనాను అదే డేటాలో "సాక్ష్యం"గా పరిగణించడం. ఇది p-హ్యాకింగ్‌కి గేట్‌వే; నిర్ధారణ విడిగా జరుగుతుంది.
• తప్పు చార్ట్ రకం. ట్రెండ్ కోసం బార్ మరియు పంపిణీకి పై వంటి మ్యాచ్‌లు తప్పుదారి పట్టించేవి. ప్రశ్న ఆధారంగా ఒక శైలిని ఎంచుకోండి.
• నమూనా పరిమాణాన్ని దాచడం. n=8 మరియు n=8,000 ఒకే గ్రాఫ్‌లో ఒకేలా కనిపించకూడదు; అనిశ్చితి చూపాలి.

చిట్కా: చార్ట్‌ను ప్రచురించే ముందు, మిమ్మల్ని మీరు ఇలా ప్రశ్నించుకోండి: "నేను అక్షాన్ని మార్చినట్లయితే కథ మారుతుందా?" సమాధానం అవును అయితే, మీరు బహుశా నిజాయితీ లేని స్థలం నుండి పివోట్‌ని ప్రారంభించి ఉండవచ్చు.

సారాంశంలో

అన్వేషణాత్మక డేటా విశ్లేషణ అనేది డేటాను కలుసుకునే దశ, నమూనాలను చూడటం మరియు పరికల్పనలను రూపొందించడం; ఇది నిర్ధారణ కాదు. AI త్వరగా వివరణాత్మక గణాంకాలు మరియు గ్రాఫ్ కోడ్‌ను రూపొందిస్తుంది, కానీ మీరు మీ ప్రశ్న ఆధారంగా గ్రాఫ్ రకాన్ని ఎంచుకుంటారు మరియు న్యాయ సూత్రాలను (సున్నా అక్షం, స్థిరమైన స్కేల్, స్పష్టమైన అనిశ్చితి) నియంత్రిస్తారు. సహసంబంధ సంఖ్యను విశ్వసించే ముందు స్కాటర్‌ని చూడండి; మీరు ఆవిష్కరణలో కనుగొన్న నమూనాను అదే డేటాలో "సాక్ష్యం"గా ప్రకటించవద్దు. AI యొక్క అందమైన గ్రాఫ్ అంటే సరైన గ్రాఫ్ అని కాదు.

అప్లికేషన్ టాస్క్

డేటా సెట్‌లో కనీసం మూడు వేరియబుల్‌లను ఎంచుకోండి. నిజాయితీ నియమాలను అమలు చేసే ప్రాంప్ట్‌తో ఎక్స్‌ప్లోరేటరీ గ్రాఫ్‌లను (హిస్టోగ్రామ్, స్కాటర్, బాక్స్డ్) ఉత్పత్తి చేసే కోడ్ కోసం AIని అడగండి మరియు అమలు చేయండి. ప్రతి చార్ట్ కోసం: (1) ప్రశ్నకు చార్ట్ రకం యొక్క సముచితతను, (2) అక్షం యొక్క నిజాయితీ, (3) నమూనా పరిమాణం యొక్క దృశ్యమానతను తనిఖీ చేయండి. పరికల్పన భాషలో కనీసం ఒక “డిస్కవరీ నోట్” రాయండి (“...విడిగా పరీక్షించినట్లు కనిపిస్తుంది”). కౌంట్ మరియు స్కాటర్ రెండింటితో సహసంబంధాన్ని పరిశీలించండి మరియు వాటి మధ్య వ్యత్యాసం ఉంటే నివేదించండి.

చెక్లిస్ట్

• [ ] నేను నా ప్రశ్న మరియు డేటా రకం ఆధారంగా చార్ట్ రకాన్ని ఎంచుకున్నాను.
• [ ] బార్ చార్ట్‌లలో, నేను y-యాక్సిస్‌ను సున్నా నుండి ప్రారంభిస్తాను; నేను అక్షం నిజాయితీని తనిఖీ చేసాను.
• [ ] సహసంబంధాన్ని విశ్వసించే ముందు నేను స్కాటర్‌ప్లాట్‌ని చూశాను.
• [ ] నేను గ్రాఫ్‌లో నమూనా పరిమాణం మరియు అనిశ్చితిని ప్రతిబింబించాను.
• [ ] నేను అన్వేషణలో కనుగొన్న నమూనాలను "సాక్ష్యం"గా కాకుండా "పరీక్షించవలసిన పరికల్పన"గా వ్రాసాను.
• [ ] నేను నిర్ధారణ కోసం అదే డేటాను ఉపయోగించనని మరియు ప్రత్యేక దశ అవసరమని నేను గుర్తించాను.