యూనిట్లు
1. డేటా సైన్స్ మరియు అనలిటిక్స్‌లో ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ పరిచయం: వర్క్‌ఫ్లో, పాత్రలు, సరిహద్దులు, ధ్రువీకరణ మరియు నీతి 2. డేటా సేకరణ మరియు మూల అవగాహన: స్కీమా, నమూనా, నాణ్యత మరియు లీక్ అవేర్‌నెస్ 3. డేటా క్లీనింగ్ మరియు ప్రీప్రాసెసింగ్: మిస్సింగ్ వాల్యూ, అవుట్‌లియర్ మరియు టైప్ కన్వర్షన్ 4. అన్వేషణాత్మక డేటా విశ్లేషణ (EDA): పంపిణీలు, సంబంధాలు మరియు ప్రారంభ అంతర్దృష్టులు 5. ఫీచర్ ఇంజనీరింగ్: వేరియంట్‌లను రూపొందించడం, కోడింగ్, స్కేలింగ్ మరియు లీకేజీని నివారించడం 6. మోడల్ బిల్డింగ్: సమస్య నిర్వచనం, అల్గోరిథం ఎంపిక మరియు శిక్షణ/టెస్ట్ స్ప్లిట్ 7. మోడల్ మూల్యాంకనం: కొలమానాలు, క్రాస్ ధ్రువీకరణ మరియు విపరీతమైన అభ్యాసం 8. విజువలైజేషన్ మరియు స్టోరీ టెల్లింగ్: ఖచ్చితమైన గ్రాఫిక్స్, హానెస్ట్ గ్రాఫిక్స్ 9. కోడ్ జనరేషన్: పైథాన్ (పాండాలు) మరియు SQLతో AI-సహాయక విశ్లేషణ 10. డేటా లీకేజ్ మరియు పునరుత్పత్తి: నిశ్శబ్ద విపత్తులు మరియు క్రమశిక్షణ 11. MLOps ఫౌండేషన్, ఎథిక్స్, గోప్యత మరియు బాధ్యతాయుతమైన విశ్లేషణలు
యూనిట్ 8 / 11

విజువలైజేషన్ మరియు స్టోరీ టెల్లింగ్: ఖచ్చితమైన గ్రాఫిక్స్, హానెస్ట్ గ్రాఫిక్స్

లాభాలు:

  • ప్రతి చార్ట్‌ను స్పష్టమైన ప్రశ్నకు కనెక్ట్ చేయగల సామర్థ్యం మరియు తగిన చార్ట్ రకాన్ని ఎంచుకునే సామర్థ్యం (సమయం కోసం లైన్, పోలిక కోసం బార్, సంబంధం కోసం పంపిణీ)
  • తప్పుదారి పట్టించే అంశాలను (డాష్డ్ యాక్సిస్, చెర్రీ పికింగ్, స్పఘెట్టి చార్ట్) గుర్తించి నిజాయితీగా మరియు సరళమైన విజువల్స్‌ను రూపొందించగల సామర్థ్యం
  • ఫలితాల ఆధారిత ముఖ్యాంశాలు మరియు డేటా కథనంతో ఫలితాలను నిర్ణయాలుగా మార్చగల సామర్థ్యం

ఇతరులు దానిని అర్థం చేసుకుని నిర్ణయాలు తీసుకోగలిగినప్పుడే విశ్లేషణ విలువ తెలుస్తుంది. ప్రపంచంలోని అత్యంత ఖచ్చితమైన మోడల్ పేలవంగా వివరించబడితే షెల్ఫ్‌లో ఉంటుంది; చక్కగా వివరించబడిన ఒక సాధారణ అన్వేషణ సంస్థ యొక్క దిశను మార్చగలదు. ఈ యూనిట్ యొక్క అంశం డేటా విజువలైజేషన్ (గ్రాఫిక్స్‌తో డేటాను వ్యక్తీకరించడం) మరియు డేటా స్టోరీటెల్లింగ్ (పరిశోధనలను నిర్ణయాత్మక కథలోకి అనువదించడం): సరైన గ్రాఫ్‌ను ఎంచుకోవడం, దానిని నిజాయితీగా గీయడం మరియు ప్రేక్షకుల మనస్సులో స్పష్టమైన సందేశాన్ని వదిలివేయడం. AI చార్ట్ కోడ్‌ను వ్రాస్తుంది, చార్ట్ రకాన్ని సూచిస్తుంది మరియు కనుగొనడం కోసం శీర్షికను రూపొందిస్తుంది; అయితే ఎలాంటి సందేశం ఇవ్వాలో, గ్రాఫిక్ తప్పుదారి పట్టించేలా ఉంటుందా అన్నది మానవుడే నిర్ణయించుకోవాలి.

చార్ట్‌కి ఒక పని ఉంది: ప్రశ్నకు సమాధానం ఇవ్వడం

ప్రారంభకులు చేసే అతి పెద్ద తప్పు ఏమిటంటే "డేటాను చూపించడానికి" గ్రాఫ్‌లను గీయడం. అయితే, ఒక మంచి చార్ట్ ఒక ప్రశ్నకు సమాధానం ఇస్తుంది. "కాలక్రమేణా అమ్మకాలు పెరిగాయా?" ప్రశ్నకు సమాధానం లైన్ గ్రాఫ్; "ఏ నగరం ఎక్కువ విక్రయిస్తుంది?" బార్ చార్ట్; "ధర మరియు గిరాకీకి సంబంధం ఉందా?" స్కాటర్ ప్లాట్. గ్రాఫ్‌ని గీయడానికి ముందు, అడగండి: ఈ గ్రాఫ్ ఏ ప్రశ్నకు సమాధానం ఇస్తుంది మరియు వీక్షకుడు దానిని ఒక చూపులో చూడగలరా?

చార్ట్ ఎంపిక యొక్క ప్రాథమిక మ్యాపింగ్:

ప్రయోజనం

సరైన చార్ట్

తప్పు ఎంపిక

కాలానుగుణంగా మారుతుంది

లైన్ చార్ట్

పై చార్ట్

వర్గం పోలిక

బార్ చార్ట్

3D కేక్

రెండు సంఖ్యల సంబంధం

స్కాటర్ చార్ట్

రాడ్

పంపిణీ ఆకారం

హిస్టోగ్రాం/బాక్స్

సగటు సింగిల్ బార్

మొత్తం భాగాలు (కొన్ని వర్గాలు)

కర్ర లేదా సాదా కేక్

బహుళ స్లైస్ కేక్

బహుముఖ సంబంధం

వేడి పటం

అతివ్యాప్తి పంక్తులు

చిట్కా: వీలైతే పై చార్ట్‌ను నివారించండి; మానవ కన్ను కోణాలను పేలవంగా పోల్చింది. రెండు కంటే ఎక్కువ స్లైస్‌లు ఉంటే సీక్వెన్షియల్ బార్ చార్ట్ దాదాపు ఎల్లప్పుడూ చదవగలిగేలా ఉంటుంది.

నిజాయితీ చార్ట్: తప్పుదారి పట్టించడానికి సులభమైన మార్గం

చార్ట్‌లు తమకు తెలియకుండానే అబద్ధం చెప్పవచ్చు (కొన్నిసార్లు ఉద్దేశపూర్వకంగా). ఒక డేటా ప్రొఫెషనల్ యొక్క నైతిక బాధ్యత నిజాయితీ గ్రాఫ్‌లను గీయడం. మోసం యొక్క అత్యంత సాధారణ రూపాలు:

డాష్ చేసిన y-యాక్సిస్: మీరు అక్షాన్ని 0కి బదులుగా 95 వద్ద ప్రారంభిస్తే, 2% తేడా పర్వతంలా కనిపిస్తుంది. పోలిక బార్ చార్ట్‌లలో, అక్షం సాధారణంగా 0 వద్ద ప్రారంభం కావాలి.

సరికాని అక్షం స్కేల్: సంవర్గమాన అక్షాన్ని పేర్కొనకుండా లేదా అక్షాలను వక్రీకరించకుండా ఉపయోగించడం.

చెర్రీ-పికింగ్: మీ సందేశానికి మద్దతు ఇచ్చే కాలం/విభాగాన్ని మాత్రమే చూపడం మరియు మిగిలిన వాటిని దాచడం.

చాలా సమాచారం: "స్పఘెట్టి చార్ట్"ని సృష్టించడానికి 12 లైన్లను అతివ్యాప్తి చేయడం; సందేశాలు చదవబడవు.

తప్పుదారి పట్టించే అదనంగా: విభిన్నంగా ప్రవర్తించే గ్రాఫ్‌లను జోడించడం మరియు నిజమైన నమూనాను దాచడం (సింప్సన్ పారడాక్స్).

జాగ్రత్త: మీరు AIకి "ఈ వ్యత్యాసాన్ని ఆకట్టుకునేలా చేయండి" అని చెబితే, అది డాష్ చేసిన అక్షంతో అతిశయోక్తి గ్రాఫ్‌ను సూచించవచ్చు. నైతిక బాధ్యత మీపై ఉంది: చార్ట్ డేటాను వాస్తవంగా కంటే పెద్దదిగా లేదా చిన్నదిగా చేయకూడదు. ఆకట్టుకునే ముందు నిజాయితీ వస్తుంది.

రంగు, లేబుల్ మరియు సరళత

మంచి గ్రాఫిక్స్ సాధారణ గ్రాఫిక్స్. డేటా-ఇంక్ నిష్పత్తి సూత్రం: డేటాను తీసుకువెళ్లని ప్రతిదాన్ని విస్మరించండి (అనవసరమైన గ్రిడ్, నీడ, 3D ప్రభావం, అలంకరణ రంగు). రంగు అర్థాన్ని తెలియజేయాలి, అలంకారమైనది కాదు: వర్గాన్ని హైలైట్ చేయడానికి ఒక రంగు, మిగిలినది బూడిద రంగు. వర్ణాంధత్వం కోసం జాగ్రత్త వహించండి (ఎరుపు-ఆకుపచ్చ వివక్ష 12 మంది పురుషులలో 1 మందికి కష్టంగా ఉంటుంది); సురక్షితమైన ప్యాలెట్లను ఉపయోగించండి. ప్రతి చార్ట్‌లో స్పష్టమైన శీర్షిక ఉండాలి - మరియు ఉత్తమ శీర్షిక చార్ట్‌ను వివరించదు, ఇది ఫలితాన్ని చెబుతుంది: "నెలవారీ అమ్మకాలు" కాకుండా "Q3లో 18% అమ్మకాలు తగ్గాయి".

హైలైట్ మరియు వివరణ: సందేశానికి కంటిని మళ్లించడం

మంచి గ్రాఫిక్ వీక్షకుడికి ఎక్కడ చూడాలో తెలియజేస్తుంది. ముందుగా శ్రద్ధగల గుణాలు — స్పృహతో కూడిన ప్రయత్నం లేకుండా మెదడు సెకనులో కొంత భాగాన్ని గ్రహించే రంగు, స్థానం, పరిమాణం వంటి దృశ్యమాన సంకేతాలు దీనికి సాధనం: మీరు ఒక యాస రంగుతో మరియు మిగిలిన బూడిద రంగుతో ఒక బార్‌ను వదిలివేస్తే, కన్ను స్వయంచాలకంగా అక్కడకు వెళుతుంది. చార్ట్‌కు నేరుగా జోడించబడిన ఉల్లేఖనాలు కూడా శక్తివంతమైనవి: "ఈ నెలలో ప్రచారం ప్రారంభించబడింది" అని చెప్పే ఒక బాణం వివరణ పేరా కంటే మరింత ప్రభావవంతంగా ఉంటుంది. డ్యాష్‌బోర్డ్‌ను రూపకల్పన చేసేటప్పుడు ఇదే సూత్రం వర్తిస్తుంది: అత్యంత ముఖ్యమైన మెట్రిక్‌ను ఎగువన మరియు పెద్దదిగా ఉంచండి, ద్వితీయ సమాచారాన్ని దిగువన మరియు చిన్నదిగా ఉంచండి. ప్రేక్షకులను సమాచారంతో ముంచెత్తడం కాదు, సరైన నిర్ణయాన్ని ఒకే చూపులో చూడగలిగేలా చేయడం దీని లక్ష్యం. AI మీకు హైలైట్ రంగు మరియు ఉల్లేఖన కోడ్‌ని రూపొందించగలదు; కానీ ఏది నొక్కి చెప్పాలో మీరు నిర్ణయించుకోండి, అంటే అసలు సందేశం ఏమిటి.

మూడు చిన్న కేసులు

కేసు 1 - బ్రోకెన్ యాక్సిస్ స్కాండల్. ఒక బృందం "పెరుగుదల"ని చూపించడానికి 980 వద్ద y-యాక్సిస్‌ను ప్రారంభించిన బార్ చార్ట్‌తో నిర్వహణను అందించింది; 1,000 నుండి 1,020 వరకు అమ్మకాలు భారీగా కనిపించాయి. వాస్తవ పెరుగుదల 2%. ఒక మేనేజర్ పైవట్‌ను గమనించినప్పుడు, మొత్తం ప్రదర్శన యొక్క విశ్వసనీయత కదిలింది. పాఠం: పోలిక పట్టీలలో అక్షాన్ని 0 వద్ద ప్రారంభించండి.

కేస్ 2 - స్పఘెట్టి చార్ట్. ఒక విశ్లేషకుడు 14 ఉత్పత్తుల యొక్క 24-నెలల విక్రయాలను ఒకే చార్ట్‌లో 14 లైన్లుగా ఉంచారు. ఎవరూ ఏమీ చదవలేకపోయారు. అత్యధికంగా మారిన 3 ఉత్పత్తులను మాత్రమే హైలైట్ చేయడం ద్వారా మరియు మిగిలిన వాటిని లేత బూడిద రంగులోకి మార్చడం ద్వారా, సందేశం స్పష్టమైంది: "ఉత్పత్తి A క్రాష్ అవుతోంది, ఉత్పత్తి B పెరుగుతోంది." పాఠం: అన్నీ చూపించవద్దు, సందేశాన్ని చూపించు.

కేస్ 3 - ఫలితాన్ని తెలిపే శీర్షిక. ఒక నివేదిక "ప్రాంతీయ పంపిణీ" పేరుతో ఉన్న మ్యాప్‌పై చూపబడింది; ఎవరూ చర్యలు తీసుకోలేదు. హెడ్‌లైన్ "ఈస్టర్న్ రీజియన్ 40% దిగువన లక్ష్యం"గా మారినప్పుడు, అదే గ్రాఫిక్ సమావేశంలో అత్యవసర కార్యాచరణ ప్రణాళికను రూపొందించింది. పాఠం: టైటిల్ నిర్ణయాన్ని చెప్పాలి, గ్రాఫిక్ కాదు.

నాలుగు కాపీ చేయగల టెంప్లేట్‌లు

1) చార్ట్ రకం ఎంపిక:

మీ పాత్ర: విజువలైజేషన్ కన్సల్టెంట్. కింది ప్రశ్నకు సమాధానమిచ్చే చార్ట్‌ను సూచించండి: "గత 12 నెలల్లో ఏ ఛానెల్ (వెబ్/మొబైల్) వేగంగా పెరిగింది?" నాకు నెలవారీ, ఛానెల్-విరిగిన అమ్మకాలు ఉన్నాయి. నాకు అత్యంత అనుకూలమైన చార్ట్ రకం మరియు ఎందుకు చెప్పండి; తప్పుదారి పట్టించే ఎంపికలను (పై, డాష్ యాక్సిస్) నివారించడానికి నాకు గుర్తు చేయండి. matplotlibతో కోడ్‌ని ఎగుమతి చేయండి.

2) నిజాయితీ డ్రాయింగ్ నియంత్రణ:

నిజాయితీ కోసం ఈ బార్ చార్ట్ కోడ్‌ని తనిఖీ చేయండి: y-యాక్సిస్ 0తో మొదలవుతుందా, రంగు అర్థవంతంగా ఉందా, టైటిల్ ఫలితాన్ని చెబుతుందా, ఏవైనా అనవసరమైన 3D/షాడోలు ఉన్నాయా? తప్పుదారి పట్టించే ఏవైనా అంశాలను సరి చేయండి మరియు మీరు వాటిని ఎందుకు సరిదిద్దారో వివరించండి.

3) సరళీకరణ:

నా దగ్గర 14 లైన్‌లతో టైమ్ సిరీస్ చార్ట్ ఉంది, అది చదవలేనిది. స్పష్టమైన హెడర్ మరియు అధిక డేటా-ఇంక్ నిష్పత్తితో సంస్కరణ కోసం కోడ్‌ను వ్రాయండి, అది 3 అత్యంత మారుతున్న సిరీస్‌లను మాత్రమే హైలైట్ చేస్తుంది మరియు మిగిలిన వాటిని లేత బూడిద రంగులోకి మారుస్తుంది.

4) ఫలితాల ఆధారిత శీర్షిక మరియు కథనం:

నేను ఈ అన్వేషణను ఇస్తాను: "తూర్పు ప్రాంతం Q3 లక్ష్యం కంటే 40% దిగువన పడిపోయింది, ప్రధాన కారణం లాజిస్టిక్స్ ఆలస్యం." దీన్ని చేయడానికి, సృష్టించండి: (1) లక్ష్యం వర్సెస్ రియాలిటీ బార్ చార్ట్, (2) ఫలితాన్ని తెలిపే హెడ్‌లైన్, (3) 3-వాక్యాల ఎగ్జిక్యూటివ్ సారాంశం అవుట్‌లైన్. నేను సంఖ్యలను ధృవీకరిస్తాను; యుక్తమైనది.

బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్

బలహీనమైన ప్రాంప్ట్:

ఈ విక్రయాల డేటా నుండి చక్కని చార్ట్‌ను రూపొందించండి.

"అందమైన" ఆత్మాశ్రయమైనది; ఏ ప్రశ్న, ఏ ప్రేక్షకులు, ఏ సందేశం అనేది స్పష్టంగా లేదు. AI యాదృచ్ఛికంగా, బహుశా తప్పుదారి పట్టించే గ్రాఫ్‌ను ఉత్పత్తి చేస్తుంది.

శక్తివంతమైన ప్రాంప్ట్:

మీ పాత్ర: డేటా విజువలైజేషన్ అసిస్టెంట్. ప్రేక్షకులు: సీనియర్ మేనేజ్‌మెంట్. సందేశం: "మొబైల్ ఛానెల్ 12 నెలల్లో వెబ్‌ని అధిగమించింది." నాకు నెలవారీ ఛానెల్ విక్రయాలు ఉన్నాయి. టాస్క్: (1) ఈ సందేశాన్ని స్పష్టంగా చూపే లైన్ చార్ట్ కోడ్ (matplotlib), (2) y-axis 0 నుండి ప్రారంభమవుతుంది, మొబైల్ హోవర్ రంగు, వెబ్ గ్రే, (3) ఫలితాన్ని తెలిపే శీర్షిక. తప్పుదారి పట్టించే ప్రమాణాలను ఉపయోగించడం; డేటాను అలాగే చూపించు. నేను సంఖ్యలను అందిస్తాను.

ఇక్కడ ప్రేక్షకులు, సందేశం, నిజాయితీ నియమం మరియు చార్ట్ రకం స్పష్టంగా ఉన్నాయి.

సాధారణ తప్పులు

  • ప్రశ్నకు కనెక్ట్ చేయకుండా గ్రాఫ్‌ని గీయడం. పర్పస్‌లెస్ గ్రాఫిక్స్ వీక్షకులను అలసిపోతాయి మరియు నిర్ణయాలను అందించవు.
  • విరిగిన/వంకర అక్షంతో తప్పుదారి పట్టించడానికి. పోల్చి చూస్తే, అక్షం 0 నుండి ప్రారంభం కావాలి; నైతిక బాధ్యత మీపై ఉంది.
  • అన్నింటినీ ఒక చార్ట్‌లో క్రామ్ చేయడం. స్పఘెట్టి గ్రాఫిక్ సందేశాన్ని చంపుతుంది; నొక్కి, మిగిలిన వాటిని నిశ్శబ్దం చేయండి.
  • తప్పు చార్ట్ రకం (ముఖ్యంగా బహుళ-స్లైస్ పై). సమయం కోసం పంక్తులు మరియు పోలిక కోసం బార్‌లను ఉపయోగించండి.
  • శీర్షిక చార్ట్‌ను వివరిస్తుంది. మంచి హెడ్‌లైన్ ఫలితాన్ని/నిర్ణయాన్ని చెబుతుంది, కాలమ్ పేరు కాదు.
చిట్కా: మీరు ప్రతి చార్ట్‌ను పూర్తి చేసినప్పుడు, 5 సెకన్ల పరీక్ష చేయండి: ఎవరికైనా 5 సెకన్లు చూపించి, “మీకు ఏమి అర్థమైంది?” అని అడగండి. ఇది సరైన సందేశాన్ని చెప్పలేకపోతే, చార్ట్ ఇంకా సిద్ధంగా లేదు; శీర్షికను సరళీకృతం చేయండి, నొక్కి చెప్పండి, ఫలితం-ఆధారితంగా చేయండి.

సారాంశంలో

విజువలైజేషన్ అనేది విశ్లేషణను నిర్ణయంగా మార్చే వంతెన. మంచి చార్ట్ ఒక ప్రశ్నకు సమాధానం ఇస్తుంది; సరైన రకం (సమయం కోసం లైన్, పోలిక కోసం బార్, సంబంధం కోసం పంపిణీ) ఎంపిక చేయబడింది; నిజాయితీగా గీసారు (అక్షం 0 నుండి ప్రారంభమవుతుంది, అర్థవంతమైన రంగు, చెర్రీ పికింగ్ లేదు). ఇది సరళత మరియు ఫలితాల శీర్షిక సందేశాన్ని కలిగి ఉంటుంది. AI గ్రాఫిక్ కోడ్ మరియు డ్రాఫ్ట్ టైటిల్‌లను త్వరగా ఉత్పత్తి చేస్తుంది, కానీ మానవుడు ఏ సందేశాన్ని అందించాలో మరియు గ్రాఫిక్ నిజాయితీగా ఉందో లేదో నిర్ణయిస్తాడు; నైతిక బాధ్యత కథకుడిపై ఉంటుంది.

అప్లికేషన్ టాస్క్

ఒక అన్వేషణను ఎంచుకుని, దాన్ని ఒకే ఫలితాల ఆధారిత చార్ట్‌గా మార్చండి. గ్రాఫ్‌ను ప్లాట్ చేసిన తర్వాత, నిజాయితీని తనిఖీ చేయండి: అక్షం 0 వద్ద మొదలవుతుందా, రంగు అర్థవంతంగా ఉందా, టైటిల్ ఫలితాన్ని చెబుతుందా? ఆపై "5 సెకన్ల పరీక్ష" చేయండి (ఎవరైనా దానిని చూపించి, వారు ఏమి అర్థం చేసుకున్నారో వారిని అడగండి) మరియు మీరు పొందే ఫీడ్‌బ్యాక్ ఆధారంగా చార్ట్‌ను సరళీకృతం చేయండి.

చెక్లిస్ట్

  • [ ] నా చార్ట్ స్పష్టమైన ప్రశ్నకు సమాధానం ఇస్తుందా?
  • [ ] చార్ట్ రకం ప్రయోజనం (సమయం/పోలిక/సంబంధం) కోసం తగినదేనా?
  • [ ] అక్షాలు నిజాయితీగా ఉన్నాయా (పోలికలో 0 నుండి ప్రారంభమవుతుంది)?
  • [ ] రంగు మరియు సరళత సందేశానికి మద్దతు ఇస్తుంది, అవి అలంకారంగా మారలేదా?
  • [ ] టైటిల్ గ్రాఫ్‌ను వివరించడం కంటే ఫలితం/నిర్ణయాన్ని చెబుతుందా?