డేటా క్లీన్సింగ్, ట్రాన్స్‌ఫర్మేషన్ మరియు ఎక్స్‌ప్లోరేటరీ అనాలిసిస్ (పైథాన్/పాండాస్ సపోర్ట్‌తో)

లాభాలు:

• ముడి ఆర్థిక డేటాను శుభ్రపరిచే సామర్థ్యం (తప్పిపోయిన పరిశీలనలు, యూనిట్ గందరగోళం, ఫ్రీక్వెన్సీ అసమతుల్యత) మరియు కృత్రిమ మేధస్సు సహాయంతో దానిని విశ్లేషణకు సిద్ధం చేయడం
• రియల్-నామినల్ కన్వర్షన్, ఇండెక్సేషన్, గ్రోత్ రేట్, సీజనల్ అడ్జస్ట్‌మెంట్ వంటి ప్రామాణిక ఆర్థిక పరివర్తనలను కోడ్‌గా కృత్రిమ మేధస్సులో ముద్రించగల సామర్థ్యం మరియు వాటిని మాన్యువల్‌గా ధృవీకరించడం
• అన్వేషణాత్మక డేటా విశ్లేషణ (సారాంశ గణాంకాలు, పంపిణీ, అవుట్‌లియర్‌లు, సహసంబంధం) ద్వారా డేటాను గుర్తించగల సామర్థ్యం మరియు కృత్రిమ మేధస్సు సారాంశాలను విమర్శనాత్మకంగా చదవడం

ఆర్థిక డేటా చాలా అరుదుగా విశ్లేషణకు సిద్ధంగా ఉంటుంది. మీరు TURKSTAT నుండి డౌన్‌లోడ్ చేసిన టేబుల్‌లో, కొన్ని నెలలు లేవు, ఒక నిలువు వరుస వెయ్యి బ్రాకెట్‌లతో వచనంగా వస్తుంది, మారకం రేటు "1.234,56" వంటి టర్కిష్ ఫార్మాట్‌లో ఉంది, ఒక సిరీస్ నెలవారీ మరియు మరొకటి త్రైమాసికం. ఆర్థికవేత్త యొక్క ఎక్కువ సమయం విశ్లేషణలో కాదు, విశ్లేషణ కోసం డేటాను సిద్ధం చేయడంలో ఖర్చు చేస్తారు. ఇక్కడే AI నిజమైన, తక్కువ-రిస్క్ యాక్సిలరేటర్: ఇది క్లీనప్ దశలను సూచిస్తుంది, పాండాలను (పైథాన్ డేటా ప్రాసెసింగ్ లైబ్రరీ) వ్రాస్తుంది, ప్రామాణిక ఆర్థిక పరివర్తనలను క్రోడీకరించింది. కానీ ఈ యూనిట్‌కు మార్పులేని నియమం కూడా ఉంది: మీరు కృత్రిమ మేధస్సు ద్వారా వ్రాసిన ప్రతి రూపాంతరాన్ని చదివి, కనీసం ఒక పరిశీలనలో మాన్యువల్‌గా ధృవీకరించండి. నిజ-నామమాత్ర చక్రం తప్పుగా ఉన్నట్లయితే, మొత్తం విశ్లేషణ నిశ్శబ్దంగా క్షీణిస్తుంది.

శుభ్రపరచడం: ఏ సమస్యలు, వాటిని ఎలా పరిష్కరించాలి?

ఆర్థిక డేటా మరియు వాటి తర్కంలో అత్యంత సాధారణ సమస్యలు:

• అసంపూర్ణ పరిశీలన. ఒక నెల/త్రైమాసికం ఖాళీగా ఉంది. పరిష్కారం సందర్భంపై ఆధారపడి ఉంటుంది: ఇది వాస్తవానికి ఉనికిలో లేకుంటే, అది ఖాళీగా ఉంటుంది; సాంకేతిక గ్యాప్ ఉన్నట్లయితే, జాగ్రత్తగా ఇంటర్‌పోలేషన్ చేయబడుతుంది - కానీ ఫాబ్రికేషన్ మధ్య లైన్ సన్నగా ఉంటుంది.
• యూనిట్లు మరియు ఫార్మాట్ల గందరగోళం. "12.345.6" వచనాన్ని తప్పనిసరిగా సంఖ్యగా మార్చాలి; మిలియన్/బిలియన్ స్థిరంగా ఉండాలి.
• ఫ్రీక్వెన్సీ అసమతుల్యత. నెలవారీ మరియు త్రైమాసిక శ్రేణిని కలపడానికి, ఒకటి (నెలవారీ నుండి త్రైమాసికానికి) - ఇది సగటు, మొత్తం లేదా వ్యవధి ముగింపు అనేది సూచిక యొక్క స్వభావంపై ఆధారపడి ఉంటుంది (స్టాక్/ఫ్లో వ్యత్యాసం).
• అవుట్‌లియర్ (అత్యంత) విలువలు. పరిశీలన విపరీతంగా మారితే: ఇది నిజమైన సంఘటన (సంక్షోభం, ధరల పెంపు) లేదా డేటా లోపమా? తొలగించే ముందు అర్థం అవుతుంది.
• తేదీ అమరిక. వివిధ శ్రేణుల తేదీ ఫార్మాట్‌లు మరియు కాల నిర్వచనాలు సమకాలీకరించబడ్డాయి.

శ్రద్ధ: తప్పిపోయిన డేటాను పూరించడం అమాయకంగా అనిపిస్తుంది, కానీ ఇది ఆర్థిక నిర్ణయం. సంక్షోభ నెలను "పొరుగు నెలల సగటు"తో నింపడం అంటే ఆ సంక్షోభాన్ని విశ్లేషణ నుండి తొలగించడం. పూరించడానికి ముందు, "ఈ గ్యాప్ ఎందుకు ఉంది?" ప్రశ్నకు సమాధానం చెప్పండి.

ప్రామాణిక ఆర్థిక పరివర్తనలు

ఆర్థికవేత్త యొక్క రోజువారీ కచేరీలలో రూపాంతరాలు మరియు వాటి నిర్వచనాలు:

• నామమాత్రం → వాస్తవమైనది. ధర ప్రభావం కోసం సర్దుబాటు చేయడం: వాస్తవ విలువ = నామమాత్ర విలువ / ధర సూచిక × 100. డిఫ్లేటర్ యొక్క ఆధార సంవత్సరం (సర్దుబాటు సూచిక) ఫలితం యొక్క ఆధారాన్ని నిర్ణయిస్తుంది.
• ఇండెక్సింగ్. శ్రేణిని రీస్కేల్ చేయడం వలన ఎంచుకున్న వ్యవధి = 100; విభిన్న పరిమాణాల శ్రేణిని పోల్చడానికి ఇది ఉపయోగపడుతుంది.
• వృద్ధి రేటు. వార్షికం: (ఈ కాలం / గత సంవత్సరం ఇదే కాలం - 1) × 100. ఆవర్తన మరియు వార్షిక రేటు వేర్వేరు విషయాలు; గందరగోళం అనేది ఒక సాధారణ తప్పు.
• కాలానుగుణ దిద్దుబాటు. సాధారణ కాలానుగుణ ప్రభావాలను శుద్ధి చేయడం (వేసవి పర్యాటకం, సెలవులు); ముడి సిరీస్ మరియు కాలానుగుణంగా సర్దుబాటు చేయబడిన సిరీస్ విభిన్న కథలను చెబుతాయి.
• కదిలే సగటు. శబ్దాన్ని తగ్గించి, ట్రెండ్ కనిపించేలా చేస్తుంది.
• లాగరిథమ్స్ మరియు భేదం. వృద్ధి డైనమిక్స్ మరియు నిశ్చలతను పరిశీలించడానికి (సమయ శ్రేణి యూనిట్‌లో లోతుగా ఉంటుంది).

చిట్కా: ప్రతి మార్పిడితో మీరు "యూనిట్ మరియు బేస్‌కి ఏమి జరిగింది?" అడగండి. నిజమైన సిరీస్ యొక్క ఆధారం డిఫ్లేటర్ యొక్క ఆధారం; ఇండెక్స్ చేయబడిన సిరీస్ యొక్క ఆధారం మీరు ఎంచుకున్న కాలం. దీన్ని వ్రాసి ఉంచడం భవిష్యత్తులో తప్పులను నివారిస్తుంది.

అన్వేషణాత్మక డేటా విశ్లేషణ (EDA)

మోడల్‌లోకి ప్రవేశించే ముందు డేటాను గుర్తించడం అవసరం. అన్వేషణాత్మక డేటా విశ్లేషణ (EDA)లో ఇవి ఉన్నాయి: సారాంశ గణాంకాలు (సగటు, మధ్యస్థ, ప్రామాణిక విచలనం, కనిష్ట-గరిష్టం), పంపిణీ యొక్క ఆకృతి, కాలక్రమేణా కోర్సు, అవుట్‌లయర్‌లు మరియు సిరీస్‌ల మధ్య పరస్పర సంబంధం. AI ఈ దశల కోసం కోడ్‌ను త్వరగా ఉత్పత్తి చేస్తుంది; మీ పని ఆర్థిక దృష్టితో అవుట్‌పుట్‌ను చదవడం: "ఇది సగటు సహేతుకమేనా? ఈ సహసంబంధం యాదృచ్చికంగా ఉందా లేదా తెలిసిన సంబంధమా?"

హెచ్చరిక: సహసంబంధం అనేది ఇక్కడ గుర్తింపు సాధనం మాత్రమే, కారణానికి రుజువు కాదు. రెండు సిరీస్‌లు కలిసి కదలడం (ఉదా., ఐస్‌క్రీం అమ్మకాలు మరియు మునిగిపోవడం-రెండూ వేసవిలో ప్రేరేపించబడినవి) అనే వాస్తవం తప్పనిసరిగా ఒకటి మరొకదానికి దారితీస్తుందని సూచించదు. మేము యూనిట్ 7లో ఈ వ్యత్యాసాన్ని మరింతగా పెంచుతాము.

మూడు చిన్న కేసులు

కేస్ 1 - సరికాని డిఫ్లేటర్ బేస్. ఒక విశ్లేషకుడు వేతన శ్రేణిని గ్రహించడానికి కృత్రిమ మేధస్సు వ్రాసే కోడ్‌ను కలిగి ఉన్నాడు. కోడ్ పనిచేసింది, ఫలితం సహేతుకంగా కనిపించింది - కానీ విశ్లేషకుడు 2020ని గణన దశలో మాన్యువల్‌గా లెక్కించారు మరియు అది పని చేయలేదు. సమస్య: కృత్రిమ మేధస్సు 2003=100 బేస్‌తో డిఫ్లేటర్‌ను ఉపయోగించింది మరియు 2015 ధరలతో వేతన శ్రేణిని అభ్యర్థించింది; స్థావరాలు పరస్పర విరుద్ధమైనవి. సింగిల్ లైన్ ఫిక్స్‌తో కోడ్ రిపేర్ చేయబడింది, మొత్తం సిరీస్ స్థానంలోకి వచ్చింది.

కేస్ 2 — సైలెంట్ వాల్యూమ్ ఎర్రర్. ఒక సంస్థ ఎగుమతి డేటాను వెయ్యి డాలర్లలో మరియు దిగుమతులను మిలియన్ డాలర్లలో తగ్గించింది. కృత్రిమ మేధస్సు "విదేశీ వాణిజ్య సంతులనం" కోసం రెండింటినీ తొలగించినప్పుడు, ఫలితం అసంబద్ధమైన లోటు. EDAలోని కనిష్ట-గరిష్ట వీక్షణ లోపాన్ని వెల్లడి చేసింది: రెండు సిరీస్‌ల పరిమాణం యొక్క క్రమం 1000 కారకంతో విభిన్నంగా ఉంది. యూనిట్ సమం చేయబడిన తర్వాత బ్యాలెన్స్ సరైనది.

కేస్ 3 - అవుట్‌లియర్‌ను తొలగించడం లేదు. సిరీస్‌లో ఒక నెల అసాధారణంగా తక్కువగా ఉంది. AI "అవుట్‌లియర్, దానిని శుభ్రం చేద్దాం" అని సూచించింది. విశ్లేషకుడు పరిశోధించారు: నిజానికి ఆ నెలలో ప్రకృతి వైపరీత్యం కారణంగా ఉత్పత్తి ఆగిపోయింది. విలువ నిజమైనది; దాన్ని తొలగిస్తే చరిత్ర వక్రీకరించినట్టే. తొలగింపుకు బదులుగా, అది ఫుట్‌నోట్ చేయబడింది. AI యొక్క "స్పష్టమైన" సిఫార్సు గుడ్డిగా అనుసరించబడలేదు.

మార్పిడి ధ్రువీకరణ పట్టిక

మార్పిడి

ఫార్ములా సారాంశం

మాన్యువల్ తనిఖీ కేంద్రం

సాక్షాత్కారము

నామమాత్రం / ధర సూచిక × 100

డిఫ్లేటర్ బేస్ = ఫలితం బేస్?

వార్షిక వృద్ధి

(t / t-12నెలలు - 1)×100

కాగితంపై కాలాన్ని లెక్కించండి

ఇండెక్సింగ్

సిరీస్/బేస్ పీరియడ్ × 100

బేస్ పీరియడ్ విలువ 100నా?

నెలవారీ→త్రైమాసిక

ప్రవాహం: సేకరణ / స్టాక్: వ్యవధి ముగింపు

సరైన సేకరణ పద్ధతి?

కదిలే సగటు

చివరి n వ్యవధి సగటు

విండో పొడవు సరైనదేనా?

నాలుగు కాపీ చేయగల టెంప్లేట్‌లు

1) శుభ్రపరిచే ప్రణాళిక:

నా దగ్గర ఈ ముడి డేటా ఉంది: [నిలువు వరుసలు మరియు నమూనా వరుసలు]. విశ్లేషణ కోసం సిద్ధం చేయడానికి క్లీనింగ్ ప్లాన్‌తో ముందుకు రండి: తప్పిపోయిన విలువ, యూనిట్/ఫార్మాట్ సమస్య, తేదీ అమరిక, ఫ్రీక్వెన్సీ అమరిక, సాధ్యమైన అవుట్‌లయర్‌లు. ఒక్కో అడుగు ఎందుకు అవసరమో ఒక్క వాక్యంలో వివరించండి. ఇంకా కోడ్ వ్రాయవద్దు; ముందుగా ప్లాన్‌ని నిర్ధారిస్తాను.

2) పాండాలు శుభ్రపరిచే కోడ్:

నేను ఆమోదించిన ప్లాన్ ప్రకారం పాండాస్ కోడ్ రాయండి. వ్యాఖ్య లైన్‌తో ప్రతి దశలో కోడ్ ఏమి చేస్తుందో సూచించనివ్వండి; ఇది మార్పిడి తర్వాత వరుసల సంఖ్య మరియు తప్పిపోయిన విలువలను ముద్రిస్తుంది. నిశ్శబ్దంగా ఏ పరిశీలనను చెరిపివేయవద్దు; మీరు తొలగించే ప్రతి పంక్తిని నివేదించండి.

3) రియలైజేషన్ (ధృవీకరించదగినది):

[ధర సూచిక]తో ఈ నామమాత్రపు శ్రేణిని గ్రహించండి. మీరు దానిని ఉపయోగించినప్పుడు డిఫ్లేటర్ యొక్క ఆధార సంవత్సరాన్ని స్పష్టంగా వ్రాయండి; ఫలిత సిరీస్ యొక్క ఆధారం ఏమిటో పేర్కొనండి. ఒకే వ్యవధిలో దశలవారీగా ఖాతాని నాకు చూపించు, తద్వారా నేను దానిని మాన్యువల్‌గా ధృవీకరించగలను.

4) అన్వేషణాత్మక విశ్లేషణ సారాంశం:

కింది క్లీన్ చేసిన డేటా కోసం అన్వేషణాత్మక విశ్లేషణ కోడ్‌ను వ్రాయండి: సారాంశ గణాంకాలు, సమయ శ్రేణి ప్లాట్, అవుట్‌లియర్ స్కాన్ మరియు సహసంబంధ మాతృక. ఫలితాలను వివరించేటప్పుడు, మీరు కనుగొన్న సహసంబంధాలు కారణజన్ములేనని స్పష్టం చేయండి మరియు నాకు ప్రత్యేకంగా నిలిచే 3 పాయింట్లను జాబితా చేయండి.

బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్

బలహీనమైన ప్రాంప్ట్:

ఈ డేటాను క్లియర్ చేయండి.

AI ఏమి శుభ్రం చేయాలో తెలియకుండా ఊహలతో పనిచేస్తుంది; మీరు పరిశీలనలను తొలగించవచ్చు, యూనిట్లను మార్చవచ్చు, మీరు గమనించలేరు.

శక్తివంతమైన ప్రాంప్ట్:

ఈ నెలవారీ విదేశీ వాణిజ్య డేటాలో, ఎగుమతులు "వెయ్యి USD"లో మరియు దిగుమతులు "మిలియన్ USD"లో ఉన్నాయి. రెండింటినీ "మిలియన్ USD"లో సమానంగా చేయండి, లేని నెలలను గుర్తించండి కానీ పూరించవద్దు, నెలాఖరు వరకు తేదీలను సమలేఖనం చేయండి. ప్రతి దశలో ఎన్ని అడ్డు వరుసలు ప్రభావితమయ్యాయో ప్రింట్ చేయండి; అడ్డు వరుసలను నిశ్శబ్దంగా తొలగించవద్దు. తర్వాత నేను మాన్యువల్‌గా చెక్ చేసుకోగలిగే విధంగా ఒక నెల బ్యాలెన్స్‌ని చూపించు.

సాధారణ తప్పులు

• మార్పిడి కోడ్‌ని చదవకుండానే అమలు చేస్తోంది. తప్పు బేస్/యూనిట్ మొత్తం విశ్లేషణను నిశ్శబ్దంగా పాడు చేస్తుంది.
• ఆలోచించకుండా తప్పిపోయిన డేటాను పూరించడం. సంక్షోభం/విపత్తు కాలాన్ని సగటుతో తొలగించడం.
• అవుట్‌లెయిర్‌లను స్వయంచాలకంగా విస్మరించండి. నిజమైన ఈవెంట్‌ను డేటా ఎర్రర్‌గా తప్పుబడుతున్నారు.
• కాలానుగుణ మరియు వార్షిక పెరుగుదల గందరగోళంగా ఉంది. రెండూ వేర్వేరు సైజులు.
• ఫ్రీక్వెన్సీలను తప్పుగా కలపడం. స్టాక్ శ్రేణిని సేకరించడం మరియు దానిని ప్రవాహంగా ప్రాసెస్ చేయడం.
• EDAలోని సహసంబంధాన్ని కారణానికి తప్పుబడుతున్నారు. గుర్తింపు సాధనాన్ని సాక్ష్యంగా తప్పుబడుతోంది.

సారాంశంలో

ఆర్థిక విశ్లేషణలో డేటా క్లీనింగ్ మరియు ట్రాన్స్‌ఫర్మేషన్ అనేది అదృశ్యమైన కానీ నిర్ణయాత్మకమైన 80 శాతం. కృత్రిమ మేధస్సు నాటకీయంగా ఈ యాంత్రిక పనిని వేగవంతం చేస్తుంది; అయితే ప్రతి శుభ్రపరిచే దశను మరియు ప్రతి రూపాంతరాన్ని చదవడం మరియు కనీసం ఒక పరిశీలనను మాన్యువల్‌గా ధృవీకరించడం మీ ఇష్టం. డిఫ్లేటర్ బేస్, యూనిట్, ఫ్రీక్వెన్సీ మరియు అవుట్‌లియర్ నిర్ణయాలు ఆర్థిక నిర్ణయాలు మరియు కృత్రిమ మేధస్సుకు గుడ్డిగా వదిలివేయబడవు. అన్వేషణాత్మక విశ్లేషణ డేటాను పరిచయం చేస్తుంది, కానీ సహసంబంధం కారణం కాదు.

అప్లికేషన్ టాస్క్

అసలైన ముడి సిరీస్‌ని డౌన్‌లోడ్ చేయండి (ఉదా. నెలవారీ CPI మరియు నామమాత్రపు వేతనం/ఆదాయ శ్రేణి). 1వ టెంప్లేట్‌తో క్లీనింగ్ ప్లాన్‌ను రూపొందించండి, 2వ టెంప్లేట్‌తో కోడ్‌ను రూపొందించండి మరియు 3వ టెంప్లేట్‌తో సిరీస్‌ను గ్రహించండి. అప్పుడు కాగితంపై ఒకే కాలం యొక్క వాస్తవ విలువను లెక్కించండి మరియు దానిని కృత్రిమ మేధస్సు యొక్క అవుట్‌పుట్‌తో సరిపోల్చండి. మీరు అసమతుల్యతను కనుగొంటే, దాని మూలాన్ని (బేస్/యూనిట్) నిర్ధారించి సరిదిద్దండి మరియు పురోగతిని గమనించండి.

చెక్లిస్ట్

• [ ] కోడ్ వ్రాయబడటానికి ముందు నేను శుభ్రపరిచే ప్రణాళికను సమీక్షించాను మరియు ఆమోదించాను.
• [ ] నేను నివేదించబడిన కృత్రిమ మేధస్సు ద్వారా ప్రతి పంక్తిని తొలగించాను/మార్చాను; నిశ్శబ్ద తొలగింపు లేదు.
• [ ] తప్పిపోయిన డేటాను పూరించేటప్పుడు మీరు "ఎందుకు ఖాళీగా ఉంది?" నేను ప్రశ్నకు సమాధానం ఇచ్చాను.
• [ ] నేను అవుట్‌లియర్ నిజమైన సంఘటననా లేదా డేటా లోపమా అని పరిశోధించాను.
• [ ] రియలైజేషన్‌లో, డిఫ్లేటర్ బేస్ మరియు ఫలితం బేస్ మ్యాచ్ అయ్యాయని నేను ధృవీకరించాను.
• [ ] నేను కనీసం ఒక పీరియడ్ మార్పిడిని మాన్యువల్‌గా తిరిగి లెక్కించాను.
• [ ] నేను EDAలో సహసంబంధాలను కారకంగా ప్రదర్శించలేదు.