தரவு சுத்திகரிப்பு, மாற்றம் மற்றும் ஆய்வு பகுப்பாய்வு (பைதான்/பாண்டாஸ் ஆதரவுடன்)

ஆதாயங்கள்:

• மூல பொருளாதாரத் தரவைச் சுத்தம் செய்யும் திறன் (காணாமல் போன அவதானிப்புகள், யூனிட் குழப்பம், அதிர்வெண் பொருத்தமின்மை) மற்றும் செயற்கை நுண்ணறிவின் உதவியுடன் பகுப்பாய்வுக்குத் தயார்படுத்தும் திறன்
• உண்மையான பெயரளவு மாற்றம், அட்டவணைப்படுத்தல், வளர்ச்சி விகிதம், பருவகால சரிசெய்தல் போன்ற நிலையான பொருளாதார மாற்றங்களை செயற்கை நுண்ணறிவில் குறியீடாக அச்சிட்டு அவற்றை கைமுறையாக சரிபார்க்கும் திறன்
• ஆய்வு தரவு பகுப்பாய்வு (சுருக்கப் புள்ளிவிவரங்கள், விநியோகம், வெளிப்புறங்கள், தொடர்பு) மூலம் தரவை அடையாளம் காணும் திறன் மற்றும் செயற்கை நுண்ணறிவு சுருக்கங்களை விமர்சன ரீதியாகப் படிக்கும் திறன்

பொருளாதார தரவு அரிதாகவே பகுப்பாய்வுக்கு தயாராக உள்ளது. TURKSTAT இலிருந்து நீங்கள் பதிவிறக்கிய அட்டவணையில், சில மாதங்கள் காணவில்லை, ஒரு நெடுவரிசை ஆயிரம் அடைப்புக்குறிகளுடன் உரையாக வருகிறது, பரிமாற்ற விகிதம் "1.234,56" போன்ற துருக்கிய வடிவத்தில் உள்ளது, ஒரு தொடர் மாதாந்திரம் மற்றும் மற்றொன்று காலாண்டு. பொருளாதார நிபுணரின் பெரும்பாலான நேரம் பகுப்பாய்வில் செலவழிக்கப்படுவதில்லை, ஆனால் தரவை பகுப்பாய்வுக்குத் தயார் செய்வதில்தான் செலவிடப்படுகிறது. இங்குதான் AI ஒரு உண்மையான, குறைந்த-ஆபத்து முடுக்கி: இது தூய்மைப்படுத்தும் படிகளை பரிந்துரைக்கிறது, பாண்டாக்களை எழுதுகிறது (பைத்தானின் தரவு செயலாக்க நூலகம்), நிலையான பொருளாதார மாற்றங்களை குறியிடுகிறது. ஆனால் இந்த அலகுக்கு ஒரு மாறாத விதி உள்ளது: நீங்கள் செயற்கை நுண்ணறிவால் எழுதப்பட்ட ஒவ்வொரு மாற்றத்தையும் படித்து, குறைந்தபட்சம் ஒரு கவனிப்பில் அதை கைமுறையாக சரிபார்க்கவும். உண்மையான பெயரளவு சுழற்சி தவறான நிலையில் இருந்தால், முழு பகுப்பாய்வும் அமைதியாக சிதைகிறது.

சுத்தம்: என்ன பிரச்சினைகள், அவற்றை எவ்வாறு தீர்ப்பது?

பொருளாதார தரவு மற்றும் அவற்றின் தர்க்கத்தில் மிகவும் பொதுவான சிக்கல்கள்:

• முழுமையற்ற கவனிப்பு. ஒரு மாதம்/காலாண்டு காலியாக உள்ளது. தீர்வு சூழலைப் பொறுத்தது: அது உண்மையில் இல்லை என்றால், அது காலியாக விடப்படும்; தொழில்நுட்ப இடைவெளி இருந்தால், கவனமாக இடைக்கணிப்பு செய்யப்படுகிறது - ஆனால் புனையலுக்கு இடையேயான கோடு மெல்லியதாக இருக்கும்.
• அலகுகள் மற்றும் வடிவங்களின் குழப்பம். "12.345.6" என்ற உரை எண்ணாக மாற்றப்பட வேண்டும்; மில்லியன்/பில்லியன் சீராக மாற வேண்டும்.
• அலைவரிசை பொருத்தமின்மை. மாதாந்திர மற்றும் காலாண்டு தொடர்களை இணைக்க, ஒன்று (மாதாந்திரம் முதல் காலாண்டு வரை) - இது சராசரியாக இருந்தாலும், மொத்தமாக இருந்தாலும் அல்லது காலத்தின் முடிவாக இருந்தாலும், குறிகாட்டியின் தன்மையைப் பொறுத்தது (பங்கு/பாய்வு வேறுபாடு).
• வெளிப்புற (தீவிர) மதிப்புகள். ஒரு கவனிப்பு பெருமளவில் விலகினால்: அது ஒரு உண்மையான நிகழ்வா (நெருக்கடி, விலை உயர்வு) அல்லது தரவு பிழையா? நீக்குவதற்கு முன் புரிந்து கொள்ளப்படுகிறது.
• தேதி சீரமைப்பு. வெவ்வேறு தொடர்களின் தேதி வடிவங்கள் மற்றும் கால வரையறைகள் ஒத்திசைக்கப்படுகின்றன.

கவனம்: விடுபட்ட தரவை நிரப்புவது குற்றமற்றதாகத் தோன்றுகிறது, ஆனால் இது ஒரு பொருளாதார முடிவு. நெருக்கடி மாதத்தை "அண்டை மாதங்களின் சராசரி" மூலம் நிரப்புவது என்பது அந்த நெருக்கடியை பகுப்பாய்விலிருந்து நீக்குவதாகும். நிரப்புவதற்கு முன், "ஏன் இந்த இடைவெளி உள்ளது?" கேள்விக்கு பதில் சொல்லுங்கள்.

நிலையான பொருளாதார மாற்றங்கள்

ஒரு பொருளாதார நிபுணரின் தினசரி தொகுப்பில் மாற்றங்கள் மற்றும் அவற்றின் வரையறைகள்:

• பெயரளவு → உண்மையானது. விலை தாக்கத்தை சரிசெய்தல்: உண்மையான மதிப்பு = பெயரளவு மதிப்பு / விலைக் குறியீடு × 100. டிஃப்ளேட்டரின் அடிப்படை ஆண்டு (குறியீட்டைச் சரிசெய்தல்) முடிவின் அடிப்படையைத் தீர்மானிக்கிறது.
• அட்டவணைப்படுத்துதல். தேர்ந்தெடுக்கப்பட்ட காலம் = 100 என்று தொடரை மறுஅளவிடுதல்; வெவ்வேறு அளவுகளின் தொடர்களை ஒப்பிடுவதற்கு இது பயனுள்ளதாக இருக்கும்.
• வளர்ச்சி விகிதம். ஆண்டு: (இதே காலகட்டம் / கடந்த ஆண்டு - 1) × 100. கால மற்றும் வருடாந்திர விகிதம் வெவ்வேறு விஷயங்கள்; குழப்பம் என்பது ஒரு பொதுவான தவறு.
• பருவகால திருத்தம். வழக்கமான பருவகால விளைவுகளைத் தூய்மைப்படுத்துதல் (கோடை சுற்றுலா, விடுமுறை நாட்கள்); மூலத் தொடர்களும், பருவகாலச் சரிப்படுத்தப்பட்ட தொடர்களும் வெவ்வேறு கதைகளைக் கூறுகின்றன.
• நகரும் சராசரி. இரைச்சலை மென்மையாக்குதல் மற்றும் போக்கு புலப்படும்.
• மடக்கைகள் மற்றும் வேறுபாடு. வளர்ச்சி இயக்கவியல் மற்றும் நிலைத்தன்மையை ஆய்வு செய்ய (நேரத் தொடர் அலகில் ஆழமடையும்).

உதவிக்குறிப்பு: ஒவ்வொரு மாற்றத்தின் போதும் "அலகு மற்றும் அடித்தளத்திற்கு என்ன ஆனது?" கேட்க. உண்மையான தொடரின் அடிப்படையானது டிஃப்ளேட்டரின் அடிப்படையாகும்; அட்டவணைப்படுத்தப்பட்ட தொடரின் அடிப்படையானது நீங்கள் தேர்ந்தெடுக்கும் காலம் ஆகும். இதை எழுதி வைத்திருப்பது எதிர்கால தவறுகளைத் தடுக்கும்.

ஆய்வு தரவு பகுப்பாய்வு (EDA)

மாதிரியில் நுழைவதற்கு முன் தரவை அடையாளம் காண வேண்டியது அவசியம். ஆய்வு தரவு பகுப்பாய்வு (EDA) பின்வருவனவற்றை உள்ளடக்குகிறது: சுருக்கமான புள்ளிவிவரங்கள் (சராசரி, சராசரி, நிலையான விலகல், குறைந்தபட்சம்-அதிகபட்சம்), விநியோகத்தின் வடிவம், காலப்போக்கில், வெளிப்புறங்கள் மற்றும் தொடர்களுக்கு இடையிலான தொடர்பு. AI இந்த படிகளுக்கான குறியீட்டை விரைவாக உருவாக்குகிறது; பொருளாதாரக் கண்ணோட்டத்துடன் வெளியீட்டைப் படிப்பதே உங்கள் வேலை: "இந்த சராசரி நியாயமானதா? இந்தத் தொடர்பு தற்செயலானதா அல்லது தெரிந்த உறவா?"

எச்சரிக்கை: தொடர்பு என்பது இங்கு அடையாளப்படுத்துவதற்கான ஒரு வழிமுறையாகும், காரணத்திற்கான ஆதாரம் அல்ல. இரண்டு தொடர்கள் ஒன்றாக நகர்வது (எ.கா., ஐஸ்கிரீம் விற்பனை மற்றும் நீரில் மூழ்குவது-இரண்டும் கோடையில் தூண்டப்படுவது) ஒன்று மற்றொன்றுக்கு இட்டுச் செல்கிறது என்பதைக் குறிக்கவில்லை. இந்த வேறுபாட்டை அலகு 7 இல் ஆழப்படுத்துவோம்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - தவறான டிஃப்ளேட்டர் அடிப்படை. ஒரு ஆய்வாளர் ஊதியத் தொடரை உணர செயற்கை நுண்ணறிவு எழுதும் குறியீட்டைக் கொண்டிருந்தார். குறியீடு வேலை செய்தது, முடிவு நியாயமானதாகத் தோன்றியது - ஆனால் ஆய்வாளர் 2020ஐ CALCULATE படியில் கைமுறையாகக் கணக்கிட்டார், அது வேலை செய்யவில்லை. சிக்கல்: செயற்கை நுண்ணறிவு 2003=100 அடிப்படையுடன் டிஃப்ளேட்டரைப் பயன்படுத்தியது மற்றும் 2015 விலைகளுடன் ஊதியத் தொடரைக் கோரியது; அடிப்படைகள் முரண்பட்டன. ஒற்றை வரி திருத்தம் மூலம் குறியீடு சரிசெய்யப்பட்டது, முழு தொடரும் இடத்தில் விழுந்தது.

வழக்கு 2 - சைலண்ட் வால்யூம் பிழை. ஒரு நிறுவனம் ஏற்றுமதி தரவை ஆயிரம் டாலர்களிலும் இறக்குமதியை மில்லியன் டாலர்களிலும் குறைத்தது. செயற்கை நுண்ணறிவு "அந்நிய வர்த்தக சமநிலை"க்காக இரண்டையும் நீக்கியபோது, ​​விளைவு அபத்தமான பற்றாக்குறை. EDA இல் உள்ள min-max view பிழையை வெளிப்படுத்தியது: இரண்டு தொடர்களின் அளவின் வரிசை 1000 காரணிகளால் வேறுபட்டது. அலகு சமப்படுத்தப்பட்டவுடன் சமநிலை சரியாக இருந்தது.

வழக்கு 3 - அவுட்லைரை நீக்கவில்லை. ஒரு தொடரில் ஒரு மாதம் அசாதாரணமாக குறைவாக இருந்தது. AI பரிந்துரைத்தது "அவுட்லியர், அதை சுத்தம் செய்வோம்". ஆய்வாளர் விசாரித்தார்: அந்த மாதம் இயற்கை பேரழிவு காரணமாக உற்பத்தி நிறுத்தப்பட்டது. மதிப்பு உண்மையானது; அதை நீக்குவது வரலாற்றை சிதைத்துவிடும். நீக்குவதற்குப் பதிலாக, அடிக்குறிப்பு கொடுக்கப்பட்டது. AI இன் "தெளிவான" பரிந்துரை கண்மூடித்தனமாக பின்பற்றப்படவில்லை.

மாற்ற சரிபார்ப்பு அட்டவணை

மாற்றம்

சூத்திர சாரம்

கைமுறை சோதனைச் சாவடி

உணர்தல்

பெயரளவு / விலைக் குறியீடு × 100

Deflator அடிப்படை = விளைவு அடிப்படை?

ஆண்டு வளர்ச்சி

(t / t-12மாதம் - 1)×100

காகிதத்தில் ஒரு காலத்தை கணக்கிடுங்கள்

அட்டவணைப்படுத்துதல்

தொடர்/அடிப்படை காலம் × 100

அடிப்படை கால மதிப்பு 100?

மாதாந்திர → காலாண்டு

ஓட்டம்: சேகரிப்பு / பங்கு: காலத்தின் முடிவு

சரியான சேகரிப்பு முறை?

நகரும் சராசரி

கடந்த n கால சராசரி

சாளரத்தின் நீளம் சரியானதா?

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) சுத்தம் செய்யும் திட்டம்:

என்னிடம் இந்த மூல தரவு உள்ளது: [நெடுவரிசைகள் மற்றும் மாதிரி வரிசைகள்]. பகுப்பாய்விற்குத் தயாராவதற்கு ஒரு துப்புரவுத் திட்டத்தைக் கொண்டு வாருங்கள்: காணாமல் போன மதிப்பு, அலகு/வடிவச் சிக்கல், தேதி சீரமைப்பு, அதிர்வெண் சீரமைப்பு, சாத்தியமான அவுட்லையர்கள். ஒவ்வொரு அடியும் ஏன் அவசியம் என்பதை ஒரு வாக்கியத்தில் விளக்கவும். இன்னும் குறியீடு எழுத வேண்டாம்; முதலில் திட்டத்தை உறுதிப்படுத்துகிறேன்.

2) பாண்டாக்களை சுத்தம் செய்யும் குறியீடு:

நான் அங்கீகரித்த திட்டத்தின்படி பாண்டாஸ் குறியீட்டை எழுதுங்கள். ஒவ்வொரு அடியிலும் அது என்ன செய்கிறது என்பதை ஒரு கருத்து வரியுடன் குறியீடு குறிப்பிடட்டும்; இது மாற்றத்திற்குப் பிறகு வரிசைகளின் எண்ணிக்கை மற்றும் விடுபட்ட மதிப்புகளை அச்சிடுகிறது. அமைதியாக எந்த கவனிப்பையும் அழிக்க வேண்டாம்; நீங்கள் நீக்கும் ஒவ்வொரு வரியையும் தெரிவிக்கவும்.

3) உணர்தல் (சரிபார்க்கக்கூடியது):

இந்த பெயரளவு தொடரை [விலை குறியீட்டுடன்] உணரவும். டிஃப்ளேட்டரைப் பயன்படுத்தும் போது அதன் அடிப்படை ஆண்டைத் தெளிவாக எழுதுங்கள்; இதன் விளைவாக வரும் தொடரின் அடிப்படை என்ன என்பதைக் குறிப்பிடவும். ஒரு காலகட்டத்திற்கான கணக்கை படிப்படியாகக் காட்டுங்கள், அதனால் நான் அதை கைமுறையாக சரிபார்க்க முடியும்.

4) ஆய்வு பகுப்பாய்வு சுருக்கம்:

பின்வரும் சுத்திகரிக்கப்பட்ட தரவுகளுக்கான ஆய்வுப் பகுப்பாய்வுக் குறியீட்டை எழுதவும்: சுருக்கப் புள்ளிவிவரங்கள், நேரத் தொடர் சதி, அவுட்லியர் ஸ்கேன் மற்றும் தொடர்பு அணி. முடிவுகளை விளக்கும் போது, ​​நீங்கள் கண்டறிந்த தொடர்புகள் காரணமானவை அல்ல என்பதை தெளிவுபடுத்துங்கள் மற்றும் எனக்கு தனித்து நிற்கும் 3 புள்ளிகளை பட்டியலிடவும்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

இந்தத் தரவை அழிக்கவும்.

எதை சுத்தம் செய்வது என்று தெரியாமல் AI அனுமானங்களுடன் செயல்படுகிறது; நீங்கள் அவதானிப்புகளை நீக்கலாம், அலகுகளை மாற்றலாம், நீங்கள் கவனிக்க மாட்டீர்கள்.

சக்திவாய்ந்த தூண்டுதல்:

இந்த மாதாந்திர வெளிநாட்டு வர்த்தக தரவுகளில், ஏற்றுமதி "ஆயிரம் அமெரிக்க டாலர்" மற்றும் இறக்குமதி "மில்லியன் அமெரிக்க டாலர்". இரண்டையும் "மில்லியன் அமெரிக்க டாலர்களில்" சமமாக்குங்கள், விடுபட்ட மாதங்களைக் குறிக்கவும், ஆனால் நிரப்ப வேண்டாம், மாத இறுதி வரை தேதிகளை சீரமைக்கவும். ஒவ்வொரு அடியிலும் எத்தனை வரிசைகள் பாதிக்கப்படுகின்றன என்பதை அச்சிடவும்; வரிசைகளை அமைதியாக நீக்க வேண்டாம். நான் கைமுறையாகச் சரிபார்க்கும் வகையில் ஒரு மாதத்திற்கான இருப்பைக் காட்டு.

பொதுவான தவறுகள்

• மாற்றக் குறியீட்டைப் படிக்காமலே இயக்குகிறது. தவறான அடிப்படை/அலகு முழு பகுப்பாய்வையும் அமைதியாக சிதைக்கிறது.
• காணாமல் போன தரவை சிந்திக்காமல் நிரப்புதல். நெருக்கடி/பேரழிவு காலத்தை சராசரியுடன் அழித்தல்.
• வெளிப்புறங்களைத் தானாக நிராகரிக்கவும். உண்மையான நிகழ்வை தரவுப் பிழையாகத் தவறாகப் புரிந்துகொள்வது.
• குழப்பமான பருவகால மற்றும் வருடாந்திர வளர்ச்சி. இரண்டும் வெவ்வேறு அளவுகள்.
• அலைவரிசைகளை தவறாக இணைத்தல். பங்குத் தொடரைச் சேகரித்து, அதை ஓட்டமாகச் செயலாக்குதல்.
• EDA இல் உள்ள தொடர்பை காரணத்திற்காக தவறாகப் புரிந்துகொள்வது. அங்கீகாரக் கருவியை ஆதாரமாக தவறாகப் புரிந்துகொள்வது.

சுருக்கமாக

தரவு சுத்திகரிப்பு மற்றும் உருமாற்றம் என்பது பொருளாதார பகுப்பாய்வில் கண்ணுக்கு தெரியாத ஆனால் தீர்க்கமான 80 சதவீதமாகும். செயற்கை நுண்ணறிவு இந்த இயந்திர வேலையை வியத்தகு முறையில் வேகப்படுத்துகிறது; ஆனால் ஒவ்வொரு துப்புரவுப் படியையும் ஒவ்வொரு மாற்றத்தையும் படித்து, குறைந்தது ஒரு கவனிப்பையாவது கைமுறையாகச் சரிபார்ப்பது உங்களுடையது. டிஃப்ளேட்டர் பேஸ், யூனிட், ஃப்ரீக்வன்சி மற்றும் அவுட்லியர் முடிவுகள் ஆகியவை பொருளாதார முடிவுகளாகும், மேலும் அவை செயற்கை நுண்ணறிவுக்கு கண்மூடித்தனமாக விட்டுவிட முடியாது. ஆய்வு பகுப்பாய்வு தரவை அறிமுகப்படுத்துகிறது, ஆனால் தொடர்புக்கு காரணம் இல்லை.

விண்ணப்ப பணி

உண்மையான மூலத் தொடரைப் பதிவிறக்கவும் (எ.கா. மாதாந்திர CPI மற்றும் பெயரளவு ஊதியம்/வருமானத் தொடர்). 1வது டெம்ப்ளேட்டைக் கொண்டு துப்புரவுத் திட்டத்தை உருவாக்கி, 2வது டெம்ப்ளேட்டுடன் குறியீட்டை உருவாக்கி, 3வது டெம்ப்ளேட்டைக் கொண்டு தொடரை உணருங்கள். பின்னர் காகிதத்தில் ஒரு காலகட்டத்தின் உண்மையான மதிப்பைக் கணக்கிட்டு அதை செயற்கை நுண்ணறிவின் வெளியீட்டுடன் ஒப்பிடவும். நீங்கள் பொருத்தமின்மையைக் கண்டால், அதன் மூலத்தை (அடிப்படை/அலகு) கண்டறிந்து சரிசெய்து முன்னேற்றத்தைக் கவனியுங்கள்.

சரிபார்ப்பு பட்டியல்

• [ ] குறியீடு எழுதப்படுவதற்கு முன்பு நான் சுத்தம் செய்யும் திட்டத்தை மதிப்பாய்வு செய்து ஒப்புதல் அளித்தேன்.
• [ ] நான் ஒவ்வொரு வரியையும் நீக்கி/மாற்றியதாக செயற்கை நுண்ணறிவு அறிக்கை அளித்தது; அமைதியான நீக்கம் இல்லை.
• [ ] விடுபட்ட தரவை நிரப்பும்போது "ஏன் காலியாக உள்ளது?" என்ற கேள்விக்கு பதிலளித்தேன்.
• [ ] அவுட்லியர் உண்மையான நிகழ்வா அல்லது தரவுப் பிழையா என்பதை ஆராய்ந்தேன்.
• [ ] உணர்தலில், டிஃப்ளேட்டர் பேஸ் மற்றும் விளைவின் அடிப்படை பொருத்தம் என்பதை நான் சரிபார்த்தேன்.
• [ ] குறைந்தது ஒரு காலகட்டத்தின் மாற்றத்தை நான் கைமுறையாக மீண்டும் கணக்கிட்டேன்.
• [ ] நான் EDA இல் தொடர்புகளை காரணமாக முன்வைக்கவில்லை.