Pelnas:
- Galimybė išvalyti neapdorotus ekonominius duomenis (trūkstamų stebėjimų, vienetų painiavos, dažnių neatitikimo) ir paruošti juos analizei naudojant dirbtinį intelektą
- Galimybė spausdinti standartines ekonomines transformacijas, tokias kaip realaus nominalaus konvertavimas, indeksavimas, augimo tempas, sezoninis koregavimas kaip kodą į dirbtinį intelektą ir patikrinti juos rankiniu būdu.
- Gebėjimas atpažinti duomenis atliekant tiriamąją duomenų analizę (suvestinė statistika, pasiskirstymas, nuokrypiai, koreliacija) ir kritiškai skaityti dirbtinio intelekto santraukas
Ekonominiai duomenys retai būna paruošti analizei. Lentelėje, kurią atsisiuntėte iš TURKSTAT, trūksta kelių mėnesių, vienas stulpelis pateikiamas kaip tekstas su tūkstančiais skliaustų, valiutos kursas yra turkišku formatu, pvz., "1.234,56", viena serija yra mėnesinė, o kita - kas ketvirtis. Didžiąją dalį ekonomisto laiko praleidžia ne analizei, o duomenų paruošimui analizei. Čia AI yra tikras mažos rizikos greitintuvas: jis siūlo valymo veiksmus, rašo pandas (Python duomenų apdorojimo biblioteka), kodifikuoja standartines ekonomines transformacijas. Tačiau šis vienetas taip pat turi nekeičiamą taisyklę: jūs perskaitote kiekvieną dirbtinio intelekto parašytą transformaciją ir patikrinate ją rankiniu būdu bent viename stebėjime. Jei realus nominalus ciklas yra neteisingas, visa analizė tyliai suyra.
Valymas: kokios problemos, kaip jas spręsti?
Dažniausios ekonominių duomenų problemos ir jų logika:
- Neišsamus stebėjimas. Vienas mėnuo/ketvirtis tuščias. Sprendimas priklauso nuo konteksto: jei jo iš tikrųjų nėra, jis paliekamas tuščias; Jei yra techninių spragų, atliekama kruopšti interpoliacija, tačiau riba tarp gamybos yra plona.
- Vienetų ir formatų painiava. Tekstas „12.345.6“ turi būti paverstas skaičiumi; milijonas/milijardas turėtų tapti nuoseklus.
- Dažnio neatitikimas. Norint sujungti mėnesio ir ketvirčio eilutes, jos apibendrinamos (nuo mėnesio iki ketvirčio) – ar ji yra vidutinė, bendra ar laikotarpio pabaiga, priklauso nuo rodiklio pobūdžio (atsargų ir srautų skirtumas).
- Išskirtinės (kraštutinės) reikšmės. Jei stebėjimas smarkiai nukrypsta: ar tai tikras įvykis (krizė, kainų kilimas), ar duomenų klaida? Tai suprantama prieš ištrinant.
- Datos derinimas. Skirtingų serijų datos formatai ir laikotarpio apibrėžimai sinchronizuojami.
Dėmesio: Trūkstamų duomenų pildymas atrodo nekaltas, tačiau tai yra ekonominis sprendimas. Krizės mėnesio užpildymas „gretimų mėnesių vidurkiu“ reiškia krizės išbraukimą iš analizės. Prieš pildydami paklauskite "kodėl ši spraga egzistuoja?" Atsakykite į klausimą.
Standartinės ekonominės transformacijos
Transformacijos ir jų apibrėžimai kasdieniame ekonomisto repertuare:
- Nominalus → Realus. Koregavimas pagal poveikį kainai: tikroji vertė = nominali vertė / kainos indeksas × 100. Defliatoriaus baziniai metai (koreguojantis indeksas) nustato rezultato bazę.
- Indeksavimas. Pakeiskite serijos skalę, kad pasirinktas laikotarpis = 100; Tai naudinga lyginant skirtingų dydžių serijas.
- Augimo tempas. Metinis: (tas pats laikotarpis šį laikotarpį / pernai − 1) × 100. Periodinė ir metinė norma yra skirtingi dalykai; Painiojimas yra dažna klaida.
- Sezoninė korekcija. Įprastų sezoninių efektų išvalymas (vasaros turizmas, atostogos); Neapdorotos serijos ir sezoniškai pakoreguotos serijos pasakoja skirtingas istorijas.
- Slenkantis vidurkis. Sumažinti triukšmą ir padaryti tendenciją matomą.
- Logaritmai ir diferencijavimas. Išnagrinėti augimo dinamiką ir stacionarumą (pagilins laiko eilutės vienete).
Patarimas: po kiekvienos konversijos jūsų bus klausiama „kas nutiko įrenginiui ir bazei? paklausti. Tikrosios serijos pagrindas yra defliatoriaus pagrindas; Indeksuotos serijos pagrindas yra jūsų pasirinktas laikotarpis. Tai užsirašę išvengsite klaidų ateityje.
Tiriamoji duomenų analizė (EDA)
Būtina atpažinti duomenis prieš įvedant juos į modelį. Tiriamoji duomenų analizė (EDA) apima: suvestinę statistiką (vidurkis, mediana, standartinis nuokrypis, min-max), pasiskirstymo formą, eigą laikui bėgant, iškrypimus ir koreliaciją tarp eilučių. AI greitai sugeneruoja šių veiksmų kodą; Jūsų darbas yra perskaityti išvestį ekonominiu žvilgsniu: "Ar šis vidurkis yra pagrįstas? Ar ši koreliacija yra sutapimas ar žinomas ryšys?"
Atsargiai: koreliacija yra tik identifikavimo priemonė, o ne priežastinio ryšio įrodymas. Tai, kad dvi serijos juda kartu (pvz., ledų pardavimas ir skendimai, kuriuos abu sukelia vasara), nebūtinai rodo, kad viena veda į kitą. Šį skirtumą pagilinsime 7 skyriuje.
trys mini dėklai
1 atvejis – netinkamas defliatoriaus pagrindas. Analitikas turėjo dirbtinio intelekto rašymo kodą, kad galėtų realizuoti atlyginimų serijas. Kodas veikė, rezultatas atrodė pagrįstas, bet analitikas rankiniu būdu apskaičiavo 2020 m. APSKAIČIAVIMO žingsnyje ir tai neveikė. Problema: dirbtinis intelektas naudojo defliatorių su baze 2003=100 ir paprašė darbo užmokesčio eilutės su 2015 metų kainomis; Pagrindai buvo prieštaringi. Kodas buvo pataisytas su vienos eilutės pataisymu, visa serija pateko į savo vietas.
2 atvejis – tylaus garso klaida. Įstaiga sumažino eksporto duomenis tūkstančiais dolerių ir importo duomenis milijonais dolerių. Kai dirbtinis intelektas pašalino šiuos du dalykus „užsienio prekybos balansui“, rezultatas buvo absurdiškas deficitas. Min-max rodinys EDA atskleidė klaidą: dviejų eilučių dydžių tvarka skyrėsi 1000 kartų. Kai vienetas buvo išlygintas, balansas buvo teisingas.
3 atvejis – nepašalinimas. Vienas mėnuo iš serijos buvo nepaprastai mažas. AI pasiūlė „išskirtinis, išvalykim“. Analitikas ištyrė: gamyba iš tikrųjų buvo sustabdyta dėl stichinės nelaimės tą mėnesį. Vertė buvo tikra; Ištrynus jį būtų iškraipoma istorija. Vietoj išbraukimo jis buvo parašyta išnaša. AI „aiškios“ rekomendacijos nebuvo aklai laikomasi.
Konversijos patvirtinimo lentelė
Konversija
formulės esmė
rankinis patikros taškas
realizavimas
nominalus / kainos indeksas × 100
Defliatoriaus bazė = rezultatų bazė?
metinis augimas
(t / t-12mėn. − 1) × 100
Apskaičiuokite laikotarpį ant popieriaus
indeksavimas
serija / bazinis laikotarpis × 100
Ar bazinio laikotarpio vertė yra 100?
Kas mėnesį → kas ketvirtį
srautas: surinkti / atsargos: laikotarpio pabaiga
Teisingas surinkimo būdas?
slankusis vidurkis
paskutinio n laikotarpio vidurkis
Ar tinkamas lango ilgis?
Keturi kopijuojami šablonai
1) Valymo planas:
Turiu šiuos neapdorotus duomenis: [stulpeliai ir pavyzdinės eilutės]. Sudarykite valymo planą, kad galėtumėte pasiruošti analizei: trūkstamos vertės, vieneto / formato problema, datos derinimas, dažnio derinimas, galimi nuokrypiai. Vienu sakiniu paaiškinkite, kodėl kiekvienas žingsnis yra būtinas. Dar nerašykite kodo; pirma patvirtinsiu planą.
2) pandų valymo kodas:
Parašykite pandos kodą pagal mano patvirtintą planą. Tegul kodas nurodo, ką jis daro kiekviename žingsnyje su komentaro eilute; Po konvertavimo išspausdinamas eilučių skaičius ir trūkstamos reikšmės. Tyliai neištrinkite jokio stebėjimo; Praneškite apie kiekvieną ištrintą eilutę.
3) Realizavimas (galima patikrinti):
Įgyvendinkite šią nominalią eilutę naudodami [kainų indeksą]. Aiškiai parašykite bazinius defliatoriaus metus, kai jį naudojate; Nurodykite, kokia yra gautos serijos bazė. Parodykite man vieno laikotarpio sąskaitą žingsnis po žingsnio, kad galėčiau ją patvirtinti rankiniu būdu.
4) tiriamosios analizės santrauka:
Parašykite tiriamosios analizės kodą šiems išvalytiems duomenims: suvestinės statistikos, laiko eilučių grafiko, išskirtinių nuskaitymo ir koreliacijos matricos. Aiškindami rezultatus aiškiai nurodykite, kad jūsų rastos koreliacijos nėra PRIEŽASTINIS, ir išvardinkite 3 man svarbius dalykus.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Išvalyti šiuos duomenis.
AI veikia su prielaidomis, nežinodamas, ką valyti; Galite ištrinti stebėjimus, keisti vienetus, nepastebėsite.
Galingas raginimas:
Šiuose mėnesiniuose užsienio prekybos duomenyse eksportas yra „tūkstantis USD“, o importas – „milijonais USD“. Padarykite abu lygius „milijonais USD“, pažymėkite trūkstamus mėnesius, bet NEPILDYK, sulygiuokite datas su mėnesio pabaiga. Spausdinkite, kiek eilučių paveikia kiekvienas veiksmas; tyliai neištrinti jokių eilučių. Tada parodykite vieno mėnesio likutį taip, kad galėčiau patikrinti rankiniu būdu.
Dažnos klaidos
- Konversijos kodo paleidimas jo neskaitant. Netinkama bazė / vienetas tyliai sugadina visą analizę.
- Trūkstamų duomenų pildymas negalvojant. Krizės/nelaimės laikotarpio trynimas su vidurkiu.
- Automatiškai atmesti nuokrypius. Tikro įvykio sumaišymas su duomenų klaida.
- Painios sezoninis ir metinis augimas. Abu yra skirtingų dydžių.
- Neteisingai derinami dažniai. Atsargų serijų rinkimas ir apdorojimas kaip srautas.
- EDA koreliacijos klaidinimas su priežastiniu ryšiu. Atpažinimo įrankio klaidinimas kaip įrodymas.
Apibendrinant
Duomenų valymas ir transformavimas yra nematoma, bet lemiama 80 procentų ekonominės analizės. Dirbtinis intelektas labai pagreitina šį mechaninį darbą; bet jūs turite perskaityti kiekvieną valymo veiksmą ir kiekvieną transformaciją ir rankiniu būdu patikrinti bent vieną pastebėjimą. Defliatoriaus bazė, vienetas, dažnis ir pašaliniai sprendimai yra ekonominiai sprendimai ir jų negalima aklai palikti dirbtiniam intelektui. Tiriamoji analizė pateikia duomenis, tačiau koreliacija nėra priežastinis ryšys.
Taikymo užduotis
Atsisiųskite faktines neapdorotas serijas (pvz., mėnesio VKI ir nominalaus darbo užmokesčio / pajamų eilutę). Sukurkite valymo planą naudodami 1-ąjį šabloną, sugeneruokite kodą su 2-uoju šablonu ir įgyvendinkite seriją naudodami 3-ią šabloną. Tada apskaičiuokite tikrąją vieno laikotarpio vertę ant popieriaus ir palyginkite ją su dirbtinio intelekto produkcija. Jei radote neatitikimą, diagnozuokite ir pataisykite jo šaltinį (pagrindą / vienetą) ir atkreipkite dėmesį į pažangą.
kontrolinis sąrašas
- [ ] Prieš parašydamas kodą peržiūrėjau ir patvirtinau valymo planą.
- [ ] Man buvo pranešta apie kiekvieną eilutę, kurią ištrynė/pakeitė dirbtinis intelektas; Nėra tylaus ištrynimo.
- [ ] Pildydami trūkstamus duomenis galite paklausti "kodėl jis tuščias?" atsakiau į klausimą.
- [ ] Ištyriau, ar išskirtinis įvykis buvo tikras įvykis, ar duomenų klaida.
- [ ] Realizuodamas patikrinau, ar defliatoriaus bazė ir rezultatų bazė sutampa.
- [ ] Rankiniu būdu perskaičiavau bent vieno laikotarpio konvertavimą.
- [ ] EDA koreliacijų kaip priežastinio ryšio nepateikiau.