Ieguvumi:
- Spēja notīrīt neapstrādātus ekonomiskos datus (trūkst novērojumu, vienību apjukums, frekvenču neatbilstība) un sagatavot tos analīzei ar mākslīgā intelekta palīdzību
- Iespēja mākslīgajā intelektā kā kodu izdrukāt standarta ekonomiskās transformācijas, piemēram, reālo nominālo konvertēšanu, indeksāciju, pieauguma tempu, sezonālo pielāgošanu un manuāli pārbaudīt tās
- Spēja atpazīt datus, izmantojot pētniecisko datu analīzi (kopsavilkuma statistika, sadalījums, novirzes, korelācija) un kritiski lasīt mākslīgā intelekta kopsavilkumus
Ekonomiskie dati reti tiek sagatavoti analīzei. Tabulā, kuru lejupielādējāt no TURKSTAT, trūkst dažu mēnešu, viena kolonna ir teksts ar tūkstoš iekavām, valūtas maiņas kurss ir turku formātā, piemēram, "1.234,56", viena sērija ir ikmēneša, bet otra - reizi ceturksnī. Lielāko daļu ekonomista laika pavada nevis analīzē, bet gan datu sagatavošanā analīzei. Šeit AI ir īsts, zema riska paātrinātājs: tas iesaka tīrīšanas soļus, raksta pandas (Python datu apstrādes bibliotēka), kodificē standarta ekonomiskās transformācijas. Bet šai vienībai ir arī nemainīgs noteikums: jūs izlasiet katru mākslīgā intelekta rakstīto transformāciju un manuāli pārbaudiet to vismaz vienā novērojumā. Ja reālais nominālais cikls ir uz nepareiza pamata, visa analīze klusi samazinās.
Tīrīšana: kādas problēmas, kā tās risināt?
Biežākās problēmas ekonomikas datos un to loģika:
- Nepilnīgs novērojums. Viens mēnesis/ceturksnis ir tukšs. Risinājums ir atkarīgs no konteksta: ja tas faktiski neeksistē, tas tiek atstāts tukšs; Ja ir tehniskas nepilnības, tiek veikta rūpīga interpolācija, taču robeža starp izgatavošanu ir maza.
- Mērvienību un formātu sajukums. Teksts "12.345.6" ir jāpārvērš par skaitli; miljons/miljards jākļūst konsekventai.
- Frekvences neatbilstība. Lai apvienotu mēneša un ceturkšņa rindas, to apkopo (no mēneša līdz ceturksnim) — tas, vai tā ir vidēja, kopsumma vai perioda beigas, ir atkarīgs no rādītāja rakstura (krājumu/plūsmu atšķirības).
- Ārējās (ekstrēmās) vērtības. Ja novērojums krasi novirzās: vai tas ir reāls notikums (krīze, cenu kāpums) vai datu kļūda? Tas ir saprotams pirms dzēšanas.
- Datuma izlīdzināšana. Datumu formāti un dažādu sēriju periodu definīcijas tiek sinhronizētas.
Uzmanību: trūkstošo datu aizpildīšana šķiet nevainīga, taču tas ir ekonomisks lēmums. Krīzes mēneša aizpildīšana ar "tuvējo mēnešu vidējo rādītāju" nozīmē šīs krīzes svītrošanu no analīzes. Pirms aizpildīšanas jautājiet "kāpēc šī nepilnība pastāv?" Atbildi uz jautājumu.
Standarta ekonomiskās transformācijas
Pārvērtības un to definīcijas ekonomista ikdienas repertuārā:
- Nomināls → Reāls. Pielāgošana cenu ietekmei: reālā vērtība = nominālvērtība / cenu indekss × 100. Deflatora bāzes gads (koriģējošais indekss) nosaka rezultāta bāzi.
- Indeksēšana. Sērijas mērogošana tā, lai izvēlētais periods = 100; Tas ir noderīgi, lai salīdzinātu dažādu izmēru sērijas.
- Izaugsmes temps. Gads: (šajā pašā periodā / pagājušajā gadā − 1) × 100. Periodiskā un gada likme ir dažādas lietas; Mulsināšana ir izplatīta kļūda.
- Sezonālā korekcija. Regulāru sezonālo efektu attīrīšana (vasaras tūrisms, brīvdienas); Neapstrādātas sērijas un sezonāli pielāgotās sērijas stāsta dažādus stāstus.
- Slīdošais vidējais. Izlīdzina troksni un padara tendenci redzamu.
- Logaritmi un diferencēšana. Izpētīt izaugsmes dinamiku un stacionaritāti (padziļināsies laikrindas vienībā).
Padoms. Katrā konversijā jums tiks jautāts: "Kas notika ar vienību un bāzi?" jautāt. Reālās sērijas bāze ir deflatora bāze; Indeksētās sērijas bāze ir jūsu izvēlētais periods. Pierakstot to, tiek novērstas kļūdas nākotnē.
Izpētes datu analīze (EDA)
Pirms datu ievadīšanas modelī ir nepieciešams atpazīt datus. Izpētes datu analīze (EDA) ietver: kopsavilkuma statistiku (vidējā, vidējā, standarta novirze, min-max), sadalījuma formu, kursu laikā, novirzes un korelāciju starp sērijām. AI ātri ģenerē kodu šīm darbībām; Jūsu uzdevums ir lasīt rezultātu ar ekonomisku aci: "Vai šis vidējais rādītājs ir saprātīgs? Vai šī korelācija ir sakritība vai zināma saistība?"
Uzmanību: šeit korelācija ir tikai identifikācijas līdzeklis, nevis cēloņsakarības pierādījums. Fakts, ka divas sērijas pārvietojas kopā (piemēram, saldējuma pārdošana un noslīkšana — abas izraisa vasara), ne vienmēr norāda, ka viena noved pie otras. Mēs padziļināsim šo atšķirību 7. nodaļā.
trīs mini futrāļi
1. gadījums — nepareiza deflatora pamatne. Analītiķim bija mākslīgā intelekta rakstīšanas kods, lai realizētu algu sērijas. Kods darbojās, rezultāts izskatījās saprātīgs, taču analītiķis solī CALCULATE manuāli aprēķināja 2020. gadu, un tas nedarbojās. Problēma: mākslīgais intelekts izmantoja deflatoru ar bāzi 2003=100 un pieprasīja algu rindu ar 2015.gada cenām; Pamati bija pretrunīgi. Kods tika salabots ar vienas līnijas labojumu, visa sērija nokrita vietā.
2. gadījums — klusuma skaļuma kļūda. Kāda iestāde bija samazinājusi eksporta datus tūkstošos dolāru un importu miljonos dolāru. Kad mākslīgais intelekts noņēma abus "ārējās tirdzniecības bilancei", rezultāts bija absurds deficīts. Min-max skats EDA atklāja kļūdu: abu sēriju lieluma secība atšķīrās ar koeficientu 1000. Kad vienība bija izlīdzināta, bilance bija pareiza.
3. gadījums — izņēmuma nedzēš. Viens mēnesis sērijā bija ārkārtīgi zems. AI ieteica "ārpusējs, notīrīsim to". Analītiķis izpētīja: ražošana faktiski tika pārtraukta dabas katastrofas dēļ tajā mēnesī. Vērtība bija reāla; Izdzēšot to, tiktu izkropļota vēsture. Svītrojuma vietā tika izdarīta zemsvītras piezīme. AI "skaidrais" ieteikums netika akli ievērots.
Reklāmguvumu apstiprināšanas tabula
Pārvēršana
formulas būtība
manuāls kontrolpunkts
realizācija
nominālais / cenu indekss × 100
Deflatora bāze = iznākuma bāze?
gada pieaugums
(t / t-12 mēneši - 1) × 100
Aprēķiniet periodu uz papīra
indeksēšana
sērija/bāzes periods × 100
Vai bāzes perioda vērtība ir 100?
Mēneša → ceturkšņa
plūsma: savākt / krājumi: perioda beigas
Pareiza savākšanas metode?
slīdošais vidējais
pēdējā n perioda vidējais rādītājs
Vai loga garums ir pareizs?
Četras kopējamas veidnes
1) Tīrīšanas plāns:
Man ir šie neapstrādātie dati: [kolonnas un rindas paraugs]. Izstrādājiet tīrīšanas plānu, lai sagatavotos analīzei: trūkstošās vērtības, vienības/formāta problēma, datuma saskaņošana, frekvences saskaņošana, iespējamās novirzes. Vienā teikumā paskaidrojiet, kāpēc katrs solis ir nepieciešams. Vēl nerakstiet kodu; ļaujiet man vispirms apstiprināt plānu.
2) pandu tīrīšanas kods:
Uzrakstiet pandas kodu saskaņā ar manis apstiprināto plānu. Ļaujiet kodam norādīt, ko tas dara katrā solī ar komentāru rindiņu; Pēc konvertēšanas tas izdrukā rindu skaitu un trūkstošās vērtības. Neklusējot neizdzēsiet nevienu novērojumu; Ziņojiet par katru izdzēsto rindiņu.
3) Realizācija (pārbaudāma):
Realizējiet šo nominālo sēriju ar [cenu indeksu]. Skaidri uzrakstiet deflatora bāzes gadu, kad to lietojat; Norādiet, kāda ir iegūtās sērijas bāze. Parādiet man kontu soli pa solim vienam periodam, lai es varētu to manuāli verificēt.
4) Izpētes analīzes kopsavilkums:
Uzrakstiet izpētes analīzes kodu šādiem notīrītiem datiem: kopsavilkuma statistika, laikrindu diagramma, izņēmuma skenēšana un korelācijas matrica. Interpretējot rezultātus, skaidri norādiet, ka atrastās korelācijas nav CĒLOŅSĀRĪGAS, un uzskaitiet 3 punktus, kas man izceļas.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Notīrīt šos datus.
AI rīkojas ar pieņēmumiem, nezinot, ko tīrīt; Var dzēst novērojumus, mainīt mērvienības, nepamanīsi.
Spēcīga uzvedne:
Šajos ikmēneša ārējās tirdzniecības datos eksports ir "tūkstošos USD" un imports ir "miljonos USD". Padariet abus vienādus ar "miljonu USD", atzīmējiet trūkstošos mēnešus, bet NEPILDĪT, saskaņojiet datumus ar mēneša beigām. Drukājiet, cik rindu ietekmē katrs solis; klusi dzēst nevienu rindu. Pēc tam parādiet viena mēneša atlikumu tā, lai es varētu manuāli pārbaudīt.
Biežas kļūdas
- Konversijas koda palaišana, to neizlasot. Nepareiza bāze/vienība klusi sabojā visu analīzi.
- Trūkstošo datu aizpildīšana bez domāšanas. Krīzes/katastrofas perioda dzēšana ar vidējo.
- Automātiski atmest novirzes. Reālu notikumu jaukšana ar datu kļūdu.
- Jaukta sezonālā un gada izaugsme. Abi ir dažādi izmēri.
- Nepareizi apvienotas frekvences. Krājumu sēriju apkopošana un apstrāde kā plūsma.
- EDA korelācijas maldināšana ar cēloņsakarību. Atpazīšanas rīka kā pierādījumu maldināšana.
Rezumējot
Datu tīrīšana un transformācija ir neredzami, bet izšķirošie 80 procenti ekonomiskās analīzes. Mākslīgais intelekts ievērojami paātrina šo mehānisko darbu; taču jums ir jāizlasa katrs tīrīšanas posms un katra transformācija un manuāli jāpārbauda vismaz viens novērojums. Deflatora bāzes, vienības, frekvences un ārēju lēmumi ir ekonomiski lēmumi, un tos nevar akli atstāt mākslīgā intelekta ziņā. Izpētes analīze ievada datus, bet korelācija nav cēloņsakarība.
Lietojumprogrammas uzdevums
Lejupielādējiet faktiskās neapstrādātās sērijas (piemēram, ikmēneša PCI un nominālās algas/ienākumu sērijas). Izveidojiet tīrīšanas plānu ar 1. veidni, ģenerējiet kodu ar 2. veidni un realizējiet sēriju ar 3. veidni. Pēc tam uz papīra aprēķiniet viena perioda reālo vērtību un salīdziniet to ar mākslīgā intelekta izlaidi. Ja atrodat neatbilstību, diagnosticējiet un izlabojiet tās avotu (bāzi/vienību) un atzīmējiet progresu.
kontrolsaraksts
- [ ] Es pārskatīju un apstiprināju tīrīšanas plānu pirms koda rakstīšanas.
- [ ] Man mākslīgais intelekts ir izdzēsis/izmainījis katru rindiņu; Nav klusas dzēšanas.
- [ ] Aizpildot trūkstošos datus, jūs varat jautāt "kāpēc tas ir tukšs?" Es atbildēju uz jautājumu.
- [ ] Es izpētīju, vai novirze bija reāls notikums vai datu kļūda.
- [ ] Realizācijā es pārliecinājos, ka deflatora bāze un iznākuma bāze sakrīt.
- [ ] Es manuāli pārrēķināju vismaz viena perioda konversiju.
- [ ] Es neuzrādīju korelācijas EDA kā cēloņsakarību.