zisky:
- Schopnosť vyčistiť nespracované ekonomické údaje (chýbajúce pozorovania, zámena jednotiek, nesúlad frekvencií) a pripraviť ich na analýzu pomocou umelej inteligencie
- Schopnosť vytlačiť štandardné ekonomické transformácie, ako je skutočná nominálna konverzia, indexácia, miera rastu, sezónne úpravy, ako kód do umelej inteligencie a manuálne ich overiť
- Schopnosť rozpoznávať údaje prostredníctvom prieskumnej analýzy údajov (súhrnná štatistika, distribúcia, odľahlé hodnoty, korelácia) a kriticky čítať súhrny umelej inteligencie
Ekonomické údaje sú len zriedka pripravené na analýzu. V tabuľke, ktorú ste stiahli z TURKSTATU, chýbajú niektoré mesiace, jeden stĺpec je ako text s tisíckami zátvoriek, výmenný kurz je v tureckom formáte ako "1.234,56", jeden rad je mesačný a druhý štvrťročný. Väčšinu času ekonóm nestrávi analýzou, ale prípravou údajov na analýzu. Tu je AI skutočným akcelerátorom s nízkym rizikom: navrhuje kroky na čistenie, zapisuje pandy (knižnica na spracovanie údajov Pythonu), kodifikuje štandardné ekonomické transformácie. Táto jednotka má ale aj nemenné pravidlo: Každú transformáciu napísanú umelou inteligenciou prečítate a manuálne overíte aspoň v jednom pozorovaní. Ak je skutočný nominálny cyklus na nesprávnom základe, celá analýza sa ticho rozpadne.
Čistenie: aké problémy, ako ich vyriešiť?
Najčastejšie problémy v ekonomických údajoch a ich logika:
- Neúplné pozorovanie. Jeden mesiac/štvrťrok je prázdny. Riešenie závisí od kontextu: ak v skutočnosti neexistuje, zostane prázdne; Ak existuje technická medzera, vykoná sa starostlivá interpolácia - ale hranica medzi výrobou je tenká.
- Zámena jednotiek a formátov. Text „12.345.6“ je potrebné previesť na číslo; milión/miliarda by mala byť konzistentná.
- Nesúlad frekvencií. Na kombinovanie mesačných a štvrťročných radov sa jeden agreguje (mesačný až štvrťročný) – či ide o priemerný, celkový alebo koniec obdobia závisí od povahy ukazovateľa (rozlíšenie stav/tok).
- Mimoriadne (extrémne) hodnoty. Ak sa pozorovanie výrazne odchyľuje: je to skutočná udalosť (kríza, zvýšenie cien) alebo chyba údajov? Rozumie sa pred vymazaním.
- Zarovnanie dátumu. Formáty dátumu a definície období rôznych sérií sú synchronizované.
Pozor: Vyplnenie chýbajúcich údajov sa zdá byť nevinné, ale ide o ekonomické rozhodnutie. Vyplnenie krízového mesiaca „priemerom susedných mesiacov“ znamená vymazanie tejto krízy z analýzy. Pred vyplnením sa opýtajte "prečo existuje táto medzera?" Odpovedzte na otázku.
Štandardné ekonomické transformácie
Premeny a ich definície v dennom repertoári ekonóma:
- Nominálny → Skutočný. Očistenie o cenový vplyv: reálna hodnota = nominálna hodnota / cenový index × 100. Základný rok deflátora (upravujúci index) určuje základ výsledku.
- Indexovanie. Zmena mierky série tak, aby zvolené obdobie = 100; Je to užitočné na porovnávanie sérií rôznych veľkostí.
- Miera rastu. Ročná: (rovnaké obdobie toto obdobie / minulý rok − 1) × 100. Periodická a ročná sadzba sú rozdielne veci; Častou chybou je zmätok.
- Sezónna korekcia. Prečistenie pravidelných sezónnych vplyvov (letná turistika, dovolenka); Surové série a sezónne upravené série rozprávajú rôzne príbehy.
- Pohyblivý priemer. Vyhladenie hluku a zviditeľnenie trendu.
- Logaritmy a diferencovanie. Skúmať dynamiku rastu a stacionaritu (bude sa prehlbovať v jednotke časového radu).
Tip: Pri každej konverzii sa vás opýta, čo sa stalo s jednotkou a základňou? spýtaj sa. Základom skutočnej série je základňa deflátora; Základom indexovaného radu je obdobie, ktoré si zvolíte. Uchovávanie tohto napísaného zabráni budúcim chybám.
Prieskumná analýza údajov (EDA)
Pred vložením do modelu je potrebné údaje rozpoznať. Prieskumná analýza údajov (EDA) zahŕňa: súhrnnú štatistiku (priemer, medián, štandardná odchýlka, min-max), tvar rozdelenia, priebeh v čase, odľahlé hodnoty a koreláciu medzi sériami. AI rýchlo vygeneruje kód pre tieto kroky; Vašou úlohou je čítať výstup ekonomickým pohľadom: "Je tento priemer primeraný? Je táto korelácia náhoda alebo známy vzťah?"
Pozor: Korelácia je tu len prostriedkom identifikácie, nie dôkazom príčinnej súvislosti. Skutočnosť, že sa dve série pohybujú spoločne (napr. predaj zmrzliny a utopenie – obe spustené letom), nemusí nevyhnutne znamenať, že jedna vedie k druhej. Tento rozdiel prehĺbime v 7. bloku.
tri mini prípady
Prípad 1 – Nesprávna základňa deflátora. Analytik nechal umelú inteligenciu napísať kód na realizáciu mzdových sérií. Kód fungoval, výsledok vyzeral rozumne – ale analytik ručne vypočítal rok 2020 v kroku CALCULATE a nefungovalo to. Problém: umelá inteligencia použila deflátor so základom 2003=100 a vyžiadala si mzdový rad s cenami 2015; Základy boli protichodné. Kód bol opravený s opravou jedného riadku, celá séria zapadla na svoje miesto.
Prípad 2 – Chyba tichej hlasitosti. Inštitúcia znížila údaje o vývoze v tisícoch dolárov a dovoze v miliónoch dolárov. Keď umelá inteligencia odstránila dvojku pre „zahraničnú obchodnú bilanciu“, výsledkom bol absurdný deficit. Pohľad min-max v EDA odhalil chybu: rádová veľkosť oboch sérií sa líšila o faktor 1000. Po vyrovnaní jednotky bola rovnováha správna.
Prípad 3 – Nevymazanie odľahlej hodnoty. Jeden mesiac v sérii bol mimoriadne nízky. AI navrhla „odľahlé, poďme to vyčistiť“. Analytik skúmal: výroba sa v skutočnosti zastavila v dôsledku prírodnej katastrofy v ten mesiac. Hodnota bola skutočná; Jeho vymazanie by skreslilo históriu. Namiesto vypustenia bola poznámka pod čiarou. „Jasné“ odporúčanie AI nebolo slepo dodržané.
Tabuľka overenia konverzie
Konverzia
formulová esencia
manuálny kontrolný bod
realizácia
nominálny / cenový index × 100
Základ deflátora = základňa výsledku?
ročný rast
(t / t-12 mesiacov − 1) × 100
Vypočítajte obdobie na papieri
indexovanie
séria/základné obdobie × 100
Je hodnota základného obdobia 100?
Mesačne→štvrťročne
tok: zber / sklad: koniec obdobia
Správny spôsob zberu?
kĺzavý priemer
priemer za posledné n obdobie
Je dĺžka okna správna?
Štyri kopírovateľné šablóny
1) Plán čistenia:
Mám tieto nespracované údaje: [stĺpce a vzorové riadky]. Vypracujte plán čistenia na prípravu na analýzu: chýbajúca hodnota, problém s jednotkou/formátom, zarovnanie dátumu, zarovnanie frekvencie, možné odľahlé hodnoty. Vysvetlite jednou vetou, prečo je každý krok potrebný. Ešte nepíšte kód; dovoľte mi najprv potvrdiť plán.
2) kód na čistenie pandy:
Napíšte kód pandy podľa plánu, ktorý som schválil. Nechajte kód uviesť, čo robí v každom kroku, s riadkom komentára; Po prevode vytlačí počet riadkov a chýbajúce hodnoty. Nevymazávajte potichu žiadne pozorovanie; Nahláste každý riadok, ktorý odstránite.
3) Realizácia (overiteľné):
Realizujte tento nominálny rad pomocou [cenového indexu]. Jasne napíšte základný rok deflátora, keď ho používate; Uveďte, aký je základ výslednej série. Ukážte mi účet krok za krokom na jedno obdobie, aby som si ho mohol manuálne overiť.
4) Zhrnutie prieskumnej analýzy:
Napíšte kód prieskumnej analýzy pre nasledujúce vyčistené údaje: súhrnná štatistika, graf časových radov, skenovanie odľahlých hodnôt a korelačná matica. Pri interpretácii výsledkov si ujasnite, že korelácie, ktoré nájdete, nie sú PRÍČINNÉ a uveďte 3 body, ktoré mi vynikajú.
Slabá výzva / Silná výzva
Slabá výzva:
Vymažte tieto údaje.
AI koná s predpokladmi bez toho, aby vedel, čo má čistiť; Môžete vymazať pozorovania, zmeniť jednotky, nevšimnete si to.
Výkonná výzva:
V týchto mesačných údajoch o zahraničnom obchode sú vývozy v „tisícoch USD“ a dovozy v „miliónoch USD“. Urobte dva rovnaké v „miliónoch USD“, označte chýbajúce mesiace, ale NEVYPLŇUJTE, zarovnajte dátumy ku koncu mesiaca. Vytlačte, koľko riadkov je ovplyvnených v každom kroku; ticho odstrániť žiadne riadky. Potom ukážte zostatok za jeden mesiac spôsobom, ktorý môžem manuálne skontrolovať.
Časté chyby
- Spustenie konverzného kódu bez jeho prečítania. Nesprávna základňa/jednotka v tichosti poškodí celú analýzu.
- Bez rozmýšľania doplňte chýbajúce údaje. Vymazanie obdobia krízy/katastrofy s priemerom.
- Automaticky vyraďte odľahlé hodnoty. Zamenenie skutočnej udalosti za chybu údajov.
- Mätúci sezónny a ročný rast. Tieto dve sú rôznej veľkosti.
- Nesprávna kombinácia frekvencií. Zhromažďovanie série zásob a ich spracovanie ako toku.
- Zamieňanie korelácie v EDA za kauzalitu. Zámena nástroja rozpoznávania ako dôkazu.
V súhrne
Čistenie a transformácia dát je neviditeľných, ale rozhodujúcich 80 percent ekonomickej analýzy. Umelá inteligencia dramaticky zrýchľuje túto mechanickú prácu; ale je na vás, aby ste si prečítali každý krok čistenia a každú transformáciu a manuálne overili aspoň jedno pozorovanie. Rozhodnutia o základni deflátora, jednotke, frekvencii a odľahlých hodnotách sú ekonomické rozhodnutia a nemožno ich slepo ponechať na umelú inteligenciu. Prieskumná analýza uvádza údaje, ale korelácia tam nie je príčinná súvislosť.
Aplikačná úloha
Stiahnite si skutočný hrubý rad (napr. mesačný index CPI a rad nominálnych miezd/príjmov). Vytvorte plán čistenia pomocou 1. šablóny, nechajte si vygenerovať kód pomocou 2. šablóny a realizujte sériu pomocou 3. šablóny. Potom vypočítajte skutočnú hodnotu jedného obdobia na papieri a porovnajte ju s výstupom umelej inteligencie. Ak zistíte nesúlad, diagnostikujte a opravte jeho zdroj (základňu/jednotku) a zaznamenajte si priebeh.
kontrolný zoznam
- [ ] Pred napísaním kódu som skontroloval a schválil plán čistenia.
- [ ] Každý riadok som nechal vymazať/zmeniť umelou inteligenciou nahlásenou; Žiadne tiché vymazanie.
- [ ] Pri vypĺňaní chýbajúcich údajov sa môžete pýtať "prečo je prázdne?" Odpovedal som na otázku.
- [ ] Skúmal som, či odľahlá hodnota bola skutočnou udalosťou alebo chybou údajov.
- [ ] Pri realizácii som si overil, že základ deflátora a základňa výsledku sa zhodujú.
- [ ] Ručne som prepočítal prepočet aspoň jedného obdobia.
- [ ] Korelácie v EDA som neuviedol ako príčinnú súvislosť.