Nyereség:
- A nyers gazdasági adatok (hiányzó megfigyelések, egységzavar, gyakorisági eltérés) megtisztítása és elemzésre készsé tétele mesterséges intelligencia segítségével
- Képes szabványos gazdasági átalakításokat, például valós-nominális konverziót, indexálást, növekedési ütemet, szezonális kiigazítást kódként kinyomtatni a mesterséges intelligenciába, és manuálisan ellenőrizni
- Képes az adatok felismerésére feltáró adatelemzés (összefoglaló statisztika, eloszlás, kiugró értékek, korreláció) és a mesterséges intelligencia összefoglalók kritikus olvasása révén.
A gazdasági adatok ritkán állnak készen elemzésre. A TURKSTAT-ról letöltött táblázatban néhány hónap hiányzik, az egyik oszlop ezer zárójeles szöveg, az árfolyam török formátumban, például "1.234,56", az egyik sorozat havi, a másik negyedéves. A közgazdász idejének nagy részét nem az elemzés, hanem az adatok elemzésre való előkészítése tölti el. Itt az AI igazi, alacsony kockázatú gyorsító: tisztítási lépéseket javasol, pandákat (a Python adatfeldolgozó könyvtára) ír, szabványos gazdasági átalakulásokat kódol. De ennek az egységnek van egy megváltoztathatatlan szabálya is: minden mesterséges intelligencia által írt transzformációt el kell olvasni, és manuálisan ellenőrizni kell legalább egy megfigyelés során. Ha a valós-nominális ciklus rossz alapokon áll, az egész elemzés csendben lecseng.
Takarítás: milyen problémák, hogyan lehet ezeket megoldani?
A gazdasági adatok leggyakoribb problémái és logikájuk:
- Hiányos megfigyelés. Egy hónap/negyed üres. A megoldás a kontextustól függ: ha valójában nem létezik, akkor üresen marad; Ha technikai hiányosság van, gondos interpolációt végeznek – de a gyártás közötti határ vékony.
- Az egységek és a formátumok összekeverése. A "12.345.6" szöveget számmá kell alakítani; millió/milliárd konzisztenssé kell válnia.
- Frekvencia eltérés. A havi és negyedéves sorozatok összevonásához az egyiket aggregálják (havitól negyedévesig) – az, hogy átlagos, teljes vagy időszak végi, a mutató jellegétől függ (állomány/folyamat megkülönböztetés).
- Kiugró (extrém) értékek. Ha egy megfigyelés vadul eltér: valós esemény (válság, áremelkedés), vagy adathiba? A törlés előtt érthető.
- Dátum igazítás. A különböző sorozatok dátumformátumai és időszakdefiníciói szinkronizálva vannak.
Figyelem: A hiányzó adatok kitöltése ártatlannak tűnik, de gazdasági döntés. Egy válsághónap kitöltése a "szomszédos hónapok átlagával" azt jelenti, hogy törli a válságot az elemzésből. Mielőtt kitöltené, kérdezze meg: "miért van ez a hiányosság?" Válaszolj a kérdésre.
Standard gazdasági átalakulások
Átalakulások és definícióik egy közgazdász napi repertoárjában:
- Névleges → Real. Árhatás korrigálása: reálérték = névérték / árindex × 100. A deflátor (kiigazító index) báziséve határozza meg az eredmény alapját.
- Indexelés. Sorozat átméretezése úgy, hogy a kiválasztott időszak = 100; Hasznos a különböző méretű sorozatok összehasonlításához.
- Növekedési ütem. Éves: (ugyanaz ebben az időszakban / tavaly - 1) × 100. A periódusos és az évesített kamatláb különböző dolgok; A zavarás gyakori hiba.
- Szezonális korrekció. Rendszeres szezonális hatások tisztítása (nyári turizmus, üdülés); A nyers sorozatok és a szezonálisan igazított sorozatok különböző történeteket mesélnek el.
- Mozgóátlag. Kisimítja a zajt és láthatóvá teszi a trendet.
- Logaritmusok és differenciálás. Növekedési dinamika és stacionaritás vizsgálata (az idősor egységben elmélyül).
Tipp: Minden átalakításkor megkérdezi, hogy "mi történt az egységgel és a bázissal?" kérdez. A valós sorozat alapja a deflátor alapja; Az indexelt sorozat alapja az Ön által választott időszak. Ha ezt leírja, megelőzi a jövőbeni hibákat.
Feltáró adatelemzés (EDA)
Fel kell ismerni az adatokat a modellbe való bevitel előtt. A feltáró adatelemzés (EDA) a következőket tartalmazza: összefoglaló statisztikák (átlag, medián, szórás, min-max), az eloszlás alakja, időbeli lefutás, kiugró értékek és a sorozatok közötti korreláció. Az AI gyorsan generálja a kódot ezekhez a lépésekhez; Az Ön feladata, hogy gazdasági szemmel olvassa el a kimenetet: "Ez az átlag ésszerű? Ez az összefüggés véletlen vagy ismert összefüggés?"
Vigyázat: A korreláció itt csak az azonosítás eszköze, nem az ok-okozati összefüggés bizonyítéka. Az a tény, hogy két sorozat együtt mozog (pl. fagylaltárusítás és vízbefulladás – mindkettőt a nyár váltja ki), nem feltétlenül jelenti azt, hogy az egyik a másikhoz vezet. Ezt a megkülönböztetést elmélyítjük a 7. fejezetben.
három mini tok
1. eset – Nem megfelelő deflátortalp. Egy elemző rendelkezett a mesterséges intelligencia írási kódjával a bérsorozat megvalósításához. A kód működött, az eredmény ésszerűnek tűnt – de az elemző manuálisan kiszámította a 2020-at a CALCULATE lépésben, és ez nem működött. Probléma: a mesterséges intelligencia 2003=100-as bázissal használta a deflátort és kérte a bérsorokat 2015-ös árakkal; Az alapok ellentmondásosak voltak. A kódot egysoros javítással javították, a teljes sorozat a helyére került.
2. eset – Néma hangerő-hiba. Egy intézmény az exportadatokat ezer dollárban, az importot pedig millió dollárban csökkentette. Amikor a mesterséges intelligencia eltávolította a kettőt a „külkereskedelmi mérleg” miatt, az eredmény abszurd deficit lett. Az EDA min-max nézete feltárta a hibát: a két sorozat nagyságrendje 1000-szeres faktorral különbözött. A mértékegység kiegyenlítése után az egyenleg helyes volt.
3. eset – A kiugró érték nem törlése. Egy sorozat egy hónapja rendkívül alacsony volt. Az AI azt javasolta, hogy "kiugró, tisztítsuk meg". Az elemző kivizsgálta: abban a hónapban természeti katasztrófa miatt valóban leállt a termelés. Az érték valódi volt; A törlés torzítaná az előzményeket. A törlés helyett lábjegyzetet vettek fel. Az AI „egyértelmű” ajánlását nem követték vakon.
Konverzióellenőrző táblázat
Konverzió
formula esszencia
kézi ellenőrzőpont
megvalósítása
névleges / árindex × 100
Deflátor alap = eredményalap?
éves növekedés
(t / t-12 hónap − 1) × 100
Számíts ki egy időszakot papíron!
indexelés
sorozat/bázisidőszak × 100
A bázisidőszak értéke 100?
Havi→negyedévente
áramlás: begyűjtés / készlet: időszak vége
Helyes gyűjtési módszer?
mozgóátlag
utolsó n időszak átlaga
Az ablak hossza megfelelő?
Négy másolható sablon
1) Takarítási terv:
Ez a nyers adatom: [oszlopok és mintasorok]. Készítsen tisztítási tervet az elemzésre való felkészüléshez: hiányzó érték, egység/formátum probléma, dátum-beállítás, gyakoriság-igazítás, lehetséges kiugró értékek. Magyarázza el egy mondatban, hogy miért van szükség az egyes lépésekre! Még ne írjon kódot; hadd erősítsem meg először a tervet.
2) pandák tisztítási kódja:
Írj pandakódot az általam jóváhagyott terv szerint. Hagyja, hogy a kód megjegyzéssorral jelezze, mit csinál az egyes lépésekben; Az átalakítás után kiírja a sorok számát és a hiányzó értékeket. Ne töröljön csendben semmilyen megfigyelést; Jelentsen minden törölt sort.
3) Megvalósítás (igazolható):
Valósítsa meg ezt a névleges sorozatot az [árindex] segítségével. Írja világosan a deflátor alapévét, amikor használja; Adja meg, hogy mi legyen a kapott sorozat alapja. Lépésről lépésre mutassa meg a fiókot egyetlen időszakra vonatkozóan, hogy kézzel tudjam ellenőrizni.
4) Feltáró elemzés összefoglalása:
Írjon feltáró elemzési kódot a következő tisztított adatokhoz: összefoglaló statisztika, idősor diagram, kiugró szkennelés és korrelációs mátrix. Az eredmények értelmezésekor világossá kell tenni, hogy a talált összefüggések nem OKOZATOK, és soroljon fel 3 olyan pontot, amely számomra szembetűnő.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Törölje ezeket az adatokat.
A mesterséges intelligencia feltételezések szerint jár el anélkül, hogy tudná, mit kell tisztítani; Törölheti a megfigyeléseket, módosíthatja az egységeket, nem veszi észre.
Erőteljes felszólítás:
Ebben a havi külkereskedelmi adatban az export "ezer USD"-ben, az import pedig "millió USD-ben" szerepel. A kettő egyenlő legyen "millió USD-ben", jelölje be a hiányzó hónapokat, de NE TÖLTSE KI, igazítsa a dátumokat a hónap végéhez. Nyomtassa ki, hogy az egyes lépések hány sort érintenek; csendben nem töröl sorokat. Ezután mutassa meg az egyetlen hónap egyenlegét úgy, hogy kézzel is ellenőrizhessem.
Gyakori hibák
- A konverziós kód futtatása olvasás nélkül. A rossz bázis/egység csendben elrontja az egész elemzést.
- Hiányzó adatok kitöltése gondolkodás nélkül. A válság/katasztrófa időszak törlése az átlaggal.
- A kiugró értékek automatikus elvetése. Valós esemény összetévesztése adathibával.
- A szezonális és az éves növekedés összekeverése. A kettő különböző méretű.
- A frekvenciák nem megfelelő kombinációja. Az állománysorozat összegyűjtése és folyamatként történő feldolgozása.
- Az EDA korrelációjának összetévesztése az okozati összefüggéssel. A felismerő eszköz bizonyítékként való összetévesztése.
Összefoglalva
Az adatok tisztítása és átalakítása a gazdasági elemzés láthatatlan, de meghatározó 80 százaléka. A mesterséges intelligencia drámaian felgyorsítja ezt a mechanikai munkát; de rajtad múlik, hogy minden tisztítási lépést és minden átalakítást elolvas-e, és manuálisan ellenőriz-e legalább egy megfigyelést. A deflátor alap-, mértékegység-, gyakoriság- és outlier-döntések gazdasági döntések, és nem hagyhatók vakon a mesterséges intelligenciára. A feltáró elemzés adatokat vezet be, de összefüggés nincs ok-okozati összefüggésben.
Pályázati feladat
Töltsön le egy tényleges nyers sorozatot (pl. havi CPI és egy nominális bér/jövedelem sorozat). Készítsen tisztítási tervet az 1. sablonnal, generálja a kódot a 2. sablonnal, és valósítsa meg a sorozatot a 3. sablonnal. Ezután számítsa ki egyetlen időszak valódi értékét papíron, és hasonlítsa össze a mesterséges intelligencia teljesítményével. Ha eltérést talál, diagnosztizálja és javítsa ki a forrást (alap/egység), és jegyezze fel az előrehaladást.
ellenőrző lista
- [ ] A kód megírása előtt átnéztem és jóváhagytam a tisztítási tervet.
- [ ] Minden sort törölt/módosított a mesterséges intelligencia; Nincs csendes törlés.
- [ ] A hiányzó adatok kitöltésekor felteheti a kérdést, hogy "miért üres?" válaszoltam a kérdésre.
- [ ] Megvizsgáltam, hogy a kiugró érték valós esemény vagy adathiba.
- [ ] A megvalósítás során igazoltam, hogy a deflátorbázis és az eredményalap egyezik.
- [ ] Legalább egy periódus átszámítását manuálisan újraszámoltam.
- [ ] Az EDA-ban összefüggéseket nem mutattam be ok-okozati összefüggésként.