Dobici:
- Sposobnost čišćenja sirovih ekonomskih podataka (nedostajuća zapažanja, konfuzija jedinica, neusklađenost frekvencija) i pripremanje za analizu uz pomoć umjetne inteligencije
- Mogućnost štampanja standardnih ekonomskih transformacija kao što su realno-nominalna konverzija, indeksacija, stopa rasta, sezonska prilagodba kao kod u umjetnu inteligenciju i ručno ih verificirati
- Sposobnost prepoznavanja podataka kroz istraživačku analizu podataka (zbirna statistika, distribucija, outliers, korelacija) i kritičko čitanje sažetaka umjetne inteligencije
Ekonomski podaci rijetko dolaze spremni za analizu. U tabeli koju ste preuzeli sa TURKSTAT-a nedostaju neki mjeseci, jedna kolona dolazi kao tekst sa hiljadu zagrada, kurs je u turskom formatu kao "1.234,56", jedna serija je mjesečna, a druga tromjesečna. Najviše vremena ekonomista ne troši na analizu, već na pripremu podataka za analizu. Ovdje je AI pravi akcelerator s niskim rizikom: predlaže korake čišćenja, piše pande (Pythonova biblioteka za obradu podataka), kodificira standardne ekonomske transformacije. Ali ova jedinica također ima nepromjenjivo pravilo: pročitate svaku transformaciju koju je napisala umjetna inteligencija i provjerite je ručno u najmanje jednom zapažanju. Ako je realno-nominalni ciklus na pogrešnoj osnovi, cijela analiza tiho propada.
Čišćenje: koji problemi, kako ih riješiti?
Najčešći problemi u ekonomskim podacima i njihova logika:
- Nepotpuno posmatranje. Jedan mjesec/kvart je prazan. Rješenje ovisi o kontekstu: ako zapravo ne postoji, ostaje prazno; Ako postoji tehnički jaz, vrši se pažljiva interpolacija - ali linija između izrade je tanka.
- Zbrka jedinica i formata. Tekst "12.345.6" mora biti konvertovan u broj; milion/milijarda bi trebalo da postane konzistentna.
- Neusklađenost frekvencija. Za kombinovanje mjesečne i tromjesečne serije, jedna se agregira (mjesečno do tromjesečno) — da li je prosječna, ukupna ili na kraju perioda zavisi od prirode indikatora (razlika zaliha/tokova).
- Izuzetne (ekstremne) vrijednosti. Ako zapažanje jako odstupa: da li je to stvarni događaj (kriza, rast cijena) ili greška u podacima? Razumije se prije brisanja.
- Poravnanje datuma. Formati datuma i definicije perioda različitih serija su sinhronizovani.
Pažnja: Popunjavanje podataka koji nedostaju izgleda nevino, ali to je ekonomska odluka. Popuniti krizni mjesec "prosjekom susjednih mjeseci" znači brisanje te krize iz analize. Prije popunjavanja, pitajte "zašto postoji ova praznina?" Odgovori na pitanje.
Standardne ekonomske transformacije
Transformacije i njihove definicije u dnevnom repertoaru ekonomiste:
- Nominalna → Realna. Prilagođavanje uticaja na cenu: realna vrednost = nominalna vrednost / indeks cena × 100. Bazna godina deflatora (indeksa prilagođavanja) određuje osnovu rezultata.
- Indeksiranje. Ponovno skaliranje serije tako da odabrani period = 100; Koristan je za poređenje serija različitih veličina.
- Stopa rasta. Godišnji: (isti period ovaj period / prošla godina − 1) × 100. Periodična i godišnja stopa su različite stvari; Zbunjenost je česta greška.
- Sezonska korekcija. Pročišćavanje redovnih sezonskih efekata (ljetni turizam, ljetovanje); Sirove serije i sezonski prilagođene serije pričaju različite priče.
- Pokretni prosek. Uklanjanje buke i vidljivost trenda.
- Logaritmi i razlikovanje. Ispitati dinamiku rasta i stacionarnost (produbiće se u jedinici vremenske serije).
Savjet: Sa svakom konverzijom bit ćete upitani "šta se dogodilo s jedinicom i bazom?" pitaj. Osnova realnog niza je baza deflatora; Osnova indeksirane serije je period koji odaberete. Ako ovo ostane zapisano, spriječit ćete buduće greške.
Istraživačka analiza podataka (EDA)
Potrebno je prepoznati podatke prije unošenja u model. Eksploratorna analiza podataka (EDA) uključuje: zbirnu statistiku (srednja vrijednost, medijan, standardna devijacija, min-max), oblik distribucije, tok tokom vremena, odstupanja i korelaciju između serija. AI brzo generiše kod za ove korake; Vaš posao je da pročitate rezultat ekonomskim okom: "Da li je ovaj prosjek razuman? Da li je ova korelacija slučajnost ili poznata veza?"
Oprez: korelacija je ovdje samo sredstvo identifikacije, a ne dokaz uzročnosti. Činjenica da se dvije serije odvijaju zajedno (npr. prodaja sladoleda i utapanja - oba potaknuta ljetom) ne znači nužno da jedna vodi ka drugoj. Ovu razliku ćemo produbiti u jedinici 7.
tri mini kofera
Slučaj 1 — Neispravna baza deflatora. Analitičar je imao vještačku inteligenciju da napiše kod za realizaciju serije plata. Kôd je radio, rezultat je izgledao razumno - ali analitičar je ručno izračunao 2020. u koraku IZRAČUNAJ i nije funkcionirao. Problem: veštačka inteligencija je koristila deflator sa bazom 2003=100 i tražila seriju plata sa cenama iz 2015. godine; Osnove su bile sukobljene. Kôd je popravljen sa popravkom u jednoj liniji, cijela serija je došla na svoje mjesto.
Slučaj 2 — Greška tihe jačine zvuka. Jedna institucija je smanjila podatke o izvozu u hiljadu dolara i uvozu u milionima dolara. Kada je vještačka inteligencija uklonila to dvoje za "spoljnotrgovinski bilans", rezultat je bio apsurdan deficit. Min-max prikaz u EDA otkrio je grešku: red veličine ove dvije serije razlikovao se za faktor 1000. Kada je jedinica izjednačena, ravnoteža je bila tačna.
Slučaj 3 — Ne brisanje odstupanja. Jedan mjesec u nizu bio je izuzetno nizak. AI je predložio "izvanredan, hajde da ga očistimo". Analitičar je istražio: proizvodnja je zapravo stala zbog prirodne katastrofe tog mjeseca. Vrijednost je bila stvarna; Brisanje bi iskrivilo istoriju. Umjesto brisanja, stavljeno je u fusnotu. "Jasna" preporuka AI nije slijepo ispoštovana.
Tabela validacije konverzije
Konverzija
formula esencija
ručni kontrolni punkt
realizacija
nominalni / indeks cijena × 100
Baza deflatora = baza ishoda?
godišnji rast
(t / t-12 mjeseci − 1)×100
Izračunajte period na papiru
indeksiranje
serija/bazni period × 100
Da li je vrijednost baznog perioda 100?
Mjesečno → tromjesečno
tok: prikupljanje / zaliha: kraj perioda
Ispravan način prikupljanja?
pokretni prosek
prosjek posljednjeg n perioda
Da li je dužina prozora tačna?
Četiri šablona za kopiranje
1) Plan čišćenja:
Imam ove neobrađene podatke: [kolone i uzorci redova]. Izradite plan čišćenja kako biste se pripremili za analizu: vrijednost koja nedostaje, problem s jedinicom/formatom, poravnanje datuma, usklađivanje frekvencije, mogući odstupnici. Objasnite u jednoj rečenici zašto je svaki korak neophodan. Nemojte još pisati kod; prvo da potvrdim plan.
2) kod za čišćenje pandi:
Napišite pandas kod prema planu koji sam odobrio. Neka kod naznači šta radi u svakom koraku uz red za komentare; Ispisuje broj redova i vrijednosti koje nedostaju nakon konverzije. Nemojte tiho brisati nijedno zapažanje; Prijavite svaki red koji obrišete.
3) Realizacija (provjerljiva):
Ostvarite ovu nominalnu seriju sa [indeksom cijena]. Jasno napišite osnovnu godinu deflatora kada ga koristite; Navedite koja je osnova rezultirajućeg niza. Pokažite mi račun korak po korak za jedan period da ga mogu provjeriti ručno.
4) Sažetak istraživačke analize:
Napišite kod za istraživačku analizu za sljedeće očišćene podatke: zbirnu statistiku, dijagram vremenskih serija, skeniranje odstupanja i matricu korelacije. Kada tumačite rezultate, jasno dajte do znanja da korelacije koje nalazite nisu UZROČNE i navedite 3 tačke koje se meni ističu.
Slaba prompt / Jaka prompt
Slab upit:
Obrišite ove podatke.
AI djeluje s pretpostavkama ne znajući šta da očisti; Možete obrisati zapažanja, promijeniti jedinice, nećete primijetiti.
Snažan upit:
U ovim mjesečnim spoljnotrgovinskim podacima izvoz je u "hiljadu dolara", a uvoz u "milionima dolara". Napravite dva jednaka u "milion USD", označite mjesece koji nedostaju, ali NEMOJTE POPUNITI, poravnajte datume sa krajem mjeseca. Ispisati koliko je redova pogođeno u svakom koraku; tiho brisati nijedan red. Zatim pokažite stanje za jedan mjesec na način koji mogu ručno provjeriti.
Uobičajene greške
- Pokretanje koda za konverziju bez čitanja. Pogrešna baza/jedinica tiho kvari cijelu analizu.
- Popunjavanje podataka koji nedostaju bez razmišljanja. Brisanje perioda krize/katastrofe sa prosjekom.
- Automatski odbacite odstupanja. Zamijeniti stvarni događaj za grešku u podacima.
- Zbunjujući sezonski i godišnji rast. Dvije su različite veličine.
- Neispravno kombinovanje frekvencija. Prikupljanje serije zaliha i obrada kao tok.
- Greška korelacija u EDA za uzročnost. Pogrešiti alat za prepoznavanje kao dokaz.
Ukratko
Čišćenje i transformacija podataka je nevidljivih, ali odlučujućih 80 posto ekonomske analize. Umjetna inteligencija dramatično ubrzava ovaj mehanički rad; ali na vama je da pročitate svaki korak čišćenja i svaku transformaciju i ručno provjerite barem jedno zapažanje. Odluke o osnovi, jedinici, učestalosti i vanrednim deflatorima su ekonomske odluke i ne mogu se slijepo prepustiti umjetnoj inteligenciji. Eksploratorna analiza uvodi podatke, ali korelacija nema uzročne veze.
Zadatak aplikacije
Preuzmite stvarnu sirovu seriju (npr. mjesečni CPI i serija nominalnih plata/prihoda). Napravite plan čišćenja sa 1. šablonom, generišite kod sa 2. šablonom i realizujte seriju sa 3. šablonom. Zatim izračunajte stvarnu vrijednost jednog perioda na papiru i uporedite je s rezultatima umjetne inteligencije. Ako pronađete neslaganje, dijagnosticirajte i ispravite njegov izvor (baza/jedinica) i zabilježite napredak.
kontrolna lista
- [ ] Pregledao sam i odobrio plan čišćenja prije nego što je kod napisan.
- [ ] Svaki red sam izbrisao/promjenila od strane umjetne inteligencije; Nema tihog brisanja.
- [ ] Prilikom popunjavanja podataka koji nedostaju možete pitati "zašto je prazan?" Odgovorio sam na pitanje.
- [ ] Istražio sam da li je odbacivanje stvarni događaj ili greška u podacima.
- [ ] U realizaciji sam provjerio da li se baza deflatora i baza ishoda poklapaju.
- [ ] Ručno sam ponovo izračunao konverziju najmanje jednog perioda.
- [ ] Nisam predstavio korelacije u EDA kao uzročno-posljedičnu vezu.