Fitimet:
- Aftësia për të pastruar të dhënat e papërpunuara ekonomike (vëzhgimet që mungojnë, konfuzioni i njësisë, mospërputhja e frekuencës) dhe për t'i bërë ato gati për analizë me ndihmën e inteligjencës artificiale
- Aftësia për të printuar transformime standarde ekonomike si konvertimi nominal real, indeksimi, shkalla e rritjes, rregullimi sezonal si kod në inteligjencën artificiale dhe verifikimi i tyre manualisht
- Aftësia për të njohur të dhënat përmes analizës së të dhënave eksploruese (statistika përmbledhëse, shpërndarja, pikat e jashtme, korrelacioni) dhe për të lexuar në mënyrë kritike përmbledhjet e inteligjencës artificiale
Të dhënat ekonomike rrallë bëhen gati për analizë. Në një tabelë që keni shkarkuar nga TURKSTAT, mungojnë disa muaj, njëra kolonë vjen si tekst me mijëra kllapa, kursi i këmbimit është në formatin turk si "1.234,56", njëra seri është mujore dhe tjetra tremujore. Pjesa më e madhe e kohës së ekonomistit nuk harxhohet në analizë, por në përgatitjen e të dhënave për analizë. Këtu AI është një përshpejtues i vërtetë, me rrezik të ulët: sugjeron hapa pastrimi, shkruan pandas (biblioteka e përpunimit të të dhënave të Python), kodifikon transformimet standarde ekonomike. Por kjo njësi ka gjithashtu një rregull të pandryshueshëm: Ju lexoni çdo transformim të shkruar nga inteligjenca artificiale dhe e verifikoni atë manualisht në të paktën një vëzhgim. Nëse cikli real-nominal është në një bazë të gabuar, e gjithë analiza zbehet në heshtje.
Pastrimi: cilat probleme, si t'i zgjidhni ato?
Problemet më të zakonshme në të dhënat ekonomike dhe logjika e tyre:
- Vëzhgim jo i plotë. Një muaj/tremujor është bosh. Zgjidhja varet nga konteksti: nëse nuk ekziston realisht, lihet bosh; Nëse ka një boshllëk teknik, bëhet interpolim i kujdesshëm - por linja midis fabrikimit është e hollë.
- Konfuzion i njësive dhe formateve. Teksti "12.345.6" duhet të konvertohet në numër; milion/miliard duhet të bëhen konsistente.
- Mospërputhja e frekuencës. Për të kombinuar një seri mujore dhe tremujore, njëra agregohet (mujore në tremujore) - nëse është mesatare, totale apo fundi i periudhës varet nga natyra e treguesit (dallimi i stokut/fluksit).
- Vlerat e jashtme (ekstreme). Nëse një vëzhgim devijon në mënyrë të egër: është një ngjarje e vërtetë (krizë, rritje çmimi) apo një gabim i të dhënave? Kuptohet para fshirjes.
- Rreshtimi i datës. Formatet e datave dhe përkufizimet e periudhave të serive të ndryshme sinkronizohen.
Kujdes: Plotësimi i të dhënave që mungojnë duket i pafajshëm, por është një vendim ekonomik. Mbushja e një muaji krize me "mesataren e muajve fqinj" do të thotë fshirje e asaj krize nga analiza. Para se të plotësoni, pyesni "pse ekziston ky boshllëk?" Përgjigjuni pyetjes.
Transformimet standarde ekonomike
Transformimet dhe përkufizimet e tyre në repertorin e përditshëm të një ekonomisti:
- Nominal → Real. Rregullimi për ndikimin e çmimit: vlera reale = vlera nominale / indeksi i çmimit × 100. Viti bazë i deflatorit (indeksi rregullues) përcakton bazën e rezultatit.
- Indeksimi. Rivlerësimi i një serie në mënyrë që një periudhë e zgjedhur = 100; Është i dobishëm për krahasimin e serive të madhësive të ndryshme.
- Shkalla e rritjes. Vjetore: (e njëjta periudhë këtë periudhë / vitin e kaluar − 1) × 100. Norma periodike dhe vjetore janë gjëra të ndryshme; Konfuzioni është një gabim i zakonshëm.
- Korrigjimi sezonal. Pastrimi i efekteve të rregullta sezonale (turizëm veror, pushime); Seriali i papërpunuar dhe seriali i përshtatur sezonalisht tregojnë histori të ndryshme.
- Mesatarja lëvizëse. Zbutja e zhurmës dhe duke e bërë trendin të dukshëm.
- Logaritmet dhe diferencimet. Për të ekzaminuar dinamikën e rritjes dhe stacionaritetin (do të thellohet në njësinë e serive kohore).
Këshillë: Me çdo konvertim do të pyeteni "çfarë ndodhi me njësinë dhe bazën?" pyesni. Baza e serisë reale është baza e deflatorit; Baza e serisë së indeksuar është periudha që ju zgjidhni. Mbajtja e kësaj të shkruar parandalon gabimet e ardhshme.
Analiza e të dhënave eksploruese (EDA)
Është e nevojshme të njihen të dhënat përpara se të futen në model. Analiza e të dhënave eksploruese (EDA) përfshin: statistikat përmbledhëse (mesatarja, mediana, devijimi standard, min-max), formën e shpërndarjes, rrjedhën me kalimin e kohës, vlerat e jashtme dhe korrelacionin midis serive. AI gjeneron shpejt kodin për këto hapa; Detyra juaj është të lexoni rezultatet me një sy ekonomik: "A është kjo mesatare e arsyeshme? A është ky korrelacion një rastësi apo një marrëdhënie e njohur?"
Kujdes: korrelacioni është vetëm një mjet identifikimi këtu, jo provë e shkakësisë. Fakti që dy seri lëvizin së bashku (p.sh., shitjet e akulloreve dhe mbytjet - të dyja të shkaktuara nga vera) nuk tregon domosdoshmërisht se njëra çon te tjetra. Ne do ta thellojmë këtë dallim në kapitullin 7.
tre mini kuti
Rasti 1 - Baza e gabuar e deflatorit. Një analist kishte inteligjencën artificiale të shkruante kodin për të realizuar serinë e pagave. Kodi funksionoi, rezultati dukej i arsyeshëm - por analisti llogariti manualisht vitin 2020 në hapin LLOGARIT dhe nuk funksionoi. Problem: inteligjenca artificiale përdori deflatorin me bazë 2003=100 dhe kërkoi serinë e pagave me çmime 2015; Bazat ishin kontradiktore. Kodi u riparua me një rregullim të vetëm, e gjithë seria ra në vend.
Rasti 2 - Gabim i heshtur i volumit. Një institucion kishte reduktuar të dhënat e eksporteve në mijë dollarë dhe importet në milionë dollarë. Kur inteligjenca artificiale i hoqi të dy për "balancën e tregtisë së jashtme", rezultati ishte një deficit absurd. Pamja min-max në EDA zbuloi gabimin: rendi i madhësisë së dy serive ndryshonte me një faktor prej 1000. Pasi njësia u barazua, bilanci ishte i saktë.
Rasti 3 - Mos fshirja e pikës së jashtme. Një muaj në një seri ishte jashtëzakonisht i ulët. AI sugjeroi "më të jashtme, le ta pastrojmë". Analisti hetoi: prodhimi në fakt ishte ndalur për shkak të një fatkeqësie natyrore atë muaj. Vlera ishte reale; Fshirja e tij do të shtrembëronte historinë. Në vend të fshirjes, u shënua në fund të faqes. Rekomandimi "i qartë" i AI nuk u ndoq verbërisht.
Tabela e vërtetimit të konvertimit
Konvertimi
thelbi i formulës
pikë kontrolli manuale
realizimi
indeksi nominal / çmimi × 100
Baza e deflatorit = baza e rezultatit?
rritje vjetore
(t / t-12 muaj − 1)×100
Llogaritni një periudhë në letër
indeksimi
seri/periudha bazë × 100
A është vlera e periudhës bazë 100?
Mujore→ tremujore
fluksi: mbledh / stok: fundi i periudhës
Metoda e saktë e grumbullimit?
mesatare lëvizëse
mesatarja e periudhës së fundit n
A është gjatësia e dritares e saktë?
Katër shabllone të kopjueshëm
1) Plani i pastrimit:
Unë kam këto të dhëna të papërpunuara: [kolonat dhe rreshtat e mostrës]. Hartoni një plan pastrimi për t'u përgatitur për analizë: vlera e munguar, problemi i njësisë/formatit, rreshtimi i datës, shtrirja e frekuencës, vlerat e mundshme. Shpjegoni me një fjali pse çdo hap është i nevojshëm. Mos shkruani ende kodin; më lejoni të konfirmoj planin fillimisht.
2) kodi i pastrimit të pandave:
Shkruaj kodin e pandave sipas planit që miratova. Lëreni kodin të tregojë se çfarë bën në çdo hap me një linjë komenti; Ai printon numrin e rreshtave dhe vlerat që mungojnë pas konvertimit. Mos e fshini në heshtje asnjë vëzhgim; Raportoni çdo rresht që fshini.
3) Realizimi (i verifikueshëm):
Realizoni këtë seri nominale me [indeksin e çmimeve]. Shkruani qartë vitin bazë të deflatorit kur e përdorni; Specifikoni se cila është baza e serisë që rezulton. Më trego llogarinë hap pas hapi për një periudhë të vetme që të mund ta verifikoj manualisht.
4) Përmbledhja e analizës hulumtuese:
Shkruani kodin e analizës hulumtuese për të dhënat e mëposhtme të pastruara: statistika përmbledhëse, grafiku i serive kohore, skanimi i jashtëm dhe matrica e korrelacionit. Kur interpretoni rezultatet, bëni të qartë se korrelacionet që gjeni nuk janë KAUSAL dhe listoni 3 pika që më bien në sy.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Pastro këto të dhëna.
AI vepron me supozime pa ditur se çfarë të pastrojë; Ju mund të fshini vëzhgimet, të ndryshoni njësitë, nuk do t'i vini re.
Njoftim i fuqishëm:
Në këto të dhëna mujore të tregtisë së jashtme, eksportet janë në "mijë dollarë" dhe importet në "milionë dollarë". Bëjini të dyja të barabarta në "milion USD", shënoni muajt që mungojnë, por MOS PLOTËSONI, rreshtoni datat me fundin e muajit. Printoni sa rreshta preken në çdo hap; fshini në heshtje asnjë rresht. Më pas trego gjendjen për një muaj të vetëm në një mënyrë që mund ta kontrolloj manualisht.
Gabimet e zakonshme
- Ekzekutimi i kodit të konvertimit pa e lexuar atë. Baza/njësia e gabuar korrupton në heshtje të gjithë analizën.
- Plotësimi i të dhënave që mungojnë pa u menduar. Fshirja e periudhës së krizës/fatkeqësisë me mesataren.
- Hidhni automatikisht shenjat e jashtme. Gabimi i një ngjarjeje reale për një gabim të dhënash.
- Rritje konfuze sezonale dhe vjetore. Të dy janë madhësi të ndryshme.
- Kombinimi i gabuar i frekuencave. Mbledhja e serisë së aksioneve dhe përpunimi i saj si rrjedhë.
- Gabimi i korrelacionit në EDA për shkakësinë. Gabimi i mjetit të njohjes si provë.
Në përmbledhje
Pastrimi dhe transformimi i të dhënave është 80 për qind e padukshme, por vendimtare e analizës ekonomike. Inteligjenca artificiale e përshpejton në mënyrë dramatike këtë punë mekanike; por ju takon të lexoni çdo hap pastrimi dhe çdo transformim dhe të verifikoni manualisht të paktën një vëzhgim. Baza e deflatorit, njësia, frekuenca dhe vendimet e jashtme janë vendime ekonomike dhe nuk mund t'i lihen verbërisht inteligjencës artificiale. Analiza eksploruese prezanton të dhëna, por korrelacioni nuk ka shkak.
Detyra e aplikimit
Shkarkoni një seri aktuale të papërpunuar (p.sh. CPI mujore dhe një seri paga/të ardhura nominale). Krijoni një plan pastrimi me shabllonin e parë, krijoni kodin me shabllonin e dytë dhe realizoni serinë me shabllonin e tretë. Më pas llogarisni vlerën reale të një periudhe të vetme në letër dhe krahasoni atë me prodhimin e inteligjencës artificiale. Nëse gjeni një mospërputhje, diagnostikoni dhe korrigjoni burimin e saj (bazë/njësi) dhe vini re përparimin.
listë kontrolli
- [ ] Shqyrtova dhe miratova planin e pastrimit përpara se të shkruhej kodi.
- [ ] Unë kisha çdo rresht të fshirë/ndryshuar nga inteligjenca artificiale e raportuar; Asnjë fshirje e heshtur.
- [ ] Kur plotësoni të dhënat që mungojnë ju mund të pyesni "pse është bosh?" Unë iu përgjigja pyetjes.
- [ ] Kam hetuar nëse pjesa e jashtme ishte një ngjarje e vërtetë apo një gabim i të dhënave.
- [ ] Në realizim, kam verifikuar që baza e deflatorit dhe baza e rezultatit përputhen.
- [ ] Kam rillogaritur manualisht konvertimin e të paktën një periudhe.
- [ ] Unë nuk paraqita korrelacione në EDA si shkak.