Girdeji:
- Çig ykdysady maglumatlary arassalamak (ýitirilen gözegçilikler, birlik bulaşyklygy, ýygylygyň gabat gelmezligi) we emeli intellektiň kömegi bilen ony analiz etmäge taýýarlamak;
- Hakyky nominal öwrülişik, indeksasiýa, ösüş depgini, möwsümleýin düzediş ýaly emeli intellekt ýaly kod ýaly standart ykdysady üýtgeşmeleri çap etmek we olary el bilen barlamak ukyby;
- Gözleg maglumatlarynyň derňewi (jemleýji statistika, paýlanyş, çykyşlar, korrelýasiýa) arkaly maglumatlary tanamak we emeli intellektiň gysgaça mazmunyny tankydy okamak;
Ykdysady maglumatlar derňew üçin seýrek bolýar. TURKSTAT-dan göçürip alan tablisanyňyzda birnäçe aý ýitýär, bir sütün müň ýaýly tekst görnüşinde gelýär, walýuta hümmeti "1.234,56" ýaly türk görnüşinde, bir seriýa aýlyk, beýlekisi çärýek. Ykdysatçynyň wagtynyň köpüsi derňewde däl-de, maglumatlary derňew üçin taýýarlamak üçin sarp edilýär. AI hakyky, pes töwekgelçilikli tizlendiriji: bu arassalaýyş ädimlerini teklip edýär, pandalary ýazýar (Python-yň maglumatlary gaýtadan işleýän kitaphanasy), adaty ykdysady üýtgeşmeleri kodlaýar. Thisöne bu bölümiň üýtgewsiz düzgüni hem bar: Emeli intellekt bilen ýazylan her bir üýtgeşmäni okaýarsyňyz we iň bolmanda bir gözegçilikde el bilen barlaýarsyňyz. Hakyky nominal sikl nädogry ädimde bolsa, tutuş derňew ýuwaşlyk bilen pese gaçýar.
Arassalamak: haýsy meseleler, olary nädip çözmeli?
Ykdysady maglumatlarda we olaryň logikasynda iň köp ýaýran meseleler:
- Doly däl syn. Bir aý / çärýek boş. Çözüw kontekste bagly: eger hakykatdanam ýok bolsa, boş galýar; Tehniki boşluk bar bolsa, seresaply interpolýasiýa edilýär - ýöne ýasamagyň arasyndaky çyzyk inçe.
- Bölümleriň we formatlaryň bulaşyklygy. "12.345.6" teksti sana öwürmeli; million / milliard yzygiderli bolmaly.
- Quygylygyň gabat gelmezligi. Aýlyk we çärýekleýin seriýalary birleşdirmek üçin biri jemlenýär (aýlykdan çärýekde) - ortaça, jemi ýa-da möhleti görkezijiniň häsiýetine (aksiýa / akym tapawudyna) baglydyr.
- Daşarky (aşa) bahalar. Gözegçilik ýoldan çyksa: bu hakyky waka (krizis, bahanyň ýokarlanmagy) ýa-da maglumat ýalňyşlygymy? Öçürilmezden öň düşünilýär.
- Sene deňleşdirmek. Sene formatlary we dürli seriýalaryň döwür kesgitlemeleri sinhronlaşdyrylýar.
Üns beriň: missingitirilen maglumatlary doldurmak bigünä ýaly bolup görünýär, ýöne bu ykdysady karar. Krizis aýyny "goňşy aýlaryň ortaça" bilen doldurmak, bu krizisi derňewden aýyrmagy aňladýar. Doldurmazdan ozal "bu boşluk näme üçin bar?" Diýip soraň. Soraga jogap beriň.
Adaty ykdysady özgerişler
Ykdysatçynyň gündelik repertuaryndaky üýtgeşmeler we kesgitlemeler:
- Nominal → Hakyky. Bahanyň täsirini sazlamak: hakyky baha = nominal baha / baha görkezijisi × 100. Deflýatoryň esasy ýyly (sazlaýjy indeks) netijäniň esasyny kesgitleýär.
- Indeksirlemek. Saýlanan döwri = 100; Dürli ululykdaky seriýalary deňeşdirmek üçin peýdalydyr.
- Ösüş depgini. Ualyllyk: (bu döwür / geçen ýylyň şol döwri - 1) × 100. Döwürleýin we ýyllyk derejesi dürli zatlar; Bulaşdyrmak umumy ýalňyşlyk.
- Möwsümleýin düzediş. Adaty möwsümleýin täsirleri arassalamak (tomus syýahatçylygy, dynç alyş); Çig seriýa we möwsümleýin düzülen seriýalar dürli hekaýalary aýdýarlar.
- Ortaça hereket. Şowhuny gowşatmak we tendensiýany görünmek.
- Logarifmler we tapawutlandyryş. Ösüş dinamikasyny we durnuklylygyny barlamak üçin (wagt seriýasy bölüminde çuňlaşar).
Maslahat: Her öwrülişik bilen size "bölüm we esas näme boldy?" sora. Hakyky seriýanyň esasy deflýatoryň esasydyr; Indekslenen seriýanyň esasy, saýlan döwrüňizdir. Muny ýazmak, geljekdäki ýalňyşlyklaryň öňüni alýar.
Gözleg-agtaryş maglumatlary derňewi (EDA)
Maglumatlary modele girizmezden ozal tanamak zerurdyr. Gözleg-agtaryş maglumatlary derňewi (EDA) öz içine alýar: jemleýji statistika (ortaça, ortaça gyşarmak, min-max), paýlanyşyň görnüşi, wagtyň geçmegi bilen, çykyşlar we seriýalaryň arasyndaky baglanyşyk. AI bu ädimleriň koduny çalt döredýär; Siziň işiňiz, netijäni ykdysady göz bilen okamak: "Bu ortaça ýerliklimi? Bu baglanyşyk tötänlikmi ýa-da belli bir gatnaşykmy?"
Üns beriň: Korrelýasiýa sebäbini subut etmek däl-de, diňe bu ýerde kesgitlemegiň serişdesidir. Iki seriýanyň bilelikde hereket etmegi (meselem, doňdurma satuwy we gark bolmak - ikisi hem tomusda ýüze çykýar) hökmany suratda biriniň beýlekisine eltýändigini görkezmeýär. Bu tapawudy 7-nji bölümde hasam çuňlaşdyrarys.
üç sany kiçi halat
1-nji hadysa - nädogry deflator bazasy. Analitik, aýlyk hataryny durmuşa geçirmek üçin emeli intellekt ýazmak kody bardy. Kod işledi, netije ýerlikli görünýärdi - ýöne analitik CALCULATE ädiminde 2020-nji ýylda el bilen hasaplady we netije bermedi. Mesele: emeli intellekt deflýatory 2003 = 100 bazasy bilen ulandy we 2015-nji ýylyň bahalary bilen aýlyk hakyny talap etdi; Bazalar gapma-garşydy. Kod bir setir düzediş bilen abatlandy, tutuş seriýa ýerbe-ýer boldy.
2-nji hadysa - Sessiz ses säwligi. Bir edara eksport maglumatlaryny müň dollar, import bolsa million dollar azaldy. Emeli intellekt "daşary söwda balansy" üçin ikisini aýyranda, netijede manysyz defisit boldy. EDA-da min-max görnüşi ýalňyşlygy ýüze çykardy: iki seriýanyň ululygynyň tertibi 1000 faktor bilen tapawutlandy. Gurluş deňleşdirilenden soň balans dogry boldy.
3-nji hadysa - Çykaryjyny pozmazlyk. Bir aý yzygiderli adatdan daşary pesdi. AI "daşarky, arassalalyň" teklip etdi. Analitik derňedi: şol aý tebigy betbagtçylyk sebäpli önümçilik hakykatdanam togtady. Bahasy hakykydy; Öçürmek taryhy ýoýar. Öçürmegiň ýerine, ýazgy edildi. AI-iň "aýdyň" maslahaty gözi bilen görülmedi.
Öwürmek tassyklama tablisasy
Öwürmek
formulanyň düýp manysy
el bilen barlag nokady
durmuşa geçirmek
nominal / baha görkezijisi × 100
Deflator bazasy = netije bazasy?
ýyllyk ösüş
(t / t-12 aý - 1) × 100
Kagyzdaky döwri hasaplaň
indeksirlemek
seriýa / esasy döwür × 100
Esasy döwür 100?
Aýlyk → çärýek
akym: ýygnamak / aksiýa: döwrüň soňy
Collectionygnamak dogrymy?
ortaça hereket edýän
soňky n döwür ortaça
Penjiräniň uzynlygy dogrymy?
Göçürip boljak dört şablon
1) Arassalamak meýilnamasy:
Mende bu çig maglumatlar bar: [sütünler we nusga hatarlary]. Derňew üçin taýynlyk görmek üçin arassalaýyş meýilnamasyny düzüň: ýitirilen baha, birlik / format meselesi, senäni deňleşdirmek, ýygylygy deňleşdirmek, mümkin çykaryjylar. Her ädimiň näme üçin zerurdygyny bir sözlemde düşündiriň. Entek kod ýazmaň; ilki meýilnamany tassyklamaga rugsat ediň.
2) pandalary arassalamak kody:
Men tassyklan meýilnama laýyklykda panda koduny ýazyň. Kod her setirde düşündiriş setiri bilen näme edýändigini görkezsin; Öwrülenden soň hatarlaryň sanyny we ýiten bahalary çap edýär. Gözegçiligi ýuwaşlyk bilen pozmaň; Öçüren her setiriňizi habar beriň.
3) durmuşa geçirmek (barlap boljak):
Bu nominal seriýany [baha görkezijisi] bilen durmuşa geçiriň. Ulanylanyňyzda deflýatoryň esasy ýylyny aýdyň ýazyň; Alnan seriýanyň esasynyň nämedigini kesgitläň. Hasaby ýeke-täk döwür üçin görkeziň, şonuň üçin el bilen barlap bilerin.
4) Gözleg derňewiniň gysgaça mazmuny:
Aşakdaky arassalanan maglumatlar üçin gözleg derňew koduny ýazyň: gysgaça statistika, wagt seriýasy, daşarky skaner we korrelýasiýa matrisasy. Netijeleri düşündireniňizde, tapýan korrelýasiýalaryňyzyň SÖALGI däldigini aç-açan aýdyň we menden tapawutly 3 nokady sanaň.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Bu maglumatlary arassalaň.
AI nämäni arassalamalydygyny bilmän çaklamalar bilen hereket edýär; Gözegçilikleri pozup, bölümleri üýtgedip bilersiňiz, duýmarsyňyz.
Güýçli haýyş:
Bu aýlyk daşary söwda maglumatlarynda eksport "müň ABŞ dollary", import bolsa "million ABŞ dollary". Ikisini "million dollar" deňleşdiriň, ýiten aýlary belläň, ýöne doldurmaň, seneleri aýyň ahyryna deňleşdiriň. Her ädimde näçe hataryň täsir edýändigini çap ediň; hatarlary ýuwaşlyk bilen pozuň. Soňra el bilen barlap boljak görnüşde bir aý balansy görkeziň.
Adaty ýalňyşlyklar
- Öwürmek koduny okamazdan işletmek. Nädogry esas / birlik tutuş derňewi sessiz bozýar.
- Pikirlenmän ýitirilen maglumatlary doldurmak. Krizis / betbagtçylyk döwrüni ortaça pozmak.
- Çykyşlary awtomatiki taşlaň. Maglumat ýalňyşlygy üçin hakyky hadysany ýalňyşdyrmak.
- Möwsümleýin we ýyllyk ösüşi bulaşdyrmak. Ikisi dürli ululykda.
- Encyygylyklary nädogry birleşdirmek. Bir stocka seriýasyny ýygnamak we akym hökmünde gaýtadan işlemek.
- Sebäpler üçin EDA-da korrelýasiýa ýalňyş. Tanaýyş guralyny subutnama hökmünde ýalňyşdyrmak.
Gysgaça
Maglumatlary arassalamak we üýtgetmek ykdysady derňewiň göze görünmeýän, ýöne aýgytly 80 göterimi. Emeli intellekt bu mehaniki işi çaltlaşdyrýar; ýöne her arassalaýyş ädimini we her üýtgeşmäni okamak we iň bolmanda bir synlamany el bilen barlamak size bagly. Deflator bazasy, birlik, ýygylyk we daşarky kararlar ykdysady kararlar we emeli intellektlere gözi bilen galdyrylyp bilinmez. Gözleg derňewi maglumatlary girizýär, ýöne korrelýasiýa sebäp ýok.
Programma meselesi
Hakyky çig seriýany göçürip alyň (meselem, aýlyk CPI we nominal aýlyk / girdeji seriýasy). 1-nji şablon bilen arassalama meýilnamasyny dörediň, 2-nji şablon bilen döredilen kody dörediň we 3-nji şablon bilen seriýany durmuşa geçiriň. Soňra kagyzdaky bir döwrüň hakyky bahasyny hasaplaň we emeli intellektiň çykyşy bilen deňeşdiriň. Gabat gelmeýän zady tapsaňyz, çeşmesini (esasy / birligi) anyklaň we düzediň we gidişine üns beriň.
gözegçilik sanawy
- [] Kod ýazylmazdan ozal arassalama meýilnamasyny gözden geçirdim we tassykladym.
- [] Habar berlen emeli intellekt tarapyndan her setir öçürildi / üýtgedildi; Ümsüm öçürmek ýok.
- [] Missingitirilen maglumatlary dolduranyňyzda "näme üçin boş?" Diýip sorap bilersiňiz. Men soraga jogap berdim.
- [] Çykyşçynyň hakyky waka ýa-da maglumat ýalňyşlygydygyny derňedim.
- [] Düşünenimde, deflator bazasy bilen netije bazasynyň gabat gelýändigini barladym.
- [] Iň azyndan bir döwrüň öwrülmesini el bilen hasapladym.
- [] EDA-da baglanyşyk hökmünde sebäp görkezmedim.