Eining 3 / 11

Gagnahreinsun, umbreyting og könnunargreining (með Python/pandas stuðningi)

Hagnaður:

  • Hæfni til að hreinsa hrá efnahagsgögn (athuganir vantar, einingarugl, tíðnimisræmi) og gera þau tilbúin til greiningar með hjálp gervigreindar
  • Geta til að prenta staðlaðar efnahagslegar umbreytingar eins og raunnafnviðskipti, verðtryggingu, vaxtarhraða, árstíðaleiðréttingu sem kóða í gervigreind og sannreyna þær handvirkt
  • Hæfni til að bera kennsl á gögn með könnunargagnagreiningu (samantektartölfræði, dreifingu, frávik, fylgni) og lesa á gagnrýninn hátt gervigreindarsamantektir

Hagfræðileg gögn koma sjaldan tilbúin til greiningar. Í töflu sem þú sóttir frá TURKSTAT vantar nokkra mánuði, einn dálkur kemur sem texti með þúsund sviga, gengið er á tyrknesku sniði eins og "1.234,56", önnur röð er mánaðarleg og hin ársfjórðungslega. Mestur tími hagfræðingsins fer ekki í greiningu, heldur í að gera gögnin tilbúin til greiningar. Þetta er þar sem gervigreind er raunverulegur, áhættulítill hraðall: hann gefur til kynna hreinsunarskref, skrifar pandas (gagnavinnslusafn Python), kóðar staðlaðar efnahagslegar umbreytingar. En þessi eining hefur líka óbreytanlega reglu: Þú lest hverja umbreytingu sem er skrifuð af gervigreind og staðfestir það handvirkt í að minnsta kosti einni athugun. Ef raunnafnhringurinn er á röngum grundvelli, hrörnar öll greiningin hljóðlega.

Þrif: hvaða vandamál, hvernig á að leysa þau?

Algengustu vandamálin í efnahagslegum gögnum og rökfræði þeirra:

  • Ófullkomin athugun. Einn mánuður/fjórðungur er tómur. Lausnin fer eftir samhenginu: ef hún er ekki til í raun og veru er hún látin vera auð; Ef það er tæknilegt bil, er vandlega innskot - en línan á milli tilbúningsins er þunn.
  • Rugl á einingum og sniðum. Textanum "12.345.6" verður að breyta í tölu; milljón/milljarður ætti að verða í samræmi.
  • Misræmi í tíðni. Til að sameina mánaðarlega og ársfjórðungslega röð er einn samanlagður (mánaðarlega til ársfjórðungslega) - hvort það er meðaltal, heildar eða lok tímabils fer eftir eðli vísisins (birgða-/flæðismunur).
  • Óviðjafnanleg (öfga) gildi. Ef athugun er mjög frávik: er það raunverulegur atburður (kreppa, verðhækkun) eða gagnavilla? Það er skilið fyrir eyðingu.
  • Dagsetning jöfnun. Dagsetningarsnið og tímabilsskilgreiningar mismunandi röð eru samstilltar.
Athygli: Að fylla út gögn sem vantar virðist saklaust, en það er efnahagsleg ákvörðun. Að fylla kreppumánuð með „meðaltali nágranna mánaða“ þýðir að eyða þeirri kreppu úr greiningunni. Áður en þú fyllir út skaltu spyrja "af hverju er þetta bil til?" Svaraðu spurningunni.

Staðlaðar efnahagslegar umbreytingar

Umbreytingar og skilgreiningar þeirra á daglegri efnisskrá hagfræðings:

  • Nafn → Raunverulegt. Leiðrétt fyrir verðáhrifum: raunvirði = nafnverð / verðvísitala × 100. Grunnár verðhjöðnunar (aðlögunarvísitölu) ákvarðar grunn niðurstöðunnar.
  • Verðtrygging. Að endurskala röð þannig að valið tímabil = 100; Það er gagnlegt til að bera saman seríur af mismunandi stærðum.
  • Vaxtarhraði. Árlegt: (sama tímabil þetta tímabil / síðasta ár − 1) × 100. Reglubundið og árlegt gengi eru ólíkir hlutir; Rugl er algeng mistök.
  • Árstíðabundin leiðrétting. Hreinsandi regluleg árstíðabundin áhrif (sumarferðamennsku, frí); Ráu seríurnar og árstíðaleiðréttu seríurnar segja ólíka sögu.
  • Hækkandi meðaltal. Að jafna út hávaðann og gera þróunina sýnilega.
  • Logaritmar og mismunur. Að skoða vaxtarvirkni og kyrrstöðu (mun dýpka í tímaraðareiningunni).
Ábending: Við hverja umbreytingu verður þú spurður "hvað varð um eininguna og grunninn?" spyrja. Grunnur raunverulegu röðarinnar er grunnur loftblásarans; Grunnur verðtryggðu flokkanna er tímabilið sem þú velur. Með því að hafa þetta skrifað niður kemur í veg fyrir mistök í framtíðinni.

Rannsóknargagnagreining (EDA)

Nauðsynlegt er að þekkja gögnin áður en þau eru færð inn í líkanið. Rannsóknargagnagreining (EDA) felur í sér: yfirlitstölfræði (meðaltal, miðgildi, staðalfrávik, lágmark-hámark), lögun dreifingar, gangur yfir tíma, frávik og fylgni milli raða. AI býr fljótt til kóðann fyrir þessi skref; Starf þitt er að lesa útkomuna með hagfræðilegu auga: "Er þetta meðaltal sanngjarnt? Er þetta fylgni tilviljun eða þekkt samband?"

Varúð: Fylgni er aðeins auðkenningartæki hér, ekki sönnun um orsakasamhengi. Sú staðreynd að tvær seríur færast saman (t.d. íssala og drukknun – hvort tveggja af stað af sumri) bendir ekki endilega til þess að önnur leiði af annarri. Við munum dýpka þennan aðgreining í einingu 7.

þrjú smámál

Tilvik 1 — Rangur grunnur fyrir loftblástur. Sérfræðingur lét gervigreindina skrifa kóða til að átta sig á launaröðinni. Kóðinn virkaði, niðurstaðan leit sanngjarn út - en sérfræðingur reiknaði 2020 handvirkt í REIKNA skrefinu og það virkaði ekki. Vandamál: gervigreindin notaði deflator með grunninn 2003=100 og óskaði eftir launaflokknum með 2015 verðlagi; Herstöðvarnar voru misvísandi. Kóðinn var lagfærður með einni línu lagfæringu, öll röðin féll á sinn stað.

Tilfelli 2 — Hljóðlaus hljóðstyrksvilla. Stofnun hafði dregið úr útflutningsgögnum í þúsundum dollara og innflutningi í milljónum dollara. Þegar gervigreindin fjarlægði þetta tvennt fyrir „viðskiptajöfnuð við útlönd“ var niðurstaðan fáránlegur halli. Lágmarksskoðunin í EDA leiddi í ljós villuna: stærðarröð raðanna tveggja var stuðullinn 1000. Þegar einingin var jöfnuð var jafnvægið rétt.

Tilfelli 3 - Ekki eyða frávikinu. Einn mánuður í röð var óvenju lágur. AI lagði til „útlæg, við skulum þrífa það“. Sérfræðingur kannaði: framleiðslu hafði í raun hætt vegna náttúruhamfara þann mánuðinn. Gildið var raunverulegt; Að eyða henni myndi skekkja söguna. Í stað þess að eyða, var það neðanmáls. „skýr“ tilmælum gervigreindar var ekki fylgt í blindni.

Umbreytingarstaðfestingartafla

Umbreyting

formúlukjarni

handvirkt eftirlitsstöð

framkvæmd

nafnverð / verðvísitala × 100

Deflator grunnur = útkomugrunnur?

árlegur vöxtur

(t / t-12 mánuðir − 1)×100

Reiknaðu tímabil á pappír

verðtryggingu

röð/grunntímabil × 100

Er grunntímabilsgildið 100?

Mánaðarlega→ ársfjórðungslega

flæði: safna / lager: lok tímabils

Rétt innheimtuaðferð?

hlaupandi meðaltal

meðaltal síðasta n tímabils

Er gluggalengdin rétt?

Fjögur afritanleg sniðmát

1) Hreinsunaráætlun:

Ég er með þessi hrágögn: [dálkar og sýnislínur]. Komdu með hreinsunaráætlun til að undirbúa greiningu: gildi sem vantar, einingar-/sniðútgáfu, dagsetningarjöfnun, tíðnijöfnun, mögulegar útlínur. Útskýrðu í einni setningu hvers vegna hvert skref er nauðsynlegt. Ekki skrifa kóða ennþá; leyfðu mér að staðfesta áætlunina fyrst.

2) Panda hreinsunarkóði:

Skrifaðu pandaskóða samkvæmt áætluninni sem ég samþykkti. Láttu kóðann gefa til kynna hvað hann gerir í hverju skrefi með athugasemdarlínu; Það prentar fjölda lína og gildi sem vantar eftir viðskiptin. Ekki eyða þegjandi og hljóðalaust neinum athugunum; Tilkynntu hverja línu sem þú eyðir.

3) Framkvæmd (sannanleg):

Gerðu þér grein fyrir þessum nafnflokki með [verðvísitölu]. Skrifaðu skýrt grunnár blástursins þegar þú notar hann; Tilgreindu hver grunnur röðarinnar sem myndast er. Sýndu mér reikninginn skref fyrir skref í eitt tímabil svo ég geti staðfest hann handvirkt.

4) Samantekt könnunargreiningar:

Skrifaðu könnunargreiningarkóða fyrir eftirfarandi hreinsaðar gögn: samantektartölfræði, tímaraðaruppdrætti, fráviksskönnun og fylgnifylki. Þegar niðurstöðurnar eru túlkaðar, taktu það skýrt fram að fylgnin sem þú finnur eru ekki orsök og taldu upp 3 atriði sem standa upp úr fyrir mig.

Veik kvaðning / Sterk kvaðning

Veik kvaðning:

Hreinsaðu þessi gögn.

gervigreind virkar með forsendum án þess að vita hvað á að þrífa; Þú getur eytt athugunum, breytt einingum, þú munt ekki taka eftir því.

Öflug tilvitnun:

Í þessum mánaðarlegu utanríkisviðskiptagögnum er útflutningur í "þúsund USD" og innflutningur í "milljónum USD". Gerðu þá tvo jafna í „milljónum USD“, merktu mánuðina sem vantar en EKKI FYLTU, stilltu dagsetningarnar við lok mánaðarins. Prentaðu hversu margar línur verða fyrir áhrifum í hverju skrefi; eyddu engum línum hljóðlaust. Sýndu síðan stöðuna fyrir einn mánuð á þann hátt að ég get athugað handvirkt.

Algeng mistök

  • Keyrir viðskiptakóðann án þess að lesa hann. Rangur grunnur/eining spillir greiningunni í hljóði.
  • Að fylla út gögn sem vantar án þess að hugsa. Að þurrka út kreppu/hamfaratímabilið með meðaltalinu.
  • Fleygðu frávikum sjálfkrafa. Að misskilja raunverulegan atburð fyrir gagnavillu.
  • Ruglingslegur árstíðabundinn og árlegur vöxtur. Þeir tveir eru mismunandi stærðir.
  • Að sameina tíðni á rangan hátt. Að safna stofnflokknum og vinna hana sem flæði.
  • Að misskilja fylgni í EDA fyrir orsakasamhengi. Að misskilja viðurkenningartækið sem sönnunargögn.

Í stuttu máli

Gagnahreinsun og umbreyting er ósýnileg en afgerandi 80 prósent hagfræðilegrar greiningar. Gervigreind hraðar þessu vélrænni verki verulega; en það er undir þér komið að lesa hvert hreinsunarskref og hverja umbreytingu og sannreyna handvirkt að minnsta kosti eina athugun. Ákvarðanir um verðhjöðnunargrunn, einingu, tíðni og frávik eru efnahagslegar ákvarðanir og ekki er hægt að láta gervigreind í blindni vera þær. Könnunargreining kynnir gögn, en fylgni þar er ekki orsakasamband.

Umsóknarverkefni

Sæktu raunverulegan hráflokk (t.d. mánaðarlega neysluverðsvísitölu og nafnlaun/tekjuflokk). Búðu til hreinsunaráætlun með 1. sniðmátinu, láttu kóðann búa til með 2. sniðmátinu og gerðu þér grein fyrir röðinni með 3. sniðmátinu. Reiknaðu síðan raungildi eins tímabils á pappír og berðu það saman við framleiðslu gervigreindar. Ef þú finnur ósamræmi skaltu greina og leiðrétta uppruna hans (grunn/einingu) og athugaðu framvinduna.

gátlisti

  • [ ] Ég fór yfir og samþykkti hreinsunaráætlunina áður en kóðinn var skrifaður.
  • [ ] Ég lét hverja línu eyða/breyta af gervigreindinni; Engin þögul eyðing.
  • [ ] Þegar þú fyllir út gögn sem vantar geturðu spurt "af hverju er það tómt?" Ég svaraði spurningunni.
  • [ ] Ég kannaði hvort frávikið væri raunverulegur atburður eða gagnavilla.
  • [ ] Þegar ég gerði mér grein fyrir því, sannreyndi ég að grunnhækkunin og útkomugrunnurinn passa saman.
  • [ ] Ég endurreiknaði handvirkt umreikning á að minnsta kosti einu tímabili.
  • [ ] Ég setti ekki fram fylgni í EDA sem orsakasamhengi.