Aonad 3 / 11

Glanadh Sonraí, Claochlú agus Anailís Taiscéalaíoch (Le Tacaíocht Python/pandas)

Gnóthachain:

  • Cumas sonraí eacnamaíocha amh a ghlanadh (breathnuithe ar iarraidh, mearbhall aonaid, neamhréir minicíochta) agus é a dhéanamh réidh le haghaidh anailíse le cabhair ó hintleachta saorga
  • Cumas claochluithe eacnamaíocha caighdeánacha a phriontáil amhail comhshó fíor-ainmniúil, innéacsú, ráta fáis, coigeartú séasúrach mar chód go hintleachta saorga agus iad a fhíorú de láimh
  • Cumas sonraí a aithint trí anailísiú sonraí taiscéalaíoch (staitisticí achomair, dáileadh, asluitigh, comhghaol) agus achoimrí intleachta saorga a léamh go criticiúil

Is annamh a bhíonn sonraí eacnamaíocha réidh le haghaidh anailíse. I dtábla a d'íoslódáil tú ó TURKSTAT, tá roinnt míonna ar iarraidh, tagann colún amháin mar théacs le míle lúibíní, tá an ráta malairte i bhformáid Tuircis cosúil le "1.234,56", tá sraith amháin míosúil agus tá an ceann eile ráithiúil. Ní chaitear an chuid is mó d'am an eacnamaí ar anailís, ach ar na sonraí a ullmhú le haghaidh anailíse. Seo an áit a bhfuil AI ina luasaire fíor, riosca íseal: molann sé céimeanna glanta, scríobhann pandas (leabharlann próiseála sonraí Python), códaíonn sé claochluithe eacnamaíocha caighdeánacha. Ach tá riail neamh-inmharthana ag an aonad seo freisin: Léann tú gach claochlú arna scríobh ag hintleachta saorga agus deimhníonn tú é de láimh i mbreathnóireacht amháin ar a laghad. Má tá an timthriall fíor-ainmniúil ar an mbonn mícheart, meathann an anailís iomlán go ciúin.

Glanadh: cad iad na fadhbanna, conas iad a réiteach?

Na fadhbanna is coitianta i sonraí eacnamaíocha agus a loighic:

  • Breathnóireacht neamhiomlán. Tá mí/ceathrú folamh. Braitheann an réiteach ar an gcomhthéacs: mura bhfuil sé ann i ndáiríre, fágtar bán é; Má tá bearna theicniúil ann, déantar idirshuíomh cúramach - ach tá an líne idir an déantúsaíocht tanaí.
  • Mearbhall aonad agus formáidí. Ní mór an téacs "12.345.6" a thiontú go uimhir; milliún/billiún a bheith comhsheasmhach.
  • Mímheaitseáil minicíochta. Chun sraith mhíosúil agus ráithiúil a chomhcheangal, déantar ceann amháin a chomhiomlánú (míosúil go ráithiúil) — braitheann cibé acu meánmhéid, iomlán nó deireadh tréimhse ar nádúr an táscaire (idirdhealú stoic/sreafa).
  • Luachanna as cuimse (foircneacha). Má imíonn breathnadóireacht go fiáin: an fíor-imeacht é (géarchéim, ardú praghais), nó earráid sonraí? Tuigtear é roimh scriosadh.
  • Ailíniú dáta. Déantar formáidí dáta agus sainmhínithe tréimhse de shraitheanna éagsúla a shioncronú.
Aird: Is cosúil go bhfuil líonadh na sonraí atá in easnamh neamhchiontach, ach is cinneadh eacnamaíoch é. Ciallaíonn mí ghéarchéime a líonadh le "meán na míonna comharsanachta" an ghéarchéim sin a scriosadh ón anailís. Sula líonadh isteach, fiafraigh "cén fáth a bhfuil an bhearna seo ann?" Freagair an cheist.

Trasfhoirmiúcháin chaighdeánacha eacnamaíocha

Trasfhoirmiúcháin agus a sainmhínithe i stór laethúil eacnamaí:

  • Ainmniúil → Fíor. Coigeartú le haghaidh tionchar praghais: fíorluach = luach ainmniúil / innéacs praghsanna × 100. Cinneann bonnbhliain an díbhoilsceora (innéacs coigeartaithe) bonn an toraidh.
  • Innéacsú. Sraith a athscálú ionas go mbeidh tréimhse roghnaithe = 100; Tá sé úsáideach chun sraitheanna de mhéideanna éagsúla a chur i gcomparáid.
  • Ráta fáis. Bliantúil: (tréimhse chéanna an tréimhse seo / an bhliain seo caite - 1) × 100. Tá an ráta tréimhsiúil agus bliantúil rudaí éagsúla; Is botún coitianta é mearbhall.
  • Ceartú séasúrach. Éifeachtaí séasúracha rialta a íonú (turasóireacht samhraidh, laethanta saoire); Insíonn an tsraith amh agus an tsraith arna choigeartú go séasúrach scéalta éagsúla.
  • Meán ag gluaiseacht. An torann a mhaolú agus an treocht a dhéanamh le feiceáil.
  • Logartamaí agus difreáil. Scrúdú a dhéanamh ar dhinimic fáis agus stationarity (a dhoimhniú san aonad sraith ama).
Leid: Le gach tiontú iarrfar ort "cad a tharla don aonad agus don bhonn?" fiafraigh. Is é bonn na sraithe fíor bonn an díflator; Is é bonn na sraithe innéacsaithe an tréimhse a roghnaíonn tú. Má choinnítear é seo síos, seachnaítear botúin sa todhchaí.

Anailís sonraí taiscéalaíoch (EDA)

Is gá na sonraí a aithint sula gcuirtear isteach sa mhúnla é. Áirítear le hanailís sonraí taiscéalaíoch (EDA): staitisticí achoimre (meán, airmheán, diall caighdeánach, íosmhéid), cruth an dáileacháin, cúrsa le himeacht ama, asluitigh agus comhghaol idir na sraitheanna. Gineann AI an cód do na céimeanna seo go tapa; Is é do phost an t-aschur a léamh le súil eacnamaíoch: "An bhfuil an meán seo réasúnta? An comhghaol nó gaol aitheanta é an comhghaol seo?"

Rabhadh: Níl sa chomhghaol ach modh aitheantais anseo, ní cruthúnas ar chúis. Ní gá go léiríonn an fhíric go n-aistríonn dhá shraith le chéile (m.sh. díolachán uachtar reoite agus báite - an dá cheann acu faoin samhradh) go dtéann ceann amháin chuig an gceann eile. Déanfaimid an t-idirdhealú seo a dhoimhniú in aonad 7.

trí chás mion

Cás 1 - Bonn díbhoilsceora mícheart. Bhí cód scríofa na hintleachta saorga ag anailísí chun an tsraith pá a bhaint amach. D'oibrigh an cód, d'fhéach an toradh réasúnta - ach ríomh an anailísí de láimh 2020 sa chéim CALCULATE agus níor oibrigh sé. Fadhb: d'úsáid an hintleachta saorga an díbhoilsceoir le bonn de 2003=100 agus d'iarr an tsraith pá le praghsanna 2015; Bhí na bunáiteanna ag teacht salach ar a chéile. Deisíodh an cód le socrú líne amháin, thit an tsraith iomlán i bhfeidhm.

Cás 2 - Earráid toirte chiúin. Laghdaigh institiúid sonraí onnmhairithe i mílte dollar agus allmhairí i milliún dollar. Nuair a bhain an hintleachta saorga an dá cheann as an "iarmhéid trádála eachtrach", bhí easnamh áiféiseach mar thoradh air. Léirigh an t-amharc íosta in EDA an earráid: bhí difríocht idir ord méideanna an dá shraith faoi fhachtóir 1000. Nuair a bhí an t-aonad cothromaithe bhí an t-iarmhéid ceart.

Cás 3 — Gan an t-asluiteach a scriosadh. Bhí mí amháin i sraith thar a bheith íseal. Mhol AI "outlier, a ligean ar é a ghlanadh". D'imscrúdaigh an t-anailísí: cuireadh stop le táirgeadh mar gheall ar thubaiste nádúrtha an mhí sin. Bhí an luach fíor; Dhéanfadh scriosadh é an stair a shaobhadh. In ionad é a scriosadh, tugadh fonóta dó. Níor leanadh go dall le moladh “soiléir” an AI.

Tábla bailíochtaithe comhshó

Comhshó

bunúsach foirmle

seicphointe láimhe

réadú

ainmniúil/innéacs praghsanna × 100

Bonn díbhoilsceora = bonn toraidh?

fás bliantúil

(t / t- 12 mí − 1)×100

Ríomh peiriad ar pháipéar

innéacsú

sraith/bonntréimhse × 100

An 100 luach an bhuntréimhse?

go míosúil → go ráithiúil

sreabhadh: bhailiú / stoc: deireadh na tréimhse

Modh bailithe ceart?

meán ag gluaiseacht

n tréimhse seo caite meán

An bhfuil fad na fuinneoige ceart?

Ceithre theimpléad inchóipeála

1) Plean glantacháin:

Tá na sonraí amh seo agam: [colúin agus sraitheanna samplacha]. Déan plean glantacháin chun ullmhú don anailís: luach in easnamh, eisiúint aonaid/formáide, ailíniú dáta, ailíniú minicíochta, asluitigh fhéideartha. Mínigh in abairt amháin cén fáth a bhfuil gá le gach céim. Ná scríobh cód fós; lig dom an plean a dhearbhú ar dtús.

2) cód glantacháin pandas:

Scríobh cód pandas de réir an phlean a cheadaigh mé. Cuir in iúl don chód cad a dhéanann sé ag gach céim le líne tráchta; Priontálann sé líon na sraitheanna agus na luachanna atá ar iarraidh tar éis an chomhshó. Ná scrios go ciúin aon bhreathnóireacht; Tuairiscigh gach líne a scriosann tú.

3) Réadú (infhíoraithe):

Bain úsáid as an tsraith ainmniúil seo le [innéacs praghsanna]. Scríobh go soiléir bonnbhliain an díbhoilsceora nuair a úsáideann tú é; Sonraigh cad é bonn na sraithe mar thoradh air. Taispeáin dom an cuntas céim ar chéim ar feadh tréimhse amháin ionas gur féidir liom é a fhíorú de láimh.

4) Achoimre anailíse taiscéalaíoch:

Scríobh cód iniúchta taiscéalaíoch do na sonraí glanta seo a leanas: staitisticí achoimre, plota amsraithe, scanadh asluiteach, agus maitrís comhghaoil. Agus na torthaí á léirmhíniú agat, cuir in iúl go soiléir nach bhfuil na comhghaolta a fhaigheann tú CÚSÁNACH agus liostaigh 3 phointe a sheasann amach dom.

Leid lag / Pras láidir

Leid lag:

Glan na sonraí seo.

Feidhmíonn AI le boinn tuisceana gan a fhios agam cad atá le glanadh; Is féidir leat breathnuithe a scriosadh, aonaid a athrú, ní thabharfaidh tú faoi deara.

Leid chumhachtach:

Sna sonraí míosúla trádála eachtracha seo, tá onnmhairí i "míle USD" agus tá allmhairí i "milliún USD". Déan an dá chomhionann i "milliún USD", marcáil na míonna atá ar iarraidh ach NÁ LÍON, ailínigh na dátaí go dtí deireadh na míosa. Priontáil cé mhéad sraitheanna a bhfuil tionchar orthu ag gach céim; go ciúin scrios gan sraitheanna. Ansin taispeáin an t-iarmhéid ar feadh míosa amháin ar bhealach gur féidir liom a sheiceáil de láimh.

Botúin choitianta

  • Rith an cód comhshó gan é a léamh. Éillíonn an bonn/aonad mícheart an anailís iomlán go ciúin.
  • Na sonraí atá in easnamh a líonadh gan smaoineamh. An tréimhse géarchéime/tubaiste a scriosadh leis an meán.
  • Caith amach asluiteacha go huathoibríoch. Teagmhas fíor a chur amú mar gheall ar earráid sonraí.
  • Mearbhall ar fhás séasúrach agus bliantúil. Tá méideanna difriúla ag an dá cheann.
  • minicíochtaí a chomhcheangal go mícheart. An tsraith stoc a bhailiú agus é a phróiseáil mar shreabhadh.
  • An comhghaol a chur amú san EDA maidir le cúisíocht. An uirlis aitheantais a chur amú mar fhianaise.

Go hachomair

Is é glanadh agus claochlú sonraí an 80 faoin gcéad dofheicthe ach cinntitheach den anailís eacnamaíoch. Cuireann faisnéis shaorga dlús mór leis an saothar meicniúil seo; ach tá sé de dhualgas ort gach céim glanta agus gach claochlú a léamh agus breathnóireacht amháin ar a laghad a fhíorú de láimh. Is cinntí eacnamaíocha iad bonn díbhoilsceora, aonaid, minicíochta agus cinntí asluiteacha agus ní féidir iad a fhágáil go dall faoin hintleachta saorga. Tugann anailís taiscéalaíoch sonraí isteach, ach níl aon chúis le comhghaol.

Tasc feidhmchláir

Íoslódáil sraith amh iarbhír (m.sh. IPT míosúil agus sraith ainmniúil pá/ioncaim). Cruthaigh plean glantacháin leis an 1ú teimpléad, bíodh an cód ginte leis an 2ú teimpléad, agus réadaigh an tsraith leis an 3ú teimpléad. Ansin ríomh luach fíor tréimhse singil ar pháipéar agus cuir i gcomparáid é le haschur na hintleachta saorga. Má aimsíonn tú neamhréir, diagnóis agus ceartaigh a fhoinse (bonn/aonad) agus tabhair faoi deara an dul chun cinn.

seicliosta

  • [ ] Rinne mé athbhreithniú ar an bplean glantacháin agus cheadaigh mé é sular scríobhadh an cód.
  • [ ] Scriosadh/athraigh mé gach líne de bharr na hintleachta saorga a tuairiscíodh; Gan scriosadh ciúin.
  • [ ] Nuair a bheidh na sonraí atá in easnamh á líonadh agat is féidir leat ceist a chur "cén fáth a bhfuil sé folamh?" D'fhreagair mé an cheist.
  • [ ] D’fhiosraigh mé cibé acu an teagmhas fíor nó earráid sonraí a bhí san asluiteach.
  • [ ] Sa réadú, d'fhíoraigh mé go bhfuil bonn an díbhoilsceora agus an bonn toraidh ag teacht le chéile.
  • [ ] D’athríomh mé de láimh an tiontú ar feadh tréimhse amháin ar a laghad.
  • [ ] Níor chuir mé comhghaolta san EDA i láthair mar chúis.