Awọn anfani:
- Agbara lati nu data ọrọ-aje aise (awọn akiyesi ti o padanu, rudurudu apakan, aiṣedeede igbohunsafẹfẹ) ati jẹ ki o ṣetan fun itupalẹ pẹlu iranlọwọ ti oye atọwọda
- Agbara lati tẹjade awọn iyipada ọrọ-aje boṣewa gẹgẹbi iyipada-ipin gidi, atọka, oṣuwọn idagbasoke, atunṣe akoko bi koodu sinu oye atọwọda ati rii daju wọn pẹlu ọwọ
- Agbara lati ṣe idanimọ data nipasẹ itupalẹ data ti iṣawari (awọn iṣiro akopọ, pinpin, awọn ita gbangba, ibamu) ati awọn akopọ itetisi atọwọda kika ni itara
Aje data ṣọwọn ba wa setan fun onínọmbà. Ninu tabili ti o gba lati TURKSTAT, diẹ ninu awọn oṣu ti nsọnu, iwe kan wa bi ọrọ pẹlu awọn biraketi ẹgbẹrun, oṣuwọn paṣipaarọ wa ni ọna Turki bi “1.234,56”, jara kan jẹ oṣooṣu ati ekeji jẹ oṣu mẹẹdogun. Pupọ julọ akoko onimọ-ọrọ ni a lo kii ṣe ni itupalẹ, ṣugbọn ni ṣiṣe data ti ṣetan fun itupalẹ. Eyi ni ibiti AI jẹ gidi, imuyara eewu kekere: o ni imọran awọn igbesẹ afọmọ, kọwe pandas (ikawe sisẹ data ti Python), ṣe koodu awọn iyipada eto-ọrọ aje boṣewa. Ṣugbọn ẹyọkan yii tun ni ofin aiyipada: O ka gbogbo iyipada ti a kọ nipasẹ oye atọwọda ati rii daju pẹlu ọwọ ni o kere ju akiyesi kan. Ti o ba ti gidi-ipin ọmọ wa lori ti ko tọ si, gbogbo onínọmbà jẹ laiparuwo ibajẹ.
Ninu: kini awọn iṣoro, bawo ni a ṣe le yanju wọn?
Awọn iṣoro ti o wọpọ julọ ni data eto-ọrọ ati ọgbọn wọn:
- akiyesi pipe. Osu kan/mẹẹdogun sofo. Ojutu naa da lori ọrọ-ọrọ: ti ko ba wa ni otitọ, a fi silẹ ni ofifo; Ti aafo imọ-ẹrọ ba wa, iṣọra iṣọra ni a ṣe - ṣugbọn laini laarin iṣelọpọ jẹ tinrin.
- Idarudapọ awọn ẹya ati awọn ọna kika. Ọrọ "12.345.6" gbọdọ wa ni iyipada si nọmba kan; milionu / bilionu yẹ ki o wa ni ibamu.
- Igbohunsafẹfẹ aiṣedeede. Lati darapo jara oṣooṣu ati idamẹrin, ọkan jẹ akojọpọ (oṣooṣu si idamẹrin) - boya o jẹ aropin, lapapọ tabi ipari akoko da lori iru atọka (iyatọ ọja / sisan).
- Outlier (awọn iwọn) iye. Ti akiyesi ba yapa lainidi: ṣe iṣẹlẹ gidi kan (idaamu, fikun idiyele), tabi aṣiṣe data kan? O ti ni oye ṣaaju piparẹ.
- Titete ọjọ. Awọn ọna kika ọjọ ati awọn asọye akoko ti oriṣiriṣi jara ti muṣiṣẹpọ.
Ifarabalẹ: Kikun data ti o padanu dabi alaiṣẹ, ṣugbọn o jẹ ipinnu aje. Kikun oṣu idaamu pẹlu “apapọ ti awọn oṣu adugbo” tumọ si piparẹ aawọ yẹn lati inu itupalẹ naa. Ṣaaju ki o to kun, beere "kilode ti aafo yii wa?" Dahun ibeere naa.
Standard aje iyipada
Awọn iyipada ati awọn itumọ wọn ninu iwe-akọọlẹ ojoojumọ ti onimọ-ọrọ-ọrọ kan:
- Orúkọ → Real. Siṣàtúnṣe fun ikolu owo: gidi iye = ipin iye / owo atọka × 100. Awọn mimọ odun ti awọn deflator (atunṣe atọka) ipinnu awọn mimọ ti awọn esi.
- Titọka. Rescaling a jara ki a yan akoko = 100; O ti wa ni wulo fun wé jara ti o yatọ si titobi.
- Iwọn idagbasoke. Ọdọọdun: (akoko kanna ni akoko yii / ọdun to kọja - 1) × 100. Oṣuwọn igbakọọkan ati ti ọdọọdun jẹ ohun ti o yatọ; Idarudapọ jẹ aṣiṣe ti o wọpọ.
- Atunse igba. Mimu awọn ipa akoko deede (irin-ajo igba ooru, awọn isinmi); Awọn jara aise ati jara ti a ṣatunṣe akoko sọ awọn itan oriṣiriṣi.
- Gbigbe apapọ. Didun ariwo ati ṣiṣe aṣa han.
- Logarithms ati iyatọ. Lati ṣe ayẹwo awọn agbara idagbasoke ati iduro (yoo jinle ni apakan jara akoko).
Imọran: Pẹlu iyipada kọọkan iwọ yoo beere "Kini o ṣẹlẹ si ẹyọ ati ipilẹ?" beere. Awọn mimọ ti awọn gidi jara ni awọn mimọ ti awọn deflator; Ipilẹ ti jara atọka jẹ akoko ti o yan. Titọju eyi kọ silẹ ṣe idiwọ awọn aṣiṣe iwaju.
Iṣayẹwo data ti iṣawari (EDA)
O jẹ dandan lati ṣe idanimọ data ṣaaju titẹ sii sinu awoṣe. Ṣiṣayẹwo data ti iṣawari (EDA) pẹlu: awọn iṣiro akopọ (itumọ, agbedemeji, iyapa boṣewa, min-max), apẹrẹ ti pinpin, dajudaju lori akoko, awọn itusilẹ ati ibamu laarin jara. AI ni kiakia ṣe koodu fun awọn igbesẹ wọnyi; Iṣẹ rẹ ni lati ka abajade pẹlu oju ọrọ-aje: "Ṣe aropin yii jẹ oye? Ṣe ibamu yii jẹ lasan tabi ibatan ti a mọ?
Išọra: Ibaṣepọ jẹ ọna idanimọ nikan nibi, kii ṣe ẹri idi. Otitọ pe awọn jara meji n gbe papọ (fun apẹẹrẹ, awọn tita ipara yinyin ati awọn igbẹ-mejeeji ti o fa nipasẹ ooru) ko ṣe afihan dandan pe ọkan nyorisi ekeji. A yoo jinlẹ iyatọ yii ni ẹyọkan 7.
mẹta mini igba
Irú 1 - Ti ko tọ deflator mimọ. Oluyanju kan ni koodu kikọ oye atọwọda lati mọ lẹsẹsẹ owo-iṣẹ naa. Koodu naa ṣiṣẹ, abajade dabi ironu - ṣugbọn atunnkanka pẹlu ọwọ ṣe iṣiro 2020 ni igbesẹ CALCULATE ati pe ko ṣiṣẹ. Isoro: itetisi atọwọda lo deflator pẹlu ipilẹ ti 2003 = 100 ati pe o beere fun jara ọya pẹlu awọn idiyele 2015; Awọn ipilẹ wà rogbodiyan. Awọn koodu ti a tunše pẹlu kan nikan ila fix, gbogbo jara subu sinu ibi.
Ọran 2 - Aṣiṣe iwọn didun ipalọlọ. Ile-ẹkọ kan ti dinku data okeere ni ẹgbẹrun dọla ati awọn agbewọle lati ilu okeere ni miliọnu dọla. Nigbati oye atọwọda yọ awọn meji kuro fun “iwọntunwọnsi iṣowo ajeji”, abajade jẹ aipe aipe. Wiwo min-max ni EDA ṣafihan aṣiṣe naa: aṣẹ titobi ti jara meji yato nipasẹ ipin kan ti 1000. Ni kete ti a ti dọgba ẹyọkan iwọntunwọnsi jẹ deede.
Ọran 3 - Kii ṣe pipaarẹ itujade naa. Oṣu kan ni ọna kan jẹ kekere ti iyalẹnu. AI daba “outlier, jẹ ki a sọ di mimọ”. Oluyanju naa ṣe iwadii: iṣelọpọ ti duro nitootọ nitori ajalu adayeba ni oṣu yẹn. Awọn iye je gidi; Pipaarẹ rẹ yoo da itanjẹ. Dipo piparẹ, o jẹ akiyesi ẹsẹ. Iṣeduro “ko o” ti AI ko tẹle ni afọju.
Tabili afọwọsi iyipada
Iyipada
koko agbekalẹ
Afowoyi checkpoint
imuse
ipin/ atọka iye owo × 100
Ipilẹ Deflator = ipilẹ abajade?
lododun idagbasoke
(t / t-12 osu - 1)×100
Ṣe iṣiro akoko kan lori iwe
titọka
akoko jara/ipilẹ × 100
Ṣe iye akoko ipilẹ jẹ 100?
Oṣooṣu→omẹrin
sisan: gba / iṣura: opin akoko
Ọna gbigba to tọ?
gbigbe apapọ
kẹhin n akoko apapọ
Ṣe ipari window naa tọ?
Mẹrin daakọ awọn awoṣe
1) Eto mimọ:
Mo ni data aise yii: [awọn ọwọn ati awọn ori ila apẹẹrẹ]. Wa pẹlu ero mimọ lati mura silẹ fun itupalẹ: iye ti o padanu, ẹyọkan/ọrọ ọna kika, titete ọjọ, titete igbohunsafẹfẹ, awọn itusilẹ ti o ṣeeṣe. Ṣe alaye ni gbolohun kan idi ti igbesẹ kọọkan ṣe pataki. Maṣe kọ koodu sibẹsibẹ; jẹ ki n jẹrisi eto naa ni akọkọ.
2) koodu afọmọ pandas:
Kọ koodu pandas ni ibamu si ero ti Mo fọwọsi. Jẹ ki koodu tọkasi ohun ti o ṣe ni igbesẹ kọọkan pẹlu laini asọye; O tẹjade nọmba awọn ori ila ati awọn iye ti o padanu lẹhin iyipada naa. Maṣe pa gbogbo akiyesi rẹ ni ipalọlọ; Jabọ gbogbo ila ti o paarẹ.
3) Imudaniloju (ti o le rii daju):
Ṣe idanimọ jara ipin yii pẹlu [itọka iye owo]. Kọ kedere ọdun ipilẹ ti deflator nigbati o ba lo; Pato kini ipilẹ ti jara abajade jẹ. Ṣe afihan akọọlẹ naa ni igbesẹ nipasẹ igbese fun akoko kan ki MO le rii daju pẹlu ọwọ.
4) Akopọ iṣawakiri:
Kọ koodu itupalẹ iwakiri fun data mimọ ti o tẹle: awọn iṣiro akopọ, Idite jara akoko, ọlọjẹ jade, ati matrix ibamu. Nigbati o ba n tumọ awọn abajade, jẹ ki o ye wa pe awọn ibamu ti o rii kii ṣe CAUSAL ati ṣe atokọ awọn aaye 3 ti o jade si mi.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Pa data yii kuro.
AI ṣiṣẹ pẹlu awọn awqn lai mọ ohun ti lati nu; O le pa awọn akiyesi rẹ, yi awọn ẹya pada, iwọ kii yoo ṣe akiyesi.
Ibere ti o lagbara:
Ninu data iṣowo ajeji oṣooṣu yii, awọn ọja okeere wa ni “ẹgbẹrun USD” ati awọn agbewọle lati ilu okeere wa ni “miliọnu USD”. Jẹ ki awọn mejeeji dọgba ni “miliọnu USD”, samisi awọn oṣu ti o nsọnu ṣugbọn MAA ṢE ṢE, so awọn ọjọ naa pọ si opin oṣu naa. Tẹjade iye awọn ori ila ti o kan ni igbesẹ kọọkan; ni ipalọlọ pa ko si awọn ori ila. Lẹhinna ṣafihan iwọntunwọnsi fun oṣu kan ni ọna ti MO le ṣayẹwo pẹlu ọwọ.
Awọn aṣiṣe ti o wọpọ
- Ṣiṣe koodu iyipada laisi kika rẹ. Ipilẹ ti ko tọ / kuro ni ipalọlọ ba gbogbo itupalẹ jẹ.
- Àgbáye ni sonu data lai ero. Erasing awọn aawọ / ajalu akoko pẹlu awọn apapọ.
- Laifọwọyi sọ awọn ita kuro. Aṣiṣe iṣẹlẹ gidi kan fun aṣiṣe data kan.
- Idarudapọ akoko ati idagbasoke lododun. Awọn mejeeji yatọ si titobi.
- Apapọ awọn loorekoore ti ko tọ. Gbigba jara ọja ati ṣiṣe rẹ bi sisan.
- Asise ni ibamu ni EDA fun idi. Asise ti idanimọ ọpa bi eri.
Ni soki
Ninu data ati iyipada jẹ alaihan ṣugbọn ipinnu 80 ida ọgọrun ti itupalẹ eto-ọrọ aje. Oríkĕ itetisi bosipo iyara soke yi darí iṣẹ; ṣugbọn o wa si ọ lati ka gbogbo igbesẹ afọmọ ati gbogbo iyipada ati pẹlu ọwọ jẹrisi o kere ju akiyesi kan. Ipilẹ Deflator, ẹyọkan, igbohunsafẹfẹ ati awọn ipinnu ita gbangba jẹ awọn ipinnu ọrọ-aje ati pe a ko le fi afọju silẹ si oye atọwọda. Itupalẹ iṣawakiri ṣafihan data, ṣugbọn ibamu ko si idi.
Ohun elo iṣẹ-ṣiṣe
Ṣe igbasilẹ jara aise gangan (fun apẹẹrẹ CPI oṣooṣu ati owo-iṣẹ ipin/ẹya ti n wọle). Ṣẹda ero mimọ pẹlu awoṣe 1st, jẹ ki koodu ti ipilẹṣẹ pẹlu awoṣe 2nd, ki o mọ jara pẹlu awoṣe 3rd. Lẹhinna ṣe iṣiro iye gidi ti akoko kan lori iwe ki o ṣe afiwe rẹ pẹlu iṣelọpọ ti oye atọwọda. Ti o ba rii ibaamu kan, ṣe iwadii ati ṣatunṣe orisun rẹ (ipilẹ/ẹyọkan) ki o ṣe akiyesi ilọsiwaju naa.
akojọ ayẹwo
- [] Mo ṣe atunyẹwo ati fọwọsi ero mimọ ṣaaju ki o to kọ koodu naa.
- [] Mo ni gbogbo laini ti paarẹ / yi pada nipasẹ itetisi atọwọda royin; Ko si ipalọlọ ipalọlọ.
- [] Nigbati o ba n kun data ti o padanu o le beere "kilode ti o ṣofo?" Mo dahun ibeere naa.
- [] Mo ṣe iwadii boya olutayo naa jẹ iṣẹlẹ gidi kan tabi aṣiṣe data kan.
- [] Ni idaniloju, Mo rii daju pe ipilẹ deflator ati ipilẹ abajade baramu.
- [] Mo ṣe atunṣe pẹlu ọwọ iyipada ti o kere ju akoko kan.
- [] Emi ko ṣe afihan awọn ibamu ni EDA bi idi.