Awọn anfani:
- Agbara lati ṣawari pinpin, aarin, itankale ati awọn asemase ti awọn oniyipada pẹlu awọn aworan ti o yẹ (histogram, igbero apoti, ipata tuka).
- Agbara lati ṣe itumọ ibaramu ni deede ati ka papọ pẹlu idite tuka, laisi iruju pẹlu idi
- Agbara lati loye pe awọn iṣiro akopọ le jẹ ṣinilọna (Ẹkọ Anscombe) ati idagbasoke awọn idawọle ti o pinnu itọsọna ti awoṣe.
Ṣaaju ki o to kọ awoṣe kan, o jẹ dandan lati mọ data naa. Gẹgẹ bi dokita ko ṣe sọ oogun laisi idanwo alaisan, onimọ-jinlẹ data kan ko kọ awoṣe laisi “ṣayẹwo” data naa. Ayẹwo yii ni a pe ni itupalẹ data exploratory (EDA fun kukuru): o jẹ ipele ti iṣawari pinpin, awọn ibatan, awọn iyanilẹnu ati awọn ẹgẹ ti data ni oju ati ayaworan. Idi ti EDA ni lati ṣe agbekalẹ awọn idawọle, yẹ awọn aṣiṣe, ati pinnu itọsọna awoṣe. Imọran atọwọda jẹ oluranlọwọ ti o lagbara pupọ ni ipele yii: o daba iru chart ti o dara, kọ koodu rẹ, tumọ pinpin. Ṣugbọn eniyan pinnu, pẹlu imọ aaye rẹ, boya apẹrẹ ti o rii jẹ gidi tabi lasan.
Kini EDA n wa?
EDA n wa awọn idahun si awọn ibeere mẹrin. Pipin: Bawo ni a ṣe pin oniyipada kọọkan-ṣe o jẹ alarawọn, skewed, tabi giga-meji bi? Iwa aarin ati itankale: Kini itumọ, agbedemeji, iyapa boṣewa? Awọn ibatan: Bawo ni awọn oniyipada ṣe ni ibatan si ara wọn? Anomalies: Ṣe awọn iye airotẹlẹ, awọn ela, awọn akojọpọ bi? Awọn ibeere mẹrin wọnyi pinnu iru ẹya ti yoo ṣiṣẹ ati awoṣe wo ni o yẹ.
Jẹ ká setumo diẹ ninu awọn ipilẹ agbekale. Histogram jẹ ayaworan ti o pin awọn iye ti oniyipada nọmba si awọn aaye arin ati ṣafihan iye awọn akiyesi ni aarin kọọkan; O jẹ ọna ti o yara ju lati wo pinpin. Skewness jẹ iyipada ti pinpin ni itọsọna kan; Awọn oniyipada gẹgẹbi owo oya ti wa ni skewed si ọtun (poju kekere, diẹ pupọ ga). Idite apoti kan fihan agbedemeji, awọn quartiles ati awọn ita ni iwo kan. Idite tuka kan fihan ibatan ti awọn oniyipada nọmba meji pẹlu awọsanma ti awọn aaye.
Ibaṣepọ: ibatan kan wa ṣugbọn ṣọra
Ibaṣepọ - iwọn bi awọn oniyipada meji ṣe n gbe pọ; nọmba laarin -1 ati +1 - ni lilo julọ ati ohun elo ti ko loye julọ ti EDA. +1 tumọ si afikun-pipe, -1 tumọ si ibatan onidakeji pipe, 0 tumọ si pe ko si ibatan laini. Awọn ẹgẹ nla meji wa. Ni akọkọ, ofin olokiki: ibamu kii ṣe idi. Choking igba pọ pẹlu yinyin ipara tita; kii ṣe nitori ọkan nyorisi ekeji, ṣugbọn nitori ooru (ayipada kẹta ti o farapamọ) nfa awọn mejeeji. Keji, ibamu nikan ṣe iwọn ibatan laini; O le fihan kan to lagbara sugbon curvilinear ibasepo sunmo si 0. Nitorina nigbati o nwa ni ibamu, jẹ daju lati wo ni awọn tuka Idite bi daradara.
Išọra: Nigbati AI ba funni ni nọmba ibaramu, o le yo sinu ede idi bi “A n pọ si B.” Eyi lewu. Ibamu nikan tọkasi gbigbe pọ; Ìrírí nìkan, ìmọ̀ ìkápá, àti ìfọ̀rọ̀rora-ẹni-wò tí ó fi ìdí rẹ̀ múlẹ̀.
Anscombe quartet: kilode ti kii ṣe wo nọmba naa
Apẹẹrẹ olokiki kan wa ninu awọn iṣiro: Quartet Anscombe. Awọn eto data oriṣiriṣi mẹrin ni o fẹrẹẹ tumọ kanna, iyatọ kanna, ati ibaramu kanna (0.82); Ṣugbọn nigba ti a ya aworan, wọn yatọ patapata - laini taara, ọkan ti o tẹ, ọkan awọsanma fa nipasẹ olutayo kan. Ẹkọ naa jẹ kedere: awọn iṣiro akopọ jẹ ṣinilọna, wiwo aworan naa jẹ dandan. AI le fun ọ ni awọn iwọn ati awọn ibamu, ṣugbọn gbigbekele awọn nọmba wọnyẹn laisi wiwo awọn aworan ti n ṣubu sinu ẹgẹ Anscombe.
Tabili ti o wa ni isalẹ ṣe akopọ iru chart ti o baamu ibeere wo:
Ibeere
o dara ayaworan
Ohun ti fihan
Pipin ti a nikan oniyipada
Histogram / KDE
Apẹrẹ, skewness, nọmba ti vertices
Aarin ati outliers
Idite apoti
Agbedemeji, quartiles, outliers
Ibasepo awọn nọmba meji
sit chart
Itọsọna, agbara, ìsépo
lafiwe ẹka
bar chart
Iyatọ laarin awọn ẹgbẹ
yipada lori akoko
ila aworan atọka
Aṣa, seasonality
Multivariate ibasepo
Ibamu ooru map
Gbogbogbo ibasepo matrix
Paradox Simpson: data akojọpọ le purọ
Pakute sneaky ni EDA lati mọ ni paradox Simpson: apẹrẹ kan le ṣe afihan itọsọna kan nigbati gbogbo data ba ṣe ayẹwo papọ, ṣugbọn yiyipada nigbati data ti pin si awọn ẹgbẹ-ẹgbẹ ti o nilari. Apeere Ayebaye: oṣuwọn gbigba gbogbogbo fun awọn olubẹwẹ obinrin ni ile-ẹkọ giga dabi ẹni pe o kere ju fun awọn ọkunrin; Ṣugbọn nigbati o ba wo ẹka nipasẹ ẹka, oṣuwọn gbigba ti awọn obinrin ga ju awọn ọkunrin lọ ni ọpọlọpọ awọn ẹka. Lati ibo? Awọn obinrin lo si ifigagbaga diẹ sii (awọn oṣuwọn gbigba kekere) awọn apa; Nọmba apapọ n tọju oniyipada pamọ yii. Ẹkọ naa han gbangba: nigbati o ba n wo apapọ tabi apapọ, rii daju lati ṣayẹwo boya nọmba naa sọ itan kanna nigbati o ba pin si awọn ẹgbẹ-ẹgbẹ ti o nilari (apakan, akoko, ikanni). Nigbati AI ba fun ọ ni oṣuwọn apapọ, bibeere “Ṣe o tun wulo nigbati o ba pin” yoo mu awọn abajade aṣiwere pupọ julọ ni kutukutu.
mẹta mini igba
Irú 1 - Meji farasin òke. Oluyanju kan rii apapọ ọjọ-ori alabara lati jẹ 41 ati pe o royin bi “ogunlọgọ aarin.” Ṣugbọn awọn histogram fihan meji to ga ju: awọn 22-28 ati 55-62 ori awọn ẹgbẹ. Apapọ 41 ko ṣe aṣoju ẹnikẹni gangan. Ẹkọ: Ṣe ipinnu pinpin ṣaaju ki o to gbẹkẹle itumọ.
Case 2 - Spurious ibamu. Ẹgbẹ kan rii isọdọkan 0.78 laarin “inawo ipolowo” ati “titaja” ati ilọpo meji isuna. Sibẹsibẹ, ohun ti o fa awọn mejeeji jẹ awọn ipolongo akoko; lakoko akoko ipolongo pipa, ibatan naa lọ silẹ si 0.10. 340 ẹgbẹrun TL afikun ipolowo ko mu ipadabọ ti a reti. Ẹkọ: Ibaṣepọ aṣiṣe fun idi jẹ gbowolori.
Ọran 3 - Awọn ila kale nipa awọn Daduro contrarian. Iwadii ohun-ini gidi kan fihan ibatan to lagbara laarin aworan onigun mẹrin ati idiyele (r=0.80). Nigbati awọn sit Idite ti a kale, fere gbogbo ibasepo da nipa a nikan 12 million TL igbadun Villa; Nigbati aaye yẹn ti yọkuro, ibamu naa lọ silẹ si 0.31. Ẹkọ: nigbagbogbo ka ibamu pẹlu idite tuka.
Mẹrin daakọ awọn awoṣe
1) Akopọ EDA aifọwọyi:
Mo ni pandas df. Kọ koodu ti o ṣe: (1) df.info () ati df.describe (), (2) histogram fun iwe nọmba kọọkan, (3) kika fun iwe-ipin kọọkan. Maa ko ọrọìwòye, o kan ina awọn Awari koodu; Mo tumọ awọn ilana.
2) Ibaṣepọ + wiwo (pẹlu akiyesi ti idi):
Kọ koodu ti o fa matrix ibamu ati maapu ooru fun awọn ọwọn nomba. Tun fa idite tuka ti awọn orisii ibatan 3 ti o ga julọ. Ṣafikun laini asọye si iṣẹjade ti nran ọ leti pe ibamu ko tumọ si idi. Maṣe ṣe awọn ẹtọ idi.
3) Ayẹwo pinpin:
Fun awọn iwe "income_tl": kọ koodu ti o gbe awọn histogram, apoti Idite, skewness iye ati agbedemeji/ tumo si lafiwe. Emi yoo tumọ boya pinpin jẹ skewed tabi rara; kan fun koodu.
4) Ifiwera apa:
Ṣe afiwe awọn alabara nipasẹ “ikanni” (ayelujara/alagbeka): kọ koodu ti o ṣe agbejade apoti apoti ti iye apapọ, iye agbedemeji, nọmba awọn aṣẹ, ati pinpin iye fun ikanni kọọkan. Daba idanwo wo ni o yẹ fun pataki iṣiro ti iyatọ laarin awọn ikanni meji, ṣugbọn ipinnu wa fun mi.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Wa nkan ti o nifẹ ninu data yii.
"Awon" jẹ aisọye; AI ko rii data naa, nitorinaa o jẹ ki o soke tabi ṣe awọn alaye gbogbogbo. Ko si itọsọna, ko si awọn oniyipada, ko si idi.
Ibere ti o lagbara:
Ipa rẹ: Iranlọwọ EDA. df ọwọn: ọjọ ori (int), owo_tl (leefofo), ilu (ẹka), ikanni (ayelujara/mobile), iye (leefofo). Idi: lati ṣawari awọn okunfa ti o kan "iye". Iṣẹ-ṣiṣe: (1) koodu igbero pinpin iye, (2) awọn aworan pinpin laarin iye ati ọjọ-ori ati owo-ori_tl, (3) igbero apoti ti iye ni didenukole ikanni. Igbekale kan idi nipe; Kan ṣe ipilẹṣẹ koodu wiwa ati pe Emi yoo tumọ apẹrẹ naa.
Nibi, idi, awọn oniyipada ati opin ti “apeere idi” jẹ kedere.
Awọn aṣiṣe ti o wọpọ
- Gbẹkẹle awọn iṣiro akopọ nikan. Gẹgẹbi Quartet Anscombe ṣe fihan, ọna kanna n tọju awọn pinpin ti o yatọ pupọ; wo chart.
- Ibaṣepọ aṣiṣe fun idi. Iṣọkan-iṣẹ ko fihan pe ọkan nyorisi ekeji; Ṣọra fun awọn oniyipada ti o farapamọ.
- Wiwo ni ibamu lai a sit Idite. Atọjade ẹyọkan tabi curvilinearity ṣi nọmba naa jẹ.
- Akopọ pinpin tente meji / skewed pẹlu itumọ. Apapọ le ma ṣe aṣoju ẹnikẹni.
- Rekọja EDA ati lilọ taara si awoṣe. Awọn data ti a ko mọ tumọ si awoṣe afọju.
Imọran: Pẹlu gbogbo ṣeto data tuntun, lo awọn iṣẹju 30 akọkọ ni iyaworan awọn aworan: histogram ti nomba kọọkan, aaye tuka ti awọn orisii pataki, apẹrẹ igi ti awọn ẹka. Awọn iṣẹju 30 wọnyi ṣe idiwọ awọn aṣiṣe iṣapẹẹrẹ ọjọ iwaju fun awọn ọjọ ti n bọ.
Ni akojọpọ
EDA jẹ ipele ti gbigba lati mọ data ṣaaju kikọ awoṣe kan ati pe o wa awọn idahun si awọn ibeere mẹrin: pinpin, itankale aarin, awọn ibatan ati awọn asemase. Lakotan statistiki le jẹ sinilona; nwa ni awonya ni a gbọdọ (Anscombe ikowe). Ibaṣepọ jẹ ohun elo ti o lagbara, ṣugbọn idi kii ṣe ati pe o yẹ ki o dajudaju ka ni apapo pẹlu idite tuka. AI jẹ ohun imuyara nla fun didaba awọn eya aworan ati koodu kikọ; Ṣugbọn awọn eniyan tumọ pẹlu imọ aaye wọn boya apẹrẹ ti wọn rii jẹ gidi tabi lasan.
Ohun elo iṣẹ-ṣiṣe
Yan dataset kan ki o kan ṣe EDA: jade histogram kan ti o kere ju awọn oniyipada nọmba mẹta, idite tuka ti awọn oniyipada meji, ati maapu ooru ibaramu. Wa o kere ju “iyalenu” kan (gẹgẹbi pinpin pẹlu awọn oke meji, oludije fun isọdọkan alaiṣedeede, ibatan ti o ni ifamọra nipasẹ olutaja kan) ki o ṣe alaye rẹ ni gbolohun ọrọ kan. Kọ laisi ṣiṣe awọn ẹtọ idi eyikeyi.
akojọ ayẹwo
- [] Njẹ Mo ti ṣe aworan pinpin ti oniyipada nọmba kọọkan?
- [] Njẹ Mo wo awọn ibaramu pẹlu atupa?
- [] Njẹ Mo ti tọju idi ati ibaramu lọtọ bi?
- [] Njẹ Emi ko ṣe akiyesi skewed tabi awọn pinpin tente oke-meji ati ni afọju gbẹkẹle itumọ?
- [] Njẹ Mo ti niri o kere ju apakan awoṣe kan / arosọ lati awọn awari EDA mi?