Awọn anfani:
- Agbara lati gbejade awọn iṣiro ijuwe ati pinpin / awọn shatti ibatan pẹlu atilẹyin itetisi atọwọda ati yan iru aworan apẹrẹ ti o tọ ni ibamu si data ati ibeere
- Agbara lati ṣe idanimọ awọn yiyan ṣinilọna (apa ti o ya, iwọn ti ko yẹ, didin ti o pọ julọ) ninu awọn aworan ti a ṣejade nipasẹ oye atọwọda ati lo awọn ipilẹ iwoye otitọ
- Ni anfani lati ṣe iyatọ pe itupalẹ iwadii jẹ fun ipilẹṣẹ awọn idawọle ati pakute ti ṣiṣe wiwa ati idaniloju pẹlu data kanna (eyiti o ṣii ilẹkun si p-sapa).
Lẹhin nu data naa, iṣẹ akọkọ ti oniwadi ti o ni agbara ni lati mọ ọ. Ipele yii ni a npe ni itupalẹ data ti o ṣawari (EDA-Itupalẹ Data Exploratory): o jẹ ilana ti ayẹwo data pẹlu awọn aworan ati awọn iṣiro akopọ ati ri eto rẹ, awọn ilana ati awọn iyanilẹnu. Ero naa kii ṣe lati ṣe idanwo igbero kan sibẹsibẹ, ṣugbọn lati ni oye pẹlu data naa, ṣe agbekalẹ awọn ibeere ati fi ipilẹ lelẹ fun awoṣe ti iwọ yoo kọ ni ọjọ iwaju. Ninu ẹyọ yii, a yoo rii bii oye atọwọda (AI) ṣe yara EDA ati iworan, ṣugbọn idi ti awọn eya aworan ti o ṣe ni a gbọdọ ṣe ayẹwo ni pẹkipẹki.
Jẹ ki a kọkọ ṣe awọn iyatọ ipilẹ meji. Ni akọkọ, awọn iṣiro ijuwe (awọn nọmba ti o ṣe akopọ data gẹgẹbi itumọ, agbedemeji, iyapa boṣewa, awọn quartiles) ati iworan (fifihan alaye kanna ni ayaworan) ṣe iranlowo fun ara wọn; Papọ wọn ṣe apejuwe data naa. Keji, ati pataki julọ: iṣawari ati idaniloju gbọdọ jẹ iyatọ. Itupalẹ iṣawakiri jẹ fun ipilẹṣẹ awọn idawọle; Ṣiṣayẹwo idawọle pẹlu data kanna ati sisọ “Mo ṣe idanwo ati rii pe o ṣe pataki” ṣi ilẹkun si p-sasaka, eyiti a yoo rii ni ẹyọ ti n bọ. O jẹ ọfẹ lati wo data naa ki o wo ilana kan; Ṣugbọn sisọ apẹẹrẹ yẹn “wiwa ti a fihan” ninu data kanna jẹ ṣinilọna.
Igbesẹ nipa igbese iwadi iwadi
1. Univariate wiwo. Ṣe ayẹwo oniyipada kọọkan ni ọkọọkan: jẹ alapọpọ pinpin rẹ tabi skewed; awọn oke-nla melo ni o wa; Nibo ni awọn ita? Fun awọn oniyipada nọmba, histogram (Idite ti o nfihan igbohunsafẹfẹ nipasẹ pipin awọn iye sinu awọn sakani) ati apoti apoti (apoti - chart ti o nfihan agbedemeji, quartile ati awọn iye to gaju); Fun awọn oniyipada isori, lo awọn tabili igbohunsafẹfẹ ati awọn shatti igi.
2. Bivariate wiwo. Wo ibatan laarin awọn oniyipada meji: Idite tuka fun awọn oniyipada nọmba meji (ṣe afihan akiyesi kọọkan bi aaye kan lori ọkọ ofurufu x-y), igbero apoti akojọpọ fun isori-nọmba, crosstab fun isori meji. Ṣaaju ki o to wo olusọdipúpọ ibamu, rii daju pe o wo ibi-itumọ pipinka: ibaramu kanna le ṣe afihan awọn ilana ti o yatọ pupọ (Quartet Anscombe olokiki ṣe afihan eyi; awọn ipilẹ data mẹrin ni awọn iṣiro ti o jọra, ṣugbọn nigbati a ba gbero wọn yipada lati yatọ patapata).
3. Yan awọn ti o tọ chart iru. Iru aworan apẹrẹ da lori ibeere rẹ ati iru data. Histogram fun pinpin; tuka fun ibasepo; ila chart fun ayipada lori akoko; igi apẹrẹ fun lafiwe ẹka; (ṣọra) tolera bar fun awọn ipin ti awọn ẹya si gbogbo. AI ni kiakia ṣe ipilẹṣẹ koodu fun ọ, ṣugbọn ipinnu “iwoya wo fun ibeere wo” jẹ tirẹ.
4. Ṣe akiyesi ilana naa, maṣe sọ awọn abajade. Ṣe igbasilẹ eyikeyi apẹẹrẹ ti o nifẹ ti o rii bi “akọsilẹ awari,” ṣugbọn maṣe ro pe o jẹ wiwa ti a fọwọsi. Ìmúdájú jẹ́ ìgbésẹ̀ ọ̀tọ̀ọ̀tọ̀, nífẹ̀ẹ́ pẹ̀lú dátà ọ̀tọ̀ tàbí ètò tí a ti yàn tẹ́lẹ̀.
Awọn ilana iworan otitọ
Awọn iwọn idaniloju; Nitorina, awọn oniwe-sinilona agbara jẹ tun ga. AI le ṣe ẹwa ṣugbọn nigbakan awọn yiyan ṣinilona. Ṣayẹwo awọn ilana wọnyi:
- Ni awọn shatti igi, y-axis gbọdọ bẹrẹ ni odo. Aṣisi ti a fi silẹ fihan awọn iyatọ kekere bi nla.
- Iwọn yẹ ki o wa ni ibamu. Ti a ba ṣe afiwe awọn shatti meji, lo iwọn ila kanna.
- Irọra ti o pọju le tọju apẹrẹ otitọ. Laini aṣa kan dabi ohun ti o wuyi, ṣugbọn ti o ba “smoothes” data naa pọ ju, o le jẹ ṣina.
- Awọ ati ohun ọṣọ 3D daru akiyesi, kii ṣe data. Yan ayedero.
- Awọn data ti o padanu ati iwọn ayẹwo yẹ ki o han. "n=12" ati "n=12,000" ko yẹ ki o wo kanna.
Akiyesi: Nitoripe awọn aworan ti a ṣe nipasẹ AI jẹ lẹwa, wọn kii ṣe otitọ. Aṣiṣe ti o wọpọ julọ ti o ṣe ni ko bẹrẹ axis lati odo ni apẹrẹ igi ati sisọ iyatọ laarin awọn ẹgbẹ meji. Nigbagbogbo ṣayẹwo awọn ipo.
Àwòrán ìfiwéra: ìbéèrè → chart
Beere
chart ti o tọ
Aṣiṣe ti o wọpọ
Bawo ni oniyipada yii ṣe pin kaakiri?
Histogram / apoti Idite
lo paii chart
Ṣe awọn oniyipada nomba meji ni ibatan?
Idite tuka
O kan n wo nọmba awọn ibatan
Bawo ni o ti yipada lori akoko?
ila aworan atọka
Sisọ aṣa kan pẹlu chart igi kan
Kini iyato laarin awọn ẹgbẹ?
Apoti ti a ṣe akojọpọ (lati ibere)
Truncated asulu ọpá
Ipin-si-odidi ipin?
Pẹpẹ tolera (pẹlu iṣọra)
Olona-bibẹ paii chart
Mẹrin daakọ ta
1. Koodu iwari aifọwọyi:
Ipa rẹ: Iranlọwọ EDA. Emi ko pin data naa, Mo fẹ koodu R (ggplot2). Awọn oniyipada nọmba (owo oya, ọjọ-ori, inawo) ati isọri (agbegbe, eto-ẹkọ) wa ninu 'data' data.frame. Iṣẹ-ṣiṣe: kọ koodu ti o ṣe agbejade histogram fun nomba kọọkan, apẹrẹ igi kan fun isori kọọkan, ati idite tuka fun ọjọ-ori owo oya. Ni awọn shatti igi, jẹ ki y-axis bẹrẹ lati ZERO. Fi ila asọye.
2. Atunwo ibamu (ibaramu + wiwo papọ):
Kọ koodu ti awọn mejeeji ṣe iṣiro ibamu ibamu Pearson fun owo-wiwọle ati inawo ati awọn igbero tituka + aṣa laini. Ṣafikun laini asọye kan ti n ran mi leti lati ṣayẹwo chart ṣaaju ki o to TRUSTING kika ibamu (ikilọ Anscombe). Ma ṣe ju-dan laini aṣa naa.
3. Ayẹwo iduroṣinṣin:
Ṣayẹwo koodu ggplot atẹle fun iworan ododo:[koodu]. Ṣayẹwo ki o ṣe atunṣe atẹle naa: ṣe y-axis bẹrẹ lati odo, jẹ iwọn ni ibamu, jẹ iwọn ayẹwo han, jẹ didimu ti o pọju? Ṣe alaye idalare fun atunṣe kọọkan ti o ṣe.
4. Ṣiṣejade akọsilẹ awari (kii ṣe wiwa):
Da lori awọn aworan ti Mo ṣe, ṣe atokọ awọn AWỌN ỌMỌDE bi 'akọsilẹ awari'; kọ ohun kọọkan ni ede ti 'hypothesis lati ṣe idanwo', kii ṣe 'wiwa ipari'. Apeere: 'Owo-owo ni ile-ẹkọ giga DẸNI diẹ sii tan kaakiri; yẹ ki o ṣe idanwo pẹlu data lọtọ.' Yago fun idi ati awọn alaye asọye.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Ṣe awọn aworan ti o wuyi lati ikore ki o sọ fun mi kini wọn tumọ si.
Itọkasi yii n pe igbejade ṣinilọna: “ẹwa” dojukọ awọn ẹwa, lakoko ti “kini o tumọ si” titari AI lati fo lati wiwa si ipari ipari. Idi, awọn asọye abumọ tẹle.
Ibere ti o lagbara:
Ipa rẹ: olododo EDA assistant.Task: (1) yan iru chart ti o baamu ibeere mi ki o kọ idalare, (2) bẹrẹ axis lati odo ni awọn shatti igi, (3) tumọ abajade ni ede AWỌN ỌRỌ NIPA: no definitive/causal claim suggest hypothesis in " must be tested " language, (4) kilo mi ti o ba jẹ pe apẹrẹ naa jẹ kekere).
Iyatọ: lagbara yoo ṣe idalare iru chart, gbe awọn ofin ti otitọ ati pe ko daamu wiwa pẹlu idaniloju.
mẹta mini igba
Case 1 - Ọtọ asopo. Oluyanju kan ṣe afihan awọn ikun itelorun ti awọn ẹka meji (7.8 ati 8.0; ninu 10) ni apẹrẹ igi kan. Nigbati o ba bẹrẹ ipo YZ lati 7.5, ẹka keji han fere lemeji bi giga bi akọkọ; nigbati iyatọ jẹ nikan 2.5%. Management wà nipa lati san a eka labẹ ti ko tọ sami. Nigbati mo bẹrẹ awọn ipo lati ibere awọn iyato wà fere alaihan. Ẹkọ: Yiyan axis nikan ni iyipada iwoye.
Ọran 2 - Gbẹkẹle isọdọkan ati ṣiṣafihan chart naa. Oluwadi kan rii r = 0.81 laarin awọn oniyipada meji ati kọ “ibasepo laini ti o lagbara”. Nigbati alamọran rẹ beere fun idite tuka, a rii pe ibatan jẹ looto nitori akiyesi iwọn kan, ati nigbati aaye yẹn yọkuro, ibamu naa lọ silẹ si 0.12. Ẹkọ: Iwọn ibamu kii ṣe aropo fun aworan kan; nigbagbogbo wo awọn sit.
Ọran 3 - Awari iruju pẹlu ìmúdájú. Ọmọ ile-iwe kan wo gbogbo awọn ibatan meji-meji ni eto data oniyipada 40, yan eyi ti o ga julọ (r=0.52) o si kọ, “a rii ibatan pataki laarin ẹkọ ati ifowopamọ (p=0.004).” Sibẹsibẹ, awọn ọgọọgọrun awọn orisii wa ni awọn oniyipada 40; yiyan ti o ga julọ jẹ wiwa eke nitori aye. Ẹkọ: apẹrẹ ti a ṣe awari ko le jẹ “idanwo ati kede pataki” ni data kanna; Ijẹrisi lọtọ ni a nilo.
Awọn aṣiṣe ti o wọpọ
- Ko bẹrẹ ipo lati odo ninu apẹrẹ igi. O exaggerates awọn kekere iyato; Awọn wọpọ visual irọ. Ṣayẹwo nigbagbogbo.
- Wiwo ni ibamu ati fo chart. Ibaṣepọ kanna wa lati awọn ilana ti o yatọ pupọ; le ipele ti ohun outlier ibasepo. Ni akọkọ, tuka.
- Ṣiyesi apẹẹrẹ ti a rii ni wiwa bi “ẹri” ni data kanna. Eyi ni ẹnu-ọna si p-sasaka; Ìmúdájú ti wa ni ṣe lọtọ.
- Iru chart ti ko tọ. Awọn ibaamu bii igi fun aṣa ati paii fun pinpin jẹ ṣinilọna. Yan oriṣi ti o da lori ibeere naa.
- Nọmbafoonu iwọn ayẹwo. n = 8 ati n = 8,000 ko yẹ ki o wo kanna ni aworan kanna; aidaniloju gbọdọ han.
Imọran: Ṣaaju ki o to tẹjade chart kan, beere lọwọ ararẹ: "Ṣe itan naa yoo yipada ti MO ba yi ipo naa pada?" Ti idahun ba jẹ bẹẹni, o ṣee ṣe pe o ti bẹrẹ pivot lati ibi aiṣotitọ kan.
Ni soki
Itupalẹ data ti iṣawari jẹ ipele ti ipade data, wiwo awọn ilana ati awọn idawọle; Kii ṣe idaniloju. AI ni kiakia ṣe agbekalẹ awọn iṣiro ijuwe ati koodu ayaworan, ṣugbọn o yan iru ayaworan ti o da lori ibeere rẹ ati ṣakoso awọn ipilẹ ti ododo (apa odo, iwọn deede, aidaniloju gbangba). Wo tuka ṣaaju ki o to gbẹkẹle nọmba ibamu; Ma ṣe kede apẹrẹ ti o rii ni wiwa bi “ẹri” ninu data kanna. Aworan ti o lẹwa ti AI ko tumọ si iyaya ti o pe.
Ohun elo iṣẹ-ṣiṣe
Yan o kere ju awọn oniyipada mẹta ninu eto data kan. Beere AI fun ati ṣiṣiṣẹ koodu ti o ṣe agbejade awọn aworan aṣawakiri (histogram, tuka, apoti) pẹlu itara ti o fi ipa mu awọn ofin otitọ. Fun apẹrẹ kọọkan: ṣayẹwo (1) ibamu ti iru chart si ibeere naa, (2) otitọ ti ipo, (3) hihan iwọn ayẹwo. Kọ o kere ju ọkan “akọsilẹ awari” ni ede arosọ (“… o farahan lati ni idanwo lọtọ”). Ṣayẹwo ibamu pẹlu kika mejeeji ati tuka ki o jabo ti iyapa ba wa laarin wọn.
akojọ ayẹwo
- [] Mo yan iru chart ti o da lori ibeere mi ati iru data.
- [] Ni awọn shatti igi, Mo bẹrẹ y-axis lati odo; Mo ṣayẹwo otitọ ipo.
- [] Mo wo ibi-ituka ṣaaju ki o to gbẹkẹle ibamu.
- [] Mo ṣe afihan iwọn ayẹwo ati aidaniloju lori iyaya naa.
- [ ] Mo ko awọn ilana ti mo ri ninu iwakiri bi "idaniloju lati ṣe idanwo" dipo "ẹri".
- [] Mo ṣe akiyesi pe Emi kii yoo lo data kanna fun idaniloju ati pe a nilo igbesẹ lọtọ.