Girdeji:
- Emeli intellekt goldawy bilen suratlandyryjy statistika we paýlama / gatnaşyk çyzgylaryny öndürip bilmek we maglumatlara we soraga görä dogry diagramma görnüşini saýlamak ukyby
- Emeli intellekt tarapyndan öndürilen şekillerde ýalňyş saýlamalary (çyzylan ok, ýerliksiz masştab, aşa ýumşatmak) tanamak we dogruçyl wizual ýörelgeleri ulanmak;
- Gözleg-derňew seljermesini gipotezalary döretmek we şol bir maglumatlar bilen açyş we tassyklamak duzagy (p-haker üçin gapy açýar) bilen tapawutlandyryp bilmek.
Maglumatlary arassalandan soň, empirik gözlegçiniň ilkinji işi ony tanamakdyr. Bu tapgyra gözleg maglumatlarynyň derňewi (EDA - Gözleg maglumatlarynyň derňewi) diýilýär: bu maglumatlary grafikler we jemleýji statistika bilen barlamak we onuň gurluşyny, nagyşlaryny we garaşylmadyk ýagdaýlaryny görmek prosesi. Maksat entek bir gipotezany barlamak däl-de, maglumatlar bilen tanyşmak, soraglar döretmek we geljekde gurjak modeliňize esas döretmek. Bu bölümde emeli intellektiň (AI) EDA-ny we wizuallaşdyrmagy nädip çaltlaşdyrýandygyny göreris, ýöne näme üçin öndürýän grafikalary üns bilen barlamaly.
Ilki bilen iki esasy tapawut edeliň. Birinjiden, suratlandyryjy statistika (ortaça, orta, standart gyşarmak, kwartal ýaly maglumatlary jemleýän sanlar) we wizuallaşdyrmak (şol bir maglumatlary grafiki görnüşde görkezmek) biri-birini doldurýar; Bilelikde maglumatlary beýan edýärler. Ikinjiden, iň möhümi: açyş we tassyklama tapawutlandyrylmalydyr. Gözleg-derňew derňewi gipotezalary döretmek üçin; Şol bir maglumatlar bilen gipotezany öwrenmek we "Synag etdim we ähmiýetini tapdym" diýmek, indiki bölümde görjek p-hakerlige gapy açýar. Maglumatlara seretmek we bir nagyş görmek mugt; Emma şol nagşy şol bir maglumatdaky "subut edilen tapyndy" diýip yglan etmek ýalňyşdyr.
Stepdim-ädim gözleg derňewi
1. Birmeňzeş görnüş. Her üýtgeýjini aýratynlykda gözden geçiriň: paýlanyşy simmetrikmi ýa-da gödekmi? näçe depe bar; Çykyş edenler nirede? San üýtgeýjileri üçin gistogramma (bahalary diapazona bölmek arkaly ýygylygy görkezýän sýu plotet) we gutujyk (gutujyk - orta, dört we aşa bahalary görkezýän diagramma); Kategoriki üýtgeýjiler üçin ýygylyk tablisalaryny we çyzgylary ulanyň.
2. Iki görnüşli görnüş. Iki üýtgeýjiniň arasyndaky baglanyşyga serediň: iki sany üýtgeýjiniň ýaýramagy (her synlamany x-y tekizliginde nokat hökmünde görkezýär), san-kategoriýa boýunça toparlaýyn guty sýu ploteti, iki kategoriýa üçin krosstab. Korrelýasiýa koeffisiýentine göz aýlamazdan ozal dargadyjy sýu plotete göz aýlaň: şol bir korrelýasiýa gaty üýtgeşik nagyşlary görkezip biler (meşhur Anscombe kwarteti muny görkezýär; dört maglumat toplumynyň statistikasy birmeňzeş, ýöne meýilleşdirilende düýbünden başga bolýar).
3. Dogry diagramma görnüşini saýlaň. Diagrammanyň görnüşi siziň soragyňyza we maglumatlaryň görnüşine baglydyr. Paýlamak üçin histogram; gatnaşyklar üçin dargamak; wagtyň geçmegi bilen çyzyk çyzgysy; kategoriýany deňeşdirmek üçin çyzgy; (seresaplylyk bilen) bölekleriň tutuşlygyna gatnaşygy üçin berkidilen çyzyk. AI çaltlyk bilen siziň üçin kod döredýär, ýöne "haýsy sorag üçin haýsy grafik" siziň kararyňyz.
4. Nusga üns beriň, netijeleri yglan etmäň. "Tapyndy belligi" hökmünde görýän islendik gyzykly nagyşyňyzy ýazga alyň, ýöne tassyklanan tapyndy hasaplamaň. Tassyklamak aýratyn ädimde, has gowusy aýratyn maglumatlar ýa-da öňünden kesgitlenen tertip bilen amala aşyrylýar.
Dogruçyl wizuallaşdyrma ýörelgeleri
Grafika ynandyrýar; Şonuň üçin onuň ýalňyş güýji hem ýokary. AI estetiki, ýöne käwagt ýalňyş saýlap biler. Bu syýasatlary barlaň:
- Çyzgylaryň diagrammalarynda y oky noldan başlamaly. Çyzylan ok uly tapawutlary görkezýär.
- Masştab yzygiderli bolmaly. Iki diagramma deňeşdirilýän bolsa, şol bir ok aralygyny ulanyň.
- Artykmaç tekizlemek hakyky nagşy gizläp biler. Bir tendensiýa gaty gowy görünýär, ýöne maglumatlary aşa "ýumşadýan" bolsa, ýalňyş bolup biler.
- Reňk we 3D bezeg maglumatlary däl-de, ünsi ýoýýar. Ityönekeýligi saýlaň.
- Ingitirilen maglumatlar we nusga ölçegi görünmeli. "n = 12" we "n = 12,000" birmeňzeş görünmeli däldir.
Üns beriň: AI tarapyndan öndürilen grafika owadan bolany üçin, olar dogry däl. Iň köp goýberýän ýalňyşlygy, çyzgydaky çyzgydan noldan başlamazlyk we iki toparyň arasyndaky tapawudy ulaltmak däl. Elmydama oky barlaň.
Deňeşdirme diagrammasy: sorag → diagramma
Soraň
dogry diagramma
Adaty ýalňyşlyk
Bu üýtgeýji nähili paýlanýar?
Gistogramma / guty sýu ploteti
tort diagrammasyny ulanyň
Iki san üýtgeýjisi bilen baglanyşyklymy?
Pytraňňy dildüwşük
Diňe korrelýasiýalaryň sanyna seredýärin
Wagtyň geçmegi bilen nähili üýtgedi?
setir diagrammasy
Çyzgy çyzgysy bilen bir tendensiýa aýtmak
Toparlaryň arasynda näme tapawut bar?
Toparlanan guty / bar (noldan)
Kesilen ok hasasy
Bölekleýin gatnaşygy?
Berkidilen çyzyk (seresaplylyk bilen)
Köp dilimli pirog diagrammasy
Göçürip boljak dört teklip
1. Awto açyş kody:
Siziň roluňyz: EDA kömekçisi. Maglumatlary paýlaşamok, R (ggplot2) koduny isleýärin. “Data” data.frame-de san (girdeji, ýaş, çykdajy) we kategoriki (sebit, bilim) üýtgeýjiler bar. Wezipe: her san üçin gistogramma döredýän kod ýazyň, her kategoriýa üçin ştrih diagrammasy we girdeji ýaşy üçin dargadyjy sýu plotet. Çyzgy diagrammalarynda, y oky ZERO-dan başlalyň. Teswir setirini goşuň.
2. Korrelýasiýa syn (korrelýasiýa + wizual bilelikde):
Girdejiler we çykdajylar üçin Pearson korrelýasiýasyny hasaplaýan we dargadyjy meýilnama + çyzykly tendensiýa meýilleşdirýän kod ýazyň. Korrelýasiýa sanlaryna ynanmazdan ozal diagrammany gözden geçirmegi ýatladýan teswir setirini goşuň (Anscombe duýduryşy). Tendensiýa çyzygyny aşa tekizlemäň.
3. Bütewilik barlagy:
Dogruçyl görmek üçin aşakdaky ggplot koduny barlaň: [kod]. Aşakdakylary barlaň we düzediň: y oky noldan başlaýarmy, masştab yzygiderli, nusganyň ululygy görünýärmi, aşa ýumşamak barmy? Her düzedişiňiziň esaslaryny düşündiriň.
4. Tapyndy belligini öndürmek (tapyndy däl):
Öndürýän grafiklerime esaslanyp, OBSERVATIONS-y 'açyş belligi' hökmünde görkeziň; her elementi 'gutarnykly tapyş' däl-de, 'synagdan geçirilmeli gipoteza' dilinde ýazyň. Mysal: 'educationokary bilimdäki girdejiler SEEMS has ýaýraýar; aýratyn maglumatlar bilen synagdan geçirilmelidir. ' Sebäp we kesgitli sözlerden gaça duruň.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Hasyldan gowy grafikler düzüň we olaryň manysyny aýdyň.
Bu isleg ýalňyş çykyşy çagyrýar: “owadan” estetika ünsi jemleýär, “manysy” AI-ni açyşdan kesgitli netijä geçmäge iterýär. Sebäp, çişirilen teswirler yzarlanýar.
Güýçli haýyş:
Siziň roluňyz: dogruçyl EDA kömekçisi. Maslahat: (1) soragyma laýyk diagrammanyň görnüşini saýlaň we esaslandyrma ýazyň, (2) oky çyzgydan noldan başlaň, (3) çykaryş belligini dilde düşündiriň: hiç hili kesgitli / sebäbli talap "synagdan geçirilmeli" dilde gipotezany teklip etmeýär, (4) nusganyň kiçijikdigini duýýaryn (n <30).
Tapawut: güýçli diagrammanyň görnüşini aklaýar, dogruçyllyk düzgünlerini girizýär we açyşy tassyklamak bilen bulaşdyrmaýar.
üç sany kiçi halat
1-nji hadysa - Diskret ok ulaltmak. Analitik çyzgyda iki şahanyň (7,8 we 8.0; 10-dan) kanagatlanma ballaryny görkezdi. YZ okuny 7.5-den başlanda, ikinji şaha birinjiden iki esse ýokary bolup çykdy; tapawudy bary-ýogy 2,5% boldy. Managementolbaşçylar nädogry täsir bilen bir şahany sylaglamakçydy. Oky noldan başlanda tapawut göze görünmeýärdi. Sapak: ok saýlamak diňe duýgyny üýtgedýär.
2-nji hadysa - Korrelýasiýa ynanmak we diagrammany geçmek. Gözlegçi iki üýtgeýjiniň arasynda r = 0.81 gördi we "güýçli çyzykly gatnaşyk" ýazdy. Geňeşçisi dargamak meýilnamasyny soranlarynda, gatnaşyklaryň hakykatdanam ýekeje ekstremal gözegçilik sebäpli bolandygy we bu nokat aýrylandan soň korrelýasiýa 0.12-e düşendigi göründi. Sapak: korrelýasiýa sanlary grafigiň ornuny tutmaýar; dargadýanlara hemişe serediň.
3-nji waka - Tassyklama bilen bulaşyk açyş. Bir okuwçy 40 üýtgeýän maglumatlar toplumynda jübüt baglanyşyklaryň hemmesine göz aýlady, iň ýokarysyny saýlady (r = 0.52) we "bilim bilen tygşytlamagyň arasynda möhüm baglanyşyk tapdyk" (p = 0.004). Şeýle-de bolsa, 40 üýtgeýjide ýüzlerçe jübüt bardy; iň ýokarysyny saýlamak tötänlik sebäpli ýalan tapyndy. Sapak: açylan nagyş şol bir maglumatlarda “synagdan geçirilip, ähmiýetli yglan edilip bilinmez”; Aýry-aýry tassyklamalar talap edilýär.
Adaty ýalňyşlyklar
- Ok çyzgysyny çyzgydan noldan başlamazlyk. Ujypsyz tapawudy ulaldýar; Iň ýaýran wizual ýalan. Elmydama barlaň.
- Korrelýasiýa seredip, diagramma geçmek. Şol bir baglanyşyk gaty dürli nagyşlardan gelýär; daşarky gatnaşyklara laýyk bolup biler. Ilki bilen dargatmak.
- Şol açyşda tapylan nagşy "subutnama" hökmünde göz öňünde tutsak. Bu p-hakeriň derwezesi; Tassyklamak aýratyn edilýär.
- Diagrammanyň nädogry görnüşi. Tendensiýa üçin çyzgy we paýlamak üçin pirog ýaly oýunlar ýalňyşdyr. Soraga esaslanýan reanr saýlaň.
- Nusganyň ululygyny gizlemek. n = 8 we n = 8,000 şol bir grafada birmeňzeş bolmaly däldir; näbellilik görkezilmelidir.
Maslahat: Diagramma çap etmezden ozal özüňize soraň: "Oky üýtgedenimde hekaýa üýtgärmi?" Jogap hawa bolsa, belki, binany namyssyz ýerden başladyňyz.
Gysgaça
Gözleg-agtaryş maglumatlary derňewi, maglumatlary görmek, nagyşlary görmek we gipotezalary döretmek tapgyrydyr; Bu tassyklama däl. AI çalt beýan ediji statistika we grafik kody döredýär, ýöne soragyňyza görä graf görnüşini saýlaýarsyňyz we adalatlylyk ýörelgelerine gözegçilik edýärsiňiz (nol ok, yzygiderli masştab, näbellilik). Korrelýasiýa belgisine ynanmazdan ozal dargadyja serediň; Tapyndyda tapylan nagşy şol bir maglumatlarda "subutnama" diýip yglan etmäň. AI-iň owadan grafigi dogry grafigi aňlatmaýar.
Programma meselesi
Maglumat toplumynda azyndan üç üýtgeýjini saýlaň. AI-den soraň we dogruçyllyk düzgünlerini ýerine ýetirýän gyssagly gözleg grafiklerini (gistogramma, dargatmak, gutulykly) öndürýän kod soraň. Her diagramma üçin: (1) diagramma görnüşiniň soraga laýyklygyny barlaň, (2) okuň dogruçyllygyny, (3) nusganyň ululygynyň görünmegini. Gipoteza dilinde azyndan bir “açyş belligi” ýazyň (“… aýratyn synag edilen ýaly”). Hasaplamak we dargatmak bilen arabaglanyşygy gözden geçiriň we olaryň arasynda gapma-garşylyk bar bolsa habar beriň.
gözegçilik sanawy
- [] Soragyma we maglumatlaryň görnüşine görä diagramma görnüşini saýladym.
- [] Çyzgy çyzgylarynda y okuny noldan başlaýaryn; Okuň dogrulygyny barladym.
- [] Korrelýasiýa ynanmazdan ozal dargadyjy ýere seretdim.
- [] Grafada nusganyň ululygyny we näbelliligini görkezdim.
- [] Gözlegde tapan nagyşlarymy "subutnama" däl-de, "synagdan geçirilmeli gipoteza" diýip ýazdym.
- [] Tassyklamak üçin şol bir maglumatlary ulanmajakdygymy we aýratyn ädimiň zerurdygyny belledim.