Girdeji:
- P-haker, HARKing, saýlama hasabatlylyk we ýollar bagy ýalan tapyndylary döredýär we emeli intellektiň bu duzaklary nädip çaltlaşdyryp biljekdigine düşüniň
- Öňünden hasaba alynmak, derňew meýilnamasy, köp deňeşdirme tertibi we emeli intellekt goldawy bilen duýgurlyk derňewi ýaly goraglary döretmek ukyby
- Emeli intellektiň “manyly netijäni tapmagy” görnüşli haýyşlary ret etmegine we iň soňky jogapkärçiligiň gözlegçiniň üstüne ýüklemegine mümkinçilik berýän dogruçyl haýyş dizaýnyny içkileşdirip bilmek.
Öňki bölümde p-bahanyň nämedigini we nämäniň ýokdugyny gördük. Bu bölümde has garaňky mowzuga, statistiki bitewilige howp salýan yzygiderli duzaklara serederis. Bularyň köpüsi bilgeşleýin aldaw däl; Bular hatda gowy niýetli gözlegçilerem düşünmän düşýän mekir mehanizmlerdir. Emeli intellekt (AI) bu duzaklary has aňsat we çaltlaşdyrýar, sebäbi sekuntda onlarça derňew geçirmäge mümkinçilik berýär. Bu bölümiň maksady AI-ni “manyly netije tapýan maşyndan” dogruçyl kömekçä öwürjek tertip-düzgüni döretmekden ybarat.
Esasy ýalňyşlyklar
p-haker (p-baha awy): Möhüm netije alynýança seljermäni dürli usullar bilen täzeden synap görýär. Üýtgeýjileri goşmak we aýyrmak, nusgalary saýlamak, çykaryjylaryň kesgitlemesini üýtgetmek, dürli üýtgeşmeleri synap görmek, dürli üýtgeýänleri ulanmak, manyly bolanda maglumat ýygnamagy togtatmak ... Her synanyşyk täze "mümkinçilik" berýär; Enougheterlik derejede synanyşsaňyz, olaryň hiç biri hakykatdanam täsir etmese-de manyly bolar. Netije: neşir edilen, ýöne köpeldip bolmaýan ýalňyş netijeler.
HARKing (Netijeler belli bolandan soň gipotezasiýa): Netijeleri görenden soň gipotezany düzmek we "Men muny başdan çakladym" görnüşinde hödürlemek. Maglumatlara seredýärsiňiz we iň täsirli gatnaşygy tapýarsyňyz, soňra kagyzy şol gipotezany barlamak üçin döredilen ýaly ýazyň. Bu açyşy tassyklamak ýaly edip, okyjyny azdyrýar.
Saýlanyp hasabat bermek (alça ýygnamak): Onlarça analizden diňe "gowy" habar bermek we galanlaryny ýuwaşlyk bilen jaýlamak. Bu "faýl çekme meselesi" diýlip hem atlandyrylýar: manysyz netijeler çekmede galýar we edebiýaty yzygiderli ýöredýär.
Ingollaryň bagy: Endrýu Gelmanyň termini. Hatda ýekeje-de bilgeşleýin p-haker bolmazdan, gözlegçi maglumatlara esaslanýar (haýsy üýtgeýän, haýsy çäk, haýsy kiçi topar, haýsy öwrülişik). Derňew azatlygynyň bu derejeleri şeýle bir köp welin, hatda hiç hili erbet niýet bolmasa-da, köp analizlerden manyly birini saýlaýarsyňyz. Netijede, ýalan polo positiveitel ýokarlanýar.
Üns beriň: Bu duzaklaryň köpüsi bilgeşleýin hileler däl. Günäkär däl ýaly görünýän ädimleriň jemi, "justene birnäçe modeli synap gördüm", "çykaryjyny aýyranymda has arassa", "bu kiçi toparda täsiri has düşnükli" ýaly ýalňyş tapyndy döredip biler. Dogruçyllyk niýet däl-de, usul meselesidir.
AI näme üçin bu duzaklary ulaldýar?
3 modeli el bilen synap görmek wagt talap edýär; YZ minutda 50 model warianty, 10 dürli öwrülişik, 8 kiçi topar öndürýär. Bu güýç, dogruçyl meýilnama bolmazdan zyýanly: “bu maglumatlarda manyly gatnaşyk tapmak” ýa-da “bu çaklamany goldaýan model gurmak” ýaly haýyş AI-ni gönüden-göni p-haker motoryna öwürýär. AI hem kömek etmek isleýär; sizi kanagatlandyrjak "manyly" netijäni tapmaga ýykgyn edýär. Şonuň üçin gyssagly dizaýnyňyz, dogruçyllygyň ilkinji goragydyr.
Gorag: adalatly iş
1. Öňünden hasaba alynmak: Derňewi geçirmezden ozal gipotezany, üýtgeýänleri, modeli we synaglary ýazmaça görnüşde ýazmagy aňladýar (ähtimal möhürlenen platformada). Şeýlelik bilen, açyş tassyklamakdan aýrylýar; soňundan üýtgeden zadyňyz "gözlegçi" diýilýär.
2. “Esasy derňew” bilen “goşmaça / gözleg derňewiniň” arasyndaky tapawudy kesgitläň we hasabatda saklaň.
3. Hemme zady habar beriň: Synag modelleriňizi gizlemäň. “Duýgurlyk derňewi” (berkligi barlamak) bölüminde dürli aýratynlyklaryň netijäni nädip üýtgetýändigini görkeziň. Tapyndy, diňe köp ygtybarly saýlawlarda saklansa güýçli bolar.
4. Birnäçe deňeşdirme tertibi: Eger gaty köp synag eden bolsaňyz, düzediň (6-njy bölüm). "Näçe synag etdim?" Diýen soraga jogap beriň. dogruçyl.
5. Duýgurlyk derňewi: Esasy tapyşyňyzy başga bir nusga, dürli dolandyryş toplumy we dürli üýtgeşiklik bilen gaýtalaň. Netije üýtgese, gizlemäň, habar beriň.
Deňeşdiriş diagrammasy: dogruçyl we duzak
Arza
duzak görnüşi
Dogruçyl ekwiwalent
Model saýlamak
Düşünýänçä synanyşmak (p-hacking)
Öň meýilleşdirilen baş model
gipoteza
Faktdan soň gabat gelmek (HARKing)
Öňünden ýazylan, maglumatlardan öň
Hasabat
Diňe owadanlaryny görkezme
Allhli aýratynlyklar + duýgurlyk
kiçi topar
Iň täsir galdyryjy saýlamak
Öňünden kesgitlenen, düzedip boljak
maglumatlary ýygnamak
Manysy bolanda dur
öňünden kesgitlenen nusga
Göçürip boljak dört teklip
1. Dogruçyl talap çarçuwasy:
Siziň roluňyz: dogruçyl statistika kömekçisi. Maksadym manyly netije tapmak däl-de, dogry netijäni tapmak. DÜZGÜNLER: - Maňa "manyly bolýança synap görüň" görnüşli teklipleri bermäň, - hemmesine habar berilmeli birnäçe spesifikasiýa teklip etseňiz, maňa p-hakerlige sebäp bolup biljek ädimler barada duýduryş beriň. Ilki bilen esasy modelimi anyklamaga kömek ediň, tassyklamadan aýratyn açyş.
2. Analiz meýilnamasynyň taslamasy:
Gözleg üçin deslapky derňew meýilnamasyny düzmäge kömek ediň: başlangyç gipotezalar, esasy netijeleriň üýtgeýjisi, esasy model spesifikasiýasy, öňünden kesgitlenen kiçi toparlar, köp deňeşdirme strategiýasy. "Gözleg" we "tassyklaýjy" derňewleri aýratyn sözbaşylara goýuň. Muny maglumatlara göz aýlamazdan doldurmagy ýada salyň.
3. Duýgurlygyň derňewi:
Esasy gözlegim, duýgurlygyň derňew koduny (R) ýazmak, maksadym netijäniň näderejede berkdigini görmek, iň gowusyny saýlamazlyk; ähli netijeleri görkez.
4. Öz-özüňe gözegçilik:
Derňew işimi düşündirerin; P-haker / HARKing / saýlama hasabat üçin gözegçilik sanawyny beriň we ädimlerimiň haýsysynyň töwekgelçilikdigini belläň. Näçe modeli / synagy synap görendigimi we haýsysyny habar bermegi meýilleşdirýändigimi soraň.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Haýsy üýtgeýjiler bu maglumatlarda möhüm gatnaşyklary görkezýär, iň gowy modeli tapyň.
Bu isleg gönüden-göni p-haker görkezmesi: AI onlarça kombinasiýany synap görýär we "iň manyly" birini görkezýär. Netijede, köpeldip bolmajak ýalňyş tapyndy diýen ýaly.
Güýçli haýyş:
Siziň roluňyz: dogruçyl kömekçi. Öňünden kesgitlän esasy modelim: Y ~ X + dolandyryşlar. Bu modeli çaklaýan kod ýazyň. Başga "has manyly" model gözlemäň. Şeýle hem, netijäniň ygtybarlylygyny görüp bilmek üçin duýgurlyk derňewini teklip ediň, ýöne iň gowusyny saýlaman, HEMMESI netijeleri habar berjekdigimi biliň. Gözleg netijelerini 'tassyklanan' diýip ýazmaga rugsat bermäň.
Tapawut: güýçli esasy modeli düzeder, gözlemegi gadagan eder we ähli netijeleriň habar berilmegini talap eder.
üç sany kiçi halat
1-nji waka - kiçi topar awy. Bir gözlegçi umumy nusgada hiç hili täsir tapmady; AI-den "haýsy kiçi toparyň ähmiýeti bar?" Diýip sorady. YZ ýaş, jyns we sebit birleşmelerini gözden geçirdi we "35-44 ýaş aralygyndaky şäher aýallarynda p = 0.03" tapdy. Makala şu kiçi topara esaslandy. Köpeltmek hiç hili netije bermedi: bu onlarça kiçi toparyň tötänleýin netijesi. Sapak: maglumatlardan soň saýlanan kiçi topar HARKing, tassyklamaýar.
2-nji waka - Öwürmek awy. Talyp derejesinde manysyz bolup çykýan gatnaşyk; log, inedördül kök, inedördül we yzky görnüşlerde synap gördüň; Log-log görnüşinde p = 0.048 tapdy we diňe şu barada habar berdi. Bagtymyza, synanyşyk edilen 5 görnüşiň biri bosagadan geçdi. Dogry ýol: formany teoriýa bilen öňünden saýlamak we duýgurlyk tablisasyndaky ähli görnüşleriň netijesini görkezmek. Sapak: saýlama hasabat ýalan many berýär.
3-nji hadysa - Çarçuwaly çarçuwanyň nähili işleýändigi. Derňewden öň bir topar hasaba alyndy: ýeke başlangyç gipoteza, ýeke esasy model, iki sany öňünden kesgitlenen kiçi topar, Bonferroni düzediş. Esasy täsiri möhüm däldi, ýöne topar muny dogruçyl habar berdi; Gözlegçi şahsyýet, bir tapyndy "geljekde synagdan geçirilmeli" diýip belledi. Gözleg köpeldi we ygtybarly boldy. Sapak: dogruçyl meýilnamalaşdyrmak hatda “şowsuz” netijäni hem peýdaly edýär.
Adaty ýalňyşlyklar
- AI-e "manyly netijeleri tapmagy" aýtmak. Bu göni p-haker; AI-ni netijeleri däl-de, takyklygy sorap, dogruçyl çarçuwada goýuň.
- Tapyndy tassyklama hökmünde hödürlemek (HARKing). Maglumatlardan soň döredilen gipotezany "Başdan çakladym" diýip ýazmak ýalňyşdyr; Gözleg netijelerine bellik ediň.
- Diňe gowy netijeleri habar bermek. Synag edilen ähli aýratynlyklary görkeziň; Duýgy derňewini gizlemek bitewilige zyýan berýär.
- Kiçi topar / öwrüliş barlagy. Onlarça kiçi toparyň ýa-da üýtgeşmeleriň iň ähmiýetini saýlamak, ýalňyş netijeleri berýär; öňünden kesgitläň we düzediň.
- Näçe synag edendigiňizi ýatdan çykarmak. Synaglaryň umumy sanyny yzarlaň; Hiç bir p-bahany bu belgini bilmän dogruçyl düşündirip bolmaz.
Maslahat: Tapyndy ýazmazdan ozal özüňize soraň: "Bu netijäni tapýançam näçe ýol synap gördüm we hemmesini habar berýärinmi?" Eserleriň käbiri çekmede galsa, hasabatyňyz ondan has güýçli görünýär.
Gysgaça
p-haker, HARKing, saýlama hasabat we ýollaryň bagy; Köpüsi bilgeşleýin hereket edýän, ýöne ýalan, netijesiz tapyndylary döredýän duzaklar. AI bu ýalňyşlyklary çaltlaşdyrýar, sebäbi derrew onlarça analizi synap biler; “Manyly netijeleri tapyň” görnüşli haýyşlar AI-ni p-hack motoryna öwürýär. Goranmak; açyşy deslapky hasaba alyş we derňew meýilnamasy bilen tassyklamakdan aýyrmak, ähli aýratynlyklary we duýgurlyk derňewini habar bermek, birnäçe deňeşdirmäni düzetmek we AI-ni "dogry netijäni" talap edýän dogruçyl çarçuwada goýmak. Iň soňky jogapkärçilik elmydama gözlegçiniň üstüne düşýär.
Programma meselesi
Gözleg soragyny saýlaň we maglumatlara seretmezden gysga derňew meýilnamasyny ýazyň: esasy gipoteza, esasy model, esasy netijäniň üýtgeýjisi, öňünden kesgitlenen kiçi toparlar, köp deňeşdirme strategiýasy. Soňra esasy modeline baha beriň. Soňra duýgurlyk derňewini ediň (dürli dolandyryşlar, daşarky goşulan / çykarylan, dürli funksiýa görnüşi) we ähli netijeleri bir tablisada görkeziň. Bir abzasda haýsy ädimleriň p-haker töwekgelçiligini döredýändigini we dogruçyl çarçuwanyňyzyň olary nädip çäklendirýändigini kesgitläň.
gözegçilik sanawy
- [] Maglumatlara çümmezden ozal derňew meýilnamasyny / baş modelini ýazdym.
- [] Gözleg we tassyklaýjy derňewleri aýratyn belledim; Men HARKING däldim.
- [] Synag eden ähli aýratynlyklarymy habar berdim; Men diňe owadan birini saýlamadym.
- [] Kiçi toparlary we üýtgeşmeleri öňünden kesgitledim, maglumatlardan soň skaner etmedim.
- [] Näçe synagdan geçendigimi yzarladym we zerur düzedişi ulandym.
- [] AI-ni “manyly” däl-de, “hakykaty tapmak” manysynda ulandym; Men jogapkärçiligi öz üstüme aldym.