Riba:
- Yi la'akari da cewa p-hacking, HARKing, zaɓaɓɓen rahoto, da lambun hanyoyin cokula suna haifar da binciken ƙarya kuma ku ga yadda hankali na wucin gadi zai iya hanzarta waɗannan tarko.
- Ikon kafa kariya kamar riga-kafin rajista, shirin bincike, horon kwatanta da yawa da nazarin hankali tare da tallafin fasaha na wucin gadi.
- Samun ikon shigar da ƙirar buƙatun gaskiya wanda zai ba da damar basirar wucin gadi don ƙin 'nemo sakamako mai ma'ana' nau'ikan buƙatun kuma cewa alhakin ƙarshe yana kan mai binciken.
A cikin naúrar da ta gabata mun ga menene p-darajar da abin da ba haka ba. A cikin wannan naúrar za mu kalli wani batu mai duhu, tsarin tarko da ke barazana ga mutuncin ƙididdiga. Yawancin wadannan ba yaudara ba ne da gangan; Waɗannan hanyoyi ne na yaudara waɗanda hatta masu bincike masu kyakkyawar niyya ke faɗuwa a ciki ba tare da sun sani ba. Kuma hankali na wucin gadi (AI) yana sa waɗannan ɓangarorin cikin sauƙi da sauri, saboda yana ba da damar gudanar da bincike da yawa a cikin daƙiƙa. Manufar wannan rukunin shine a kafa tsarin da zai canza AI daga "na'urar gano sakamako mai ma'ana" zuwa mataimaki na gaskiya.
Matsalolin asali
p-hacking (farauta p-darajar): Yana sake gwada bincike ta hanyoyi daban-daban har sai an sami sakamako mai mahimmanci (p <0.05). Ƙara da cire masu canji, zaɓin ƙananan samfurori, canza ma'anar masu fita waje, gwada sauye-sauye daban-daban, yin amfani da ma'anar sakamako daban-daban, dakatar da tattara bayanai lokacin da ya zama mai ma'ana ... Kowane ƙoƙari yana ba da sabon "zama"; Idan kuka yi ƙoƙari sosai, ɗayansu zai zama mai ma'ana, koda kuwa a zahiri ba shi da wani tasiri. Sakamakon: bincike-bincike masu banƙyama waɗanda aka buga amma ba za a iya sake su ba.
HARKING (Yin hasashe bayan an san sakamakon): Yin hasashe bayan ganin sakamakon da gabatar da shi a matsayin "Na yi annabci haka tun daga farko". Kuna duba bayanan kuma ku sami dangantaka mafi ban mamaki, sannan ku rubuta takarda kamar an tsara ta don gwada wannan hasashe. Wannan yana ɓatar da mai karatu ta hanyar sanya binciken ya zama kamar tabbaci.
Zaɓaɓɓen rahoton (cherry- picking): Ba da rahoton kawai "mai kyau" daga ɗimbin bincike da binne sauran a shiru. Wannan kuma ana kiransa da "matsalar aljihun fayil": sakamako mara ma'ana ya kasance a cikin aljihun tebur, yana mai da wallafe-wallafen da ya dace.
Lambun hanyoyin cokula: Lokacin Andrew Gelman. Ko da ba tare da wani p-hacking na niyya ba, mai binciken yana yin zaɓuɓɓuka masu ma'ana da yawa dangane da bayanan (wanne m, wanda kofa, wace rukuni, wanda canji). Waɗannan darajoji na bincike na 'yanci suna da yawa sosai har kuna zabar mai ma'ana sosai daga ɗimbin nazari-ko da ba tare da wata mugun nufi ba. Sakamakon shine sake haɓaka ƙimar ƙimar ƙarya.
Tsanaki: Yawancin waɗannan tarko ba dabara ba ne da gangan. Jimlar matakan da ba su da laifi kamar "Na gwada wasu ƴan ƙira", "ya fi tsafta lokacin da na cire abin da ke faruwa", "tasirin ya fi bayyana a cikin wannan rukunin rukunin" na iya haifar da bincike mai ban tsoro. Gaskiya lamari ne na hanya, ba niyya ba.
Me yasa AI ke haɓaka waɗannan tarko?
Gwada samfuran 3 da hannu yana ɗaukar lokaci; YZ yana samar da bambance-bambancen samfuri 50, juzu'i daban-daban 10, ƙungiyoyi 8 a cikin mintuna. Wannan iko yana da bala'i ba tare da shirin gaskiya ba: buƙatar kamar "nemo dangantaka mai ma'ana a cikin wannan bayanan" ko "gina samfurin da ke goyan bayan wannan hasashe" ya juya AI kai tsaye zuwa injin p-hacking. AI kuma yana son ya taimaka; yana son samun sakamako mai "ma'ana" wanda zai gamsar da ku. Shi ya sa ƙirar ku da sauri shine layin farko na tsaro.
Tsaro: kyakkyawan tsarin kasuwanci
1. Pre-registration: Yana nufin yin rikodin hasashe, masu canji, samfuri da gwaje-gwaje a rubuce (wataƙila akan dandamali mai hatimi) kafin yin bincike. Don haka, ganowa ya rabu da tabbatarwa; duk wani abu da ka canza daga baya ana yiwa lakabin "explorer".
2. Tsarin nazari: Ko da ba za ku iya yin rikodi ba, rubuta shirin bincike kafin nutsewa cikin bayanan: hasashe na farko, canjin sakamako na farko, babban samfuri. Tabbatar da bambanci tsakanin "babban bincike" da "ƙarin bincike / bincike" daga farkon kuma kiyaye shi a cikin rahoton.
3. Ba da rahoton komai: Kada ku ɓoye samfuran da kuka gwada. A cikin sashin "bincike na hankali" (binciken ƙarfi), nuna yadda ƙayyadaddun bayanai daban-daban ke canza sakamakon. Neman yana da ƙarfi ne kawai idan ya riƙe a ƙarƙashin zaɓuka masu ma'ana da yawa.
4. Kwatancen kwatance da yawa: Idan kun yi gwaje-gwaje da yawa, gyara su (raka'a 6). Amsa tambayar "Gwajiyoyi nawa nayi?" gaskiya.
5. Binciken hankali: Maimaita babban bincikenku tare da samfurin daban-daban, saitin sarrafawa daban-daban, da canji daban-daban. Idan sakamakon ya canza, kar a ɓoye shi, ba da rahoto.
Taswirar kwatanta: gaskiya vs. tarko
Aikace-aikace
siffar tarko
Daidaitaccen daidai
Zaɓin samfurin
Ƙoƙari har sai ya yi hankali (p-hacking)
Babban samfurin da aka riga aka shirya
hasashe
Daidaitawa bayan gaskiyar (HARKing)
An riga an yi rikodi, kafin bayanai
Rahoto
Kada ku nuna masu kyau kawai
Duk ƙayyadaddun bayanai + hankali
rukuni
Zaɓin mafi ban mamaki
Ƙaddara, gyarawa
tattara bayanai
Tsaya lokacin da ya dace
samfurin da aka ƙaddara
Hanyoyi huɗu masu kwafi
1. Tsarin da'awar gaskiya:
Matsayinku: Mataimakin kididdiga na gaskiya. Burina ba shine in sami sakamako mai ma'ana ba, amma in sami sakamako mai kyau. HUKUNCI:- KAR KA ba ni "gwada samfura har sai ya zama mai ma'ana" nau'in shawarwarin, - gaya mani idan kun ba da shawarar bayanai da yawa duk suna buƙatar a ba da rahoto, - ku gargade ni da duk wani mataki da zai iya haifar da p-hacking. Taimaka min bayyana ainihin samfurina da farko, daban-daban ganowa da tabbatarwa.
2. Daftarin tsarin nazari:
Taimaka min daftarin tsarin bincike na farko don nazari: hasashe na farko, canjin sakamako na farko, ƙayyadaddun ƙirar ƙira, ƙayyadaddun ƙananan ƙungiyoyi, dabarun kwatanta da yawa. Sanya nazarin "bincike" da "tabbatacce" a cikin taken daban. Tunatar da ni in cika wannan ba tare da duba bayanan ba.
3. Binciken Hankali:
Babban abin da na samo shi ne rubuta lambar bincike ta hankali (R) don Burina shine in ga yadda sakamakon ya kasance, BA in zaɓi mafi kyau ba; nuna duk sakamakon.
4. Kula da kai:
Zan bayyana tsarin bincike na; Ka ba ni jerin abubuwan dubawa don p-hacking / HARKing / zaɓaɓɓen rahoto da kuma yiwa waɗanne matakai na ke da haɗari. Tambaye ni nawa samfura/gwaji na gwada da waɗanne na ke shirin bayar da rahoto.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rawanin faɗakarwa:
Waɗanne sauye-sauye suna nuna mahimman alaƙa a cikin wannan bayanan, nemo mafi kyawun samfurin.
Wannan faɗakarwa umarni ne na p-hacking kai tsaye: AI yana ƙoƙarin haɗuwa da yawa kuma yana gabatar da wanda "ya fi dacewa." Sakamakon kusan tabbas wani bincike ne mai ban tsoro wanda ba za a iya maimaita shi ba.
Ƙarfi mai ƙarfi:
Matsayinku: mataimaki na gaskiya. Babban samfurin da na ƙaddara shine: Y ~ X + sarrafawa. Rubuta lambar da ke annabta wannan ƙirar. KADA KA nemi wani samfurin "mafi ma'ana". Hakanan bayar da shawarar nazarin hankali don in ga ƙarfin sakamakon, amma ku sani cewa zan ba da rahoton DUKAN sakamako, ba zaɓaɓɓu mafi kyau ba. Kada ka bari in rubuta duk wani binciken bincike kamar yadda 'an tabbatar'.
Bambanci: mai ƙarfi zai gyara babban samfurin, ya hana bincike, kuma yana buƙatar duk sakamakon da za a ba da rahoto.
uku mini lokuta
Harka 1 - Farautar Ƙungiya. Ɗaya daga cikin masu bincike bai sami wani tasiri a cikin samfurin gaba ɗaya ba; Ya tambayi AI "a cikin wane rukuni ne yake da mahimmanci?" YZ ya duba shekarun, jinsi da haɗin yanki kuma ya sami "p = 0.03 a cikin matan birni masu shekaru 35-44". An kafa labarin akan wannan rukunin rukunin. Kwafiwar sa ba ta sami wani tasiri ba: wannan sakamakon dama ne daga ƙungiyoyin da dama. Darasi: Ƙungiya da aka zaɓa bayan bayanai shine HARKing, ba mai tabbatarwa ba.
Shari'a ta 2 - Farautar Juyawa. Alakar da ta zama marar ma'ana a cikin sigar matakin ɗalibi; gwada shi a cikin log, tushen murabba'i, murabba'i da nau'ikan lag; Ya samo p=0.048 a cikin log-log form kuma ya ruwaito hakan kawai. An yi sa'a, ɗayan nau'ikan nau'ikan guda 5 da aka gwada ya ketare bakin kofa. Hanyar da ta dace ita ce: don zaɓar fom tare da ka'ida kuma nuna sakamakon kowane nau'i a cikin tebur mai hankali. Darasi: zaɓaɓɓen rahoto yana haifar da ma'anar ƙarya.
Case na 3 - Yadda tsarin tsara gaskiya yake aiki. Ƙungiya ɗaya da aka riga aka yi rajista kafin bincike: hasashe na farko guda ɗaya, babban samfuri guda ɗaya, ƙayyadaddun ƙungiyoyi biyu, gyaran Bonferroni. Babban tasirin ba shi da mahimmanci, amma ƙungiyar ta ruwaito ta gaskiya; Mutumin mai binciken ya yi nuni da gano daya a matsayin "yana bukatar a gwada shi nan gaba." Nazarin ya kasance mai yiwuwa kuma abin dogara. Darasi: Tsare-tsare na gaskiya yana sa ko da sakamakon “kasa” ya zama mai daraja.
Kuskuren gama gari
- Gayawa AI don "nemo sakamako masu ma'ana". Wannan shi ne kai tsaye p-hacking; Sanya AI a cikin firam na gaskiya, neman daidaito, ba sakamako ba.
- Gabatar da binciken a matsayin tabbaci (HARKing). Yana da ɓatarwa rubuta hasashe da aka kafa bayan bayanan kamar yadda "Na annabta shi tun daga farko"; Sanya alamar binciken bincike.
- Kawai bayar da rahoton sakamako mai kyau. Nuna duk ƙayyadaddun bayanai da aka gwada; Boye bincike na tunani yana lalata mutunci.
- Ƙungiya/canza nuni. Zaɓin mafi mahimmancin ƙungiyoyin ƙananan ƙungiyoyi ko canje-canje yana haifar da bincike mai ban tsoro; gano da gyara a gaba.
- Mantawa nawa gwaje-gwajen da kuka yi. Ci gaba da lura da jimillar yunƙurin; Ba za a iya fassara p-darajar da gaskiya ba tare da sanin wannan lambar ba.
Tukwici: Kafin ka rubuta binciken, tambayi kanka: "Hanyoyi nawa na yi ƙoƙari na yi shiru har sai na sami wannan sakamakon, kuma ina ba da rahoto duka?" Idan wasu daga cikin kasidun sun tsaya a cikin aljihun tebur, rahoton ku ya yi kama da karfi fiye da yadda yake.
A takaice
p-hacking, HARKing, zaɓaɓɓen rahoto, da lambun cokali mai yatsa; Yawancin tarkuna ne waɗanda ke aiki ba da gangan ba amma suna haifar da zagi, binciken da ba a iya sake su ba. AI yana haɓaka waɗannan ramukan saboda yana iya gwada yawancin nazari nan take; "nemo sakamako mai ma'ana" nau'in buƙatun suna juya AI zuwa injin p-hacking. Tsaro; rabuwa da ganowa daga tabbatarwa tare da tsarin rajista na farko da bincike, bayar da rahoton duk ƙayyadaddun ƙayyadaddun bayanai da ƙididdigar hankali, gyara kwatancen da yawa, da sanya AI a cikin tsarin gaskiya wanda ke buƙatar "sakamakon daidai". Alhaki na ƙarshe koyaushe yana kan mai bincike ne.
Aikin aikace-aikace
Zaɓi tambayar bincike kuma rubuta taƙaitaccen shirin bincike kafin duba bayanan: hasashe na farko, babban samfuri, canjin sakamako na farko, ƙananan ƙungiyoyin da aka riga aka ƙayyade, dabarun kwatanta da yawa. Sa'an nan kimanta babban samfurin. Sa'an nan kuma yi nazarin hankali (masu sarrafawa daban-daban, ƙetare haɗawa / cirewa, nau'in aiki daban-daban) kuma nuna duk sakamakon a cikin tebur guda. A cikin sakin layi ɗaya, ƙididdige matakan da ke haifar da haɗarin p-hacking da yadda tsarin ku na gaskiya ya iyakance su.
jerin abubuwan dubawa
- [ ] Na rubuta tsarin bincike / babban samfurin kafin in nutse cikin bayanan.
- [ ] Na yi wa lakabin bincike da tabbatarwa daban-daban; Ba na HARKING.
- [ ] Na ba da rahoton duk ƙayyadaddun bayanai da na gwada; Ba kawai na zabi mai kyau ba.
- [ ] Na ayyana ƙungiyoyi da canje-canje a gabani, ban duba su ba bayan bayanan.
- [ ] Na lura da yawan gwaje-gwajen da na yi kuma na yi amfani da gyaran da ya dace.
- [ ] Na yi amfani da AI a cikin mahallin "nemo gaskiya" maimakon "nemo yana da ma'ana"; Na dauki alhakin.