Awọn anfani:
- Loye pe p-jisaka, HARKing, ijabọ yiyan, ati ọgba ti awọn ipa-ọna fifọ ṣe awọn awari eke ati rii bii oye atọwọda ṣe le mu awọn ẹgẹ wọnyi pọ si.
- Agbara lati ṣe agbekalẹ awọn aabo bii iforukọsilẹ iṣaaju, ero itupalẹ, ibawi lafiwe pupọ ati itupalẹ ifamọ pẹlu atilẹyin oye atọwọda
- Ni anfani lati inu inu apẹrẹ ibeere ooto ti yoo jẹ ki oye atọwọda lati kọ 'wa abajade ti o nilari' awọn ibeere iru ati pe ojuse ikẹhin wa pẹlu oniwadi naa.
Ninu ẹyọ ti tẹlẹ a rii kini p-iye jẹ ati kini kii ṣe. Ninu ẹyọ yii a yoo wo koko-ọrọ dudu, awọn ẹgẹ eleto ti o hawu iduroṣinṣin iṣiro. Pupọ ninu iwọnyi kii ṣe iyanjẹ mọọmọ; Iwọnyi jẹ awọn ilana arekereke ti paapaa awọn oniwadi ti o ni ero daradara ṣubu sinu laisi mimọ. Ati itetisi atọwọda (AI) jẹ ki awọn ipalara wọnyi rọrun ati yiyara, bi o ṣe jẹ ki o ṣee ṣe lati ṣiṣe awọn dosinni ti awọn itupalẹ ni iṣẹju-aaya. Ero ti ẹyọ yii ni lati fi idi ibawi ti yoo yi AI pada lati “ẹrọ wiwa abajade ti o nilari” si oluranlọwọ ooto.
Ipilẹ pitfalls
p-sapa (sọdẹ p-iye): O n gbiyanju itupalẹ lẹẹkansi ni awọn ọna oriṣiriṣi titi ti abajade pataki (p<0.05) yoo fi gba. Fikun ati yiyọ awọn oniyipada, yiyan awọn apẹẹrẹ, iyipada asọye ti awọn olutaja, igbiyanju awọn iyipada ti o yatọ, lilo awọn iyatọ abajade ti o yatọ, idaduro gbigba data nigbati o ba di itumọ… Igbiyanju kọọkan n fun “anfani” tuntun; Ti o ba gbiyanju lile to, ọkan ninu wọn yoo tan lati jẹ itumọ, paapaa ti ko ba ni ipa. Abajade: awọn awari apanirun ti a tẹjade ṣugbọn kii ṣe atunṣe.
HARKing (Hypothesizing Lẹhin ti Awọn esi ti mọ): Ṣiṣe iṣeduro lẹhin ti ri awọn esi ati fifihan bi "Mo ti sọ asọtẹlẹ bi eyi lati ibẹrẹ". O wo data naa ki o rii ibatan ti o yanilenu julọ, lẹhinna kọ iwe naa bi ẹnipe o ṣe apẹrẹ lati ṣe idanwo idawọle yẹn. Eyi ṣi awọn oluka lọna nipa ṣiṣe awari dabi ẹnipe idaniloju.
Ijabọ yiyan (ṣẹẹri-yiyan): Ijabọ awọn “dara” nikan lati awọn dosinni ti awọn itupalẹ ati ipalọlọ sin iyokù. Eyi ni a tun mọ ni “iṣoro apamọ faili”: awọn abajade ti ko ni itumọ wa ninu apoti, ti o jẹ ki awọn iwe-kikọ naa jẹ alaiṣedeede.
Ọgba ti forking ona: Andrew Gelman ká igba. Paapaa laisi idinamọ p-sapa kan, oniwadi ṣe ọpọlọpọ awọn yiyan ti o ni oye ti o da lori data (eyiti o yipada, eyiti ala, kini ẹgbẹ-ẹgbẹ, eyiti iyipada). Awọn iwọn iwadii ti ominira wọnyi pọ to pe o n yan eyi ti o nilari ni imunadoko lati ọpọlọpọ awọn itupalẹ-paapaa laisi ero buburu eyikeyi. Abajade jẹ lẹẹkansi a nyara eke rere oṣuwọn.
Išọra: Pupọ julọ awọn ẹgẹ wọnyi kii ṣe ẹtan ti o mọọmọ. Apapọ awọn igbesẹ ti o dabi ẹnipe alaiṣẹ gẹgẹbi “Mo kan gbiyanju awọn awoṣe diẹ diẹ sii”, “o jẹ mimọ nigbati mo yọkuro kuro”, “ipa naa han gbangba ni ẹgbẹ-ẹgbẹ yii” le gbejade wiwa ti o buruju. Otitọ jẹ ọrọ ti ọna, kii ṣe aniyan.
Kini idi ti AI ṣe tobi si awọn ẹgẹ wọnyi?
Gbiyanju awọn awoṣe 3 nipasẹ ọwọ gba akoko; YZ ṣe agbejade awọn iyatọ awoṣe 50, awọn iyipada oriṣiriṣi 10, awọn ẹgbẹ-ẹgbẹ 8 ni awọn iṣẹju. Agbara yii jẹ ajalu laisi ero otitọ: ibeere bii “wa ibatan ti o nilari ninu data yii” tabi “kọ awoṣe kan ti o ṣe atilẹyin idawọle yii” yi AI pada taara sinu ẹrọ gige sakasaka p. AI tun fẹ lati ṣe iranlọwọ; duro lati wa abajade “itumọ” ti yoo tẹ ọ lọrun. Ti o ni idi ti apẹrẹ kiakia rẹ jẹ laini aabo akọkọ ti otitọ.
Awọn aabo: iṣẹ deede ti iṣowo
1. Iforukọsilẹ-tẹlẹ: O tumọ si gbigbasilẹ idawọle rẹ, awọn oniyipada, awoṣe ati awọn idanwo ni kikọ (o ṣee ṣe lori pẹpẹ akoko-akoko) ṣaaju ṣiṣe itupalẹ. Bayi, Awari ti wa ni niya lati ìmúdájú; ohunkohun ti o ba yipada lẹhinna jẹ aami si bi "oluwakiri".
2. Eto itupalẹ: Paapa ti o ko ba le ṣaju-igbasilẹ, kọ eto itupalẹ ṣaaju ki o to omiwẹ sinu data: ipilẹ akọkọ, iyipada abajade akọkọ, awoṣe akọkọ. Ṣeto iyatọ laarin "onínọmbà akọkọ" ati "afikun / ayẹwo ayẹwo" lati ibẹrẹ ati ṣetọju rẹ ninu iroyin naa.
3. Jabo ohun gbogbo: Maṣe tọju awọn awoṣe ti o ti gbiyanju. Ninu apakan “onínọmbà ifamọ” (ṣayẹwo agbara), ṣafihan bi awọn pato ti o yatọ ṣe yipada abajade. Wiwa naa lagbara nikan ti o ba duro labẹ ọpọlọpọ awọn yiyan ti o ṣeeṣe.
4. Ilana lafiwe pupọ: Ti o ba ti ṣe awọn idanwo pupọ, ṣe atunṣe wọn (kuro 6). Dahun ibeere naa "Awọn idanwo melo ni mo ti ṣe?" nitootọ.
5. Ayẹwo ifamọ: Tun wiwa akọkọ rẹ ṣe pẹlu apẹẹrẹ ti o yatọ, iṣakoso iṣakoso oriṣiriṣi, ati iyipada ti o yatọ. Ti abajade ba yipada, maṣe tọju rẹ, jabo.
Aworan afiwe: olododo la pakute
Ohun elo
pakute apẹrẹ
Otitọ deede
Aṣayan awoṣe
Gbiyanju titi yoo fi ni oye (p-sasaka)
Pre-ngbero titunto si awoṣe
arosọ
Ni ibamu lẹhin otitọ (HARKing)
Ti gbasilẹ tẹlẹ, ṣaaju data
Iroyin
Maṣe ṣe afihan awọn lẹwa nikan
Gbogbo awọn pato + ifamọ
ẹgbẹ-ẹgbẹ
Yiyan awọn julọ idaṣẹ
Tẹlẹ, atunse
gbigba data
Duro nigbati o jẹ oye
ayẹwo ti a ti pinnu tẹlẹ
Mẹrin daakọ ta
1. Ilana ẹtọ ẹtọ:
Ipa rẹ: oluranlọwọ awọn iṣiro otitọ. Ibi-afẹde mi kii ṣe lati wa abajade to nilari, ṣugbọn lati wa abajade to tọ. OFIN:- MAA ṢE fun mi ni “gbiyanju awọn awoṣe titi ti o fi jẹ oye” iru awọn imọran, - sọ fun mi ti o ba daba ọpọlọpọ awọn alaye ni pato gbogbo wọn nilo lati royin, kilo fun mi ti awọn igbesẹ eyikeyi ti o le ja si p-hacking. Ran mi lọwọ lati ṣalaye awoṣe akọkọ mi ni akọkọ, iṣawari lọtọ lati ijẹrisi.
2. Ilana itupale:
Ran mi lọwọ lati ṣe agbekalẹ eto itupalẹ alakoko fun iwadii kan: ile-itumọ akọkọ, oniyipada abajade akọkọ, sipesifikesonu awoṣe akọkọ, awọn ẹgbẹ-ipin ti a ti yan tẹlẹ, ilana lafiwe pupọ. Fi awọn itupale “iwadii” ati “ijẹrisi” sinu awọn akọle lọtọ. Ranti mi lati kun eyi LAISI WO data naa.
3. Ayẹwo ifamọ:
Wiwa akọkọ mi ni kikọ koodu itupalẹ ifamọ (R) fun ibi-afẹde mi ni lati WO bii abajade ti jẹ iduroṣinṣin, KO lati yan eyi ti o dara julọ; fi gbogbo awọn esi.
4. Abojuto ara ẹni:
Emi yoo ṣe alaye ilana itupalẹ mi; Fun mi ni atokọ ayẹwo fun p-sasaka / HARKing / ijabọ yiyan ati samisi iru awọn igbesẹ mi ti o lewu. Beere lọwọ mi pada melo ni awọn awoṣe / awọn idanwo ti Mo ti gbiyanju ati awọn ti Mo gbero lati jabo.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Awọn oniyipada wo ni o ṣe afihan awọn ibatan pataki ninu data yii, wa awoṣe ti o dara julọ.
Itọkasi yii jẹ itọnisọna p-sapa taara: AI gbiyanju awọn dosinni ti awọn akojọpọ ati ṣafihan ọkan ti o “jẹ oye julọ.” Abajade jẹ eyiti o fẹrẹẹ daju wiwa apanirun ti ko le ṣe atunṣe.
Ibere ti o lagbara:
Rẹ ipa: olóòótọ Iranlọwọ. Awoṣe akọkọ ti Mo ti pinnu tẹlẹ ni: Y ~ X + awọn idari. Kọ koodu ti o sọ asọtẹlẹ awoṣe yii. MAA ṢE wa awoṣe “itumọ diẹ” miiran. Tun daba itupalẹ ifamọ ki MO le rii agbara ti abajade, ṣugbọn mọ pe Emi yoo jabo GBOGBO awọn abajade, kii ṣe mu eyi ti o dara julọ. Ma ṣe jẹ ki n kọ awọn awari iwadii eyikeyi kuro bi 'timudii'.
Iyatọ: lagbara yoo ṣe atunṣe awoṣe akọkọ, ṣe idiwọ wiwa, ati pe o nilo gbogbo awọn abajade lati royin.
mẹta mini igba
Ọran 1 - Ọdẹ ẹgbẹ-ẹgbẹ. Oluwadi kan ko ri ipa ninu apẹẹrẹ gbogbogbo; O beere lọwọ AI "ninu ẹgbẹ-ẹgbẹ wo ni o ṣe pataki?" YZ ṣe ayẹwo ọjọ-ori, akọ-abo ati awọn akojọpọ agbegbe ati rii “p = 0.03 ni awọn obinrin ilu ti ọjọ-ori 35-44”. Nkan naa da lori ẹgbẹ-ẹgbẹ yii. Atunse rẹ ko rii ipa: eyi jẹ abajade aye lati awọn dosinni ti awọn ẹgbẹ-ẹgbẹ. Ẹkọ: ẹgbẹ-ẹgbẹ ti a yan lẹhin data jẹ HARKing, kii ṣe ijẹrisi.
Ọran 2 - Iyipada sode. Ibasepo ti o yipada lati jẹ asan ni fọọmu ipele ọmọ ile-iwe; gbiyanju o ni log, square root, square ati aisun fọọmu; O rii p=0.048 ni fọọmu log-log ati pe o royin iyẹn nikan. Ni Oriire, ọkan ninu awọn fọọmu 5 ti o gbiyanju kọja iloro. Ọna ti o pe ni: lati ṣaju-yan fọọmu pẹlu imọ-jinlẹ ati ṣafihan abajade gbogbo awọn fọọmu ni tabili ifamọ. Ẹkọ: ijabọ yiyan gbejade lami eke.
Ọran 3 - Bawo ni idasile otitọ ṣe n ṣiṣẹ. Ẹgbẹ kan ti forukọsilẹ tẹlẹ ṣaaju itupalẹ: idawọle akọkọ kanṣoṣo, awoṣe akọkọ ẹyọkan, awọn ẹgbẹ-ẹgbẹ meji ti a ti yan tẹlẹ, Atunse Bonferroni. Ipa akọkọ ko ṣe pataki, ṣugbọn ẹgbẹ naa royin ni otitọ; Olukuluku oniwadi ṣe afihan wiwa kan bi “o nilo lati ṣe idanwo ni ọjọ iwaju.” Iwadi na jẹ atunṣe ati ki o gbẹkẹle. Ẹkọ: iṣeto otitọ jẹ ki abajade “ikuna” paapaa niye.
Awọn aṣiṣe ti o wọpọ
- Sọ fun AI lati “wa awọn abajade to nilari”. Eleyi jẹ taara soke p-sasaka; Fi AI sinu fireemu ooto, beere fun deede, kii ṣe awọn abajade.
- Fifihan wiwa bi ìmúdájú (HARKing). O ti wa ni sinilona lati kọ awọn ilewq ti iṣeto lẹhin ti awọn data bi "Mo ti sọtẹlẹ rẹ lati ibẹrẹ"; Fi aami si wiwa aṣawakiri.
- Kan ṣe ijabọ awọn abajade to dara. Ṣe afihan gbogbo awọn pato ni idanwo; Ìtúpalẹ̀ ìmọ̀lára ìbòmọ́lẹ̀ ba ìwà títọ́ jẹ́.
- Ṣiṣayẹwo ẹgbẹ-ẹgbẹ/iyipada. Yiyan pataki julọ ti awọn dosinni ti awọn ẹgbẹ-ẹgbẹ tabi awọn iyipada ṣe agbejade awọn awari asan; ṣe idanimọ ati ṣatunṣe ni ilosiwaju.
- Ngbagbe iye awọn idanwo ti o ti ṣe. Tọju abala apapọ nọmba awọn igbiyanju; Ko si p-iye ti o le tumọ ni otitọ lai mọ nọmba yii.
Imọran: Ṣaaju ki o to kọ wiwa kan, beere lọwọ ararẹ: “Awọn ọna melo ni MO ti gbiyanju ni ipalọlọ titi emi o fi rii abajade yii, ati pe MO ṣe ijabọ gbogbo wọn?” Ti diẹ ninu awọn arosọ naa ba duro ninu duroa, ijabọ rẹ dabi alagbara ju ti o lọ.
Ni akojọpọ
p-jisaka, HARKing, ijabọ yiyan, ati ọgba ti awọn ọna gbigbe; Pupọ jẹ awọn ẹgẹ ti o nṣiṣẹ laimọ-imọ ṣugbọn ṣe agbejade aburu, awọn awari ti ko ni atunjade. AI accelerates awọn wọnyi pitfalls nitori ti o le gbiyanju dosinni ti itupale lesekese; Awọn ibeere iru “wa awọn abajade to nilari” tan AI sinu ẹrọ gige sakasaka kan. Idaabobo; yiya sọtọ awari lati ìmúdájú pẹlu kan ami-ìforúkọsílẹ ati onínọmbà ètò, riroyin gbogbo awọn pato ati ifamọ onínọmbà, atunse ọpọ awọn afiwera, ati fifi AI ni ohun otito ilana ti o nbeere awọn "ti o tọ esi". Ojuse ikẹhin nigbagbogbo wa pẹlu oluwadii.
Ohun elo iṣẹ-ṣiṣe
Yan ibeere iwadii kan ki o kọ ero itupalẹ ṣoki ṣaaju wiwo data naa: idawọle akọkọ, awoṣe akọkọ, oniyipada abajade akọkọ, awọn ẹgbẹ-ipin ti a ti yan tẹlẹ, ilana lafiwe pupọ. Lẹhinna ṣe iṣiro awoṣe akọkọ. Lẹhinna ṣe itupalẹ ifamọ (awọn iṣakoso oriṣiriṣi, itusilẹ to wa / yọkuro, fọọmu iṣẹ oriṣiriṣi) ati ṣafihan gbogbo awọn abajade ni tabili kan. Ninu paragi kan, ṣe ayẹwo awọn igbesẹ wo ni o jẹ eewu ti p-sasaka ati bii ilana ododo rẹ ṣe fi opin si wọn.
akojọ ayẹwo
- [ ] Mo ti kowe awọn onínọmbà ètò / titunto si awoṣe ṣaaju ki o to iluwẹ sinu data.
- [] Mo ti samisi exploratory ati ifẹsẹmulẹ itupale lọtọ; Emi ko HARKing.
- [] Mo ti royin gbogbo awọn pato ti mo ti gbiyanju; Emi ko kan yan awọn lẹwa ọkan.
- [] Mo ti ṣalaye awọn ẹgbẹ-ẹgbẹ ati awọn iyipada tẹlẹ, Emi ko ṣe ayẹwo wọn lẹhin data naa.
- [] Mo tọju iye awọn idanwo ti Mo ti ṣiṣẹ ati lo atunṣe to wulo.
- [] Mo lo AI ni ipo ti "wa otitọ" dipo "ri o ni itumọ"; Mo gba ojuse.