Qligħ:
- Ifhem li p-hacking, HARKing, rappurtar selettiv, u l-ġnien tal-mogħdijiet tal-fork jipproduċu sejbiet foloz u ara kif l-intelliġenza artifiċjali tista’ taċċellera dawn in-nases
- Kapaċità li tistabbilixxi difiżi bħal prereġistrazzjoni, pjan ta 'analiżi, dixxiplina ta' tqabbil multiplu u analiżi tas-sensittività b'appoġġ ta 'intelliġenza artifiċjali
- Li tkun kapaċi tinternalizza d-disinn ta’ rikjesta onesta li se tippermetti lill-intelliġenza artifiċjali li tirrifjuta talbiet tat-tip 'ssib ir-riżultat sinifikanti' u li r-responsabbiltà finali tkun tar-riċerkatur.
Fl-unità ta 'qabel rajna x'inhu p-value u dak li mhuwiex. F'din l-unità se nħarsu lejn suġġett iktar skur, in-nases sistematiċi li jheddu l-integrità statistika. Ħafna minn dawn mhumiex qerq intenzjonali; Dawn huma mekkaniżmi insidjużi li anke riċerkaturi b'intenzjoni tajba jaqgħu fihom mingħajr ma jindunaw bihom. U l-intelliġenza artifiċjali (AI) tagħmel dawn in-nases kemm eħfef kif ukoll aktar veloċi, peress li tagħmilha possibbli li jsiru għexieren ta 'analiżi f'sekondi. L-għan ta 'din l-unità huwa li tistabbilixxi d-dixxiplina li se tittrasforma l-AI minn "magna li ssib riżultat sinifikanti" għal assistent onest.
In-nases bażiċi
p-hacking (kaċċa tal-valur p): Qed jerġa' jipprova l-analiżi b'modi differenti sakemm jinkiseb riżultat sinifikanti (p<0.05). Iż-żieda u t-tneħħija ta 'varjabbli, l-għażla ta' sottokampjuni, il-bidla tad-definizzjoni ta 'outliers, it-tipprova ta' trasformazzjonijiet differenti, l-użu ta 'varjabbli ta' riżultat differenti, il-waqfien tal-ġbir tad-dejta meta jsir sinifikanti... Kull tentattiv jagħti "ċans" ġdid; Jekk tipprova iebes biżżejjed, wieħed minnhom jirriżulta li jkun sinifikanti, anki jekk fil-fatt ma jkollu l-ebda effett. Ir-riżultat: sejbiet falzi li ġew ippubblikati iżda mhux riproduċibbli.
HARKing (Hypothesizing Wara li r-Riżultati jkunu Magħrufa): Nagħmlu ipoteżi wara li rajt ir-riżultati u nippreżentaha bħala "Ibassejtha hekk mill-bidu". Int tħares lejn id-dejta u ssib l-aktar relazzjoni impressjonanti, imbagħad ikteb il-karta bħallikieku kienet iddisinjata biex tittestja dik l-ipoteżi. Dan iqarraq bil-qarrej billi jagħmel l-iskoperta tidher bħala konferma.
Rappurtaġġ selettiv (cherry-picking): Ir-rappurtaġġ biss ta 'dawk "tajbin" minn għexieren ta' analiżi u siekta jindifnu l-bqija. Din hija magħrufa wkoll bħala l-"problema tal-kexxun tal-fajl": riżultati bla sens jibqgħu fil-kexxun, u jagħmlu l-letteratura preġudikata b'mod sistematiku.
Garden of forking paths: it-terminu ta' Andrew Gelman. Anke mingħajr p-hacking intenzjonat wieħed, ir-riċerkatur jagħmel ħafna għażliet raġonevoli bbażati fuq id-dejta (liema varjabbli, liema limitu, liema sottogrupp, liema trasformazzjoni). Dawn il-gradi investigattivi ta’ libertà tant huma numerużi li effettivament qed tagħżel dak li jagħmel sens minn għadd kbir ta’ analiżi—anki mingħajr ebda intenzjoni ħażina. Ir-riżultat huwa għal darb'oħra rata pożittiva falza li qed tiżdied.
Attenzjoni: Ħafna minn dawn in-nases mhumiex tricks apposta. Is-somma ta 'passi apparentement innoċenti bħal "Jien biss ippruvajt ftit aktar mudelli", "kien aktar nadif meta neħħejt l-outlier", "l-effett huwa aktar ċar f'dan is-sottogrupp" tista' tipproduċi sejba falza. L-onestà hija kwistjoni ta 'metodu, mhux intenzjoni.
Għaliex l-AI tkabbar dawn in-nases?
Li tipprova 3 mudelli bl-idejn tieħu ż-żmien; YZ jipproduċi 50 varjant tal-mudell, 10 konverżjonijiet differenti, 8 sottogruppi f'minuti. Din is-setgħa hija diżastruża mingħajr pjan onest: talba bħal "issib relazzjoni sinifikanti f'din id-dejta" jew "ibni mudell li jappoġġa din l-ipoteżi" tbiddel l-AI direttament f'magna p-hacking. L-AI trid tkun ta' għajnuna wkoll; tendenza li ssib riżultat "sens" li se jissodisfa inti. Huwa għalhekk li d-disinn fil-pront tiegħek huwa l-ewwel linja ta 'difiża tal-onestà.
Difiżi: kors ġust tan-negozju
1. Reġistrazzjoni minn qabel: Ifisser li tirrekordja l-ipoteżi, il-varjabbli, il-mudell u t-testijiet tiegħek bil-miktub (possibbilment fuq pjattaforma ttimbrata bil-ħin) qabel ma twettaq l-analiżi. Għalhekk, l-iskoperta hija separata mill-konferma; kull ħaġa li tibdel wara hija mmarkata bħala "esploratur".
2. Pjan ta 'analiżi: Anke jekk ma tistax tirreġistra minn qabel, ikteb pjan ta' analiżi qabel ma tgħaddas fid-dejta: ipoteżi primarja, varjabbli tar-riżultat primarju, mudell ewlieni. Stabbilixxi d-distinzjoni bejn "analiżi prinċipali" u "analiżi addizzjonali/esploratorja" mill-bidu u żżommha fir-rapport.
3. Irrapporta kollox: Taħbix il-mudelli li ppruvajt. Fit-taqsima "analiżi tas-sensittività" (kontroll tar-robustezza), uri kif speċifikazzjonijiet differenti jibdlu r-riżultat. Is-sejba hija b'saħħitha biss jekk iżżomm taħt ħafna għażliet plawżibbli.
4. Dixxiplina ta' tqabbil multiplu: Jekk għamilt wisq testijiet, ikkoreġihom (unità 6). Wieġeb il-mistoqsija "Kemm testijiet għamilt?" onestament.
5. Analiżi tas-sensittività: Irrepeti s-sejba prinċipali tiegħek b'kampjun differenti, sett ta 'kontroll differenti, u trasformazzjoni differenti. Jekk ir-riżultat jinbidel, taħbihx, irrapportah.
Tabella ta 'tqabbil: onest vs nassa
Applikazzjoni
forma ta 'nassa
Ekwivalenti onest
Għażla tal-mudell
Nipprova sakemm jagħmel sens (p-hacking)
Mudell kaptan ippjanat minn qabel
ipoteżi
Fitting wara l-fatt (HARKing)
Irreġistrat minn qabel, qabel id-data
Rappurtar
Mhux biss juru dawk sbieħ
L-ispeċifikazzjonijiet kollha + sensittività
sottogrupp
Għażla l-aktar impressjonanti
Predefiniti, korretti
ġbir tad-data
Waqqaf meta jagħmel sens
kampjun predeterminat
Erba' prompts ikkupjabbli
1. Qafas tal-pretensjoni onesta:
Ir-rwol tiegħek: assistent onest tal-istatistika. L-għan tiegħi MHIX li nsib riżultat sinifikanti, iżda li nsib ir-riżultat it-tajjeb. REGOLI:- Tagħtix suġġerimenti tat-tip "tipprova mudelli sakemm jagħmel sens",- għidli jekk tissuġġerixxi speċifikazzjonijiet multipli jeħtieġ li jiġu rrappurtati kollha,- wissini bi kwalunkwe passi li jistgħu jwasslu għal p-hacking. Għinni niċċara l-mudell ewlieni tiegħi l-ewwel, skoperta separata mill-konferma.
2. Abbozz tal-pjan ta' analiżi:
Għinni nabbozza pjan ta 'analiżi preliminari għal studju: ipoteżi primarja, varjabbli tar-riżultat primarju, speċifikazzjoni tal-mudell prinċipali, sottogruppi predefiniti, strateġija ta' tqabbil multiplu. Poġġi analiżi "esploratorji" u "konfermatorji" f'intestaturi separati. Fakkarni biex timla dan MINGĦAJR MA NĦARES lejn id-dejta.
3. Analiżi tas-sensittività:
Is-sejba ewlenija tiegħi hija tikteb il-kodiċi tal-analiżi tas-sensittività (R) għal L-għan tiegħi huwa li NARA kemm hu solidu r-riżultat, MHUX li nagħżel l-aħjar wieħed; uri r-riżultati kollha.
4. Awto-monitoraġġ:
Se nispjega l-proċess ta' analiżi tiegħi; Agħtini lista ta' kontroll għal p-hacking / HARKing / rappurtar selettiv u mmarka liema mill-passi tiegħi huma riskjużi. Staqsini lura kemm-il mudelli/testijiet ippruvajt u liema huma nippjana li nirrapporta.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Liema varjabbli juru relazzjonijiet sinifikanti f'din id-dejta, sib l-aħjar mudell.
Dan il-pront huwa istruzzjoni diretta ta 'p-hacking: l-AI tipprova għexieren ta' kombinazzjonijiet u tippreżenta dik li "tagħmel l-aktar sens." Ir-riżultat huwa kważi ċertament sejba falza li ma tistax tiġi replikata.
Pront qawwi:
Ir-rwol tiegħek: assistent onest. Il-mudell PRINĊIPALI li stajt predeterminat huwa: Y ~ X + kontrolli. Ikteb kodiċi li tbassar dan il-mudell. Tfittexx mudell ieħor "aktar sinifikanti". Nissuġġerixxi wkoll analiżi tas-sensittività sabiex inkun nista' nara r-robustezza tar-riżultat, imma naf li se nirrapporta r-riżultati KOLLHA, mhux nagħżel l-aħjar wieħed. Tħallixni nħassar xi sejbiet esploratorji bħala 'ikkonfermati'.
Differenza: rieda qawwija tiffissa l-mudell ewlieni, tipprojbixxi t-tiftix, u teħtieġ li r-riżultati kollha jiġu rrappurtati.
tliet każijiet żgħar
Każ 1 — Kaċċa għas-sottogrupp. Riċerkatur wieħed ma sab l-ebda effett fil-kampjun ġenerali; Huwa staqsa lill-AI "f'liema sottogrupp huwa sinifikanti?" YZ skennja l-kombinazzjonijiet ta 'età, sess u reġjun u sab "p = 0.03 f'nisa urbani ta' bejn 35-44". L-artiklu kien ibbażat fuq dan is-sottogrupp. Ir-replikazzjoni tiegħu ma sabet l-ebda effett: dan kien riżultat ta 'ċans minn għexieren ta' sottogruppi. Lezzjoni: sottogrupp magħżul wara d-dejta hija HARKing, mhux konferma.
Każ 2 — Kaċċa għall-konverżjoni. Ir-relazzjoni li tirriżulta li hija bla sens f’forma ta’ livell ta’ student; ippruvawha f'forom ta 'log, għerq kwadru, kwadru u lag; Huwa sab p=0.048 f'forma ta 'log-log u rrapporta dan biss. Fortunatament, waħda mill-5 forom ippruvati qasmet il-limitu. Il-mod korrett kien: li tagħżel minn qabel il-formola bit-teorija u turi r-riżultat tal-forom kollha fit-tabella tas-sensittività. Lezzjoni: ir-rappurtar selettiv jipproduċi sinifikat falz.
Każ 3 — Kif jaħdem il-qafas onest. Tim wieħed irreġistrat minn qabel qabel l-analiżi: ipoteżi primarja waħda, mudell ewlieni wieħed, żewġ sottogruppi predefiniti, korrezzjoni Bonferroni. L-effett ewlieni ma kienx sinifikanti, iżda t-tim irrapportaha onestament; L-individwu esploratorju mmarka sejba waħda bħala "jeħtieġ li tiġi ttestjata fil-futur." L-istudju kien riproduċibbli u affidabbli. Lezzjoni: l-ippjanar onest jagħmel anke l-eżitu ta '"falli" vallapena.
Żbalji komuni
- Tgħid lill-AI biex "issib riżultati sinifikanti". Dan huwa straight up p-hacking; Poġġi l-AI f'qafas onest, titlob preċiżjoni, mhux riżultati.
- Tippreżenta l-iskoperta bħala konferma (HARKing). Huwa qarrieqi li tikteb l-ipoteżi stabbilita wara d-dejta kif "bassejtha mill-bidu"; Ittikketta s-sejba esploratorja.
- Jirrapporta biss riżultati tajbin. Uri l-ispeċifikazzjonijiet kollha ttestjati; Il-ħabi tal-analiżi tas-sentiment jikkomprometti l-integrità.
- Screening ta' sottogrupp/konverżjoni. L-għażla tal-aktar sinifikanti minn għexieren ta 'sottogruppi jew trasformazzjonijiet tipproduċi sejbiet falsi; tidentifika u tiffissa bil-quddiem.
- Insa kemm ghamilt testijiet. Żomm kont tan-numru totali ta 'tentattivi; L-ebda valur p ma jista' jiġi interpretat b'mod onest mingħajr ma jkun jaf dan in-numru.
Tip: Qabel ma tikteb sejba, staqsi lilek innifsek: "Kemm modi ppruvajt skiet sakemm sibt dan ir-riżultat, u qed nirrapportahom kollha?" Jekk xi wħud mill-esejs jibqgħu fil-kexxun, ir-rapport tiegħek jidher aktar b'saħħtu milli hu.
Fil-qosor
p-hacking, HARKing, rappurtar selettiv, u l-ġnien tal-mogħdijiet tal-forking; Ħafna huma nases li joperaw b'mod mhux intenzjonat iżda jipproduċu sejbiet falzi u mhux riproduċibbli. L-AI taċċellera dawn in-nases għax tista' tipprova għexieren ta' analiżi istantanjament; It-talbiet tat-tip "issib riżultati sinifikanti" jibdlu l-AI f'magna p-hacking. Difiża; tissepara l-iskoperta mill-konferma bi pjan ta 'prereġistrazzjoni u analiżi, tirrapporta l-ispeċifikazzjonijiet kollha u l-analiżi tas-sensittività, tikkoreġi paraguni multipli, u tpoġġi l-AI f'qafas onest li jitlob ir-"riżultat korrett". Ir-responsabbiltà finali dejjem tkun tar-riċerkatur.
Kompitu ta' applikazzjoni
Agħżel mistoqsija ta 'riċerka u ikteb pjan ta' analiżi qasir qabel ma tħares lejn id-dejta: ipoteżi primarja, mudell ewlieni, varjabbli tar-riżultat primarju, sottogruppi predefiniti, strateġija ta 'tqabbil multiplu. Imbagħad stima l-mudell ewlieni. Imbagħad agħmel analiżi tas-sensittività (kontrolli differenti, outlier inklużi/esklużi, forma ta' funzjoni differenti) u uri r-riżultati kollha f'tabella waħda. F'paragrafu wieħed, evalwa liema passi joħolqu riskju ta 'p-hacking u kif il-qafas onest tiegħek jillimitahom.
lista ta' kontroll
- [ ] Jien ktibt il-pjan ta' analiżi/mudell ewlieni qabel ma ngħaddas fid-dejta.
- [ ] Ittikkettjt analiżi esploratorji u konfermatorji separatament; Jien ma kontx HARKing.
- [ ] Irrapportajt l-ispeċifikazzjonijiet kollha li ppruvajt; Jien ma għażiltx biss is-sabiħa.
- [ ] Iddefinijt is-sottogruppi u t-trasformazzjonijiet minn qabel, ma skannejthomx wara d-dejta.
- [ ] Żammejt kont ta' kemm kont għamilt testijiet u applikajt il-korrezzjoni meħtieġa.
- [ ] Jien użajt l-AI fil-kuntest ta' "sib il-verità" aktar milli "sibha sinifikanti"; Jien ħadt ir-responsabbiltà.