Hagnaður:
- Skildu að p-hacking, HARKing, sértækar skýrslur og garðurinn af klofningsstígum framleiða rangar niðurstöður og sjáðu hvernig gervigreind getur flýtt fyrir þessum gildrum
- Geta til að koma á fót vörnum eins og forskráningu, greiningaráætlun, margfeldissamanburðarfræði og næmnigreiningu með gervigreindarstuðningi
- Að geta tileinkað sér hina heiðarlegu beiðnihönnun sem gerir gervigreindinni kleift að hafna beiðnum um „finna merkingarbæra niðurstöðu“ og að endanleg ábyrgð sé hjá rannsakanda.
Í fyrri einingu sáum við hvað p-gildi er og hvað ekki. Í þessari einingu munum við skoða dekkra efni, kerfisbundnar gildrur sem ógna tölfræðilegum heilindum. Flest af þessu eru ekki viljandi svindl; Þetta eru skaðleg aðferð sem jafnvel velviljaðir vísindamenn falla í án þess að gera sér grein fyrir því. Og gervigreind (AI) gerir þessar gildrur bæði auðveldari og hraðari, þar sem hún gerir það mögulegt að keyra heilmikið af greiningum á sekúndum. Markmið þessarar einingar er að koma á fræðigreininni sem mun umbreyta gervigreind úr „þýðingarfullri niðurstöðuvél“ í heiðarlegan aðstoðarmann.
Grunngildrur
p-hacking (p-gildi veiði): Það er að reyna greininguna aftur á mismunandi vegu þar til marktæk niðurstaða (p<0,05) fæst. Bæta við og fjarlægja breytur, velja undirsýni, breyta skilgreiningu á útlægum, prófa mismunandi umbreytingar, nota mismunandi útkomubreytur, stöðva gagnasöfnun þegar hún verður þýðingarmikil... Hver tilraun gefur nýtt "tækifæri"; Ef þú reynir nógu vel mun ein þeirra reynast þýðingarmikil, jafnvel þótt það hafi í raun engin áhrif. Niðurstaðan: rangar niðurstöður sem voru birtar en ekki hægt að endurtaka.
HARKING (tilgáta eftir að niðurstöðurnar eru þekktar): Gera tilgátu eftir að hafa séð niðurstöðurnar og sett fram sem "ég spáði þessu svona frá upphafi". Þú skoðar gögnin og finnur mest sláandi sambandið, skrifar síðan blaðið eins og það væri hannað til að prófa þá tilgátu. Þetta afvegaleiðir lesandann með því að láta uppgötvunina virðast vera staðfestingu.
Sértæk skýrsla (kirsuberjatínsla): Að tilkynna aðeins „góðu“ úr tugum greininga og grafa í hljóði afganginn. Þetta er einnig þekkt sem „skjalaskúffuvandamálið“: merkingarlausar niðurstöður liggja eftir í skúffunni, sem gerir bókmenntir kerfisbundið hlutdrægar.
Garður göngustíga: hugtak Andrew Gelman. Jafnvel án einnar vísvitandi p-hakks, tekur rannsakandinn margar sanngjarnar ákvarðanir byggðar á gögnunum (hvaða breytu, hvaða þröskuldur, hvaða undirhópur, hvaða umbreyting). Þessar rannsóknarfrelsisgráður eru svo margar að þú ert í raun að velja það sem skiptir máli úr fjölda greininga - jafnvel án ills ásetnings. Niðurstaðan er aftur hækkandi rangt jákvætt hlutfall.
Varúð: Flestar þessar gildrur eru ekki vísvitandi brellur. Summa af að því er virðist saklausum skrefum eins og „ég prófaði bara nokkrar gerðir í viðbót“, „það var hreinna þegar ég fjarlægði útlínuna“, „áhrifin eru skýrari í þessum undirhópi“ geta leitt til falskrar niðurstöðu. Heiðarleiki er spurning um aðferð, ekki ásetning.
Af hverju stækkar gervigreind þessar gildrur?
Það tekur tíma að prófa 3 gerðir í höndunum; YZ framleiðir 50 afbrigði af gerðum, 10 mismunandi umbreytingar, 8 undirhópa á mínútum. Þessi kraftur er hörmulegur án heiðarlegrar áætlunar: beiðni eins og „finndu þýðingarmikið samband í þessum gögnum“ eða „smíðaðu líkan sem styður þessa tilgátu“ breytir gervigreindinni beint í p-hakkavél. gervigreind vill líka vera hjálpleg; hefur tilhneigingu til að finna "merkingarríka" niðurstöðu sem mun fullnægja þér. Þess vegna er skjót hönnun þín fyrsta varnarlína heiðarleikans.
Varnir: sanngjörn viðskiptahætti
1. Forskráning: Það þýðir að skrá tilgátu þína, breytur, líkan og próf skriflega (hugsanlega á tímamerktum vettvangi) áður en greiningin er framkvæmd. Þannig er uppgötvun aðskilin frá staðfestingu; allt sem þú breytir eftir á er merkt sem "könnuður".
2. Greiningaráætlun: Jafnvel þótt þú getir ekki skráð fyrirfram skaltu skrifa greiningaráætlun áður en þú kafar ofan í gögnin: frumtilgáta, frumútkomabreyta, aðallíkan. Koma á greinarmun á „aðalgreiningu“ og „viðbótar/könnunargreiningu“ frá upphafi og viðhalda honum í skýrslunni.
3. Tilkynntu allt: Ekki fela módelin sem þú hefur prófað. Sýndu hvernig mismunandi forskriftir breyta niðurstöðunni í hlutanum „næmisgreining“ (styrkleikaathugun). Niðurstaðan er aðeins sterk ef hún stenst undir mörgum trúverðugum valkostum.
4. Margfaldur samanburðargrein: Ef þú hefur gert of mörg próf skaltu leiðrétta þau (eining 6). Svaraðu spurningunni "Hversu mörg próf hef ég gert?" heiðarlega.
5. Næmnigreining: Endurtaktu helstu niðurstöðu þína með öðru sýni, öðru eftirlitssetti og mismunandi umbreytingum. Ef niðurstaðan breytist, ekki fela hana, tilkynntu hana.
Samanburðartöflu: heiðarlegur vs gildra
Umsókn
gildruform
Heiðarlegt jafngildi
Gerð val
Reynir þangað til það er skynsamlegt (p-hakka)
Fyrirfram skipulagt meistaralíkan
tilgátu
Passa eftir staðreynd (HARKing)
Forskráð, á undan gögnum
Skýrslugerð
Ekki bara sýna fallegu
Allar upplýsingar + næmi
undirhópur
Velja mest sláandi
Forskilgreint, hægt að leiðrétta
gagnasöfnun
Hættu þegar það er skynsamlegt
fyrirfram ákveðið sýni
Fjórar afritanlegar leiðbeiningar
1. Heiðarlegur kröfurammi:
Hlutverk þitt: heiðarlegur tölfræðiaðstoðarmaður. Markmið mitt er EKKI að finna marktæka niðurstöðu, heldur að finna réttu niðurstöðuna. REGLUR: - EKKI gefa mér "prófaðu módel þar til það er skynsamlegt" tegundartillögur, - segðu mér ef þú stingur upp á mörgum forskriftum að þær þurfi allar að tilkynna, - vara mig við öllum skrefum sem gætu leitt til p-hakka. Hjálpaðu mér að skýra aðallíkanið mitt fyrst, aðskilja uppgötvun frá staðfestingu.
2. Drög að greiningaráætlun:
Hjálpaðu mér að leggja drög að bráðabirgðagreiningaráætlun fyrir rannsókn: frumtilgátu, frumútkomubreyta, forskrift aðallíkans, fyrirfram skilgreinda undirhópa, margfalda samanburðaráætlun. Settu "könnunar" og "staðfestandi" greiningar í aðskildum fyrirsögnum. Minntu mig á að fylla þetta út ÁN AÐ HOFA í gögnunum.
3. Næmnigreining:
Helstu niðurstöður mínar eru að skrifa næmisgreiningarkóða (R) fyrir Markmið mitt er að SJÁ hversu traust niðurstaðan er, EKKI að velja þann besta; sýna allar niðurstöður.
4. Sjálfseftirlit:
Ég mun útskýra greiningarferli mitt; Gefðu mér gátlista fyrir p-hacking / HARKing / sértækar tilkynningar og merktu við hvaða skref eru áhættusöm. Spyrðu mig til baka hversu margar gerðir/prófanir ég hef prófað og hverjar ég ætla að tilkynna.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Hvaða breytur sýna marktæk tengsl í þessum gögnum, finndu besta líkanið.
Þessi hvetja er bein p-hakka leiðbeining: gervigreindin reynir heilmikið af samsetningum og kynnir þá sem „meikar skynsamlegasta“. Niðurstaðan er næstum örugglega svikin niðurstaða sem ekki er hægt að endurtaka.
Öflug tilvitnun:
Þitt hlutverk: heiðarlegur aðstoðarmaður. AÐAL líkanið sem ég hef fyrirfram ákveðið er: Y ~ X + stýringar. Skrifaðu kóða sem spáir fyrir um þetta líkan. EKKI leita að annarri "merkingarmeiri" gerð. Leggðu líka til næmnigreiningu svo ég geti séð styrkleika niðurstöðunnar, en veit að ég mun tilkynna ALLAR niðurstöður, ekki velja þá bestu. Ekki leyfa mér að afskrifa allar könnunarniðurstöður sem „staðfestar“.
Mismunur: sterkur vilji lagar aðallíkanið, bannar leit og krefst þess að allar niðurstöður séu tilkynntar.
þrjú smámál
Mál 1 — Veiðar undirhópa. Einn rannsakandi fann engin áhrif í heildarúrtakinu; Hann spurði gervigreindina „í hvaða undirhópi er hann mikilvægur? YZ skannaði aldur, kyn og svæðissamsetningar og fann „p = 0,03 hjá konum í þéttbýli á aldrinum 35-44 ára“. Greinin var byggð á þessum undirhópi. Afritun hans fann engin áhrif: þetta var afleiðing af tilviljun frá tugum undirhópa. Lexía: valinn undirhópur eftir að gögn eru að HARKING, ekki staðfest.
Mál 2 — Breytingarveiðar. Sambandið sem reynist tilgangslaust á nemendastigi; reyndu það í log-, kvaðratrótar-, veldis- og lagsformum; Hann fann p=0,048 í log-log formi og greindi aðeins frá því. Sem betur fer fór eitt af 5 formunum sem reynt var yfir þröskuldinn. Rétta leiðin var: að forvelja form með kenningu og sýna niðurstöðu allra formanna í næmnitöflunni. Lærdómur: sértæk skýrsla hefur ranga þýðingu.
Tilfelli 3 — Hvernig heiðarleg innrömmun virkar. Eitt teymi forskráður fyrir greiningu: ein frumtilgáta, eitt aðallíkan, tveir fyrirfram skilgreindir undirhópar, Bonferroni leiðrétting. Helstu áhrifin voru ekki marktæk, en teymið greindi frá því heiðarlega; Rannsakandi einstaklingur merkti eina uppgötvun sem „þurfi að prófa í framtíðinni. Rannsóknin var endurtakanleg og áreiðanleg. Lexía: heiðarleg áætlanagerð gerir jafnvel „misheppnuð“ útkomuna þess virði.
Algeng mistök
- Að segja gervigreindinni að „finna marktækar niðurstöður“. Þetta er beinlínis p-hakk; Settu gervigreind í heiðarlegan ramma, biddu um nákvæmni, ekki niðurstöður.
- Kynna uppgötvunina sem staðfestingu (HARKing). Það er villandi að skrifa tilgátuna sem sett er á eftir gögnunum sem "ég spáði því frá upphafi"; Merktu könnunarniðurstöðuna.
- Bara að segja frá góðum árangri. Sýna allar forskriftir prófaðar; Að fela tilfinningagreiningu skerðir heilindi.
- Undirhópur/viðskiptaskimun. Að velja mikilvægasta af tugum undirhópa eða umbreytinga leiðir til rangar niðurstöður; þekkja og laga fyrirfram.
- Gleymir hversu mörg próf þú hefur gert. Fylgstu með heildarfjölda tilrauna; Ekkert p-gildi er hægt að túlka heiðarlega án þess að vita þessa tölu.
Ábending: Áður en þú skrifar niður niðurstöðu skaltu spyrja sjálfan þig: "Hversu margar leiðir hef ég reynt í hljóði þar til ég fann þessa niðurstöðu og er ég að tilkynna þær allar?" Ef sumar ritgerðanna liggja í skúffunni virðist skýrslan þín sterkari en hún er.
Í stuttu máli
p-hacking, HARKing, sértækar skýrslur og garðurinn með klofningi; Margar eru gildrur sem starfa óviljandi en framleiða rangar, óafritanlegar niðurstöður. AI flýtir fyrir þessum gildrum vegna þess að það getur reynt heilmikið af greiningum samstundis; „finndu marktækar niðurstöður“ tegundarbeiðnir breyta gervigreindinni í p-hakkavél. Vörn; aðskilja uppgötvun frá staðfestingu með forskráningu og greiningaráætlun, tilkynna allar forskriftir og næmnigreiningu, leiðrétta margvíslegan samanburð og setja gervigreind í heiðarlegan ramma sem krefst „réttrar niðurstöðu“. Endanleg ábyrgð er alltaf hjá rannsakanda.
Umsóknarverkefni
Veldu rannsóknarspurningu og skrifaðu stutta greiningaráætlun áður en þú skoðar gögnin: frumtilgátu, aðallíkan, frumútkomubreytu, fyrirfram skilgreinda undirhópa, margfalda samanburðaráætlun. Áætla síðan aðallíkanið. Gerðu síðan næmnigreiningu (mismunandi stýringar, útlægur innifalinn/útilokaður, mismunandi fallform) og sýndu allar niðurstöður í einni töflu. Í einni málsgrein, metið hvaða skref hafa í för með sér hættu á p-hakki og hvernig heiðarleg umgjörð þín takmarkar þau.
gátlisti
- [ ] Ég skrifaði greiningaráætlunina/meistaralíkanið áður en ég kafaði ofan í gögnin.
- [ ] Ég merkti könnunar- og staðfestingargreiningar sérstaklega; Ég var ekki að HARKING.
- [ ] Ég hef greint frá öllum forskriftunum sem ég hef reynt; Ég valdi ekki bara fallega.
- [ ] Ég skilgreindi undirhópa og umbreytingar fyrirfram, ég skannaði þá ekki eftir gögnunum.
- [ ] Ég fylgdist með því hversu mörg próf ég hafði keyrt og beitti nauðsynlegri leiðréttingu.
- [ ] Ég notaði gervigreind í samhengi við „finndu sannleikann“ frekar en „finndu hann þroskandi“; Ég tók ábyrgð.