Gnóthachain:
- A thuiscint go dtáirgeann p-hacking, HARKing, tuairisciú roghnach, agus gairdín na gcosán forking torthaí bréagacha agus féach conas is féidir le hintleachta saorga na gaistí seo a luathú
- Cumas cosaintí a bhunú amhail réamhchlárú, plean anailíse, disciplín ilchomparáide agus anailís íogaireachta le tacaíocht intleachta saorga
- A bheith in ann dearadh macánta an iarratais a inmheánú a chuirfidh ar chumas na hintleachta saorga diúltú d’iarratais den chineál ‘an toradh brí a aimsiú’ agus gurb ar an taighdeoir atá an fhreagracht deiridh.
San aonad roimhe seo chonaiceamar cad é p-luach agus cad nach bhfuil. San aonad seo féachfaimid ar thopaic níos dorcha, na gaistí córasacha a chuireann sláine staidrimh i mbaol. Ní caimiléireacht d’aon ghnó an chuid is mó díobh seo; Meicníochtaí insidious iad seo a dtagann taighdeoirí a bhfuil dea-rún orthu fiú gan iad a bhaint amach. Agus déanann intleacht shaorga (AI) na gaistí seo níos éasca agus níos tapúla, toisc go bhféadfar mórán anailísí a rith i soicindí. Is é aidhm an aonaid seo an disciplín a bhunú a chlaochlóidh AI ó “mheaisín aimsithe torthaí bríoch” go cúntóir macánta.
Gaistí bunúsacha
p-hacking (seilg p-luach): Tá an anailís á triail arís ar bhealaí éagsúla go dtí go bhfaightear toradh suntasach (p<0.05). Athróga a shuimiú agus a bhaint, foshamplaí a roghnú, an sainmhíniú ar asluitigh a athrú, claochluithe difriúla a thriail, athróga torthaí éagsúla a úsáid, bailiú sonraí a stopadh nuair a bhíonn brí leis... Tugann gach iarracht "seans" nua; Má dhéanann tú iarracht chrua go leor, beidh brí le ceann amháin acu, fiú mura bhfuil aon éifeacht leis. An toradh: torthaí bréagacha a foilsíodh ach nach bhfuil in-atáirgthe.
HARKing (Hypothesizing Tar éis na Torthaí a Fháil): Hipitéis a dhéanamh tar éis na torthaí a fheiceáil agus é a chur i láthair mar "Thuartha mé é mar seo ón tús". Féachann tú ar na sonraí agus aimsíonn tú an gaol is suntasaí, ansin scríobh an páipéar amhail is dá mbeadh sé deartha chun an hipitéis sin a thástáil. Cuireann sé seo amú an léitheoir trí dhearbhú a dhéanamh ar an bhfionnachtain.
Tuairisciú roghnach (piocadh silíní): Na cinn "mhaith" a thuairisciú ó na mórán anailísí agus cuir an chuid eile go ciúin. Tugtar "fadhb tarraiceán comhaid" air seo freisin: fanann torthaí gan brí sa tarraiceán, rud a fhágann go bhfuil an litríocht claonta go córasach.
Gairdín na gcosán forking: Téarma Andrew Gelman. Fiú gan p-hacking amháin d’aon ghnó, déanann an taighdeoir go leor roghanna réasúnta bunaithe ar na sonraí (cén athróg, cén tairseach, cén foghrúpa, cén claochlú). Tá na céimeanna imscrúdaitheacha saoirse chomh iomadúla sin go bhfuil tú ag roghnú an ceann a bhfuil brí leis as an iliomad anailísí - fiú gan aon drochintinn. Is é an toradh arís ráta dearfach bréagach atá ag ardú.
Rabhadh: Ní cleasanna d’aon ghnó an chuid is mó de na gaistí seo. Is féidir le suim na gcéimeanna a bhí cosúil le neamhchiontach cosúil le "Níor bhain mé triail as ach cúpla samhlacha eile", "bhí sé níos glaine nuair a bhain mé an t-asluiteach as", "tá an éifeacht níos soiléire san fhoghrúpa seo" toradh bréagach. Is ábhar modha é macántacht, ní ábhar intinne.
Cén fáth a mhéadaíonn AI na gaistí seo?
Tógann sé am chun 3 mhúnla a thriail de láimh; Táirgeann YZ 50 leagan múnla, 10 dtiontú difriúil, 8 bhfoghrúpa i nóiméid. Tá an chumhacht seo tubaisteach gan plean macánta: déanann iarratas cosúil le “caidreamh bríoch a aimsiú sna sonraí seo” nó “múnla a thógáil a thacaíonn leis an hipitéis seo” an AI go díreach ina inneall p-hackála. Ba mhaith le AI a bheith cabhrach freisin; claonadh chun toradh "brí" a fháil a shásóidh tú. Sin an fáth gurb é do dhearadh pras an chéad líne chosanta macántachta.
Cosaintí: cúrsa cothrom gnó
1. Réamhchlárú: Ciallaíonn sé do hipitéis, athróga, múnla agus tástálacha a thaifeadadh i scríbhinn (b'fhéidir ar ardán le stampa ama) sula ndéanann tú an anailís. Mar sin, tá fionnachtain scartha ó dhearbhú; clibítear aon rud a athraíonn tú ina dhiaidh sin mar "taiscéalaí".
2. Plean anailíse: Fiú murar féidir leat réamhthaifeadadh a dhéanamh, scríobh plean anailíse roimh thumadh isteach sna sonraí: hipitéis phríomhúil, athróg toraidh príomhúil, príomhshamhail. Déan an t-idirdhealú idir “príomhanailís” agus “anailís bhreise/ thaiscéalaíoch” a bhunú ón tús agus é a choimeád sa tuarascáil.
3. Déan gach rud a thuairisciú: Ná folaigh na samhlacha a bhain tú triail as. Sa rannán “anailís íogaireachta” (seiceáil láidreachta), taispeáin conas a athraíonn sonraíochtaí éagsúla an toradh. Níl an toradh láidir ach amháin má sheasann sé faoi go leor roghanna sochreidte.
4. Smacht comparáide iolra: Má tá an iomarca tástálacha déanta agat, ceartaigh iad (aonad 6). Freagair an cheist "Cé mhéad tástáil atá déanta agam?" go hionraic.
5. Anailís íogaireachta: Déan do phríomhthoradh arís le sampla difriúil, sraith rialaithe difriúil, agus claochlú difriúil. Má athraíonn an toradh, ná folaigh é, tuairiscigh é.
Cairt chomparáide: macánta vs gaiste
Iarratas
cruth gaiste
Coibhéis macánta
Roghnú múnla
Ag iarraidh go ndéanann sé ciall (p-hacking)
Múnla máistir réamhphleanáilte
hipitéis
Feistiú tar éis an fhíric (HARKing)
Réamhthaifeadta, roimh shonraí
Tuairisciú
Ná taispeáin na cinn áille amháin
Gach sonraíochtaí + íogaireacht
foghrúpa
Roghnú an chuid is mó buailte
Réamhshainithe, incheartaithe
bailiú sonraí
Stop nuair a dhéanann sé ciall
sampla réamhshocraithe
Ceithre leid inchóipeála
1. Creat éilimh macánta:
Do ról: cúntóir staitisticí macánta. NÍ an sprioc atá agam ná toradh fiúntach a fháil, ach an toradh ceart a aimsiú. RIALACHA:- NÁ tabhair moltaí de chineál “bain triail as múnlaí go dtí go bhfuil ciall leis” dom,- inis dom má mholann tú sonraíochtaí iolracha is gá iad go léir a thuairisciú,- tabhair rabhadh dom faoi aon chéimeanna a d’fhéadfadh p-hackáil a bheith mar thoradh orthu. Cabhraigh liom mo phríomhmhúnla a shoiléiriú ar dtús, fionnachtain ar leith ón deimhniú.
2. Dréachtphlean anailíse:
Cabhraigh liom réamhphlean anailíse a dhréachtú le haghaidh staidéir: hipitéis phríomha, athróg toraidh príomhúil, sonraíocht phríomhshamhail, foghrúpaí réamhshainithe, straitéis chomparáide iolrach. Cuir anailísí "taiscéalaíoch" agus "deimhnitheach" i gceannteidil ar leith. Cuir i gcuimhne dom é seo a líonadh amach GAN BHREATHNÚ AR na sonraí.
3. Anailís íogaireachta:
Is é an príomhthoradh atá agam ná cód anailíse íogaireachta (R) a scríobh le haghaidh Is é an sprioc atá agam ná FÉACH cé chomh daingean agus atá an toradh, NÍ an ceann is fearr a roghnú; taispeáin na torthaí go léir.
4. Féinmhonatóireacht:
Míneoidh mé mo phróiseas anailíse; Tabhair seicliosta dom le haghaidh p-hacking / HARKing / roghnaíoch tuairiscithe agus marcáil cé acu de mo céimeanna atá contúirteach. Fiafraigh ar ais díom cé mhéad múnla/tástáil a thriail mé agus cé na cinn atá beartaithe agam a thuairisciú.
Leid lag / Pras láidir
Leid lag:
Cé na hathróga a léiríonn gaolmhaireachtaí suntasacha sna sonraí seo, faigh an tsamhail is fearr.
Is treoir p-hacking díreach é an leid seo: déanann an AI iarracht an iliomad teaglamaí agus cuireann sé an ceann i láthair "a dhéanann an chiall is mó." Is cinnte gur toradh bréagach é an toradh nach féidir a mhacasamhlú.
Leid chumhachtach:
Do ról: cúntóir macánta. Is é an príomhshamhail a chinn mé ná: rialtáin Y ~ X +. Scríobh cód a thuar an tsamhail seo. NÁ bí ag lorg samhail eile "níos brí". Mol anailís íogaireachta freisin ionas gur féidir liom stóinseacht an toraidh a fheiceáil, ach fios a bheith agam go dtuairisceoidh mé GACH toradh, gan an ceann is fearr a phiocadh. Ná lig dom aon torthaí taiscéalacha a dhíscríobh mar 'deimhnithe'.
Difríocht: socróidh toil láidir an príomh-mhúnla, cuireann sé cosc ar chuardach, agus éilíonn sé go ndéanfaí gach toradh a thuairisciú.
trí chás mion
Cás 1 — Fiach foghrúpa. Ní bhfuair taighdeoir amháin aon éifeacht sa sampla iomlán; D'iarr sé ar an AI "cén foghrúpa a bhfuil sé suntasach?" Scanadh YZ na teaglamaí aoise, inscne agus réigiúin agus fuair sé "p = 0.03 i mná uirbeacha idir 35-44 bliana d'aois". Bhí an t-alt bunaithe ar an bhfoghrúpa seo. Ní bhfuair a mhacasamhlú aon éifeacht: tharla sé seo de sheans ó na mórán foghrúpaí. Ceacht: foghrúpa roghnaithe tar éis sonraí a HARKing, ní ag deimhniú.
Cás 2 - Sealgaireacht chomhshó. An gaol a casadh amach a bheith gan brí i bhfoirm leibhéal an dalta; thriail sé i bhfoirm loga, fréimhe cearnacha, cearnacha agus moille; Fuair sé p=0.048 i bhfoirm loga agus thuairiscigh sé sin amháin. Ar ámharaí an tsaoil, thrasnaigh ceann de na 5 fhoirm a thriail an tairseach. Ba é an bealach ceart: an fhoirm a réamhroghnú le teoiric agus toradh gach foirm a thaispeáint sa tábla íogaireachta. Ceacht: bíonn tábhacht bhréagach ag baint le tuairisciú roghnach.
Cás 3 - Conas a oibríonn frámaíocht macánta. Rinne foireann amháin réamhchlárú roimh anailís: hipitéis phríomhúil amháin, príomhshamhail aonair, dhá fhoghrúpa réamhshainithe, ceartú Bonferroni. Ní raibh an príomh-éifeacht suntasach, ach thuairiscigh an fhoireann go hionraic é; Luaigh an duine taiscéalaíoch toradh amháin mar “is gá a thástáil amach anseo”. Bhí an staidéar in-atáirgthe agus iontaofa. Ceacht: is fiú fiú an toradh “teip” a bhaint amach le pleanáil macánta.
Botúin choitianta
- Ag insint do AI "torthaí brí a fháil". Tá sé seo díreach suas p-hacking; Cuir AI i bhfráma macánta, ag iarraidh cruinneas, ní torthaí.
- An fionnachtain a chur i láthair mar dheimhniú (HARKing). Tá sé míthreorach an hipitéis a bunaíodh tar éis na sonraí a scríobh mar "thuar mé é ón tús"; Cuir lipéad ar an gcinneadh taiscéalaíoch.
- Níl ort ach torthaí maithe a thuairisciú. Taispeáin na sonraíochtaí go léir a tástáladh; Cuireann an anailís aireachtála i bhfolach ionracas i mbaol.
- Scagadh foghrúpa/tiontaithe. Nuair a roghnaítear na cinn is suntasaí den iliomad foghrúpaí nó claochluithe, faightear torthaí bréagacha; a aithint agus a shocrú roimh ré.
- Dearmad ar cé mhéad tástálacha atá déanta agat. Coinnigh súil ar líon iomlán na n-iarrachtaí; Ní féidir aon p-luach a léirmhíniú go hionraic gan an uimhir seo a bheith ar eolas agat.
Leid: Sula scríobhann tú toradh, fiafraigh díot féin: "Cé mhéad bealach a ndearna mé iarracht go ciúin go dtí go bhfuair mé an toradh seo, agus an bhfuilim ag tuairisciú iad go léir?" Má fhanann cuid de na haistí sa tarraiceán, beidh cuma níos láidre ar do thuairisc ná mar atá sé.
Go hachomair
p-hacking, HARKing, tuairisciú roghnach, agus an gairdín na cosáin forking; Is gaistí iad go leor a fheidhmíonn go neamhbheartaithe ach a tháirgeann torthaí bréagacha do-atáirgthe. Cuireann AI dlús leis na gaistí seo mar is féidir leis an iliomad anailísí a thriail láithreach; Déanann iarratais ar chineál “torthaí brí a aimsiú” an AI a thiontú ina inneall p-hackála. Cosaint; fionnachtana a scaradh ó dheimhniú le plean réamhchláraithe agus anailíse, tuairisciú gach sonraíochtaí agus anailís íogaireachta, comparáidí iolracha a cheartú, agus AI a chur i gcreat macánta a éilíonn an "toradh ceart". Bíonn an fhreagracht deiridh ar an taighdeoir i gcónaí.
Tasc feidhmchláir
Roghnaigh ceist taighde agus scríobh plean anailíse gairid sula mbreathnaíonn tú ar na sonraí: hipitéis phríomhúil, príomhshamhail, athróg toraidh príomhúil, foghrúpaí réamhshainithe, straitéis chomparáide iolrach. Ansin déan meastachán ar an bpríomhshamhail. Ansin déan anailís íogaireachta (rialuithe éagsúla, asluiteach san áireamh/eisiata, foirm feidhm dhifriúil) agus taispeáin na torthaí go léir i dtábla amháin. I mír amháin, déan meastóireacht ar na céimeanna a bhfuil baol p-hackála ag baint leo agus conas a chuireann do chreat macánta teorainn leo.
seicliosta
- [ ] Scríobh mé an plean anailíse/máistirmhúnla sula ndeachaigh mé isteach sna sonraí.
- [ ] lipéadaigh mé anailísí taiscéalaíoch agus deimhnithe ar leithligh; Ní raibh mé ag HARKING.
- [ ] Thuairiscigh mé na sonraíochtaí go léir a bhain mé triail as; Ní hamháin gur roghnaigh mé an ceann álainn.
- [ ] Sainmhínigh mé na foghrúpaí agus na claochluithe roimh ré, níor scanadh mé iad i ndiaidh na sonraí.
- [ ] Choinnigh mé cuntas ar cé mhéad tástálacha a rith mé agus chuir mé an ceartúchán riachtanach i bhfeidhm.
- [ ] Bhain mé úsáid as AI i gcomhthéacs “faigh an fhírinne” seachas “faigh brí leis”; Ghlac mé freagracht.