Faida:
- Elewa kwamba udukuzi wa udukuzi, HARKing, kuripoti kwa kuchagua, na bustani ya njia za uma hutoa matokeo ya uwongo na uone jinsi akili ya bandia inaweza kuharakisha mitego hii.
- Uwezo wa kuanzisha ulinzi kama vile kujisajili mapema, mpango wa uchanganuzi, nidhamu nyingi za kulinganisha na uchanganuzi wa hisia kwa usaidizi wa akili bandia.
- Kuweza kuweka ndani muundo wa ombi la uaminifu ambao utawezesha akili bandia kukataa maombi ya aina ya 'kupata matokeo ya maana' na kwamba jukumu la mwisho ni la mtafiti.
Katika kitengo kilichopita tuliona thamani ya p ni nini na sio nini. Katika kitengo hiki tutaangalia mada nyeusi zaidi, mitego ya kimfumo ambayo inatishia uadilifu wa takwimu. Mengi ya haya si kudanganya kimakusudi; Hizi ni njia za hila ambazo hata watafiti wenye nia njema huanguka bila kujua. Na akili ya bandia (AI) hurahisisha mitego hii kwa urahisi na haraka, kwani inafanya uwezekano wa kufanya uchanganuzi kadhaa kwa sekunde. Lengo la kitengo hiki ni kuanzisha nidhamu ambayo itabadilisha AI kutoka "mashine ya maana ya kutafuta matokeo" hadi msaidizi mwaminifu.
Mitego ya msingi
p-hacking (uwindaji wa thamani ya p): Inajaribu uchanganuzi tena kwa njia tofauti hadi matokeo muhimu (p<0.05) yapatikane. Kuongeza na kuondoa vigezo, kuchagua sampuli ndogo, kubadilisha ufafanuzi wa nje, kujaribu mabadiliko tofauti, kutumia vigezo tofauti vya matokeo, kuacha kukusanya data wakati inakuwa na maana ... Kila jaribio linatoa "nafasi" mpya; Ikiwa utajaribu kwa bidii, moja yao itageuka kuwa ya maana, hata ikiwa haina athari. Matokeo: matokeo ya uwongo ambayo yalichapishwa lakini hayawezi kuzalishwa tena.
HARKing (Hypothesizing Baada ya Matokeo Kujulikana): Kufanya hypothesis baada ya kuona matokeo na kuwasilisha kama "Nilitabiri hivi tangu mwanzo". Unaangalia data na kupata uhusiano unaovutia zaidi, kisha andika karatasi kana kwamba imeundwa kujaribu nadharia hiyo. Hii inapotosha msomaji kwa kufanya ugunduzi uonekane kama uthibitisho.
Kuripoti kwa kuchagua (kuchuna cherry): Kuripoti "nzuri" pekee kutoka kwa uchanganuzi kadhaa na kuzika zingine kimya kimya. Hili pia linajulikana kama "tatizo la droo ya faili": matokeo yasiyo na maana husalia kwenye droo, na kufanya fasihi kuwa na upendeleo kwa utaratibu.
Bustani ya njia za uma: neno la Andrew Gelman. Hata bila utapeli mmoja wa kukusudia, mtafiti hufanya chaguo nyingi zinazofaa kulingana na data (ambayo inatofautiana, kizingiti kipi, kikundi kipi, mabadiliko gani). Digrii hizi za uhuru za uchunguzi ni nyingi sana hivi kwamba unachagua ile ya maana kutoka kwa uchanganuzi mwingi-hata bila nia mbaya. Matokeo yake ni kuongezeka kwa kiwango chanya cha uwongo.
Tahadhari: Nyingi ya mitego hii si hila za kimakusudi. Jumla ya hatua zinazoonekana kuwa zisizo na hatia kama vile "Nimejaribu mifano michache zaidi", "ilikuwa safi zaidi nilipoondoa nje", "athari ni wazi zaidi katika kikundi hiki" inaweza kutoa matokeo ya uwongo. Uaminifu ni suala la mbinu, si nia.
Kwa nini AI inakuza mitego hii?
Kujaribu mifano 3 kwa mkono inachukua muda; YZ hutoa vibadala 50 vya muundo, ubadilishaji 10 tofauti, vikundi vidogo 8 kwa dakika. Nguvu hii ni mbaya bila mpango wa uaminifu: ombi kama "pata uhusiano wa maana katika data hii" au "jenga mfano unaounga mkono nadharia hii" hugeuza AI moja kwa moja kuwa injini ya udukuzi. AI pia inataka kusaidia; huelekea kupata matokeo "ya maana" ambayo yatakuridhisha. Ndio maana muundo wako wa haraka ni safu ya kwanza ya utetezi wa uaminifu.
Ulinzi: njia ya haki ya biashara
1. Usajili wa mapema: Inamaanisha kurekodi dhana yako, vigeu, muundo na majaribio kwa maandishi (huenda kwenye jukwaa lililowekwa muhuri wa muda) kabla ya kufanya uchanganuzi. Hivyo, ugunduzi umetenganishwa na uthibitisho; kitu chochote unachobadilisha baadaye kimetambulishwa kama "mchunguzi".
2. Mpango wa uchanganuzi: Hata kama huwezi kurekodi mapema, andika mpango wa uchanganuzi kabla ya kupiga mbizi kwenye data: dhana ya msingi, utofauti wa matokeo ya msingi, muundo mkuu. Anzisha tofauti kati ya "uchambuzi mkuu" na "uchambuzi wa ziada/uchunguzi" tangu mwanzo na uidumishe katika ripoti.
3. Ripoti kila kitu: Usifiche mifano uliyojaribu. Katika sehemu ya "uchambuzi wa unyeti" (angalia uthabiti), onyesha jinsi vipimo tofauti vinavyobadilisha matokeo. Ugunduzi huo ni wenye nguvu tu ikiwa unashikilia chini ya chaguo nyingi zinazokubalika.
4. Nidhamu ya kulinganisha nyingi: Ikiwa umefanya majaribio mengi sana, yasahihishe (kitengo cha 6). Jibu swali "Nimefanya majaribio ngapi?" kwa uaminifu.
5. Uchambuzi wa unyeti: Rudia matokeo yako kuu kwa sampuli tofauti, seti tofauti za udhibiti, na mabadiliko tofauti. Ikiwa matokeo yanabadilika, usiifiche, ripoti.
Chati ya kulinganisha: uaminifu dhidi ya mtego
Maombi
sura ya mtego
Waaminifu sawa
Uchaguzi wa mfano
Kujaribu hadi iwe na maana (p-hacking)
Mfano mkuu uliopangwa tayari
hypothesis
Kufaa baada ya ukweli (HARKing)
Imerekodiwa mapema, kabla ya data
Kuripoti
Usionyeshe warembo tu
Vipimo vyote + unyeti
kikundi kidogo
Kuchagua ya kuvutia zaidi
Imefafanuliwa awali, inayoweza kusahihishwa
ukusanyaji wa data
Acha inapoleta maana
sampuli iliyoamuliwa mapema
Vidokezo vinne vinavyoweza kunakiliwa
1. Mfumo wa kudai waaminifu:
Jukumu lako: msaidizi wa takwimu mwaminifu. Lengo langu SI kupata matokeo yenye maana, bali kupata matokeo sahihi. KANUNI:- USINIPE "jaribu mifano hadi iwe na maana" aina ya mapendekezo,- niambie ikiwa unapendekeza vipimo vingi ambavyo vyote vinahitaji kuripotiwa,- nionye kuhusu hatua zozote zinazoweza kusababisha udukuzi. Nisaidie kufafanua muundo wangu mkuu kwanza, tofautisha ugunduzi na uthibitishaji.
2. Rasimu ya mpango wa uchambuzi:
Nisaidie kuandaa mpango wa uchanganuzi wa awali wa utafiti: dhana ya msingi, utofauti wa matokeo ya kimsingi, vipimo kuu vya kielelezo, vikundi vidogo vilivyobainishwa awali, mkakati wa ulinganishi mwingi. Weka "uchunguzi" na "uthibitisho" uchambuzi katika vichwa tofauti. Nikumbushe kujaza hii BILA KUANGALIA data.
3. Uchambuzi wa unyeti:
Ugunduzi wangu mkuu ni kuandika msimbo wa uchanganuzi wa unyeti (R) kwa lengo langu ni KUONA jinsi matokeo yalivyo thabiti, SIO kuchagua iliyo bora zaidi; onyesha matokeo yote.
4. Kujifuatilia:
Nitaelezea mchakato wangu wa uchambuzi; Nipe orodha ya kuangalia kwa udukuzi wa udukuzi / HARKing / ripoti ya kuchagua na uweke alama ni ipi kati ya hatua zangu ambazo ni hatari. Niulize ni mifano/jaribio ngapi nimejaribu na ni zipi ninapanga kuripoti.
Mwongozo dhaifu / Mwongozo thabiti
Agizo dhaifu:
Ambayo vigezo vinaonyesha uhusiano muhimu katika data hii, pata mfano bora zaidi.
Mwongozo huu ni maagizo ya moja kwa moja ya utapeli: AI hujaribu mchanganyiko kadhaa na inatoa ile "inayoeleweka zaidi." Matokeo yake ni karibu matokeo ya uwongo ambayo hayawezi kuigwa.
Agizo lenye nguvu:
Jukumu lako: msaidizi mwaminifu. Mtindo KUU ambao nimeamua mapema ni: Y ~ X + vidhibiti. Andika msimbo unaotabiri mtindo huu. USITAFUTE mfano mwingine "wenye maana zaidi". Pia pendekeza uchanganuzi wa unyeti ili nione uthabiti wa matokeo, lakini ujue kuwa nitaripoti matokeo YOTE, sio kuchagua bora zaidi. Usiniruhusu nifute matokeo yoyote ya uchunguzi kama 'imethibitishwa'.
Tofauti: nia thabiti hurekebisha muundo mkuu, inakataza kutafuta, na inahitaji matokeo yote kuripotiwa.
kesi tatu ndogo
Kesi ya 1 - Uwindaji wa kikundi kidogo. Mtafiti mmoja hakupata athari katika sampuli ya jumla; Aliuliza AI "ni muhimu katika kikundi gani?" YZ alichanganua mchanganyiko wa umri, jinsia na eneo na akapata "p = 0.03 kwa wanawake wa mijini wenye umri wa miaka 35-44". Nakala hiyo ilitokana na kikundi hiki kidogo. Urudufishaji wake haukupata athari yoyote: hii ilikuwa matokeo ya bahati kutoka kwa vikundi kadhaa vidogo. Somo: kikundi kidogo kilichochaguliwa baada ya data ni HARKING, si uthibitisho.
Kesi ya 2 - Uwindaji wa uongofu. Uhusiano unaogeuka kuwa hauna maana katika fomu ya kiwango cha mwanafunzi; ilijaribu katika logi, mizizi ya mraba, mraba na fomu za lag; Alipata p=0.048 katika fomu ya logi na akaripoti hiyo tu. Kwa bahati nzuri, moja ya fomu 5 zilizojaribiwa ilivuka kizingiti. Njia sahihi ilikuwa: kuchagua mapema fomu na nadharia na kuonyesha matokeo ya fomu zote kwenye jedwali la unyeti. Somo: kuripoti kwa kuchagua hutoa umuhimu wa uwongo.
Kesi ya 3 - Jinsi uundaji wa uaminifu unavyofanya kazi. Timu moja ilisajiliwa mapema kabla ya uchanganuzi: nadharia tete moja ya msingi, modeli kuu moja, vikundi viwili vilivyobainishwa awali, marekebisho ya Bonferroni. Athari kuu haikuwa muhimu, lakini timu iliripoti kwa uaminifu; Mtu mchunguzi aliripoti moja ya matokeo kama "inahitaji kujaribiwa katika siku zijazo." Utafiti huo uliweza kuzalishwa tena na kutegemewa. Somo: Kupanga kwa uaminifu hufanya hata matokeo ya "kushindwa" kuwa ya thamani.
Makosa ya kawaida
- Kuambia AI "kupata matokeo yenye maana". Huu ni udukuzi wa moja kwa moja; Weka AI katika sura ya uaminifu, ukiuliza kwa usahihi, sio matokeo.
- Kuwasilisha ugunduzi kama uthibitisho (HARKing). Inapotosha kuandika nadharia iliyoanzishwa baada ya data kama "niliitabiri tangu mwanzo"; Weka alama kwenye matokeo ya uchunguzi.
- Kuripoti tu matokeo mazuri. Onyesha vipimo vyote vilivyojaribiwa; Kuficha uchanganuzi wa hisia huhatarisha uadilifu.
- Uchunguzi wa kikundi kidogo/uongofu. Kuchagua muhimu zaidi kati ya kadhaa ya vikundi vidogo au mabadiliko hutoa matokeo ya uwongo; kutambua na kurekebisha mapema.
- Kusahau ni majaribio ngapi umefanya. Fuatilia jumla ya idadi ya majaribio; Hakuna p-thamani inayoweza kufasiriwa kwa uaminifu bila kujua nambari hii.
Kidokezo: Kabla ya kuandika matokeo, jiulize: "Ni njia ngapi ambazo nimejaribu kimya hadi nipate matokeo haya, na ninaripoti zote?" Ikiwa baadhi ya insha zitasalia kwenye droo, ripoti yako inaonekana kuwa na nguvu kuliko ilivyo.
Kwa muhtasari
p-Hacking, HARKing, taarifa ya kuchagua, na bustani ya njia za uma; Mitego mingi ni mitego ambayo hufanya kazi bila kukusudia lakini hutoa matokeo ya uwongo, yasiyoweza kuzaa tena. AI huharakisha mitego hii kwa sababu inaweza kujaribu kadhaa ya uchanganuzi papo hapo; Maombi ya aina ya "pata matokeo ya maana" yanageuza AI kuwa injini ya udukuzi. Ulinzi; kutenganisha ugunduzi kutoka kwa uthibitisho na mpango wa usajili wa mapema na uchambuzi, kuripoti vipimo vyote na uchanganuzi wa unyeti, kusahihisha ulinganisho mwingi, na kuweka AI katika mfumo wa uaminifu unaodai "matokeo sahihi". Jukumu la mwisho daima liko kwa mtafiti.
Jukumu la maombi
Chagua swali la utafiti na uandike mpango mfupi wa uchanganuzi kabla ya kuangalia data: nadharia ya msingi, modeli kuu, mabadiliko ya msingi ya matokeo, vikundi vidogo vilivyoainishwa, mkakati wa kulinganisha mwingi. Kisha ukadiria mfano mkuu. Kisha fanya uchanganuzi wa unyeti (vidhibiti tofauti, nje ni pamoja na / kutengwa, fomu tofauti za utendaji) na uonyeshe matokeo yote katika jedwali moja. Katika aya moja, tathmini ni hatua zipi zinazohatarisha udukuzi na jinsi mfumo wako wa uaminifu unavyoziweka kikomo.
orodha ya ukaguzi
- [ ] Niliandika mpango wa uchanganuzi/ modeli kuu kabla ya kuzama kwenye data.
- [ ] Niliweka lebo changanuzi za uchunguzi na uthibitishaji kando; Sikuwa na HARKing.
- [ ] Nimeripoti vipimo vyote ambavyo nimejaribu; Sikuchagua mrembo tu.
- [ ] Nilifafanua vikundi vidogo na mabadiliko hapo awali, sikuyachanganua baada ya data.
- [ ] Nilifuatilia ni majaribio ngapi niliyofanya na nikatumia masahihisho yanayohitajika.
- [ ] Nilitumia AI katika muktadha wa “pata ukweli” badala ya “upate kuwa na maana”; Nilichukua jukumu.