Riba:
- Ability don ayyana ra'ayi mara kyau daidai, p-darajar, tazarar amincewa da ikon ƙididdiga da amfani da hankali na wucin gadi a zaɓin gwaji da fassarar.
- Ability don rarrabe abin da yake kuma ba p-darajar (ba girman tasiri ba, ba yuwuwar daidaito ba) kuma fahimtar dalilin da yasa gyaran kwatancen da yawa ya zama dole.
- Ƙarfin gane maganganun da hankali na wucin gadi ya yi wanda ke rikitar da ma'ana tare da kayan abu kuma ya ba da rahoton su da girman tasiri da rashin tabbas.
Mafi amfani da mafi rashin fahimtar kayan aikin ƙididdiga shine gwajin hasashe. Mahimmin ra'ayi mai sauƙi ne: muna da da'awar (misali "ma'anar waɗannan ƙungiyoyi biyu daban-daban") kuma akasin sa, hasashe mara kyau (H0 - "a zahiri babu bambanci"). Gwajin yana auna yadda bayanan suka yarda da hasashen mara amfani. A cikin wannan rukunin za mu ga yadda hankali na wucin gadi (AI) ke yin zaɓin gwaji da fassarar sauƙi, amma dalilin da ya sa ramukan da ke kewaye da p-darajar suna da yawa kuma suna da haɗari. Bari mu fara daga farko: AI ya san abin da gwajin syntax ya rubuta; amma aikin ku ne ku fassara ko zato na gwajin ya gamsu da ainihin ma'anar sakamakon.
Menene ainihin p-darajar?
P-darajar ita ce yuwuwar sakamakon da kuke kiyayewa, ko mafi girman sakamako, zai faru kwatsam lokacin da hasashe mara tushe gaskiya ne (watau a zahiri babu wani tasiri). Ƙananan p-darajar (0.05 ita ce ƙofar al'ada) tana nufin "zai zama abin mamaki don ganin irin waɗannan bayanan idan da gaske babu wani tasiri"; Ana ɗaukar wannan shaida akan hasashe mara amfani.
Yanzu bari mu bayyana abin da p-darajar ba - wanda AI sau da yawa ya ruɗe:
- Ƙimar p-ƙimar ba yuwuwar cewa hasashe na banza gaskiya ne. p=0.03 baya nufin "akwai yuwuwar kashi 3% na rashin tasiri".
- P-darajar baya nuna girman tasirin. Ƙananan sakamako na iya haifar da ƙaramin p-darajar a cikin babban samfuri.
- P-darajar baya tabbatar da cewa binciken yana da mahimmanci ko gaske. “Mahimmanci” kalma ce ta kididdiga, “mahimmanci” hukunci ne.
- p>0.05 baya nufin "babu tasiri"; Yana nufin "ba za mu iya nuna tasirin da wannan bayanan ba." Rashin shaida ba shaida ba ne.
Tsanaki: Kuskuren fassarar AI na yau da kullun shine gabatar da kalmar "mahimmanci" azaman "mahimmanci / ƙarfi / babban tasiri." Mahimman ƙididdiga da mahimmancin aiki abubuwa biyu ne mabambanta; Koyaushe rahoton biyu daban.
Tazarar amincewa da girman tasiri: ingantaccen bayani
Maimakon p-darajar guda ɗaya, tazarar amincewa ta fi ba da labari: yana ba da ƙimar ƙimar ƙima don ƙimar ku. Jumlar "Tasirin 1,200, 95% tazarar amincewa [300, 2,100]" yana nuna duka shugabanci, girma, da rashin tabbas; "p<0.05" kawai yana cewa "da nisa daga sifili". Ayyukan ƙididdiga na zamani yana amfani da p-darajar ba shi kaɗai ba; yana ba da shawarar bayar da rahoto tare da girman sakamako uku + tazarar amincewa + p-darajar.
Ƙarfin ƙididdiga da samfurin
Ƙarfin ƙididdiga shine yuwuwar gano wani tasiri wanda a zahiri ya wanzu (1 ban da yuwuwar nau'in kuskuren nau'in II, watau "rasa tasirin gaske"). Binciken da ba shi da ƙarfi yana da sauƙi ga haɗari guda biyu: (1) ya rasa tasirin gaskiya (ƙarya mara kyau); (2) ƴan sakamakon da suka zama masu mahimmanci suna ɗaukar girman girma - abin da ake kira la'anar mai nasara saboda kawai tsinkayar tsinkaya ce kawai ke iya haye kofa. Saboda haka, yana da kyau a yi lissafin iko / samfurin kafin bincike. AI yana haifar da lambar don wannan asusun; Kuna ƙayyade girman tasirin manufa tare da ka'idar.
Matsalolin kwatanta da yawa
Lokacin yin gwaji, madaidaicin 0.05 yana nufin "haɗarin 5% na ƙimar ƙarya". Amma idan kun yi gwaje-gwaje 20, a matsakaita ana tsammanin za a ba da p<0.05 kwatsam, ko da a zahiri dukkansu ba su da tasiri. Wannan shi ake kira matsalar kwatantawa da yawa. Yiwuwar halayen karya yana ƙaruwa da sauri lokacin da aka gwada manyan lambobi na masu canji, ƙungiyoyin ƙasa, ko masu canjin sakamako. Maganin shine don gyara ƙofa: Bonferroni (raba ƙofa ta adadin gwaje-gwaje - tsauraran), hanyoyin Holm ko Benjamini-Hochberg waɗanda ke sarrafa ƙimar gano ƙarya (FDR). Wannan hadarin ya zama mafi girma a cikin shekarun AI, kamar yadda AI na iya samar da gwaje-gwaje da dama a cikin dakika - wannan shine batun kai tsaye na naúrar gaba (p-hacking).
Teburin kwatanta: abin da p-darajar ke faɗi da abin da bai faɗi ba
magana
Shin gaskiya ne?
Bayani
"p=0.02, yuwuwar rashin tasiri shine 2%"
ba daidai ba
p ba yuwuwar H0 ba ne
"p <0.05, tasirin yana da girma"
ba daidai ba
p baya nuna girman
"p=0.20, babu tasiri"
ba daidai ba
Rashin iya nunawa ba rashi bane
"p <0.05, akwai shaida akan H0"
Gaskiya
Mai hankali kuma akan batu
"Tasirin 1.200 [300; 2.100], p=0.01"
mafi kyau
Girman + rashin tabbas + shaida
Hanyoyi huɗu masu kwafi
1. Zaɓin gwajin da ya dace:
Matsayinku: Mataimakin gwaji na ƙididdiga. Ina so in kwatanta ma'anar ƙungiyoyi biyu masu zaman kansu (ci gaba da canzawa). Ka ba ni: wanne gwajin ya dace (tare da zato: al'ada, daidaiton bambance-bambancen), madadin idan ba a cika zato ba (misali Welch, Mann-Whitney), da lambar R. Zan gudanar da sakamakon kuma in duba zato.
2. Bayar da rahoton p-darajar daidai:
Ba da rahoton fitowar gwajin da ke ƙasa, amma MULKI: - KADA KA gabatar da p-darajar a matsayin "yiwuwar H0" ko "tasirin girman", - tabbatar da haɗawa da girman sakamako da tazarar amincewa 95%, - rubuta "mahimmanci" da "mahimmanci" daban, - idan p> 0.05, KADA KA ce "babu tasiri", ka ce "ba za mu iya nunawa ba". Fitowa: [Paste]
3. Ƙimar iko/samfur:
Ina shirin gwaji: ƙungiyoyi biyu, girman tasirin sakamako (Cohen's d) ~ 0.4, iko 0.80, alpha 0.05. Rubuta lambar R wanda ke ƙididdige girman samfurin da ake buƙata (fakitin pwr) kuma ya bayyana haɗarin binciken ƙarancin ƙarfi (la'anar mai nasara).
4. Gyaran kwatance da yawa:
Na yi gwaje-gwaje daban-daban na hasashe 15 kuma ina da ƙimar p-values. Rubuta lambar R da ke amfani da gyaran Bonferroni da Benjamin-Hochberg (FDR), bayyana bambanci tsakanin hanyoyin biyu, kuma taƙaita cikin jumla ɗaya dalilin da yasa ba zan amince da bare p<0.05.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rawanin faɗakarwa:
Shin sakamakon wannan gwajin yana da ma'ana? Yi sharhi akan sakamakon.
Wannan da'awar tarko AI a cikin "ma'ana / mara ma'ana" binary; mai yiwuwa ya samar da jumlar da ta rikitar da girma da mahimmanci, kamar "eh, yana da mahimmanci, tasirin yana da ƙarfi."
Ƙarfi mai ƙarfi:
Matsayinku: Mataimakin ƙididdiga mai kulawa. Fassara sakamakon amma: (1) ba da girman tasirin + 95% tazara tazara + p-darajar tare, (2) bambanta mahimmanci da mahimmanci, (3) p>0.05 a cikin "ba zai iya nunawa ba", (4) tambaya nawa gwaje-gwaje na yi; Idan fiye da ɗaya, ba da shawarar gyaran kwatancen da yawa, (5) tunatar da cewa ya kamata a duba tunanin gwajin.
Bambance-bambance: hanzari mai ƙarfi yana tilasta bayar da rahoto mai wadata kuma yana kare shi daga tarko mai ƙima.
uku mini lokuta
Case 1 - "Mahimmanci" mara mahimmanci a cikin babban samfurin. Wani manazarci ya sami ma'anar bambanci tsakanin ƙungiyoyin biyu "mafi mahimmanci" a p<0.001 a cikin bayanai tare da lura 500,000. Amma bambancin maki 0.3 ne kawai (cikin 100) kuma ba shi da ma'ana a zahiri. Babban samfurin ya yi ko da ɗan ƙaramin bambanci "mahimmanci". Lokacin da aka ba da rahoton girman tasirin, an gano cewa binciken ba shi da mahimmanci. Darasi: mahimmanci ba girma ba; Idan n yana da girma, kowane bambanci yana da mahimmanci.
Case 2 - Matsalolin gwaji da yawa. Ƙungiya ɗaya ta gwada 22 sakamako masu canji; Ɗaya daga cikinsu ya nuna p=0.04 kuma an sanar da shi a matsayin "mun sami sakamako". Tare da gyaran Bonferroni, ƙaddamarwa ya ragu zuwa 0.05 / 22 = 0.0023; 0.04 bai wuce wannan iyakar ba. Sakamakon "ma'ana" kawai zai kasance kwatsam daga cikin gwaji 22. Darasi: Lokacin gwaji da yawa, gyara ya zama dole.
Case 3 - Rashin ƙarfi da la'anar mai nasara. Ƙananan binciken matukin jirgi (n = 15 kowane rukuni) ya sami tasiri mai girma sosai (d=0.9) kuma mai mahimmanci. Babban binciken kwafi ya rage tasirin zuwa d = 0.2. Ƙananan samfurin ya ba da izinin ƙima don ƙetare bakin kofa. Darasi: Ba za a iya amincewa da girman tasirin tasiri a ƙaramin ƙarfi ba.
Kuskuren gama gari
- Rikita ma'ana tare da mahimmanci / girma. Tasirin ba babba ba ne kawai saboda p ƙarami ne; Yi rahoton girman tasiri daban.
- Kuskure p-darajar don yuwuwar H0. p ba "yiwuwar rashin tasiri" ba; a ra'ayi daban-daban.
- Karatu p>0.05 a matsayin "babu tasiri". Rashin nunawa ba shaida ba ne; Bayyana rashin tabbas.
- Ba gyara don gwaji da yawa. Gwaje-gwaje da yawa suna haifar da halayen ƙarya; Aiwatar da Bonferroni/FDR.
- Yin watsi da iko. Babban tasiri a cikin ƙananan samfurin yana da ƙari; Yi lissafin iko kafin bincike.
Tukwici: Kafin rubuta sakamako a matsayin “mahimmanci,” yi tambayoyi biyu: “Shin tasirin yana da mahimmanci (girma)?” da "Gwaji nawa na yi kafin in sami wannan sakamakon?" Tambaya ta biyu ita ce litmus gwajin gaskiya.
a takaice
Gwajin hasashe da p-darajar suna da ƙarfi amma kayan aikin rashin fahimta. P-darajar ita ce yuwuwar ganin bayanan lokacin da hasashe mara tushe gaskiya ne; Yiwuwar H0 ba girman tasirin ko mahimmancin binciken ba. Koyaushe bayar da rahoton mahimmanci tare da girman tasiri da tazarar amincewa; Kada ku karanta p>0.05 a matsayin "babu tasiri"; yi amfani da gyaran kwatancen da yawa idan kun yi gwaje-gwaje da yawa; Yi la'akari da haɗarin wuce gona da iri daga binciken da ba shi da ƙarfi. AI yana samar da lambar gwaji da zane; Alhakin ku ne ku bambanta tsakanin ma'ana da abin duniya da kuma bincika zato.
Aikin aikace-aikace
Yi kwatancen hanyoyi tsakanin ƙungiyoyi biyu a cikin saitin bayanai. Tambayi AI don gwajin da ya dace (tare da zato) da lamba, gudanar da shi kuma bincika zato. Ba da rahoton sakamakon tare da sassa uku: girman sakamako, 95% tazarar amincewa, p-darajar. Sannan yi tunani game da kwatance daban-daban da zaku iya yi akan bayanai iri ɗaya; Idan kun gudanar da gwaje-gwaje da yawa, yi amfani da gyaran Bonferroni ko FDR kuma ku bayar da rahoto idan har yanzu sakamakon yana nan. A ƙarshe, rubuta ƙaƙƙarfan ƙima mai ƙarfi don nazarin ku.
jerin abubuwan dubawa
- [ ] Na zaɓi gwajin tare da zato kuma na duba zato.
- [ ] Na bayar da rahoton sakamakon azaman girman sakamako + tazarar amincewa + p-darajar.
- [ ] Na kiyaye "mahimmanci" da "mahimmanci" daban; Ban yi tunanin p shine yuwuwar H0 ba.
- [ ] Na rubuta p>0.05 a matsayin "ba za mu iya nuna shi ba" maimakon "babu tasiri".
- [ ] Na yi amfani da gyaran kwatancen da yawa idan na yi gwaje-gwaje da yawa.
- [ ] Na kimanta ikon samfurin; Na yi taka tsantsan game da girman sakamako a ƙaramin ƙarfi.