Qligħ:
- Kapaċità li tiddefinixxi b'mod korrett l-ipoteżi nulla, il-valur p, l-intervall ta 'kunfidenza u l-qawwa statistika u tuża intelliġenza artifiċjali fl-għażla u l-interpretazzjoni tat-test.
- Kapaċità li tiddistingwi x'inhu u mhux valur p (mhux daqs tal-effett, mhux probabbiltà ta 'eżattezza) u tifhem għaliex hija meħtieġa korrezzjoni ta' tqabbil multiplu
- Kapaċità li jirrikonoxxu kummenti magħmula minn intelliġenza artifiċjali li jħawdu s-sens mal-materjalità u jirrapportawhom b'daqs tal-effett u inċertezza
L-aktar għodda użata u l-aktar mifhuma ħażin tal-istatistika hija l-ittestjar tal-ipoteżi. L-idea bażika hija sempliċi: għandna talba (eż. "il-medja ta 'dawn iż-żewġ gruppi hija differenti") u l-oppost tagħha, ipoteżi nulla (H0 - "fil-fatt m'hemm l-ebda differenza"). It-test ikejjel kemm id-dejta taqbel mal-ipoteżi nulla. F'din l-unità se naraw kif l-intelliġenza artifiċjali (AI) qed tagħmel l-għażla u l-interpretazzjoni tat-test aktar faċli, iżda għaliex in-nases madwar il-valur p huma tant komuni u perikolużi. Nibdew mill-bidu: AI taf liema sintassi tat-test tikteb; iżda huwa xogħol tiegħek li tinterpreta jekk is-suppożizzjoni tat-test hijiex sodisfatta u xi jfisser verament ir-riżultat.
X'inhu fil-fatt il-valur p?
Il-valur p huwa l-probabbiltà li r-riżultat li tosserva, jew riżultat aktar estrem, iseħħ b'kumbinazzjoni meta l-ipoteżi nulla tkun vera (jiġifieri, fil-fatt m'hemm l-ebda effett). Valur p żgħir (0.05 huwa l-limitu tradizzjonali) ifisser "ikun sorprendenti li tara data bħal din jekk verament ma kienx hemm effett"; Din hija meqjusa bħala evidenza kontra l-ipoteżi nulla.
Issa ejja niċċaraw x'mhix il-valur p - li l-AI ħafna drabi tħawwad:
- Il-valur p mhuwiex il-probabbiltà li l-ipoteżi nulla hija vera. p=0.03 ma jfissirx "hemm probabbiltà ta' 3% ta' ebda effett".
- Il-valur p ma jindikax id-daqs tal-effett. Effett żgħir ħafna jista' jwassal għal valur p ċkejkna f'kampjun kbir.
- Il-valur p ma jipprovax li s-sejba hija sinifikanti jew reali. "Sinifikanti" huwa terminu statistiku, "sinifikanti" huwa ġudizzju.
- p>0.05 ma jfissirx "l-ebda effett"; Dan ifisser "ma nistgħux nuru l-effett b'din id-dejta." Assenza ta' evidenza mhijiex evidenza ta' assenza.
Attenzjoni: L-iktar żball komuni ta' interpretazzjoni tal-AI huwa li tippreżenta l-kelma "sinifikanti" bħala "impatt sinifikanti/qawwi/maġġuri." Is-sinifikat statistiku u s-sinifikat prattiku huma żewġ affarijiet differenti; Dejjem irrapporta t-tnejn separatament.
Intervall ta 'kunfidenza u daqs tal-effett: informazzjoni aktar rikka
Minflok valur p wieħed, intervall ta 'kunfidenza huwa ħafna aktar informattiv: jagħti l-firxa plawżibbli ta' valuri għall-istima tiegħek. Is-sentenza "Effett 1,200, intervall ta 'kunfidenza ta' 95% [300, 2,100]" turi kemm id-direzzjoni, il-kobor, kif ukoll l-inċertezza; "p<0.05" biss jgħid "bogħod minn żero". Il-prattika statistika moderna tuża l-valur p mhux waħdu; jirrakkomanda rappurtar bit-trio ta 'daqs tal-effett + intervall ta' kunfidenza + valur p.
Qawwa statistika u kampjun
Il-qawwa statistika hija l-probabbiltà li jinstab effett li fil-fatt jeżisti (1 nieqes il-probabbiltà ta 'żball tat-tip II, jiġifieri "nieqes l-effett reali"). Studju taħt il-qawwa huwa suxxettibbli għal żewġ riskji: (1) jitlef l-effetti veri (negattivi foloz); (2) il-ftit riżultati li jirriżultaw li jkunu sinifikanti jġorru koborijiet minfuħa—l-hekk imsejħa saħta tar-rebbieħ għax tbassir minfuħ biss jista 'jaqbeż il-limitu. Għalhekk, hija prattika tajba li tikkalkula l-qawwa/kampjun qabel l-analiżi. AI tiġġenera l-kodiċi għal dan il-kont; Inti tiddetermina d-daqs tal-effett fil-mira bit-teorija.
Problema ta' tqabbil multiplu
Meta tagħmel test, limitu ta '0.05 ifisser "5% riskju ta' pożittivi foloz". Imma jekk tagħmel 20 test, bħala medja wieħed ikun mistenni li jagħti p<0.05 b'kumbinazzjoni, anke meta kollha kemm huma fil-fatt ikunu ineffettivi. Din tissejjaħ il-problema tal-paragun multiplu. Il-probabbiltà ta’ pożittivi foloz tiżdied malajr meta jiġu ttestjati għadd kbir ta’ varjabbli, sottogruppi jew varjabbli tar-riżultat. Is-soluzzjoni hija li tikkoreġi l-limitu: Bonferroni (diviżjoni tal-limitu bin-numru ta 'testijiet - stretti), metodi Holm jew Benjamini-Hochberg li jikkontrollaw ir-rata ta' skoperta falza (FDR). Dan ir-riskju jsir saħansitra akbar fl-età tal-AI, peress li l-AI tista 'tipproduċi għexieren ta' testijiet f'sekondi - dan huwa s-suġġett dirett tal-unità li jmiss (p-hacking).
Tabella ta 'tqabbil: dak li jgħid il-valur p u dak li ma jgħidx
espressjoni
Huwa veru?
Deskrizzjoni
"p=0.02, il-probabbiltà ta 'l-ebda effett hija 2%"
ħażin
p mhix il-probabbiltà ta' H0
"p<0.05, l-effett huwa kbir"
ħażin
p ma jindikax daqs
"p=0.20, l-ebda effett"
ħażin
Li ma tistax turi mhux assenza
"p<0.05, hemm evidenza kontra H0"
Veru
Kawt u fil-punt
"Effett 1.200 [300;2.100], p=0.01"
l-aħjar
Daqs + inċertezza + evidenza
Erba' prompts ikkupjabbli
1. L-għażla tat-test it-tajjeb:
Ir-rwol tiegħek: assistent tal-ittestjar tal-istatistika. Irrid inqabbel il-medja ta 'żewġ gruppi indipendenti (varjabbli kontinwu). Agħtini: liema test huwa xieraq (bis-suppożizzjonijiet tiegħu: normalità, ugwaljanza tal-varjanza), l-alternattiva jekk is-suppożizzjoni ma tintlaħaqx (eż. Welch, Mann-Whitney), u l-kodiċi R. Se nmexxi r-riżultat u niċċekkja s-suppożizzjonijiet.
2. Ir-rappurtar tal-valur p b'mod korrett:
Irrapporta l-output tat-test hawn taħt, iżda REGOLI:- MA tippreżentax il-valur p bħala "probabbiltà ta 'H0" jew "daqs tal-effett",- kun żgur li tinkludi d-daqs tal-effett u intervall ta' kunfidenza ta '95%,- ikteb "sinifikanti" u "sinifikanti" separatament,- jekk p>0.05, MA tgħid "l-ebda effett", ngħidu "ma nistgħux nuru". Output: [pejst]
3. Kalkolu tal-qawwa/kampjun:
Qed nippjana esperiment: żewġ gruppi, daqs tal-effett mistenni (Cohen's d) ~ 0.4, qawwa 0.80, alpha 0.05. Ikteb il-kodiċi R li jikkalkula d-daqs tal-kampjun meħtieġ (pakkett pwr) u spjega r-riskji ta 'studju b'qawwa baxxa (saħta tar-rebbieħ).
4. Korrezzjoni ta 'tqabbil multiplu:
Għamilt 15-il test ta' ipoteżi separati u għandi p-valuri. Ikteb il-kodiċi R li japplika l-korrezzjonijiet ta’ Bonferroni u Benjamin-Hochberg (FDR), spjega d-differenza bejn iż-żewġ metodi, u somma f’sentenza waħda għaliex m’għandix nafda l-p<0.05 vojta.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Ir-riżultat ta' dan it-test huwa sinifikanti? Ikkummenta fuq ir-riżultat.
Din it-talba tinsab l-AI fil-binarju "b'sens/mhux sens"; aktarx jipproduċi sentenza li tħawwad il-kobor mas-sinifikat, bħal "iva, huwa sinifikanti, l-effett huwa qawwi."
Pront qawwi:
Ir-rwol tiegħek: assistent statistiku attent. Interpreta r-riżultat iżda: (1) agħti d-daqs tal-effett + intervall ta 'kunfidenza ta' 95% + valur p flimkien, (2) sinifikat separat mis-sinifikat, (3) p>0.05 f'"ma setgħetx turi", (4) staqsi kemm għamilt testijiet; Jekk aktar minn wieħed, jissuġġerixxi korrezzjoni ta' tqabbil multiplu, (5) fakkar li s-suppożizzjonijiet tat-test għandhom jiġu kkontrollati.
Differenza: pront b'saħħtu jinforza rappurtar għani u jipproteġi kontra n-nases tal-valur p.
tliet każijiet żgħar
Każ 1 — "sinifikat" mhux sinifikanti f'kampjun kbir. Analista wieħed sab id-differenza medja bejn iż-żewġ gruppi "sinifikanti ħafna" f'p<0.001 f'dejta b'500,000 osservazzjoni. Iżda d-differenza kienet biss 0.3 punti (minn 100) u kienet prattikament bla sens. Il-kampjun enormi għamel anke d-differenza ċkejkna "sinifikanti". Meta d-daqs tal-effett ġie rrappurtat, is-sejba nstabet li kienet insinifikanti. Lezzjoni: is-sinifikat mhuwiex kobor; Jekk n huwa kbir, kull differenza hija sinifikanti.
Każ 2 — Illużjoni ta' ttestjar multiplu. Tim wieħed ittestja 22 varjabbli tar-riżultat; Wieħed minnhom wera p=0.04 u kien imħabbra bħala "sibna l-effett". Bil-korrezzjoni ta 'Bonferroni, il-limitu naqas għal 0.05/22 = 0.0023; 0.04 ma għadda minn dan il-limitu. L-uniku riżultat "b'sens" kien ikun b'kumbinazzjoni minn 22 prova. Lezzjoni: meta tittestja ħafna, hija meħtieġa korrezzjoni.
Każ 3 — Underpower u s-saħta tar-rebbieħ. Studju pilota żgħir (n=15 għal kull grupp) sab effett kbir ħafna (d=0.9) u sinifikanti. Studju kbir ta 'replikazzjoni naqqas l-effett għal d = 0.2. Il-kampjun żgħir kien ippermetta biss li stima eċċessiva taqsam il-limitu. Lezzjoni: Daqsijiet ta 'effett sinifikanti b'enerġija baxxa ma jistgħux jiġu fdati.
Żbalji komuni
- Tħawwad sens ma 'importanza/kobor. L-effett mhuwiex kbir biss għax p huwa żgħir; Irrapporta d-daqs tal-effett separatament.
- Jiżbalja l-valur p għall-probabbiltà ta 'H0. p mhix il-"probabbiltà ta 'l-ebda effett"; hija kunċettwalment differenti.
- Qari p>0.05 bħala "l-ebda effett". Nuqqas li juri mhux evidenza ta' assenza; Iddikjara l-inċertezza.
- Mhux jikkoreġi għal multi-testjar. Wisq testijiet jipproduċu pożittivi foloz; Applika Bonferroni/FDR.
- Injora l-poter. L-effett sinifikanti fil-kampjun żgħir huwa esaġerat; Ikkalkula l-qawwa qabel l-analiżi.
Tip: Qabel ma tħassar riżultat bħala "sinifikanti," staqsi żewġ mistoqsijiet: "L-effett huwa prattikament sinifikanti (il-kobor)?" u "Kemm testijiet għamilt qabel ma sibt dan ir-riżultat?" It-tieni mistoqsija hija t-test litmus tal-onestà.
Fil-qosor
L-ittestjar tal-ipoteżi u l-p-value huma għodod b'saħħithom iżda mhux mifhuma. Il-valur p huwa l-probabbiltà li tara d-dejta meta l-ipoteżi nulla tkun vera; Il-probabbiltà ta' H0 mhijiex il-kobor tal-effett jew is-sinifikat tas-sejba. Dejjem irrapporta s-sinifikat flimkien mad-daqs tal-effett u l-intervall ta 'kunfidenza; Taqrax p>0.05 bħala "l-ebda effett"; applika korrezzjoni ta' tqabbil multiplu jekk għamilt ħafna testijiet; Kun konxju tar-riskju ta 'effetti esaġerati minn studji ta' qawwa baxxa. AI tipproduċi kodiċi tat-test u blueprint; Hija r-responsabbiltà tiegħek li tiddistingwi bejn is-sens u l-materjalità u li tiċċekkja s-suppożizzjonijiet.
Kompitu ta' applikazzjoni
Agħmel paragun tal-mezzi bejn żewġ gruppi f'sett tad-dejta. Staqsi lill-AI għat-test xieraq (bis-suppożizzjonijiet tagħha) u l-kodiċi, mexxiha u ċċekkja s-suppożizzjonijiet. Irrapporta r-riżultat bi tliet komponenti: daqs tal-effett, intervall ta 'kunfidenza ta' 95%, valur p. Imbagħad aħseb dwar kemm tista 'tagħmel paraguni differenti fuq l-istess data; Jekk għamilt testijiet multipli, applika l-korrezzjoni Bonferroni jew FDR u rrapporta jekk ir-riżultat għadu jgħodd. Fl-aħħarnett, ikteb valutazzjoni tal-qawwa approssimattiva għall-analiżi tiegħek.
lista ta' kontroll
- [ ] Għażilt it-test bis-suppożizzjonijiet tiegħu u ċċekkjajt is-suppożizzjonijiet.
- [ ] Irrapportajt ir-riżultat bħala daqs tal-effett + intervall ta 'kunfidenza + valur p.
- [ ] Żammejt “sinifikanti” u “importanti” separati; Ma kontx naħseb li p kienet il-probabbiltà ta' H0.
- [ ] Jien ktibt p>0.05 bħala "ma nistgħux nuruha" aktar milli "l-ebda effett".
- [ ] Applikajt korrezzjoni ta' tqabbil multiplu jekk għamilt testijiet multipli.
- [ ] I evalwajt il-qawwa tat-teħid tal-kampjuni; Kont kawt dwar id-daqs tal-effett b'qawwa baxxa.