Kasu:
- Oskus õigesti defineerida nullhüpoteesi, p-väärtust, usaldusvahemikku ja statistilist võimsust ning kasutada tehisintellekti testi valikul ja tõlgendamisel.
- Oskus eristada, mis on ja mis ei ole p-väärtus (mitte efekti suurus, mitte täpsuse tõenäosus) ja mõista, miks on vajalik mitmekordne võrdlusparandus
- Võimalus ära tunda tehisintellekti kommentaare, mis ajavad mõttekuse segi olulisusega, ning anda neist teada mõju suuruse ja ebakindlusega
Enim kasutatud ja enim valesti mõistetud statistikatööriist on hüpoteeside testimine. Põhiidee on lihtne: meil on väide (nt “nende kahe rühma keskmine on erinev”) ja selle vastand, nullhüpotees (H0 – “vahet pole tegelikult”). Test mõõdab, kui hästi andmed ühtivad nullhüpoteesiga. Selles tükis näeme, kuidas tehisintellekt (AI) muudab testide valimise ja tõlgendamise lihtsamaks, kuid miks on p-väärtusega seotud lõksud nii tavalised ja ohtlikud. Alustame algusest: AI teab, millist testi süntaksit kirjutada; aga teie asi on tõlgendada, kas testi eeldus on täidetud ja mida tulemus tegelikult tähendab.
Mis tegelikult on p-väärtus?
P-väärtus on tõenäosus, et teie vaadeldav tulemus või äärmuslikum tulemus sünnib juhuslikult, kui nullhüpotees on tõene (st efekti tegelikult ei ole). Väike p-väärtus (0,05 on traditsiooniline lävi) tähendab, et "oleks üllatav selliseid andmeid näha, kui mõju tegelikult ei oleks"; Seda peetakse tõendiks nullhüpoteesi vastu.
Nüüd teeme selgeks, mis p-väärtus ei ole – mida AI sageli segadusse ajab:
- P-väärtus ei ole tõenäosus, et nullhüpotees on tõene. p=0,03 ei tähenda "mõju puudumise tõenäosus on 3%.
- P-väärtus ei näita efekti suurust. Väga väike efekt võib suures proovis anda väikese p-väärtuse.
- P-väärtus ei tõesta, et leid on oluline või reaalne. "Märkimisväärne" on statistiline termin, "oluline" on otsus.
- p>0,05 ei tähenda "mõju puudumist"; See tähendab, et "me ei saanud nende andmetega efekti näidata." Tõendite puudumine ei ole tõend puudumise kohta.
Ettevaatust. Kõige tavalisem AI tõlgendusviga on sõna „märkimisväärne” esitamine kui „märkimisväärne/tugev/suur mõju”. Statistiline olulisus ja praktiline tähtsus on kaks erinevat asja; Teatage alati neist kahest eraldi.
Usaldusvahemik ja efekti suurus: rikkalikum teave
Ühe p-väärtuse asemel on usaldusvahemik palju informatiivsem: see annab teie hinnangu jaoks usutava väärtusvahemiku. Lause "Mõju 1200, 95% usaldusvahemik [300, 2100]" näitab nii suunda, suurusjärku kui ka määramatust; "p<0,05" ütleb lihtsalt "nullist kaugel". Kaasaegne statistikapraktika ei kasuta p-väärtust üksi; soovitab raporteerida efekti suurus + usaldusvahemik + p-väärtus kolmikuga.
Statistiline võimsus ja valim
Statistiline võimsus on reaalselt eksisteeriva efekti tuvastamise tõenäosus (1 miinus II tüüpi vea tõenäosus, s.t. "tegeliku efekti puudumine"). Alavõimsusega uuring on vastuvõtlik kahele riskile: (1) see jätab tõelised mõjud märkamata (valenegatiivne); (2) need vähesed tulemused, mis osutuvad oluliseks, kannavad endas ülepaisutatud suurusjärke – nn võitja needus, sest ainult ülepaisutatud ennustused võivad ületada läve. Seetõttu on hea tava arvutada võimsus/proov enne analüüsi. AI genereerib selle konto koodi; Sihtmõju suuruse määrate teooria abil.
Mitmekordne võrdlusprobleem
Testi tegemisel tähendab lävi 0,05 "5% valepositiivsete testide riski". Kuid kui teete 20 testi, peaks keskmiselt üks juhuslikult andma p<0,05, isegi kui need kõik on tegelikult ebaefektiivsed. Seda nimetatakse mitmekordse võrdluse probleemiks. Valepositiivsete tulemuste tõenäosus suureneb kiiresti, kui testitakse suurt hulka muutujaid, alarühmi või tulemuse muutujaid. Lahenduseks on läve korrigeerimine: Bonferroni (jagades läve testide arvuga – range), Holmi või Benjamini-Hochbergi meetodid, mis kontrollivad valede avastamise määra (FDR). See risk muutub tehisintellekti ajastul veelgi suuremaks, kuna tehisintellekt suudab sekunditega toota kümneid teste – see on järgmise üksuse (p-häkkimine) otsene teema.
Võrdlustabel: mida p-väärtus ütleb ja mida mitte
väljendus
Kas see on tõsi?
Kirjeldus
"p=0,02, mõju puudumise tõenäosus on 2%"
vale
p ei ole H0 tõenäosus
"p<0,05, efekt on suur"
vale
p ei näita suurust
"p=0,20, mõju puudub"
vale
Näidamata jätmine ei ole puudumine
"p<0,05, on tõendeid H0 vastu"
Tõsi
Ettevaatlik ja asjakohane
"Efekt 1.200 [300;2.100], p=0.01"
parim
Suurus + ebakindlus + tõendid
Neli kopeeritavat viipa
1. Õige testi valimine:
Sinu roll: statistilise testimise assistent. Tahan võrrelda kahe sõltumatu rühma (pidev muutuja) keskmist. Andke mulle: milline test on sobiv (koos selle eeldustega: normaalsus, dispersioonivõrdsus), alternatiiv, kui eeldus ei ole täidetud (nt Welch, Mann-Whitney) ja R-kood. Käivitan tulemuse ja kontrollin eeldusi.
2. P-väärtuse õige teatamine:
Esitage allpool testi väljund, kuid REEGLID:- ÄRGE esitage p-väärtust kui "tõenäosust H0" või "efekti suurust",- lisage kindlasti efekti suurus ja 95% usaldusvahemik,- kirjutage eraldi "oluline" ja "oluline",- kui p>0,05, ÄRGE öelge "mõju puudub", öelge "me ei saanud näidata". Väljund: [kleebi]
3. Võimsus/proovi arvutamine:
Plaanin katset: kaks rühma, eeldatav efekti suurus (Coheni d) ~0,4, võimsus 0,80, alfa 0,05. Kirjutage R-kood, mis arvutab vajaliku valimi suuruse (pwr pakett) ja selgitage väikese võimsusega uuringu riske (võitja needus).
4. Mitme võrdluse parandus:
Olen teinud 15 eraldi hüpoteesi testi ja mul on p-väärtused. Kirjutage R-kood, mis rakendab Bonferroni ja Benjamin-Hochbergi (FDR) parandusi, selgitage nende kahe meetodi erinevust ja tehke ühe lausega kokkuvõte, miks ma ei peaks usaldama tühja p<0,05.
Nõrk viip / Tugev viip
Nõrk viip:
Kas selle testi tulemus on mõttekas? Kommenteerige tulemust.
See väide püüab AI lõksu "tähendusliku/mittetähendusliku" binaarsusesse; suure tõenäosusega tekitab lause, mis ajab suurusjärgu segi olulisusega, näiteks "jah, see on märkimisväärne, mõju on tugev."
Võimas viip:
Sinu roll: tähelepanelik statistiline assistent. Tõlgendage tulemust, kuid: (1) andke efekti suurus + 95% usaldusvahemik + p-väärtus koos, (2) eraldage olulisus olulisusest, (3) p>0,05 "ei suutnud näidata", (4) küsige, mitu testi ma tegin; Kui rohkem kui üks, soovitage mitut võrdlusparandust, (5) tuletage meelde, et testi eeldusi tuleks kontrollida.
Erinevus: tugev viip jõustab rikkaliku aruandluse ja kaitseb p-väärtuse lõksude eest.
kolm minikarpi
Juhtum 1 – ebaoluline „olulisus” suures valimis. Üks analüütik leidis, et 500 000 vaatluse andmetes on kahe rühma keskmine erinevus p<0,001 juures "väga oluline". Aga vahe oli vaid 0,3 punkti (100-st) ja oli praktiliselt mõttetu. Tohutu valim muutis isegi pisikese erinevuse "oluliseks". Kui mõju suurusest teatati, leiti, et leid oli ebaoluline. Õppetund: olulisus ei ole suurusjärk; Kui n on suur, on iga erinevus oluline.
Juhtum 2 – mitmekordse testimise illusioon. Üks meeskond testis 22 tulemusmuutujat; Üks neist näitas p=0,04 ja kuulutati kui "leiame efekti". Bonferroni korrektsiooniga vähenes lävi väärtuseni 0,05/22 = 0,0023; 0,04 ei ületanud seda läve. Ainus "tähenduslik" tulemus oleks olnud juhuslik 22 katsest. Õppetund: kui palju katsetada, on vajalik korrigeerimine.
Juhtum 3 – Underpower ja võitja needus. Väike pilootuuring (n=15 rühma kohta) leidis, et mõju on väga suur (d=0,9) ja oluline. Suur replikatsiooniuuring vähendas mõju väärtuseni d = 0,2. Väike valim oli lubanud ainult ülehindamist ületada läve. Õppetund: väikese võimsusega efekti märkimisväärseid suurusi ei saa usaldada.
Levinud vead
- Tähenduslikkuse ja tähtsuse/suuruse segamini ajamine. Mõju ei ole suur ainult sellepärast, et p on väike; Teatage efekti suurusest eraldi.
- P-väärtuse eksitamine tõenäosusega H0. p ei ole "mõju puudumise tõenäosus"; on kontseptuaalselt erinev.
- Lugedes p>0,05 kui "efekti pole". Esitamata jätmine ei ole puudumise tõend; Märkige ebakindlus.
- Mitmiktestimise jaoks ei korrigeerita. Liiga paljud testid annavad valepositiivseid tulemusi; Rakendage Bonferroni/FDR.
- Võimu ignoreerimine. Märkimisväärne mõju väikeses valimis on liialdatud; Arvutage võimsus enne analüüsi.
Näpunäide. Enne tulemuse märkimist "oluliseks" esitage kaks küsimust: "Kas mõju on praktiliselt oluline (suurusaste)?" ja "Mitu testi ma tegin, enne kui selle tulemuse leidsin?" Teine küsimus on aususe lakmuspaber.
Kokkuvõttes
Hüpoteesi testimine ja p-väärtus on võimsad, kuid valesti mõistetud tööriistad. p-väärtus on andmete nägemise tõenäosus, kui nullhüpotees on tõene; H0 tõenäosus ei ole mõju suurus ega leiu olulisus. Teatage alati olulisusest koos mõju suuruse ja usaldusvahemikuga; Ärge lugege p>0,05 kui "efekti pole"; rakenda mitut võrdlusparandust, kui olete teinud palju teste; Olge teadlik väikese võimsusega uuringute liialdatud mõjude ohust. AI toodab testkoodi ja kavandit; Teie kohustus on teha vahet tähenduslikkusel ja olulisusel ning kontrollida eeldusi.
Rakenduse ülesanne
Võrrelge andmekogumi kahe rühma keskmisi. Küsige AI-lt sobivat testi (koos selle eeldustega) ja koodi, käivitage see ja kontrollige eeldusi. Esitage tulemus kolme komponendiga: efekti suurus, 95% usaldusvahemik, p-väärtus. Seejärel mõelge, kui palju erinevaid võrdlusi saate teha samade andmete põhjal; Kui olete teinud mitu testi, rakendage Bonferroni või FDR-i parandust ja teatage, kas tulemus on endiselt kehtiv. Lõpuks kirjutage oma analüüsi jaoks ligikaudne võimsushinnang.
kontrollnimekiri
- [ ] Valisin testi koos selle eeldustega ja kontrollisin eeldusi.
- [ ] Esitasin tulemuse kui efekti suurus + usaldusvahemik + p-väärtus.
- [ ] Hoidsin “olulise” ja “tähtsa” lahus; Ma ei arvanud, et p on H0 tõenäosus.
- [ ] Kirjutasin p>0,05 pigem "me ei saanud seda näidata" kui "efekti pole".
- [ ] Kui tegin mitu testi, rakendasin mitme võrdlusparanduse.
- [ ] Hindasin diskreetimisvõimsust; Ma olin väikese võimsusega efekti suuruse suhtes ettevaatlik.