Kasu:
- Oskus valida andmete tüübile ja jaotusele sobiv test ning kontrollida eeldusi (normaalsus, dispersioon)
- Oskus mõista p-väärtuse tegelikku tähendust ja esitada tulemused koos efekti suuruse ja usaldusvahemikuga
- Kaitse p-häkkimise eest avastamise ja kontrollimise eraldamise, mitmekordse võrdluse korrigeerimise ja täieliku aruandlusega
Eksperiment on lõppenud, andmed on sees. Nüüd oleme kõige kriitilisemas ja enim eksitavas etapis: analüüsime andmeid õigesti ja tõlgendame tulemusi ausalt. Bioloogilised andmed on sageli mürarikkad, ebastabiilsed ja mitme muutujaga. Vale testivalik, kaudsed eelduste rikkumised ja teadvuseta p-häkkimine (analüüsi proovimine, kuni see annab soovitud tulemuse) on avaldatud bioloogilise kirjanduse reprodutseeritavuse kriisi peamised põhjused. AI aitab teil valida õige testi, kontrollida eeldusi ja kirjutada analüüsikoodi; kuid statistiline terviklikkus on teie vastutus.
Selles üksuses käsitleme tavalisi statistilisi teste, eelduste kontrolle ja viise, kuidas end p-häkkimise eest kaitsta.
Õige testi valimine
Testi valik sõltub andmete tüübist ja jaotusest. Tehisintellekt aitab teil seda valikut teha, kuid te ei tohiks seda pimesi rakendada:
- Kaks rühma, pidevandmed, normaaljaotus: Sõltumatu t-test.
- Kaks mittenormaalset rühma: Mann-Whitney U (mitteparameetriline: ei nõua jaotuse eeldust).
- Rohkem kui kaks rühma: ANOVA (dispersioonanalüüs) + post-hoc test.
- Kategoorilised andmed (loendamine): hii-ruut või Fisheri täpne test.
- Suhe: korrelatsioon (Pearson/Spearman) või regressioon.
Näpunäide. Enne testi valimist visualiseerige andmed. Histogramm või boxplot näitab koheselt normaalsust ja kõrvalekaldeid, mida t-test nõuab. "Kõigepealt graafik, hiljem testi" on hea harjumus.
Eelduste kontrollimine
Igal testil on varjatud eeldused. t-test eeldab normaaljaotust ja dispersioonivõrdsust; Kui neid rikutakse, on tulemus eksitav. AI kirjutab koodi, mis kontrollib neid eeldusi:
Roll: olete biostatistika assistent. Ülesanne: Kirjutage kood, mis kontrollib t-testi eeldusi enne kahe andmerühma võrdlemist: normaalsus (Shapiro-Wilk), dispersiooni võrdsus (Levene). Kui eeldust rikutakse, öelge mulle, millise alternatiivse testiga peaksin edasi liikuma. Andke Pythoni kood koos kommentaaridega.
Kood suunab teid Mann-Whitney juurde, kui normaalsus on rikutud. See voog „Kõigepealt kontrolli, otsusta hiljem” hoiab ära vale testi tegemise.
p-häkkimine ja kuidas end kaitsta
p-häkkimine on andmete analüüsimine erinevatel viisidel kuni p<0,05: erinevate testide proovimine, kõrvalekallete valikuline kõrvalejätmine, rühmade lisamine/eemaldamine, suure hulga muutujate hulgas "olulise" teatamine. See on võltsitud avastuste peamine allikas. Kaitse viisid:
- Kinnitage eelnevalt analüüsiplaan (üksus 7).
- Teatage kõigist testidest, mitte ainult nendest, mis näitavad tähtsust.
- Mitme võrdluse parandamine (FDR/Bonferroni).
- Andke p-väärtuse kõrvale efekti suurus ja usaldusvahemik.
- Eraldi avastamine ja valideerimine: testige avastuskomplektist leitut sõltumatus komplektis.
Samm-sammult: aus analüüs
- Visualiseerige andmed (hajumine, kõrvalekalle).
- Kontrollige eeldusi.
- Tehke eelnevalt määratud test.
- Parandage mitmekordne võrdlus.
- Aruande mõju suurus + usaldusvahemik.
- Kirjutage piirangud selgelt.
Kopeeritavad viipade mallid
Visualiseerige läbilaskevõimet: joonistage iga rühma histogrammid ja kastgraafikud, liputage kõrvalekalded. Seejärel tõlgendage normaalsust.Andmeveerud: [nimi]. Andke Pythoni kood koos kommentaaridega.
Ma tahan võrrelda oma kahte rühma. Andmete karakteristikud: [tüüp, N, jaotus]. Milline test on sobiv? Kontrollige eeldusi, viige läbi test, teatage efekti suurus JA 95% usaldusvahemik P-väärtusega.
Testisin oma analüüsis 15 erinevat geeni. Andke kood, mis rakendab Bonferroni ja Benjamini-Hochbergi parandust ning selgitage nende kahe meetodi erinevust.
Nõrk viip / Tugev viip
Nõrk: "Kas need kaks rühma on erinevad, tehke t-test."
Tugev: "Mul on kaks rühma (kontroll n = 18, ravi n = 20), sõltuv muutuja on ensüümi aktiivsus (pidev). Esmalt visualiseerige jaotus ja testige normaalsust Shapiro-Wilkiga. Kui normaalne, rakendage t-testi, kui mitte, Mann-Whitney. Esitage tulemus p-väärtusega, efekti suuruse (Coheni d või auastmega, mille usaldusvahemik d või auaste-5% serial) miks."
Erinevus: võimsal viibal on andmetüüp, näidiste numbrid, eelduste kontrollimine ja täielik aruandlustaotlus. Mudel järgib t-testi pimesi rakendamise asemel õiget teed.
kolm minikarpi
Juhtum 1 – vale test: õpilane rakendas t-testi oluliselt kallutatud (mittenormaalsetele) andmetele ja leidis, et p=0,048. Kui tehisintellekt lisas normaalsuse kontrolli, ei tulnud andmed normaalselt välja; Mann-Whitneyga p=0,11. Tegelik tulemus oli mõttetu. Õppetund: testimine ilma eeldust kontrollimata on eksitav.
2. juhtum – valikuline kõrvalekallete kõrvalejätmine: teadlane kustutas kaks "kõrvalväärtuse" punkti, et tulemus oleks tähendusrikas. Mudelis rõhutati, et kõrvalekallete kõrvaleheitmine peaks põhinema eelnevalt määratletud reeglil (nt IQR meetod) ja sellest tuleb teatada; meelevaldne kustutamine on p-häkkimine. Õppetund: määrake eelnevalt kõrvalekaldumise reegel.
Juhtum 3 – mõju suuruse taastumine: ühes uuringus oli p=0,001, kuid efekti suurus (d=0,1) oli peaaegu null; suur valim näitas, et ebaoluline erinevus on oluline. Kui tehisintellekt teatas efekti suurusest, leiti, et leiul ei ole praktilist väärtust. Õppetund: see, et p on väike, ei oma tähtsust.
võrdlustabel
Olek
õige lähenemine
Vältida
ebanormaalsed andmed
Mitteparameetriline test
Sunnitud t-test
mitmekordne test
Rakenda parandus
Tooraine p<0,05
kõrvalekalle
Eelmääratletud reegel
meelevaldne kustutamine
märkimisväärne tulemus
Efekti suurus + CI
lihtsalt lk
avastuse leidmine
Kinnitage sõltumatul komplektil
Lõpeta ühes komplektis
Levinud vead
- Hüpotees kontrollimatu testimine: võlts tähtsus valetestidega.
- p-häkkimine: proovige analüüsi, kuni see annab soovitud tulemuse.
- Ainult p-väärtuse esitamine: efekti suuruse ja usaldusvahemiku väljajätmine.
- Mitme võrdluse puhul ei parandata: valepositiivsed.
- Põhjusliku seose hüppamine: põhjuslikkuse järeldamine korrelatsioonist.
Ettevaatust: AI ei "tooda" soovitud tulemust, vaid kirjutab eksituse korral hea meelega vale testi koodi. Teil on statistiline terviklikkus: teatage kõigist katsetest, planeerige analüüs ette ja ärge kunagi jätke efekti suurust kahe silma vahele. Töötage koos biostatistikuga analüüside jaoks, mis viivad avaldamiseni.
p-väärtuse tegelik tähendus
Bioloogias on kõige valesti mõistetud mõiste p-väärtus. p-väärtus ei ole "tõenäosus, et hüpotees on tõene"; See on "tõenäosus näha erinevust sama suure või äärmuslikumana kui see, mida te täheldate, kuigi tegelikkuses erinevust pole." See peen, kuid kriitiline eristus on võti, et tulemusi mitte liialdada. p=0,03 ei tähenda "efekt on 97% reaalne". Kui lasta tehisintellektil tulemust tõlgendada, kontrollige, kas see kasutab seda määratlust õigesti; Mudel võib mõnikord korrata levinud väärtõlgendusi.
Usaldusvahemik (CI) on sageli informatiivsem kui p-väärtus, kuna see näitab mõju suurust ja määramatust koos. "Erinevus 2,4-kordne (95% CI: 1,8-3,1)" ütleb palju rohkem kui "p<0,05": nii mõju suund, selle suurus kui ka see, kui täpselt seda mõõdeti. Tõstke oma aruannetes esile GA.
Kasutage minu tulemuse tõlgendamisel p-väärtuse õiget definitsiooni. Vältige valesid väiteid, nagu "mõju tõenäolisus". Selle asemel selgitage praktilist tähendust efekti suuruse ja 95% usaldusvahemiku osas. Tulemus: [andmed]
Korrelatsiooni-, põhjus- ja vaatlusandmed
Enamik bioloogilisi andmeid on vaatluslikud: näete, et midagi muutub millegi muuga, kuid te ei näe, mis mida põhjustab. Lause "geeni X ekspressioon korreleerub haigusega" ei viita sellele, et X põhjustab haigust; Haigus võib suurendada X-i või kolmas tegur võib mõjutada mõlemat. Põhjuslikku seost saab kindlaks teha ainult sekkumiskatsete abil (X-i muutmine ja tulemuse mõõtmine). AI võib teie tekstides teadmatult kasutada põhjuslikku keelt ("põhjustab", "viib"); vaadake iga järelduslause sellest vaatenurgast üle, väljendades vaatlustulemusi korrelatsioonikeeles ("korrelatsioonis", "koos varieerumine").
Seotud ja sõltumatute andmete eraldamine
Kõige sagedamini tähelepanuta jäetud erinevus testi valimisel on see, kas valimid on sõltumatud või paaris. Kui teete enne ja pärast mõõtmisi samalt isikult (näiteks samade patsientide vereväärtusi enne ja pärast ravi), ei ole need mõõtmised sõltumatud; Paaritest on vajalik. Sõltumatu kahe valimiga t-testi kasutamine jätab andmetes leiduva vaste teabe kõrvale ja vähendab võimsust; See võib isegi tulemuse muuta. Reegel on lihtne: "Kas need kaks mõõtmist pärinevad samast bioloogilisest ühikust?" Kui vastus on jah, kasutatakse paaristesti (paaritud t-test või Wilcoxoni märgiga auaste test), kui ei, siis sõltumatut testi. Kui küsite tehisintellektilt teste, määrake kindlasti oma andmete vaste struktuur; Kui te ei täpsusta, eeldab mudel sageli sõltumatust ja soovitab vale testi.
Mul on kaks komplekti mõõte. Tähtis: need mõõtmised tehti enne/pärast SAMA isikuid (paaris). Valige õige test, mis seda vastet arvesse võtab (paaritud t-test või Wilcoxon), kontrollige oma eeldusi ja esitage efekti suurus. Ärge eeldage iseseisvust.
Kokkuvõttes
Täpne andmete analüüs; valides andmetüübile sobiva testi, kontrollides eeldusi, parandades mitut võrdlust ning esitades lisaks p-väärtusele ka efekti suuruse ja usaldusvahemiku. Suurim oht on p-häkkimine; Vastumürk on eelanalüüsi plaan, täielik aruandlus ning avastuse ja kontrolli eraldamine. Tehisintellekt on võimas abivahend testi valimisel ja eelduste kontrollimisel, kuid statistiline terviklikkus on inimesel.
Rakenduse ülesanne
Võtke kahe rühmaga andmekogum (oma andmed või näidis). Esmalt kasutage tehisintellekti kirjutamiskoodi, mis visualiseerib andmeid ja testib normaalsust. Sõltuvalt tulemusest rakendage sobivat testi (t-test või Mann-Whitney) ja teatage efekti suurus ja usaldusvahemik koos p-väärtusega. Seejärel võrrelge mitme võrdluse mõju ilma parandusteta ja parandusega tulemusele.
kontrollnimekiri
- [ ] Visualiseerisin andmed enne testimist.
- [ ] Kontrollisin testi eeldusi (normaalsus, dispersioon).
- [ ] Valisin sobiva testi, t-testi ma pimesi ei rakendanud.
- [ ] Parandasin mitmekordse võrdluse.
- Esitasin [ ] p-väärtuse, samuti efekti suuruse ja usaldusvahemiku.
- [ ] Kinnitasin analüüsiplaani eelnevalt ja vältisin p-häkkimist.