Pelnas:
- Gebėjimas pasirinkti testą, atitinkantį duomenų tipą ir pasiskirstymą, bei patikrinti prielaidas (normalumą, dispersiją)
- Gebėjimas suprasti tikrąją p reikšmės reikšmę ir pranešti apie rezultatus su poveikio dydžiu ir pasikliautinuoju intervalu
- Apsauga nuo „p-hacker“ su atradimų patikrinimo atskyrimu, daugkartinio palyginimo pataisymu ir visapusiška ataskaita
Eksperimentas baigtas, duomenys yra. Dabar esame pačioje kritiškiausioje ir labiausiai klaidingoje stadijoje: teisingai analizuojame duomenis ir sąžiningai interpretuojame rezultatus. Biologiniai duomenys dažnai yra triukšmingi, nestabilūs ir daugiamačiai. Neteisingas testo pasirinkimas, numanomi prielaidų pažeidimai ir nesąmoningas p-hacking (bandymas atlikti analizę, kol ji duoda norimą rezultatą) yra pagrindinės atkuriamumo krizės priežastys paskelbtoje biologinėje literatūroje. AI padeda pasirinkti tinkamą testą, patikrinti prielaidas ir parašyti analizės kodą; bet statistinis vientisumas yra jūsų atsakomybė.
Šiame skyriuje apžvelgsime įprastus statistinius testus, prielaidų patikrinimus ir būdus, kaip apsisaugoti nuo įsilaužimo.
Tinkamo testo pasirinkimas
Testo pasirinkimas priklauso nuo duomenų tipo ir pasiskirstymo. Dirbtinis intelektas padės jums pasirinkti šį pasirinkimą, tačiau neturėtumėte jo taikyti aklai:
- Dvi grupės, nuolatiniai duomenys, normalusis skirstinys: Nepriklausomas t testas.
- Dvi grupės, nenormalios: Mann-Whitney U (neparametrinė: nereikia pasiskirstymo prielaidos).
- Daugiau nei dvi grupės: ANOVA (dispersijos analizė) + post-hoc testas.
- Kategoriniai duomenys (skaičiai): Chi kvadrato arba Fišerio tikslus testas.
- Ryšys: koreliacija (Pearson/Spearman) arba regresija.
Patarimas: prieš pasirinkdami testą vizualizuokite duomenis. Histograma arba langelio diagrama akimirksniu parodo normalumą ir iškrypimus, kurių reikia t testui. „Pirmiausia grafiką, vėliau patikrink“ yra geras įprotis.
Prielaidų tikrinimas
Kiekvienas testas turi paslėptų prielaidų. T-testas daro prielaidą, kad yra normalusis skirstinys ir dispersijos lygybė; Jei jie bus pažeisti, rezultatas bus klaidinantis. AI rašo kodą, kuris patikrina šias prielaidas:
Vaidmuo: esate biostatistikos asistentas. Užduotis: Parašykite kodą, kuris patikrina t-testo prielaidas prieš lyginant dvi duomenų grupes: normalumą (Shapiro-Wilk), dispersijos lygybę (Levene). Jei prielaida pažeidžiama, nurodykite, kurį alternatyvų testą turėčiau tęsti. Pateikite Python kodą su komentarais.
Kodas nukreipia jus į Mann-Whitney, jei normalumas sugenda. Šis srautas „pirmiausia patikrink, nuspręsk vėliau“ neleidžia atlikti neteisingo testo.
p-hacking ir kaip apsisaugoti
p-hacking – tai duomenų analizė įvairiais būdais iki p<0,05: bandant įvairius testus, selektyviai atmetant nuokrypius, įtraukiant/pašalinant grupes, pranešant, kas yra „reikšminga“ tarp daugybės kintamųjų. Tai yra pagrindinis netikrų atradimų šaltinis. Apsaugos būdai:
- Iš anksto sutvarkykite analizės planą (7 skyrius).
- Praneškite apie visus testus, o ne tik tuos, kurie rodo reikšmingumą.
- Pataisykite kelis palyginimus (FDR / Bonferroni).
- Šalia p reikšmės nurodykite efekto dydį ir pasikliautinąjį intervalą.
- Atskiras atradimas ir patvirtinimas: patikrinkite, ką radote atradimų rinkinyje, nepriklausomame rinkinyje.
Žingsnis po žingsnio: sąžininga analizė
- Vizualizuokite duomenis (išsklaidyti, išskirtiniai).
- Patikrinkite prielaidas.
- Atlikite iš anksto nustatytą testą.
- Pataisykite kelis palyginimus.
- Pranešimo efekto dydis + pasikliautinasis intervalas.
- Aiškiai parašykite apribojimus.
Kopijuojami raginimo šablonai
Vizualizuokite pralaidumą: nubraižykite kiekvienos grupės histogramas ir langelius, pažymėkite išskirtines vertes. Tada interpretuokite normalumą.Duomenų stulpeliai: [vardas]. Pateikite Python kodą su komentarais.
Noriu palyginti dvi savo grupes. Duomenų charakteristikos: [tipas, N, pasiskirstymas]. Kuris testas tinkamas? Patikrinkite prielaidas, atlikite testą, praneškite poveikio dydį IR 95% pasikliautinąjį intervalą SU p-reikšme.
Analizuodamas aš išbandžiau 15 skirtingų genų. Pateikite kodą, kuris taiko Bonferroni ir Benjamini-Hochberg pataisą, ir paaiškinkite skirtumą tarp dviejų metodų.
Silpnas raginimas / Stiprus raginimas
Silpnas: „Ar šios dvi grupės skiriasi, atlikite t testą“.
Stiprus: "Turiu dvi grupes (kontrolė n = 18, gydymas n = 20), priklausomas kintamasis yra fermentų aktyvumas (nuolatinis). Pirmiausia vizualizuokite pasiskirstymą ir patikrinkite normalumą su Shapiro-Wilk. Jei normalus, taikykite t testą, jei ne, Mann-Whitney. Praneškite apie rezultatą su p-reikšme, poveikio dydžiu (Cohen'o dydžiu ir pasikliautinuoju intervalu d arba 5% pasikliautinomis) kodėl“.
Skirtumas: galingas raginimas turi duomenų tipą, imčių numerius, prielaidų patikrinimą ir visą ataskaitų teikimo užklausą. Modelis eina teisingu keliu, užuot aklai taikęs t testą.
trys mini dėklai
1 atvejis – neteisingas testas: studentas taikė t-testą reikšmingai iškreiptiems (nenormaliems) duomenims ir nustatė, kad p=0,048. Kai dirbtinis intelektas pridėjo normalumo patikrinimą, duomenys nebuvo normalūs; Su Mannu-Whitney p=0,11. Tikrasis rezultatas buvo beprasmis. Pamoka: testavimas nepatikrinus prielaidos yra klaidinantis.
2 atvejis. Atrankinis nuokrypių atmetimas: tyrėjas ištrynė du „išskirtinius“ taškus, kad rezultatas būtų prasmingas. Modelis pabrėžė, kad pašalinių rodiklių išmetimas turėtų būti pagrįstas iš anksto nustatyta taisykle (pvz., IQR metodas) ir apie tai pranešama; savavališkas ištrynimas yra p įsilaužimas. Pamoka: iš anksto nustatykite išskirtinės vertės taisyklę.
3 atvejis. Poveikio dydžio atsigavimas: vieno tyrimo p=0,001, bet poveikio dydis (d=0,1) buvo beveik lygus nuliui; didelė imtis parodė, kad nereikšmingas skirtumas yra reikšmingas. Kai dirbtinis intelektas pranešė apie efekto dydį, buvo nustatyta, kad radinys neturi praktinės vertės. Pamoka: Nesvarbu, kad p yra mažas.
palyginimo diagrama
Būsena
teisingas požiūris
Reikia vengti
nenormalūs duomenys
Neparametrinis testas
Priverstinis t testas
kelių bandymų
Taikyti korekciją
Neapdorotas p<0,05
išskirtinis
Iš anksto nustatyta taisyklė
savavališkas ištrynimas
reikšmingas rezultatas
Efekto dydis + CI
tik p
atradimų radimas
Patvirtinti nepriklausomame rinkinyje
Užbaikite vienu rinkiniu
Dažnos klaidos
- Hipotezė nekontroliuojamas testavimas: klaidinga reikšmė su klaidingu testavimu.
- p-hacking: Bandoma analizė, kol ji duoda norimą rezultatą.
- Pranešama tik p reikšmė: neįtraukiamas efekto dydis ir pasikliautinasis intervalas.
- Netaisoma kelių palyginimų: klaidingi teigiami rezultatai.
- Priežastinio ryšio šuolis: priežastingumo išvada iš koreliacijos.
Atsargiai: AI „nepagamins“ norimo rezultato, bet su malonumu parašys neteisingo testo kodą, jei bus suklaidintas. Turite statistinį vientisumą: praneškite apie visus bandymus, iš anksto suplanuokite analizę, niekada nepraleiskite efekto dydžio. Dirbkite su biostatistu, kad atliktumėte analizes, kurios baigiasi publikavimu.
tikroji p reikšmės reikšmė
Labiausiai neteisingai suprantama biologijos sąvoka yra p reikšmė. P reikšmė nėra „hipotezės teisingumo tikimybė“; Tai yra „tikimybė pamatyti skirtumą, didesnį ar ekstremalesnį, nei stebite, nors iš tikrųjų skirtumo nėra“. Šis subtilus, bet kritiškas skirtumas yra labai svarbus norint neperdėti rezultatų. p=0,03 nereiškia „poveikis yra 97% tikras“. Kai AI interpretuoja rezultatą, patikrinkite, ar jis teisingai naudoja šį apibrėžimą; Modelis kartais gali pakartoti įprastą klaidingą interpretaciją.
Pasikliautinasis intervalas (CI) dažnai yra informatyvesnis nei p reikšmė, nes kartu parodo poveikio dydį ir neapibrėžtumą. „Skirtumas 2,4 karto (95 proc. PI: 1,8-3,1)“ sako daug daugiau nei „p<0,05“: ir poveikio kryptis, ir jo dydis, ir kaip tiksliai jis buvo išmatuotas. Savo ataskaitose pažymėkite GA.
Aiškindami rezultatą naudokite teisingą p reikšmės apibrėžimą. Venkite neteisingų teiginių, tokių kaip „tikimybė, kad poveikis bus teisingas“. Vietoj to paaiškinkite praktinę reikšmę, atsižvelgiant į poveikio dydį ir 95% pasikliautinąjį intervalą. Rezultatas: [duomenys]
Koreliacijos, priežastinio ryšio ir stebėjimo duomenys
Dauguma biologinių duomenų yra stebėjimo: matai, kad kažkas keičiasi su kažkuo kitu, bet nematai, kas ką sukelia. Sakinys „geno X raiška koreliuoja su liga“ nerodo, kad X sukelia ligą; Liga gali didėti X arba trečiasis veiksnys gali turėti įtakos abiem. Priežastinį ryšį galima nustatyti tik atliekant intervencinį eksperimentą (keičiant X ir išmatuojant rezultatą). AI gali nesąmoningai naudoti priežastinę kalbą („priežastys“, „veda prie“) jūsų tekstuose; peržiūrėkite kiekvieną išvados sakinį iš šios perspektyvos, išreikšdami stebėjimo išvadas koreliacine kalba („koreliuoja“, „kartu skiriasi“).
Suporuotų ir nepriklausomų duomenų atskyrimas
Dažniausiai nepastebimas skirtumas renkantis testą yra tai, ar mėginiai yra nepriklausomi, ar suporuoti. Jei atliekate to paties asmens matavimus prieš ir po jo (pvz., tų pačių pacientų kraujo vertes prieš ir po gydymo), šie matavimai nėra nepriklausomi; Reikalingas porinis testas. Naudojant nepriklausomą dviejų imčių t testą, duomenų atitikties informacija atmetama ir sumažinama galia; Tai netgi gali pakeisti rezultatą. Taisyklė paprasta: "Ar šie du matavimai gaunami iš to paties biologinio vieneto?" Jei atsakymas yra teigiamas, naudojamas suporuotas testas (suporuotas t testas arba Wilcoxon signed rango testas), jei ne, naudojamas nepriklausomas testas. Prašydami dirbtinio intelekto testų, būtinai nurodykite savo duomenų atitikties struktūrą; Jei nenurodysite, modelis dažnai prisiima nepriklausomybę ir rekomenduoja neteisingą testą.
Turiu du išmatavimų rinkinius. Svarbu: šie matavimai buvo atlikti prieš / po tų pačių asmenų (suporuotų). Pasirinkite tinkamą testą, kuriame atsižvelgiama į šią atitiktį (suporuotas t testas arba Wilcoxon), patikrinkite savo prielaidas ir pateikite efekto dydį. Nesiimkite nepriklausomybės.
Apibendrinant
Tiksli duomenų analizė; pasirenkant duomenų tipui tinkamą testą, tikrinant prielaidas, taisant kelis palyginimus ir pranešant apie efekto dydį bei pasikliautinąjį intervalą, be p reikšmės. Didžiausias pavojus yra p-hacking; Priešnuodis yra išankstinis analizės planas, visapusiškas ataskaitų teikimas ir atradimo patikrinimo atskyrimas. Dirbtinis intelektas yra galinga testo atrankos ir prielaidų tikrinimo priemonė, tačiau statistinis vientisumas priklauso nuo žmogaus.
Taikymo užduotis
Paimkite duomenų rinkinį (savo duomenis arba pavyzdį) su dviem grupėmis. Pirmiausia turėkite AI rašymo kodą, kuris vizualizuoja duomenis ir tikrina normalumą. Atsižvelgdami į rezultatą, taikykite atitinkamą testą (t-testą arba Mann-Whitney) ir nurodykite poveikio dydį bei pasikliautinąjį intervalą kartu su p-reikšme. Tada palyginkite kelių palyginimų poveikį be pataisų ir su pataisymu rezultatui.
kontrolinis sąrašas
- [ ] Prieš bandymą vizualizavau duomenis.
- [ ] Patikrinau testo prielaidas (normalumą, dispersiją).
- [ ] Pasirinkau tinkamą testą, aklai netaikau t testo.
- [ ] Ištaisiau daugkartinį palyginimą.
- Aš pranešiau [ ] p reikšmę, taip pat poveikio dydį ir pasikliautinąjį intervalą.
- [ ] Iš anksto sutvarkiau analizės planą ir išvengiau p-hacking.