Ieguvumi:
- Spēja izvēlēties datu veidam un sadalījumam atbilstošu testu un pārbaudīt pieņēmumus (normalitāte, dispersija)
- Spēja izprast p-vērtības patieso nozīmi un ziņot par rezultātiem ar efekta lielumu un ticamības intervālu
- Aizsardzība pret p-uzlaušanu ar atklāšanas un pārbaudes atdalīšanu, vairāku salīdzināšanas korekciju un pilnīgu ziņošanu
Eksperiments ir beidzies, dati ir iekšā. Tagad mēs esam viskritiskākajā un viskļūdīgākajā posmā: pareizi analizējam datus un godīgi interpretējam rezultātus. Bioloģiskie dati bieži ir trokšņaini, nestabili un daudzveidīgi. Nepareiza testa atlase, netieši pieņēmumu pārkāpumi un neapzināta p-datorurķēšana (analīzes mēģinājums, līdz tā dod vēlamo rezultātu) ir galvenie reproducējamības krīzes cēloņi publicētajā bioloģiskajā literatūrā. AI palīdz izvēlēties pareizo testu, pārbaudīt pieņēmumus un uzrakstīt analīzes kodu; bet statistiskā integritāte ir jūsu atbildība.
Šajā nodaļā mēs apskatīsim izplatītākos statistikas testus, pieņēmumu pārbaudes un veidus, kā pasargāt sevi no p-uzlaušanas.
Pareiza testa izvēle
Testa izvēle ir atkarīga no datu veida un sadalījuma. Mākslīgais intelekts palīdzēs izdarīt šo izvēli, taču nevajadzētu to pielietot akli:
- Divas grupas, nepārtraukti dati, normāls sadalījums: Neatkarīgs t-tests.
- Divas grupas, kas nav normālas: Mann-Whitney U (neparametriska: nav nepieciešams sadalījuma pieņēmums).
- Vairāk nekā divas grupas: ANOVA (dispersijas analīze) + post-hoc tests.
- Kategoriskie dati (skaitīšana): Hī kvadrāta vai Fišera precīzais tests.
- Attiecības: korelācija (Pīrsons/Spīrmens) vai regresija.
Padoms. Pirms testa atlases vizualizējiet datus. Histogramma vai boxplot uzreiz parāda normālumu un novirzes, kas nepieciešamas t-testam. Labs ieradums ir “Vispirms grafiks, bet vēlāk pārbaude”.
Pieņēmumu pārbaude
Katrā pārbaudē ir slēpti pieņēmumi. T-tests pieņem normālo sadalījumu un dispersijas vienādību; Ja tie tiek pārkāpti, rezultāts būs maldinošs. AI raksta kodu, kas pārbauda šos pieņēmumus:
Loma: Jūs esat biostatistikas asistents. Uzdevums: Uzrakstiet kodu, kas pārbauda t-testa pieņēmumus pirms divu datu grupu salīdzināšanas: normalitāte (Shapiro-Wilk), dispersijas vienādība (Levene). Ja pieņēmums tiek pārkāpts, pastāstiet man, kurš alternatīvais tests man būtu jāturpina. Sniedziet Python kodu ar komentāriem.
Kods novirza jūs uz Mann-Whitney, ja tiek pārkāpta norma. Šī plūsma “vispirms pārbaudi, izlem vēlāk” neļauj jums veikt nepareizu pārbaudi.
p-hacking un kā pasargāt sevi
p-hacking analizē datus dažādos veidos līdz p<0,05: izmēģinot dažādus testus, selektīvi atmetot novirzes, pievienojot/noņemot grupas, ziņojot par to, kas ir "nozīmīgs" starp lielu skaitu mainīgo. Tas ir galvenais viltus atklājumu avots. Aizsardzības veidi:
- Iepriekš nosakiet analīzes plānu (7. nodaļa).
- Ziņojiet par visiem testiem, ne tikai tiem, kuriem ir nozīme.
- Labojiet vairāku salīdzināšanu (FDR/Bonferroni).
- Blakus p vērtībai norādiet efekta lielumu un ticamības intervālu.
- Atsevišķa atklāšana un validācija: pārbaudiet, ko atrodat atklāšanas komplektā neatkarīgā kopā.
Soli pa solim: godīga analīze
- Vizualizējiet datus (izkliedēt, izkliedēt).
- Pārbaudiet pieņēmumus.
- Veiciet iepriekš noteikto testu.
- Labojiet vairāku salīdzināšanu.
- Ziņojuma efekta lielums + ticamības intervāls.
- Skaidri uzrakstiet ierobežojumus.
Kopējamas uzvedņu veidnes
Vizualizējiet caurlaidspēju: izveidojiet katras grupas histogrammas un lodziņus, atzīmējiet novirzes. Pēc tam interpretējiet normalitāti.Datu kolonnas: [nosaukums]. Sniedziet Python kodu ar komentāriem.
Es vēlos salīdzināt abas savas grupas. Datu raksturojums: [tips, N, sadalījums]. Kurš tests ir piemērots? Pārbaudiet pieņēmumus, veiciet testu, ziņojiet par efekta lielumu UN 95% ticamības intervālu AR p-vērtību.
Es savā analīzē pārbaudīju 15 dažādus gēnus. Norādiet kodu, kas izmanto Bonferroni un Benjamini-Hochberg korekciju, un izskaidrojiet atšķirību starp abām metodēm.
Vāja uzvedne / spēcīga uzvedne
Vājš: "Vai šīs divas grupas atšķiras, veiciet t-testu."
Spēcīgs: "Man ir divas grupas (kontrole n = 18, ārstēšana n = 20), atkarīgais mainīgais ir enzīmu aktivitāte (nepārtraukta). Vispirms vizualizējiet sadalījumu un pārbaudiet normalitāti ar Shapiro-Wilk. Ja tas ir normāls, izmantojiet t-testu, ja nē, Mann-Whitney. Ziņojiet par rezultātu ar p-vērtību, efekta lielumu (Kohena d vai rangu-5% ticamības testu un 5% serial) testu. kāpēc."
Atšķirība: jaudīgajai uzvednei ir datu tips, paraugu skaitļi, pieņēmumu pārbaude un pilns ziņošanas pieprasījums. Modelis iet pareizo ceļu, nevis akli piemēro t-testu.
trīs mini futrāļi
1. gadījums — nepareizs tests. Students izmantoja t-testu būtiski šķībiem (nenormāliem) datiem un konstatēja, ka p=0,048. Kad mākslīgais intelekts pievienoja normalitātes pārbaudi, dati neiznāca normāli; Ar Mannu-Vitniju, p=0,11. Faktiskais rezultāts bija bezjēdzīgs. Nodarbība: pārbaude, nepārbaudot pieņēmumu, ir maldinoša.
2. gadījums — selektīva izņēmuma atmešana: pētnieks izdzēsa divus “ārpuses” punktus, lai rezultāts būtu jēgpilns. Modelī tika uzsvērts, ka izņēmumu izmešanai jābalstās uz iepriekš noteiktu noteikumu (piemēram, IQR metodi) un par to jāziņo; patvaļīga dzēšana ir p-uzlaušana. Nodarbība: iepriekš iestatiet izņēmuma noteikumu.
3. gadījums — efekta lieluma atjaunošanās: vienā pētījumā p=0,001, bet efekta lielums (d=0,1) bija gandrīz nulle; lielajā paraugā nenozīmīgā atšķirība bija nozīmīga. Kad mākslīgais intelekts ziņoja par efekta lielumu, atklājumam nebija praktiskas vērtības. Nodarbība: Tam, ka p ir mazs, nav nozīmes.
salīdzināšanas diagramma
Statuss
pareizā pieeja
Jāizvairās
neparasti dati
Neparametrisks tests
Piespiedu t-tests
vairāku testu
Piemērot korekciju
Neapstrādāts p<0,05
izņēmums
Iepriekš definēts noteikums
patvaļīga dzēšana
ievērojams rezultāts
Efekta lielums + CI
tikai p
atklājumu atrašana
Apstiprināt neatkarīgā komplektā
Pabeigt vienā komplektā
Biežas kļūdas
- Hipotēzes nekontrolēta pārbaude: nepatiesa nozīme ar nepatiesu testēšanu.
- p-hacking: Mēģiniet analīzi, līdz tā dod vēlamo rezultātu.
- Ziņošana tikai par p-vērtību: netiek izlaists efekta lielums un ticamības intervāls.
- Nelabo vairākiem salīdzinājumiem: kļūdaini pozitīvi.
- Cēloņsakarības lēciens: cēloņsakarības izsecināšana no korelācijas.
Uzmanību: mākslīgais intelekts "nesniegs" vēlamo rezultātu, bet gan labprāt uzrakstīs nepareizā testa kodu, ja tas tiks maldināts. Jums ir statistiskā integritāte: ziņojiet par visiem izmēģinājumiem, iepriekš plānojiet analīzi, nekad nepalaidiet garām efekta lielumu. Strādājiet ar biostatistiķi, lai veiktu analīzi, kuras rezultātā tiek publicēta.
p-vērtības patiesā nozīme
Visvairāk pārprastais jēdziens bioloģijā ir p-vērtība. P-vērtība nav "hipotēzes patiesības varbūtība"; Tā ir "iespēja redzēt atšķirību tik lielu vai ekstrēmāku, nekā jūs novērojat, lai gan patiesībā atšķirības nav." Šī smalkā, bet kritiskā atšķirība ir atslēga, lai nepārspīlētu rezultātus. p=0,03 nenozīmē "efekts ir 97% reāls". Ja AI interpretē rezultātu, pārbaudiet, vai šī definīcija tiek izmantota pareizi; Modelis dažkārt var atkārtot izplatītu nepareizu interpretāciju.
Ticamības intervāls (CI) bieži ir informatīvāks par p-vērtību, jo tas kopā parāda ietekmes lielumu un nenoteiktību. "Atšķirība 2,4 reizes (95% TI: 1,8-3,1)" saka daudz vairāk nekā "p<0,05": gan ietekmes virziens, gan tā lielums, gan tas, cik precīzi tas tika izmērīts. Savos pārskatos iezīmējiet GA.
Interpretējot manu rezultātu, izmantojiet pareizo p vērtības definīciju. Izvairieties no nepareiziem apgalvojumiem, piemēram, "iedarbības varbūtība ir patiesa". Tā vietā izskaidrojiet praktisko nozīmi attiecībā uz efekta lielumu un 95% ticamības intervālu. Rezultāts: [dati]
Korelācijas, cēloņsakarības un novērojumu dati
Lielākā daļa bioloģisko datu ir novērojumi: jūs redzat, ka kaut kas mainās ar kaut ko citu, bet jūs nevarat redzēt, kas ko izraisa. Teikums “gēna X ekspresija korelē ar slimību” nenorāda, ka X izraisa slimību; Slimība var palielināt X, vai arī trešais faktors var ietekmēt abus. Cēloņsakarību var noteikt tikai ar intervences eksperimentiem (mainot X un izmērot rezultātu). AI jūsu tekstos var neapzināti izmantot cēloņsakarību ("izraisa", "ved uz"); pārskatiet katru secinājumu teikumu no šīs perspektīvas, paužot novērojumu rezultātus korelācijas valodā (“korelēts”, “atšķiroties kopā”).
Pārī savienoto un neatkarīgo datu atdalīšana
Testa atlasē visbiežāk tiek ignorēta atšķirība, vai paraugi ir neatkarīgi vai savienoti pārī. Ja veicat mērījumus pirms un pēc viena un tā paša indivīda (piemēram, viena un tā paša pacienta asins vērtības pirms un pēc ārstēšanas), šie mērījumi nav neatkarīgi; Nepieciešama pāra pārbaude. Izmantojot neatkarīgo divu paraugu t-testu, tiek atmesta atbilstības informācija datos un tiek samazināta jauda; Tas var pat mainīt rezultātu. Noteikums ir vienkāršs: "Vai šie divi mērījumi nāk no vienas bioloģiskās vienības?" Ja atbilde ir jā, tiek izmantots pāra tests (pāra t-tests vai Vilkoksona paraksta ranga tests), ja nē, tiek izmantots neatkarīgs tests. Kad lūdzat mākslīgajam intelektam testus, noteikti norādiet savu datu atbilstības struktūru; Ja nenorādīsit, modelis bieži pieņem neatkarību un iesaka nepareizu testu.
Man ir divi mērījumu komplekti. Svarīgi: šie mērījumi tika veikti pirms/pēc tiem pašiem indivīdiem (pārī). Izvēlieties pareizo testu, kurā tiek ņemta vērā šī atbilstība (pāra t-tests vai Vilkoksons), pārbaudiet savus pieņēmumus un ziņojiet ar efekta lielumu. Neuzņemieties neatkarību.
Rezumējot
Precīza datu analīze; datu veidam atbilstoša testa izvēle, pieņēmumu pārbaude, vairāku salīdzinājumu labošana un efekta lieluma un ticamības intervāla ziņošana papildus p-vērtībai. Lielākās briesmas ir p-hacking; Pretlīdzeklis ir iepriekšējas analīzes plāns, pilnīga ziņošana un atklāšanas verifikācijas atdalīšana. Mākslīgais intelekts ir spēcīgs palīglīdzeklis testa atlasē un pieņēmumu pārbaudē, bet statistiskā integritāte ir cilvēka ziņā.
Lietojumprogrammas uzdevums
Paņemiet datu kopu (savus datus vai paraugu) ar divām grupām. Vispirms jums ir AI rakstīšanas kods, kas vizualizē datus un pārbauda normālu. Atkarībā no rezultāta izmantojiet atbilstošo testu (t-testu vai Mann-Whitney) un ziņojiet par efekta lielumu un ticamības intervālu kopā ar p-vērtību. Pēc tam salīdziniet vairāku salīdzinājumu ietekmi uz rezultātu bez korekcijas un ar korekciju.
kontrolsaraksts
- [ ] Pirms testēšanas es vizualizēju datus.
- [ ] Es pārbaudīju testa pieņēmumus (normalitāte, dispersija).
- [ ] Izvēlējos atbilstošo testu, akli nepiemēroju t-testu.
- [ ] Es laboju vairākkārtēju salīdzināšanu.
- Es ziņoju par [ ] p vērtību, kā arī efekta lielumu un ticamības intervālu.
- [ ] Es iepriekš fiksēju analīzes plānu un izvairījos no p-datorurķēšanas.