Tietojen analysointi ja tilastollinen validointi

Voitot:

• Kyky valita datan tyyppiin ja jakautumiseen sopiva testi ja tarkistaa oletukset (normaalisuus, varianssi)
• Kyky ymmärtää p-arvon todellinen merkitys ja raportoida tulokset vaikutuksen koolla ja luottamusvälillä
• Suojaus p-hakkerointia vastaan löytö-varmennuserotuksella, useiden vertailujen korjauksella ja täydellisellä raportoinnilla

Kokeilu on ohi, tiedot ovat mukana. Nyt ollaan kriittisimmässä ja virheellisimmässä vaiheessa: analysoidaan tiedot oikein ja tulkitaan tulokset rehellisesti. Biologiset tiedot ovat usein meluisia, epävakaita ja monimuuttujia. Virheellinen testin valinta, implisiittiset oletusrikkomukset ja tiedostamaton p-hakkerointi (analyysin yrittäminen, kunnes se antaa halutun tuloksen) ovat toistettavuuskriisin ensisijaisia ​​syitä julkaistussa biologisessa kirjallisuudessa. AI auttaa sinua valitsemaan oikean testin, tarkistamaan oletukset ja kirjoittamaan analyysikoodin; mutta tilastollinen eheys on sinun vastuullasi.

Tässä osiossa käsittelemme yleisiä tilastollisia testejä, olettamusten tarkistuksia ja tapoja suojautua p-hakkerointia vastaan.

Oikean testin valinta

Testin valinta riippuu tietojen tyypistä ja jakautumisesta. Tekoäly auttaa sinua tekemään tämän valinnan, mutta sinun ei pitäisi soveltaa sitä sokeasti:

• Kaksi ryhmää, jatkuva data, normaalijakauma: Riippumaton t-testi.
• Kaksi ryhmää, ei-normaali: Mann-Whitney U (ei-parametrinen: ei vaadi jakautumisoletusta).
• Enemmän kuin kaksi ryhmää: ANOVA (varianssianalyysi) + post-hoc -testi.
• Kategoriset tiedot (määrät): Chi-neliö tai Fisherin tarkka testi.
• Suhde: Korrelaatio (Pearson/Spearman) tai regressio.

Vinkki: Visualisoi tiedot ennen testin valitsemista. Histogrammi tai boxplot näyttää välittömästi t-testin vaatiman normaaliuden ja poikkeamat. "Kaavio ensin, testaa myöhemmin" on hyvä tapa.

Oletusten tarkistaminen

Jokaisessa testissä on piilotettuja oletuksia. T-testi olettaa normaalijakauman ja varianssin yhtäläisen; Jos niitä rikotaan, tulos on harhaanjohtava. AI kirjoittaa koodia, joka tarkistaa nämä oletukset:

Rooli: Olet biostatistiikka-assistentti. Tehtävä: Kirjoita koodi, joka tarkistaa t-testin oletukset ennen kahden tietoryhmän vertaamista: normaalisuus (Shapiro-Wilk), varianssien yhtäläisyys (Levene). Jos olettamusta rikotaan, kerro minulle, mihin vaihtoehtoiseen kokeeseen minun pitäisi siirtyä. Anna Python-koodi kommenteilla.

Koodi ohjaa sinut Mann-Whitneyyn, jos normaalius on rikki. Tämä "tarkista ensin, päätä myöhemmin" -kulku estää sinua tekemästä väärää testiä.

p-hakkerointi ja kuinka suojautua

p-hakkerointi on datan analysointia eri tavoilla p<0,05 asti: erilaisten testien kokeilua, poikkeavien tekijöiden valikoivaa hylkäämistä, ryhmien lisäämistä/poistamista, suuren joukon muuttujien joukosta "merkittävän" ilmoittamista. Tämä on väärennösten pääasiallinen lähde. Suojautumiskeinot:

1. Tee analyysisuunnitelma etukäteen (osa 7).
2. Raportoi kaikki testit, ei vain niitä, jotka osoittavat merkitystä.
3. Korjaa useita vertailuja (FDR/Bonferroni).
4. Anna vaikutuksen koko ja luottamusväli p-arvon viereen.
5. Erillinen etsintä ja validointi: Testaa, mitä löydät etsintäjoukosta itsenäisessä joukossa.

Askel askeleelta: rehellinen analyysi

1. Visualisoi tiedot (scatter, outlier).
2. Tarkista oletukset.
3. Suorita ennalta määrittämäsi testi.
4. Korjaa useita vertailuja.
5. Raportin vaikutuksen koko + luottamusväli.
6. Kirjoita rajoitukset selkeästi.

Kopioitavat kehotemallit

Visualisoi suoritusteho: piirrä kunkin ryhmän histogrammit ja boxplotit, merkitse poikkeamat. Tulkitse sitten normaalius. Tietosarakkeet: [nimi]. Anna Python-koodi kommenteilla.

Haluan vertailla kahta ryhmääni. Aineiston ominaisuudet: [tyyppi, N, jakautuminen]. Mikä testi on sopiva? Tarkista oletukset, suorita testi, ilmoita vaikutuksen koko JA 95 %:n luottamusväli p-arvolla.

Testasin analyysissäni 15 eri geeniä. Anna koodi, joka käyttää Bonferroni- ja Benjamini-Hochberg-korjausta ja selitä näiden kahden menetelmän ero.

Heikko kehote / Vahva kehote

Heikko: "Ovatko nämä kaksi ryhmää erilaisia, tee t-testi."

Vahva: "Minulla on kaksi ryhmää (kontrolli n = 18, hoito n = 20), riippuvainen muuttuja on entsyymiaktiivisuus (jatkuva). Visualisoi ensin jakauma ja testaa normaalius Shapiro-Wilkillä. Jos normaali, käytä t-testiä, jos ei, Mann-Whitney. Raportoi tulos p-arvolla, vaikutuksen koolla (Cohenin d ja arvolla 5 %:n luottamusvälillä) miksi."

Ero: Tehokas kehote sisältää tietotyypin, näytenumerot, oletusten tarkistuksen ja täyden raportointipyynnön. Malli seuraa oikeaa polkua sen sijaan, että soveltaisi sokeasti t-testiä.

kolme minilaukkua

Tapaus 1 – Väärä testi: Opiskelija sovelsi t-testiä merkittävästi vääristyneisiin (epänormaaleihin) tietoihin ja löysi p=0,048. Kun tekoäly lisäsi normaaliuden tarkistuksen, data ei tullut normaaliksi; Mann-Whitneyn kanssa p = 0,11. Todellinen tulos oli merkityksetön. Oppitunti: testaus ilman oletuksen tarkistamista on harhaanjohtavaa.

Tapaus 2 – Valikoiva poikkeamien hylkääminen: Tutkija poisti kaksi "poikkeavaa" pistettä tehdäkseen tuloksesta merkityksellisen. Mallissa korostettiin, että poikkeamien hylkäämisen tulisi perustua ennalta määriteltyyn sääntöön (esim. IQR-menetelmä) ja raportoida; mielivaltainen poisto on p-hakkerointi. Oppitunti: aseta outlier-sääntö etukäteen.

Tapaus 3 – Vaikutuskoon palautuminen: Yhdessä tutkimuksessa p=0,001, mutta vaikutuksen koko (d=0,1) oli lähes nolla; suuri näyte osoitti merkityksettömän eron olevan merkittävä. Kun tekoäly ilmoitti vaikutuksen koon, löydöllä ei todettu olevan käytännön arvoa. Oppitunti: sillä p on pieni, sillä ei ole väliä.

vertailukaavio

Tila

oikea lähestymistapa

Vältettävä

epänormaalit tiedot

Ei-parametrinen testi

Pakotettu t-testi

moni testi

Käytä korjausta

Raakaöljyn p < 0,05

poikkeava

Ennalta määritetty sääntö

mielivaltainen poisto

merkittävä tulos

Tehosteen koko + CI

vain p

löydön löytö

Vahvista itsenäisessä sarjassa

Viimeistele yhdessä sarjassa

Yleisiä virheitä

• Hypoteesi kontrolloimaton testaus: Valheellinen merkitys väärällä testauksella.
• p-hakkerointi: Yritä analyysiä, kunnes se antaa halutun tuloksen.
• Raportoidaan vain p-arvo: Jätetään pois vaikutuksen koko ja luottamusväli.
• Ei korjata useiden vertailujen osalta: Vääriä positiivisia.
• Syy-yhtymähyppy: syy-yhteyden päättäminen korrelaatiosta.

Varoitus: tekoäly ei "tuo" haluamaasi tulosta, vaan kirjoittaa mielellään koodin väärälle testille, jos se johdetaan harhaan. Sinulla on tilastollinen eheys: raportoi kaikki kokeet, suunnittele analyysi etukäteen, älä koskaan unohda tehosteen kokoa. Työskentele biostatistikon kanssa julkaisuun johtavien analyysien tekemiseksi.

p-arvon todellinen merkitys

Biologian väärinymmärretyin käsite on p-arvo. p-arvo ei ole "todennäköisyys sille, että hypoteesi on totta"; Se on "todennäköisyys nähdä ero yhtä suurena tai äärimmäisempänä kuin mitä havaitset, vaikka todellisuudessa eroa ei ole." Tämä hienovarainen mutta kriittinen ero on avain, jotta tuloksia ei liioitella. p=0,03 ei tarkoita "vaikutus on 97% todellinen". Kun annat tekoälyn tulkita tulosta, tarkista, että se käyttää tätä määritelmää oikein; Malli voi joskus toistaa yleisiä väärintulkintoja.

Luottamusväli (CI) on usein informatiivisempi kuin p-arvo, koska se näyttää vaikutuksen suuruuden ja epävarmuuden yhdessä. "2,4-kertainen ero (95 % CI: 1,8-3,1)" kertoo paljon enemmän kuin "p<0,05": sekä vaikutuksen suunnan, sen suuruuden että kuinka tarkasti se mitattiin. Korosta GA raporteissasi.

Käytä oikeaa p-arvon määritelmää tulostani tulkittaessa. Vältä vääriä väitteitä, kuten "vaikutuksen todennäköisyys". Selitä sen sijaan käytännön merkitys vaikutuksen koon ja 95 %:n luottamusvälin suhteen. Tulos: [data]

Korrelaatio-, syy- ja havaintotiedot

Suurin osa biologisista tiedoista on havainnointia: näet jonkin muuttuvan jonkin muun kanssa, mutta et näe, mikä aiheuttaa mitä. Lause "geenin X ilmentyminen korreloi sairauden kanssa" ei osoita, että X aiheuttaa sairauden; Sairaus voi lisätä X:ää tai kolmas tekijä voi vaikuttaa molempiin. Syy-yhteys voidaan todeta vain interventiokokeilulla (muutamalla X ja mittaamalla tulosta). Tekoäly voi tietämättään käyttää kausaalikieltä ("syitä", "johtaa") teksteissäsi; tarkastele jokaista johtopäätöslausetta tästä näkökulmasta ja ilmaise havainnointihavainnot korrelaatiokielellä ("korreloi", "vaihtelee yhdessä").

Parillisten ja riippumattomien tietojen erottaminen

Useimmiten huomiotta jäänyt ero testivalinnassa on se, ovatko näytteet riippumattomia vai parillisia. Jos otat ennen ja jälkeen mittauksia samalta henkilöltä (esimerkiksi samojen potilaiden veriarvot ennen ja jälkeen hoidon), nämä mittaukset eivät ole riippumattomia; Paritesti vaaditaan. Käyttämällä riippumatonta kahden näytteen t-testiä tässä hylätään osumatiedot tiedoista ja vähennetään tehoa; Se voi jopa kääntää lopputuloksen. Sääntö on yksinkertainen: "Tulevatko nämä kaksi mittausta samasta biologisesta yksiköstä?" Jos vastaus on kyllä, käytetään paritestiä (paired t-test tai Wilcoxon signed rank test), jos ei, käytetään riippumatonta testiä. Kun pyydät tekoälyä testeihin, muista määrittää tietojesi vastaavuusrakenne. Jos et määritä, malli olettaa usein riippumattomuutta ja suosittelee väärää testiä.

Minulla on kaksi mittasarjaa. Tärkeää: nämä mittaukset tehtiin ennen/jälkeen samoja yksilöitä (pareina). Valitse oikea testi, joka ottaa huomioon tämän vastaavuuden (paritettu t-testi tai Wilcoxon), tarkista olettamuksesi ja raportoi tehosteen koko. Älä oleta itsenäisyyttä.

Yhteenvetona

Tarkka tietojen analysointi; valitaan datatyypille sopiva testi, tarkistetaan oletukset, korjataan useita vertailuja ja raportoidaan p-arvon lisäksi vaikutuskoko ja luottamusväli. Suurin vaara on p-hakkerointi; Vastalääke on ennakkoanalyysisuunnitelma, täydellinen raportointi ja löydön ja todentamisen erottelu. Tekoäly on tehokas apu testin valinnassa ja oletusten tarkistamisessa, mutta tilastollinen eheys on ihmisellä.

Sovellustehtävä

Ota tietojoukko (oma tieto tai näyte), jossa on kaksi ryhmää. Ensin on AI-kirjoituskoodi, joka visualisoi tiedot ja testaa normaalia. Käytä tuloksesta riippuen asianmukaista testiä (t-testi tai Mann-Whitney) ja ilmoita vaikutuksen koko ja luottamusväli sekä p-arvo. Vertaa sitten useiden vertailujen vaikutusta tulokseen ilman korjausta ja korjauksella.

tarkistuslista

• [ ] Visualisoin tiedot ennen testausta.
• [ ] Tarkastin testin oletukset (normaalisuus, varianssi).
• [ ] Valitsin sopivan testin, en käyttänyt sokeasti t-testiä.
• [ ] Korjasin usean vertailun.
• Ilmoitin [ ] p-arvon sekä vaikutuksen koon ja luottamusvälin.
• [ ] Korjasin analyysisuunnitelman etukäteen ja vältin p-hakkeroinnin.