Dobici:
- Sposobnost odabira testa koji odgovara vrsti i distribuciji podataka i provjere pretpostavki (normalnost, varijanca)
- Sposobnost razumijevanja pravog značenja p-vrijednosti i izvješćivanja o rezultatima s veličinom učinka i intervalom pouzdanosti
- Zaštita od p-hakiranja s odvajanjem otkrivanja i provjere, višestrukim ispravljanjem usporedbe i potpunim izvješćivanjem
Eksperiment je gotov, podaci su stigli. Sada smo u najkritičnijoj i najpogrešnijoj fazi: točna analiza podataka i pošteno tumačenje rezultata. Biološki podaci često su šumoviti, nestabilni i multivarijantni. Netočan odabir testa, implicitna kršenja pretpostavki i nesvjesno p-hakiranje (pokušavanje analize dok ne da željeni rezultat) primarni su uzroci krize ponovljivosti u objavljenoj biološkoj literaturi. AI vam pomaže odabrati pravi test, provjeriti pretpostavke i napisati kod za analizu; ali statistički integritet je vaša odgovornost.
U ovoj jedinici ćemo pokriti uobičajene statističke testove, provjere pretpostavki i načine da se zaštitite od p-hakiranja.
Odabir pravog testa
Izbor testa ovisi o vrsti i distribuciji podataka. U ovom izboru pomoći će vam umjetna inteligencija, no ne smijete je primijeniti slijepo:
- Dvije skupine, kontinuirani podaci, normalna razdioba: Nezavisni t-test.
- Dvije grupe, nenormalne: Mann-Whitney U (neparametarska: ne zahtijeva pretpostavku distribucije).
- Više od dvije skupine: ANOVA (analiza varijance) + post-hoc test.
- Kategorijalni podaci (brojevi): hi-kvadrat ili Fisherov egzaktni test.
- Odnos: korelacija (Pearson/Spearman) ili regresija.
Savjet: Vizualizirajte podatke prije odabira testa. Histogram ili okvirni dijagram odmah pokazuje normalnost i odstupanja koje t-test zahtijeva. "Prvo nacrtaj grafikon, testiraj kasnije" je dobra navika.
Provjera pretpostavki
Svaki test ima skrivene pretpostavke. T-test pretpostavlja normalnu distribuciju i jednakost varijance; Ako se oni prekrše, rezultat će biti pogrešan. AI piše kod koji provjerava ove pretpostavke:
Uloga: Vi ste biostatistički asistent. Zadatak: Napišite kod koji provjerava pretpostavke t-testa prije usporedbe dviju grupa podataka: normalnost (Shapiro-Wilk), jednakost varijance (Levene). Ako je pretpostavka povrijeđena, recite mi na koji alternativni test bih trebao prijeći. Dajte Python kod s komentarima.
Kod vas preusmjerava na Mann-Whitney ako je normalnost prekinuta. Ovaj tijek "prvo provjeri, odluči kasnije" sprječava vas da izvršite pogrešan test.
p-hakiranje i kako se zaštititi
p-hakiranje analizira podatke na različite načine do p<0,05: isprobavanje različitih testova, selektivno odbacivanje izvanrednih vrijednosti, dodavanje/uklanjanje grupa, izvješćivanje o tome što je "značajno" među velikim brojem varijabli. Ovo je glavni izvor lažnih otkrića. Načini zaštite:
- Popravite plan analize unaprijed (jedinica 7).
- Prijavite sve testove, a ne samo one koji pokazuju značaj.
- Popravi višestruku usporedbu (FDR/Bonferroni).
- Navedite veličinu učinka i interval pouzdanosti pored p-vrijednosti.
- Odvojeno otkrivanje i provjera valjanosti: testirajte ono što pronađete u skupu za otkrivanje na neovisnom skupu.
Korak po korak: iskrena analiza
- Vizualizirajte podatke (raspršenost, outlier).
- Provjerite pretpostavke.
- Izvedite test koji ste unaprijed odredili.
- Popravi višestruku usporedbu.
- Veličina učinka izvješća + interval pouzdanosti.
- Jasno napišite ograničenja.
Predlošci upita koji se mogu kopirati
Vizualizirajte propusnost: iscrtajte histograme i dijagrame za svaku grupu, označite odstupanja. Zatim interpretirajte normalnost.Stupci podataka: [ime]. Dajte Python kod s komentarima.
Želim usporediti svoje dvije grupe. Karakteristike podataka: [vrsta, N, distribucija]. Koji je test prikladan? Provjerite pretpostavke, izvedite test, prijavite veličinu učinka I 95% interval pouzdanosti S p-vrijednošću.
U svojoj analizi testirao sam 15 različitih gena. Navedite kod koji primjenjuje Bonferronijevu i Benjamini-Hochbergovu korekciju i objasnite razliku između te dvije metode.
Slab upit / Jak upit
Slab: "Jesu li ove dvije grupe različite, napravite t-test."
Strong: "Imam dvije skupine (kontrola n=18, tretman n=20), zavisna varijabla je aktivnost enzima (kontinuirano). Prvo vizualizirajte distribuciju i testirajte normalnost pomoću Shapiro-Wilka. Ako je normalna, primijenite t-test, ako nije, Mann-Whitney. Prijavite rezultat s p-vrijednošću, veličinom učinka (Cohenov d ili rang-biserial) i 95% intervalom pouzdanosti. Objasnite koji test koji ste odabrali i zašto."
Razlika: Snažni upit ima vrstu podataka, brojeve uzoraka, provjeru pretpostavki i potpuni zahtjev za izvješće. Model slijedi pravi put umjesto slijepe primjene t-testa.
tri mini kućišta
Slučaj 1 — Pogrešan test: Student je primijenio t-test na značajno iskrivljene (nenormalne) podatke i pronašao p=0,048. Kad je umjetna inteligencija dodala provjeru normalnosti, podaci nisu ispali normalni; Uz Mann-Whitney, p=0,11. Stvarni rezultat bio je besmislen. Lekcija: testiranje bez provjere pretpostavke dovodi u zabludu.
Slučaj 2 — Odbacivanje selektivnog odstupanja: Istraživač je izbrisao dvije točke odstupanja kako bi rezultat imao smisla. Model je naglasio da bi se odbacivanje izvanrednih vrijednosti trebalo temeljiti na unaprijed definiranom pravilu (npr. IQR metoda) i prijaviti; proizvoljno brisanje je p-hakiranje. Lekcija: unaprijed postavite pravilo odstupanja.
Slučaj 3 — Oporavak veličine učinka: Jedna je studija imala p=0,001, ali veličina učinka (d=0,1) bila je gotovo nula; veliki uzorak pokazao je da je beznačajna razlika značajna. Kada je umjetna inteligencija objavila veličinu učinka, pokazalo se da otkriće nema praktičnu vrijednost. Lekcija: Nije važno samo zato što je p malen.
usporedna tablica
Status
pravi pristup
Za izbjegavanje
abnormalni podaci
Neparametarski test
Prisilni t-test
multi test
Primijeni ispravak
Sirovi p<0,05
izuzetak
Unaprijed definirano pravilo
proizvoljno brisanje
značajan rezultat
Veličina efekta + CI
samo str
otkriće pronalazak
Provjera valjanosti na neovisnom skupu
Finalizirati u jednom setu
Uobičajene greške
- Nekontrolirano testiranje hipoteze: lažna važnost s lažnim testiranjem.
- p-hakiranje: Isprobavanje analize dok ne da željeni rezultat.
- Izvješćivanje samo p-vrijednosti: Izostavljanje veličine učinka i intervala pouzdanosti.
- Bez ispravljanja za višestruke usporedbe: lažno pozitivno.
- Preskakanje uzročnosti: Zaključivanje uzročnosti iz korelacije.
Oprez: AI neće "proizvesti" rezultat koji želite, ali će rado napisati kod za pogrešan test ako bude zaveden. Imate statistički integritet: prijavite sva ispitivanja, planirajte analizu unaprijed, nikad ne propustite veličinu učinka. Radite s biostatističarom za analize koje vode do objave.
pravo značenje p-vrijednosti
Najviše pogrešno shvaćen koncept u biologiji je p-vrijednost. P-vrijednost nije "vjerojatnost da je hipoteza istinita"; To je "vjerojatnost da vidite razliku kao veliku ili ekstremniju od onoga što opažate, dok u stvarnosti razlike nema." Ova suptilna, ali kritična razlika ključna je za neuveličavanje rezultata. p=0,03 ne znači "učinak je 97% stvaran". Kada umjetna inteligencija tumači rezultat, provjerite koristi li ispravno ovu definiciju; Model ponekad može ponoviti uobičajenu pogrešnu interpretaciju.
Interval pouzdanosti (CI) često je informativniji od p-vrijednosti jer pokazuje veličinu i nesigurnost učinka zajedno. "Razlika 2,4 puta (95% CI: 1,8-3,1)" govori puno više od "p<0,05": i smjer učinka, njegovu veličinu i koliko je precizno izmjeren. Istaknite GA u svojim izvješćima.
Koristite ispravnu definiciju p-vrijednosti kada tumačite moj rezultat. Izbjegavajte netočne izjave kao što je "vjerojatnost da je učinak istinit". Umjesto toga, objasnite praktično značenje u smislu veličine učinka i 95% intervala pouzdanosti. Rezultat: [podaci]
Korelacija, uzročnost i podaci promatranja
Većina bioloških podataka je promatranje: vidite kako se nešto mijenja s nečim drugim, ali ne možete vidjeti što uzrokuje što. Rečenica "ekspresija gena X korelira s bolešću" ne znači da X uzrokuje bolest; Bolest može povećati X ili treći faktor može utjecati na oba. Uzročnost se može ustanoviti samo interventnim eksperimentima (promjenom X i mjerenjem rezultata). AI može nesvjesno koristiti kauzalni jezik ("uzrokuje", "vodi do") u vašim tekstovima; pregledajte svaku zaključnu rečenicu iz ove perspektive, izražavajući nalaze opažanja korelacijskim jezikom ("korelirani", "zajedno variraju").
Odvajanje uparenih i nezavisnih podataka
Razlika koja se najčešće zanemaruje pri odabiru testa je jesu li uzorci nezavisni ili upareni. Ako uzimate mjerenja prije i poslije od iste osobe (na primjer, vrijednosti krvi istih pacijenata prije i poslije tretmana), ta mjerenja nisu neovisna; Potreban je test u paru. Korištenje nezavisnog t-testa s dva uzorka ovdje odbacuje podudarne informacije u podacima i smanjuje snagu; Može čak i preokrenuti ishod. Pravilo je jednostavno: "Dolaze li ova dva mjerenja iz iste biološke jedinice?" Ako je odgovor potvrdan, koristi se upareni test (upareni t-test ili Wilcoxonov predpisani rang test), ako je ne, koristi se nezavisni test. Kada od umjetne inteligencije tražite testove, svakako navedite strukturu podudaranja vaših podataka; Ako ne navedete, model često pretpostavlja neovisnost i preporučuje pogrešan test.
Imam dva seta mjera. Važno: ova mjerenja su obavljena prije/poslije ISTIH osoba (u paru). Odaberite pravi test koji uzima u obzir ovu podudarnost (upareni t-test ili Wilcoxon), provjerite svoje pretpostavke i izvijestite s veličinom učinka. Ne pretpostavljajte neovisnost.
Ukratko
Točna analiza podataka; odabir odgovarajućeg testa za vrstu podataka, provjeru pretpostavki, ispravljanje višestrukih usporedbi i izvješćivanje o veličini učinka i intervalu pouzdanosti uz p-vrijednost. Najveća opasnost je p-hakiranje; Protuotrov je prethodni plan analize, potpuno izvješćivanje i odvajanje otkrivanja i verifikacije. Umjetna inteligencija moćna je pomoć u odabiru testova i provjeri pretpostavki, ali statistički integritet leži na čovjeku.
Zadatak aplikacije
Uzmite skup podataka (vlastite podatke ili uzorak) s dvije grupe. Prvo neka AI napiše kod koji vizualizira podatke i testira normalnost. Ovisno o rezultatu, primijenite odgovarajući test (t-test ili Mann-Whitney) i navedite veličinu učinka i interval pouzdanosti zajedno s p-vrijednošću. Zatim usporedite učinak višestrukih usporedbi bez korekcije i s korekcijom na rezultat.
popis za provjeru
- [ ] Vizualizirao sam podatke prije testiranja.
- [ ] Provjerio sam pretpostavke testa (normalnost, varijanca).
- [ ] Izabrao sam odgovarajući test, nisam slijepo primijenio t-test.
- [ ] Popravio sam višestruku usporedbu.
- Prijavio sam [ ] p-vrijednost kao i veličinu učinka i interval pouzdanosti.
- [ ] Popravio sam plan analize unaprijed i izbjegao p-hakiranje.