Câștiguri:
- Abilitatea de a alege testul adecvat tipului și distribuției datelor și de a verifica ipotezele (normalitate, varianță)
- Abilitatea de a înțelege adevărata semnificație a valorii p și de a raporta rezultatele cu dimensiunea efectului și intervalul de încredere
- Protecție împotriva hacking-ului prin separare prin descoperire-verificare, corecție pentru comparații multiple și raportare completă
Experimentul s-a terminat, datele sunt înăuntru. Acum suntem în stadiul cel mai critic și cel mai greșit: analiza corectă a datelor și interpretarea sinceră a rezultatelor. Datele biologice sunt adesea zgomotoase, instabile și multivariate. Selecția incorectă a testelor, încălcările implicite de ipoteză și p-hacking inconștient (încercarea unei analize până când dă rezultatul dorit) sunt cauzele principale ale crizei de reproductibilitate în literatura biologică publicată. AI vă ajută să alegeți testul potrivit, să verificați ipotezele și să scrieți codul de analiză; dar integritatea statistică este responsabilitatea ta.
În această unitate, vom acoperi teste statistice obișnuite, verificări ale ipotezelor și modalități de a vă proteja de p-hacking.
Alegerea testului potrivit
Alegerea testului depinde de tipul și distribuția datelor. Inteligența artificială te va ajuta să faci această alegere, dar nu ar trebui să o aplici orbește:
- Două grupuri, date continue, distribuție normală: test t independent.
- Două grupuri, nenormale: Mann-Whitney U (neparametric: nu necesită ipoteza distribuției).
- Mai mult de două grupuri: ANOVA (analiza varianței) + test post-hoc.
- Date categorice (numărări): Chi-pătrat sau test exact Fisher.
- Relație: corelație (Pearson/Spearman) sau regresie.
Sfat: vizualizați datele înainte de a selecta testul. O histogramă sau un diagramă cu casete arată instantaneu normalitatea și valorile aberante pe care le necesită un test t. „Grafic mai întâi, testați mai târziu” este un obicei bun.
Verificarea ipotezelor
Fiecare test are presupuneri ascunse. Testul t presupune distribuția normală și egalitatea varianței; Dacă acestea sunt încălcate, rezultatul va fi înșelător. AI scrie cod care verifică aceste ipoteze:
Rol: Sunteți asistent în biostatistică. Sarcină: Scrieți cod care verifică ipotezele unui test t înainte de a compara două grupuri de date: normalitate (Shapiro-Wilk), egalitate de varianță (Levene). Dacă ipoteza este încălcată, spuneți-mi la ce test alternativ ar trebui să merg mai departe. Dați codul Python cu comentarii.
Codul te redirecționează către Mann-Whitney dacă normalitatea este întreruptă. Acest flux „verificați mai întâi, decideți mai târziu” vă împiedică să efectuați testul greșit.
p-hacking și cum să te protejezi
p-hacking este analiza datelor în moduri diferite până la p<0,05: încercarea de teste diferite, eliminarea selectivă a valorilor aberante, adăugarea/eliminarea grupurilor, raportarea a ceea ce este „semnificativ” într-un număr mare de variabile. Aceasta este principala sursă de descoperiri false. Modalitati de protectie:
- Fixați planul de analiză în avans (Unitatea 7).
- Raportați toate testele, nu doar cele care arată semnificație.
- Remediați comparația multiplă (FDR/Bonferroni).
- Dați mărimea efectului și intervalul de încredere lângă valoarea p.
- Descoperire și validare separate: testați ceea ce găsiți în setul de descoperire pe un set independent.
Pas cu pas: o analiză sinceră
- Vizualizați datele (împrăștiere, valori aberante).
- Verificați ipotezele.
- Efectuați testul pe care l-ați predeterminat.
- Remediați comparația multiplă.
- Raportați dimensiunea efectului + intervalul de încredere.
- Scrieți clar limitările.
Șabloane de prompt copiabile
Vizualizați debitul: reprezentați histograme și diagrame cu casete pentru fiecare grup, semnalați valorile aberante. Apoi interpretați normalitatea.Coloane de date: [nume]. Dați codul Python cu comentarii.
Vreau să compar cele două grupuri ale mele. Caracteristicile datelor: [tip, N, distribuție].Care test este adecvat? Verificați ipotezele, efectuați testul, raportați dimensiunea efectului ȘI intervalul de încredere de 95% CU valoarea p.
Am testat 15 gene diferite în analiza mea. Dați codul care aplică corecția Bonferroni și Benjamini-Hochberg și explicați diferența dintre cele două metode.
Prompt slab / Prompt puternic
Slab: „Sunt aceste două grupuri diferite, faceți un test t”.
Puternic: „Am două grupe (martor n=18, tratament n=20), variabila dependentă este activitatea enzimatică (continuă). Mai întâi vizualizați distribuția și testați normalitatea cu Shapiro-Wilk. Dacă este normal, aplicați testul t, dacă nu, Mann-Whitney. Raportați rezultatul cu valoarea p, mărimea efectului (d Cohen sau intervalul de rang-biserial) și de ce ați ales.
Diferență: promptul puternic are tip de date, numere de eșantion, verificarea ipotezelor și cerere completă de raportare. Modelul urmează calea corectă în loc să aplice orbește testul t.
trei mini cutii
Cazul 1 — Test greșit: Un student a aplicat un test t pentru date semnificativ denaturate (nenormale) și a găsit p=0,048. Când inteligența artificială a adăugat verificarea de normalitate, datele nu au ieșit normale; Cu Mann-Whitney, p=0,11. Rezultatul real a fost lipsit de sens. Lecție: testarea fără a verifica ipoteza este înșelătoare.
Cazul 2 – Eliminarea selectivă a valorii aberante: Un cercetător a șters două puncte „abere” pentru a face rezultatul semnificativ. Modelul a subliniat că eliminarea valorii aberante ar trebui să se bazeze pe o regulă predefinită (de exemplu, metoda IQR) și să fie raportată; ștergerea arbitrară este p-hacking. Lecție: stabiliți regula aberante în prealabil.
Cazul 3 – Recuperarea mărimii efectului: Un studiu a avut p=0,001, dar dimensiunea efectului (d=0,1) a fost aproape zero; eșantionul mare a arătat că diferența nesemnificativă este semnificativă. Când inteligența artificială a raportat mărimea efectului, s-a constatat că descoperirea nu are valoare practică. Lecția: Doar pentru că p este mic, nu contează.
diagrama de comparatie
Stare
abordare corectă
De evitat
date anormale
Test neparametric
T-test forțat
test multiplu
Aplicați corecția
Brut p<0,05
anormal
Regulă predefinită
ștergere arbitrară
rezultat semnificativ
Mărimea efectului + CI
doar p
descoperirea descoperirii
Validați pe set independent
Finalizați într-un singur set
Greșeli comune
- Testare necontrolată de ipoteză: semnificație falsă cu testare falsă.
- p-hacking: Încercarea analizei până dă rezultatul dorit.
- Raportarea numai a valorii p: se omite dimensiunea efectului și intervalul de încredere.
- Nu se corectează pentru comparații multiple: pozitive false.
- Salt de cauzalitate: Deducerea cauzalității din corelație.
Atenție: AI nu va „produce” rezultatul dorit, dar va scrie cu plăcere codul pentru testul greșit dacă este indus în eroare. Aveți integritate statistică: raportați toate încercările, planificați analiza în avans, nu ratați niciodată dimensiunea efectului. Lucrați cu un biostatistician pentru analize care duc la publicare.
sensul real al valorii p
Cel mai greșit înțeles concept în biologie este valoarea p. Valoarea p nu este „probabilitatea ca ipoteza să fie adevărată”; Este „probabilitatea de a vedea o diferență la fel de mare sau mai extremă decât ceea ce observați, când în realitate nu există nicio diferență”. Această distincție subtilă, dar critică, este cheia pentru a nu exagera rezultatele. p=0,03 nu înseamnă „efectul este 97% real”. Când AI-ul interpretează un rezultat, verificați dacă folosește corect această definiție; Modelul poate repeta uneori interpretarea greșită comună.
Intervalul de încredere (IC) este adesea mai informativ decât valoarea p, deoarece arată amploarea și incertitudinea efectului împreună. „Diferența de 2,4 ori (IC 95%: 1,8-3,1)” spune mult mai mult decât „p<0,05”: atât direcția efectului, amploarea acestuia, cât și cât de precis a fost măsurat. Evidențiați GA în rapoartele dvs.
Utilizați definiția corectă a valorii p atunci când îmi interpretez rezultatul. Evitați afirmațiile incorecte precum „probabilitatea ca efectul să fie adevărat”. În schimb, explicați semnificația practică în ceea ce privește dimensiunea efectului și intervalul de încredere de 95%. Rezultat: [date]
Corelație, cauzalitate și date observaționale
Majoritatea datelor biologice sunt observaționale: vezi că ceva se schimbă cu altceva, dar nu poți vedea ce cauzează ce. Propoziția „expresia genei X se corelează cu boala” nu indică faptul că X provoacă boala; Boala poate crește X, sau un al treilea factor poate să le afecteze pe ambele. Cauzalitatea poate fi stabilită doar prin experimentare intervențională (schimbarea lui X și măsurarea rezultatului). AI poate folosi, fără să știe, limbaj cauzal („cauze,” „conduce la”) în textele tale; revizuiți fiecare propoziție de concluzie din această perspectivă, exprimând constatările observaționale în limbaj corelațional („corelate”, „variind împreună”).
Separarea datelor pereche și independente
Distincția cel mai frecvent trecută cu vederea în selecția testului este dacă eșantioanele sunt independente sau pereche. Dacă efectuați măsurători înainte și după aceea de la aceeași persoană (de exemplu, valorile sanguine ale acelorași pacienți înainte și după tratament), aceste măsurători nu sunt independente; Este necesar un test pereche. Utilizarea testului t independent cu două eșantioane aici aruncă informațiile de potrivire din date și reduce puterea; Poate chiar inversa rezultatul. Regula este simplă: „Aceste două măsurători provin din aceeași unitate biologică?” Dacă răspunsul este da, se folosește testul pereche (testul t pereche sau testul de rang Wilcoxon cu semnătură), dacă nu, se folosește testul independent. Când cereți teste de inteligență artificială, asigurați-vă că specificați structura de potrivire a datelor dvs.; Dacă nu specificați, modelul își asumă adesea independență și recomandă testul greșit.
Am două seturi de măsurători. Important: aceste măsurători au fost făcute înainte/după ACEȘI indivizi (pereche). Alegeți testul potrivit care ține cont de această potrivire (test t pereche sau Wilcoxon), verificați-vă ipotezele și raportați cu dimensiunea efectului. Nu vă asumați independența.
În concluzie
Analiza precisă a datelor; alegerea testului adecvat pentru tipul de date, verificarea ipotezelor, corectarea comparațiilor multiple și raportarea mărimii efectului și a intervalului de încredere în plus față de valoarea p. Cel mai mare pericol este p-hacking-ul; Antidotul este un plan de analiză în avans, raportare completă și separare descoperire-verificare. Inteligența artificială este un ajutor puternic în selecția testelor și verificarea ipotezelor, dar integritatea statistică revine omului.
Sarcina de aplicare
Luați un set de date (propriile dvs. date sau un eșantion) cu două grupuri. Mai întâi aveți codul de scriere AI care vizualizează datele și testează normalitatea. În funcție de rezultat, aplicați testul corespunzător (testul t sau Mann-Whitney) și raportați dimensiunea efectului și intervalul de încredere împreună cu valoarea p. Apoi comparați efectul comparațiilor multiple fără corecție și cu corecție asupra rezultatului.
lista de verificare
- [ ] Am vizualizat datele înainte de testare.
- [ ] Am verificat ipotezele testului (normalitate, varianță).
- [ ] Am ales testul potrivit, nu am aplicat orbește testul t.
- [ ] Am reparat comparația multiplă.
- Am raportat valoarea p [ ], precum și mărimea efectului și intervalul de încredere.
- [ ] Am reparat planul de analiză în avans și am evitat p-hacking-ul.