Câștiguri:
- Abilitatea de a defini corect ipoteza nulă, valoarea p, intervalul de încredere și puterea statistică și de a utiliza inteligența artificială în selecția și interpretarea testelor.
- Abilitatea de a distinge ceea ce este și ce nu este o valoare p (nu dimensiunea efectului, nu probabilitatea de acuratețe) și de a înțelege de ce este necesară corecția comparației multiple
- Abilitatea de a recunoaște comentariile făcute de inteligența artificială care confundă semnificația cu materialitatea și de a le raporta cu dimensiunea efectului și incertitudinea
Cel mai folosit și cel mai greșit instrument de statistică este testarea ipotezelor. Ideea de bază este simplă: avem o afirmație (de exemplu, „media acestor două grupuri este diferită”) și opusul ei, o ipoteză nulă (H0 — „de fapt nu există nicio diferență”). Testul măsoară cât de bine sunt de acord datele cu ipoteza nulă. În această unitate vom vedea cum inteligența artificială (AI) face selecția și interpretarea testelor mai ușoare, dar de ce capcanele din jurul valorii p sunt atât de comune și periculoase. Să începem de la început: AI știe ce sintaxă de test să scrie; dar este datoria ta să interpretezi dacă ipoteza testului este satisfăcută și ce înseamnă cu adevărat rezultatul.
Care este de fapt valoarea p?
Valoarea p este probabilitatea ca rezultatul pe care îl observați sau un rezultat mai extrem să apară întâmplător atunci când ipoteza nulă este adevărată (adică, de fapt, nu există niciun efect). O valoare p mică (0,05 este pragul tradițional) înseamnă „ar fi surprinzător să vedem astfel de date dacă într-adevăr nu ar exista niciun efect”; Aceasta este considerată o dovadă împotriva ipotezei nule.
Acum să clarificăm ce nu este valoarea p - pe care AI o confundă adesea:
- Valoarea p nu este probabilitatea ca ipoteza nulă să fie adevărată. p=0,03 nu înseamnă „există o probabilitate de 3% să nu aibă efect”.
- Valoarea p nu indică dimensiunea efectului. Un efect foarte mic poate produce o valoare p mică într-un eșantion mare.
- Valoarea p nu dovedește că constatarea este semnificativă sau reală. „Semnificativ” este un termen statistic, „semnificativ” este o judecată.
- p>0,05 nu înseamnă „fără efect”; Înseamnă „nu am putut arăta efectul cu aceste date”. Absența dovezilor nu este dovada absenței.
Atenție: cea mai frecventă eroare de interpretare a AI este prezentarea cuvântului „semnificativ” ca „impact semnificativ/puternic/major”. Semnificația statistică și semnificația practică sunt două lucruri diferite; Raportați întotdeauna cele două separat.
Interval de încredere și dimensiunea efectului: informații mai bogate
În loc de o singură valoare p, un interval de încredere este mult mai informativ: oferă intervalul plauzibil de valori pentru estimarea dvs. Propoziția „Efect 1.200, 95% interval de încredere [300, 2.100]” arată atât direcția, magnitudinea, cât și incertitudinea; „p<0,05” spune doar „departe de zero”. Practica statistică modernă folosește valoarea p nu numai; recomandă raportarea cu trio-ul mărime a efectului + interval de încredere + valoare p.
Puterea statistică și eșantionul
Puterea statistică este probabilitatea de a detecta un efect care există efectiv (1 minus probabilitatea erorii de tip II, adică „lipsirea efectului real”). Un studiu cu putere redusă este susceptibil la două riscuri: (1) ratează efectele adevărate (negativ fals); (2) puținele rezultate care se dovedesc a fi semnificative poartă magnitudini umflate - așa-numitul blestem al câștigătorului, deoarece numai predicțiile umflate pot trece pragul. Prin urmare, este o bună practică să calculați puterea/probă înainte de analiză. AI generează codul pentru acest cont; Determinați dimensiunea efectului țintă cu teorie.
Problemă de comparație multiplă
Când faceți un test, un prag de 0,05 înseamnă „risc de 5% de fals pozitive”. Dar dacă faci 20 de teste, în medie, ar fi de așteptat ca unul să dea p<0,05 întâmplător, chiar și atunci când toate sunt de fapt ineficiente. Aceasta se numește problema comparației multiple. Probabilitatea de fals pozitive crește rapid atunci când sunt testate un număr mare de variabile, subgrupuri sau variabile de rezultat. Soluția este corectarea pragului: Bonferroni (împărțirea pragului la numărul de teste — strict), metode Holm sau Benjamini-Hochberg care controlează rata de descoperire falsă (FDR). Acest risc devine și mai mare în era AI, deoarece AI poate produce zeci de teste în câteva secunde - acesta este subiectul direct al următoarei unități (p-hacking).
Tabel de comparație: ce spune valoarea p și ce nu spune
expresie
Este adevărat?
Descriere
„p=0,02, probabilitatea de a nu avea efect este de 2%”
greșit
p nu este probabilitatea lui H0
„p<0,05, efectul este mare”
greșit
p nu indică dimensiunea
„p=0,20, fără efect”
greșit
A nu putea arăta nu înseamnă absență
„p<0,05, există dovezi împotriva H0”
Adevărat
Precauți și la punct
„Efect 1.200 [300;2.100], p=0.01”
cel mai bun
Dimensiune + incertitudine + dovezi
Patru solicitări copiabile
1. Alegerea testului potrivit:
Rolul dumneavoastră: asistent de testare statistică. Vreau să compar media a două grupuri independente (variabilă continuă). Dați-mi: ce test este adecvat (cu ipotezele sale: normalitate, egalitate de varianță), alternativa dacă ipoteza nu este îndeplinită (de exemplu, Welch, Mann-Whitney) și codul R. Voi rula rezultatul și voi verifica ipotezele.
2. Raportarea corectă a valorii p:
Raportați rezultatul testului de mai jos, dar REGULI:- NU prezentați valoarea p ca „probabilitate de H0” sau „dimensiunea efectului”,- asigurați-vă că includeți dimensiunea efectului și intervalul de încredere de 95%,- scrieți separat „semnificativ” și „semnificativ”,- dacă p>0,05, NU spuneți „niciun efect”, spuneți „nu am putut arăta”. Ieșire: [paste]
3. Calcul putere/probă:
Plănuiesc un experiment: două grupuri, mărimea efectului așteptată (d Cohen) ~0,4, putere 0,80, alfa 0,05. Scrieți codul R care calculează dimensiunea necesară a eșantionului (pachet pwr) și explicați riscurile unui studiu cu putere redusă (blestemul câștigătorului).
4. Corecție pentru comparații multiple:
Am făcut 15 teste de ipoteză separate și am valori p. Scrieți codul R care aplică corecțiile Bonferroni și Benjamin-Hochberg (FDR), explicați diferența dintre cele două metode și rezumați într-o singură propoziție de ce nu ar trebui să am încredere în p<0,05.
Prompt slab / Prompt puternic
Prompt slab:
Este rezultatul acestui test semnificativ? Comentează rezultatul.
Această afirmație prinde AI în binarul „cu sens/fără sens”; cel mai probabil produce o propoziție care confundă magnitudinea cu semnificația, cum ar fi „da, este semnificativ, efectul este puternic”.
Solicitare puternică:
Rolul dvs.: asistent statistic atent. Interpretați rezultatul, dar: (1) dați mărimea efectului + interval de încredere de 95% + valoarea p împreună, (2) separați semnificația de semnificație, (3) p>0,05 în „nu a putut afișa”, (4) întrebați câte teste am făcut; Dacă mai multe, sugerați o corecție de comparație multiplă, (5) reamintim că ipotezele testului trebuie verificate.
Diferență: promptul puternic impune raportarea bogată și protejează împotriva capcanelor valorii p.
trei mini cutii
Cazul 1 – „semnificație” nesemnificativă într-un eșantion mare. Un analist a găsit diferența medie dintre cele două grupuri „foarte semnificativă” la p<0,001 în datele cu 500.000 de observații. Dar diferența era de doar 0,3 puncte (din 100) și era practic lipsită de sens. Eșantionul uriaș a făcut chiar și mica diferență „semnificativă”. Când a fost raportată mărimea efectului, constatarea a fost considerată nesemnificativă. Lecție: semnificația nu este magnitudine; Dacă n este mare, fiecare diferență este semnificativă.
Cazul 2 – Iluzie de testare multiplă. O echipă a testat 22 de variabile de rezultat; Una dintre ele a arătat p=0,04 și a fost anunțată ca „am găsit efectul”. Cu corecția Bonferroni, pragul a scăzut la 0,05/22 = 0,0023; 0,04 nu a depășit acest prag. Singurul rezultat „cu sens” ar fi fost întâmplător din 22 de încercări. Lecție: când se testează mult, este necesară corectarea.
Cazul 3 – Subputere și blestemul câștigătorului. Un mic studiu pilot (n=15 per grup) a constatat un efect foarte mare (d=0,9) și semnificativ. Un studiu mare de replicare a redus efectul la d = 0,2. Eșantionul mic a permis doar unei supraestimari să treacă pragul. Lecție: Dimensiunile semnificative ale efectului la putere scăzută nu pot fi de încredere.
Greșeli comune
- Confundarea semnificației cu importanța/magnitudinea. Efectul nu este mare doar pentru că p este mic; Raportați dimensiunea efectului separat.
- Confundarea valorii p cu probabilitatea H0. p nu este „probabilitatea fără efect”; este diferit din punct de vedere conceptual.
- Citirea p>0,05 ca „fără efect”. Neprezentarea nu este dovada absenței; Precizați incertitudinea.
- Nu se corectează pentru multi-testare. Prea multe teste produc rezultate fals pozitive; Aplicați Bonferroni/FDR.
- Ignorarea puterii. Efectul semnificativ în eșantionul mic este exagerat; Calculați puterea înainte de analiză.
Sfat: înainte de a anula un rezultat ca fiind „semnificativ”, puneți două întrebări: „Este efectul practic semnificativ (magnitudinea)?” și „Câte teste am făcut înainte de a găsi acest rezultat?” A doua întrebare este testul de turnesol al onestității.
În concluzie
Testarea ipotezelor și valoarea p sunt instrumente puternice, dar neînțelese. Valoarea p este probabilitatea de a vedea datele atunci când ipoteza nulă este adevărată; Probabilitatea lui H0 nu este mărimea efectului sau semnificația constatării. Raportați întotdeauna semnificația împreună cu mărimea efectului și intervalul de încredere; Nu citiți p>0,05 ca „fără efect”; aplicați corecția de comparație multiplă dacă ați făcut multe teste; Fiți conștienți de riscul unor efecte exagerate din studiile cu putere redusă. AI produce cod de testare și plan; Este responsabilitatea dumneavoastră să distingeți între semnificație și materialitate și să verificați ipotezele.
Sarcina de aplicare
Faceți o comparație a mediilor între două grupuri dintr-un set de date. Solicitați AI testul corespunzător (cu ipotezele sale) și codificați, rulați-l și verificați ipotezele. Raportați rezultatul cu trei componente: mărimea efectului, intervalul de încredere de 95%, valoarea p. Apoi gândiți-vă câte comparații diferite puteți face pe aceleași date; Dacă ați efectuat mai multe teste, aplicați corectarea Bonferroni sau FDR și raportați dacă rezultatul este încă valabil. În cele din urmă, scrieți o evaluare aproximativă a puterii pentru analiza dvs.
lista de verificare
- [ ] Am selectat testul cu ipotezele sale și am verificat ipotezele.
- [ ] Am raportat rezultatul ca mărime a efectului + interval de încredere + valoare p.
- [ ] Am ținut separat „semnificativ” și „important”; Nu am crezut că p este probabilitatea lui H0.
- [ ] Am scris p>0.05 ca „nu am putut arăta” mai degrabă decât „fără efect”.
- [ ] Am aplicat corecția pentru comparații multiple dacă am rulat mai multe teste.
- [ ] Am evaluat puterea de eșantionare; Am fost precaut cu privire la dimensiunea efectului la putere scăzută.