Câștiguri:
- Înțelegeți că p-hacking-ul, HARKingul, raportarea selectivă și grădina căilor bifurcate produc constatări false și vedeți cum inteligența artificială poate accelera aceste capcane
- Abilitatea de a stabili apărări, cum ar fi preînregistrarea, planul de analiză, disciplina de comparare multiplă și analiza de sensibilitate cu suport de inteligență artificială
- A fi capabil să internalizeze designul onest al cererii care va permite inteligenței artificiale să respingă cererile de tip „găsește rezultatul semnificativ” și că responsabilitatea finală revine cercetătorului.
În unitatea anterioară am văzut ce este valoarea p și ce nu este. În această unitate ne vom uita la un subiect mai întunecat, capcanele sistematice care amenință integritatea statistică. Cele mai multe dintre acestea nu sunt înșelăciuni intenționate; Acestea sunt mecanisme insidioase în care se încadrează chiar și cercetătorii bine intenționați fără să-și dea seama. Iar inteligența artificială (AI) face aceste capcane atât mai ușoare, cât și mai rapide, deoarece face posibilă efectuarea a zeci de analize în câteva secunde. Scopul acestei unități este de a stabili disciplina care va transforma AI dintr-o „mașină de găsit rezultate semnificative” într-un asistent onest.
Capcane de bază
p-hacking (p-value hunting): Se încearcă analiza din nou în moduri diferite până când se obține un rezultat semnificativ (p<0,05). Adăugarea și eliminarea variabilelor, selectarea subeșantioanelor, modificarea definiției valorii aberante, încercarea de transformări diferite, utilizarea diferitelor variabile de rezultat, oprirea colectării datelor atunci când aceasta devine semnificativă... Fiecare încercare oferă o nouă „șansă”; Dacă te străduiești suficient, unul dintre ele se va dovedi a fi semnificativ, chiar dacă de fapt nu are niciun efect. Rezultatul: constatări false care au fost publicate, dar nu pot fi reproduse.
HARKing (Hypothesizing After the Results are Known): Elaborarea unei ipoteze după ce ați văzut rezultatele și prezentarea acesteia ca „Am prezis așa de la început”. Te uiți la date și găsești cea mai izbitoare relație, apoi scrii lucrarea ca și cum ar fi fost concepută pentru a testa acea ipoteză. Acest lucru induce în eroare cititorul făcând descoperirea să pară o confirmare.
Raportare selectivă (cherry-picking): Raportarea doar a celor „bune” din zeci de analize și îngroparea tăcută pe restul. Aceasta este cunoscută și sub denumirea de „problema sertarului de fișiere”: rezultatele lipsite de sens rămân în sertar, ceea ce face ca literatura să fie părtinitoare în mod sistematic.
Grădina căilor bifurcate: termenul lui Andrew Gelman. Chiar și fără un singur p-hacking intenționat, cercetătorul face multe alegeri rezonabile pe baza datelor (ce variabilă, ce prag, ce subgrup, ce transformare). Aceste grade de libertate investigative sunt atât de numeroase încât îl alegeți efectiv pe cel semnificativ dintr-o multitudine de analize – chiar și fără nicio intenție rea. Rezultatul este din nou o rată de fals pozitive în creștere.
Atenție: Majoritatea acestor capcane nu sunt trucuri intenționate. Suma pașilor aparent inocenți, cum ar fi „Tocmai am încercat câteva modele”, „a fost mai curat când am eliminat valorile aberante”, „efectul este mai clar în acest subgrup” poate produce o constatare falsă. Onestitatea este o chestiune de metodă, nu de intenție.
De ce AI mărește aceste capcane?
Încercarea manuală a 3 modele necesită timp; YZ produce 50 de variante de model, 10 conversii diferite, 8 subgrupuri în minute. Această putere este dezastruoasă fără un plan onest: o solicitare de genul „găsiți o relație semnificativă în aceste date” sau „construiți un model care să susțină această ipoteză” transformă AI direct într-un motor p-hacking. AI vrea de asemenea să fie de ajutor; tinde să găsească un rezultat „cu sens” care să te mulțumească. De aceea, designul dumneavoastră prompt este prima linie de apărare a onestității.
Apărări: curs corect al afacerilor
1. Preînregistrare: Înseamnă înregistrarea ipotezei, variabilelor, modelului și testelor în scris (eventual pe o platformă marcată în timp) înainte de a efectua analiza. Astfel, descoperirea este separată de confirmare; orice schimbați ulterior este etichetat ca „explorator”.
2. Plan de analiză: Chiar dacă nu puteți pre-înregistra, scrieți un plan de analiză înainte de a vă arunca o privire asupra datelor: ipoteză primară, variabilă de rezultat primară, model principal. Stabiliți de la început distincția între „analiza principală” și „analiza suplimentară/explorativă” și mențineți-o în raport.
3. Raportați totul: Nu ascunde modelele pe care le-ați încercat. În secțiunea „analiza de sensibilitate” (verificarea robusteței), arată cum diferite specificații modifică rezultatul. Constatarea este puternică numai dacă rezistă în multe opțiuni plauzibile.
4. Disciplina de comparare multiplă: Dacă ai făcut prea multe teste, corectează-le (unitatea 6). Răspunde la întrebarea „Câte teste am făcut?” sincer.
5. Analiza de sensibilitate: repetați descoperirea principală cu un eșantion diferit, un set de control diferit și o transformare diferită. Dacă rezultatul se schimbă, nu-l ascunde, raportează-l.
Diagramă de comparație: cinstit vs. capcană
Aplicație
forma capcana
Echivalent sincer
Alegerea modelului
Încercați până când are sens (p-hacking)
Model principal planificat în prealabil
ipoteza
Se potrivește după fapt (HARKing)
Pre-înregistrat, înainte de date
Raportare
Nu le arătați doar pe cele frumoase
Toate specificațiile + sensibilitate
subgrup
Alegerea celor mai frapante
Predefinit, corectabil
colectarea datelor
Oprește-te când are sens
probă prestabilită
Patru solicitări copiabile
1. Cadru de revendicare sinceră:
Rolul dvs.: asistent onest în statistică. Scopul meu NU este să găsesc un rezultat semnificativ, ci să găsesc rezultatul potrivit. REGULI:- NU-mi oferi sugestii de tip „încercați modelele până când nu are sens”,- spuneți-mi dacă sugerați mai multe specificații, toate trebuie raportate,- avertizează-mă cu privire la orice pași care ar putea duce la p-hacking. Ajutați-mă să clarific mai întâi modelul meu principal, separați descoperirea de confirmare.
2. Proiect de plan de analiză:
Ajutați-mă să elaborez un plan de analiză preliminară pentru un studiu: ipoteză primară, variabilă de rezultat primară, specificația principală a modelului, subgrupuri predefinite, strategie de comparație multiplă. Puneți analizele „explorative” și „confirmative” în rubrici separate. Amintește-mi să completez acest lucru FĂRĂ A UITA la date.
3. Analiza de sensibilitate:
Principala mea constatare este scrierea codului de analiză a sensibilității (R) pentru Scopul meu este să VED cât de solid este rezultatul, NU să-l aleg pe cel mai bun; arata toate rezultatele.
4. Automonitorizare:
Voi explica procesul meu de analiză; Dați-mi o listă de verificare pentru p-hacking / HARKing / raportare selectivă și marcați care dintre pașii mei sunt riscanți. Întrebați-mă înapoi câte modele/teste am încercat și pe care plănuiesc să raportez.
Prompt slab / Prompt puternic
Prompt slab:
Care variabile prezintă relații semnificative în aceste date, găsiți cel mai bun model.
Acest prompt este o instrucțiune directă de p-hacking: AI-ul încearcă zeci de combinații și o prezintă pe cea care „are cel mai logic”. Rezultatul este aproape sigur o descoperire falsă care nu poate fi replicată.
Solicitare puternică:
Rolul tău: asistent cinstit. Modelul PRINCIPAL pe care l-am predeterminat este: Y ~ X + controale. Scrieți codul care prezice acest model. NU căutați un alt model „mai semnificativ”. De asemenea, sugerează o analiză de sensibilitate, astfel încât să pot vedea robustețea rezultatului, dar să știi că voi raporta TOATE rezultatele, nu pe cel mai bun. Nu mă lăsa să anulez nicio descoperire exploratorie ca fiind „confirmată”.
Diferență: voința puternică fixează modelul principal, interzice căutarea și necesită raportarea tuturor rezultatelor.
trei mini cutii
Cazul 1 — Vânătoare în subgrup. Un cercetător nu a găsit niciun efect în eșantionul total; El a întrebat AI „în ce subgrup este semnificativ?” YZ a scanat combinațiile de vârstă, sex și regiune și a găsit „p = 0,03 la femeile din mediul urban cu vârsta cuprinsă între 35-44 de ani”. Articolul s-a bazat pe acest subgrup. Replicarea lui nu a găsit niciun efect: acesta a fost rezultatul întâmplării din zeci de subgrupuri. Lecție: subgrupul selectat după ce datele sunt HARKing, fără confirmare.
Cazul 2 — Vânătoarea de conversie. Relația care se dovedește a fi lipsită de sens într-o formă la nivel de student; l-am încercat în forme de bușteni, rădăcină pătrată, pătrată și lag; El a găsit p=0,048 în formă de log-log și a raportat doar asta. Din fericire, una dintre cele 5 forme încercate a trecut pragul. Modul corect a fost: să preselectați forma cu teorie și să afișați rezultatul tuturor formelor în tabelul de sensibilitate. Lecție: raportarea selectivă produce o semnificație falsă.
Cazul 3 – Cum funcționează încadrarea sinceră. O echipă preînregistrată înainte de analiză: o singură ipoteză primară, un singur model principal, două subgrupuri predefinite, corecția Bonferroni. Efectul principal nu a fost semnificativ, dar echipa a raportat-o sincer; Individul explorator a semnalat o constatare ca „trebuie să fie testată în viitor”. Studiul a fost reproductibil și de încredere. Lecție: planificarea cinstită face chiar și rezultatul „eșuat” să merite.
Greșeli comune
- Spuneți AI să „găsească rezultate semnificative”. Acesta este direct p-hacking; Pune AI într-un cadru onest, cerând acuratețe, nu rezultate.
- Prezentarea descoperirii ca confirmare (HARKing). Este înșelător să scriem ipoteza stabilită după date ca „am prezis-o de la început”; Etichetați descoperirea exploratorie.
- Doar raportarea unor rezultate bune. Afișați toate specificațiile testate; Ascunderea analizei sentimentelor compromite integritatea.
- Screening de subgrup/conversie. Alegerea celei mai semnificative dintre zeci de subgrupuri sau transformări produce constatări false; identificați și reparați în prealabil.
- Uitând câte teste ai făcut. Urmăriți numărul total de încercări; Nicio valoare p nu poate fi interpretată sincer fără a cunoaște acest număr.
Sfat: Înainte de a scrie o constatare, întreabă-te: „Câte moduri am încercat în tăcere până când am găsit acest rezultat și le raportez pe toate?” Dacă unele dintre eseuri rămân în sertar, raportul tău pare mai puternic decât este.
Pe scurt
p-hacking, HARKing, raportare selectivă și grădina căilor bifurcate; Multe sunt capcane care funcționează neintenționat, dar produc constatări false, nereproductibile. AI accelerează aceste capcane, deoarece poate încerca zeci de analize instantaneu; Solicitările de tip „găsiți rezultate semnificative” transformă AI într-un motor de p-hacking. Apărare; separarea descoperirii de confirmare cu un plan de pre-înregistrare și analiză, raportarea tuturor specificațiilor și analiza de sensibilitate, corectarea comparațiilor multiple și plasarea AI într-un cadru onest care cere „rezultatul corect”. Responsabilitatea finală revine întotdeauna cercetătorului.
Sarcina de aplicare
Alegeți o întrebare de cercetare și scrieți un scurt plan de analiză înainte de a analiza datele: ipoteza primară, modelul principal, variabila de rezultat primară, subgrupuri predefinite, strategie de comparație multiplă. Apoi estimați modelul principal. Apoi faceți o analiză de sensibilitate (controale diferite, valori aberante incluse/excluse, formă de funcție diferită) și afișați toate rezultatele într-un singur tabel. Într-un paragraf, evaluează ce pași prezintă un risc de p-hacking și modul în care cadrul tău onest îi limitează.
lista de verificare
- [ ] Am scris planul de analiză/modelul principal înainte de a mă scufunda în date.
- [ ] Am etichetat separat analizele exploratorii și de confirmare; Nu am fost HARK.
- [ ] Am raportat toate specificațiile pe care le-am încercat; Nu l-am ales doar pe cel frumos.
- [ ] Am definit în prealabil subgrupurile și transformările, nu le-am scanat după date.
- [ ] Am urmărit câte teste am efectuat și am aplicat corecția necesară.
- [ ] Am folosit AI în contextul „găsește adevărul” mai degrabă decât „găsește-l semnificativ”; Mi-am asumat responsabilitatea.