Guadagni:
- Comprendi che il p-hacking, l'HARKing, il reporting selettivo e il giardino dei percorsi che si biforcano producono risultati falsi e scopri come l'intelligenza artificiale può accelerare queste trappole
- Capacità di stabilire difese quali pre-registrazione, piano di analisi, disciplina di confronto multiplo e analisi di sensibilità con il supporto dell'intelligenza artificiale
- Essere in grado di interiorizzare la progettazione onesta della richiesta che consentirà all'intelligenza artificiale di rifiutare richieste del tipo "trova il risultato significativo" e che la responsabilità finale spetta al ricercatore.
Nell'unità precedente abbiamo visto cos'è il valore p e cosa non lo è. In questa unità esamineremo un argomento più oscuro, ovvero le trappole sistematiche che minacciano l’integrità statistica. La maggior parte di questi non sono imbrogli intenzionali; Si tratta di meccanismi insidiosi nei quali cadono anche i ricercatori ben intenzionati senza rendersene conto. E l’intelligenza artificiale (AI) rende queste insidie più facili e veloci, poiché rende possibile eseguire dozzine di analisi in pochi secondi. Lo scopo di questa unità è stabilire la disciplina che trasformerà l'intelligenza artificiale da una "macchina per la ricerca di risultati significativi" in un assistente onesto.
Insidie di base
p-hacking (caccia al valore p): consiste nel riprovare l'analisi in modi diversi fino a ottenere un risultato significativo (p<0,05). Aggiungere e rimuovere variabili, selezionare sottocampioni, modificare la definizione di valori anomali, provare diverse trasformazioni, utilizzare variabili di risultato diverse, interrompere la raccolta dati quando diventa significativa... Ogni tentativo offre una nuova "possibilità"; Se ci provi abbastanza, uno di essi si rivelerà significativo, anche se in realtà non ha alcun effetto. Il risultato: risultati spuri che sono stati pubblicati ma non riproducibili.
HARKing (Ipotesi dopo che i risultati sono noti): Fare un'ipotesi dopo aver visto i risultati e presentarla come "L'avevo previsto così dall'inizio". Guardi i dati e trovi la relazione più sorprendente, quindi scrivi l'articolo come se fosse progettato per verificare quell'ipotesi. Ciò trae in inganno il lettore facendo sembrare la scoperta una conferma.
Reporting selettivo (cherry-picking): segnalare solo quelli "buoni" da dozzine di analisi e seppellire silenziosamente il resto. Questo è noto anche come "problema del cassetto dei file": risultati privi di significato rimangono nel cassetto, rendendo la letteratura sistematicamente distorta.
Giardino dei sentieri che si biforcano: il termine di Andrew Gelman. Anche senza un singolo p-hacking intenzionale, il ricercatore fa molte scelte ragionevoli basate sui dati (quale variabile, quale soglia, quale sottogruppo, quale trasformazione). Questi gradi di libertà investigativi sono così numerosi che di fatto si sceglie quello significativo tra una moltitudine di analisi, anche senza alcuna cattiva intenzione. Il risultato è ancora una volta un aumento del tasso di falsi positivi.
Attenzione: la maggior parte di queste trappole non sono trucchi intenzionali. La somma di passaggi apparentemente innocenti come "Ho appena provato qualche altro modello", "era più pulito quando ho rimosso il valore anomalo", "l'effetto è più chiaro in questo sottogruppo" può produrre risultati spuri. L’onestà è una questione di metodo, non di intenzione.
Perché l’intelligenza artificiale allarga queste trappole?
Provare 3 modelli a mano richiede tempo; YZ produce 50 varianti di modello, 10 conversioni diverse, 8 sottogruppi in pochi minuti. Questo potere è disastroso senza un piano onesto: una richiesta come “trovare una relazione significativa in questi dati” o “costruire un modello che supporti questa ipotesi” trasforma l’IA direttamente in un motore di p-hacking. Anche l’intelligenza artificiale vuole essere utile; tende a trovare un risultato "significativo" che ti soddisfi. Ecco perché la tua progettazione tempestiva è la prima linea di difesa dell'onestà.
Difese: andamento corretto degli affari
1. Pre-registrazione: significa registrare per iscritto (possibilmente su una piattaforma con timestamp) le proprie ipotesi, variabili, modello e test prima di eseguire l'analisi. Pertanto, la scoperta è separata dalla conferma; tutto ciò che cambi in seguito viene contrassegnato come "esploratore".
2. Piano di analisi: anche se non puoi preregistrarlo, scrivi un piano di analisi prima di immergerti nei dati: ipotesi primaria, variabile di risultato primaria, modello principale. Stabilire fin dall’inizio la distinzione tra “analisi principale” e “analisi aggiuntiva/esplorativa” e mantenerla nel report.
3. Segnala tutto: non nascondere i modelli che hai provato. Nella sezione “analisi di sensibilità” (controllo della robustezza), mostra come specifiche diverse modificano il risultato. La scoperta è forte solo se regge rispetto a molte scelte plausibili.
4. Disciplina dei confronti multipli: se hai fatto troppi test, correggili (unità 6). Rispondi alla domanda "Quanti test ho fatto?" Onestamente.
5. Analisi di sensibilità: ripetere il risultato principale con un campione diverso, un set di controlli diverso e una trasformazione diversa. Se il risultato cambia, non nasconderlo, segnalalo.
Grafico comparativo: onesto vs. trappola
Applicazione
forma di trappola
Equivalente onesto
Selezione del modello
Provando finché non ha senso (p-hacking)
Modello principale pre-pianificato
ipotesi
Adattamento a posteriori (HARKing)
Preregistrato, prima dei dati
Segnalazione
Non mostrare solo quelli belli
Tutte le specifiche + sensibilità
sottogruppo
Scegliere il più sorprendente
Predefinito, correggibile
raccolta dati
Fermati quando ha senso
campione predeterminato
Quattro istruzioni copiabili
1. Quadro di riferimento onesto:
Il tuo ruolo: onesto assistente statistico. Il mio obiettivo NON è trovare un risultato significativo, ma trovare il risultato giusto. REGOLE: - NON darmi suggerimenti del tipo "prova i modelli finché non ha senso", - dimmi se suggerisci più specifiche che devono essere tutte segnalate, - avvisami di eventuali passaggi che potrebbero portare al p-hacking. Aiutami prima a chiarire il mio modello principale, separando la scoperta dalla conferma.
2. Bozza del piano di analisi:
Aiutami a redigere un piano di analisi preliminare per uno studio: ipotesi primaria, variabile di risultato primaria, specificazione del modello principale, sottogruppi predefiniti, strategia di confronto multiplo. Metti le analisi "esplorative" e "confermative" in intestazioni separate. Ricordami di compilarlo SENZA GUARDARE i dati.
3. Analisi di sensibilità:
La mia scoperta principale è scrivere il codice di analisi della sensibilità (R) per Il mio obiettivo è VEDERE quanto sia solido il risultato, NON scegliere quello migliore; mostra tutti i risultati.
4. Automonitoraggio:
Spiegherò il mio processo di analisi; Datemi una lista di controllo per p-hacking/HARKING/segnalazione selettiva e segnate quali dei miei passaggi sono rischiosi. Chiedimi quanti modelli/test ho provato e quali intendo segnalare.
Prompt debole / Prompt forte
Suggerimento debole:
Quali variabili mostrano relazioni significative in questi dati, trova il modello migliore.
Questo suggerimento è un'istruzione diretta di p-hacking: l'IA prova dozzine di combinazioni e presenta quella che "ha più senso". Il risultato è quasi certamente una scoperta spuria che non può essere replicata.
Suggerimento potente:
Il tuo ruolo: assistente onesto. Il modello PRINCIPALE che ho predeterminato è: Y ~ X + controlli. Scrivi il codice che prevede questo modello. NON cercare un altro modello "più significativo". Suggerisci anche un'analisi di sensibilità in modo da poter vedere la robustezza del risultato, ma sappi che riporterò TUTTI i risultati, non sceglierò quello migliore. Non permettermi di cancellare eventuali risultati esplorativi come "confermati".
Differenza: una forte volontà fissa il modello principale, proibisce la ricerca e richiede che tutti i risultati vengano riportati.
tre mini custodie
Caso 1 – Ricerca di sottogruppi. Un ricercatore non ha riscontrato alcun effetto nel campione complessivo; Ha chiesto all'AI "in quale sottogruppo è significativo?" YZ ha analizzato le combinazioni di età, sesso e regione e ha trovato "p = 0,03 nelle donne urbane di età compresa tra 35 e 44 anni". L'articolo era basato su questo sottogruppo. La sua replica non ha trovato alcun effetto: questo era il risultato del caso di dozzine di sottogruppi. Lezione: sottogruppo selezionato dopo che i dati sono HARKing, non confermano.
Caso 2 – Caccia alla conversione. La relazione che risulta priva di significato in una forma a livello studentesco; l'ho provato nelle forme log, radice quadrata, quadrata e lag; Ha trovato p=0,048 nel formato log-log e ha riportato solo quello. Fortunatamente, una delle 5 forme provate ha varcato la soglia. Il modo corretto era: preselezionare il modulo con la teoria e mostrare il risultato di tutti i moduli nella tabella di sensibilità. Lezione: il reporting selettivo produce un falso significato.
Caso 3: come funziona il framing onesto. Un team preregistrato prima dell'analisi: unica ipotesi primaria, unico modello principale, due sottogruppi predefiniti, correzione Bonferroni. L'effetto principale non è stato significativo, ma il team lo ha riferito onestamente; L'individuo esploratore ha contrassegnato un risultato come "che necessita di essere testato in futuro". Lo studio era riproducibile e affidabile. Lezione: una pianificazione onesta rende utile anche il risultato di un “fallimento”.
Errori comuni
- Dire all'IA di "trovare risultati significativi". Questo è un vero e proprio p-hacking; Inserisci l’intelligenza artificiale in un quadro onesto, chiedendo precisione, non risultati.
- Presentare la scoperta come conferma (HARKing). È fuorviante scrivere l'ipotesi stabilita dopo i dati come “l'avevo previsto fin dall'inizio”; Etichettare il risultato esplorativo.
- Sto solo riportando buoni risultati. Mostra tutte le specifiche testate; Nascondere l'analisi del sentiment compromette l'integrità.
- Screening di sottogruppi/conversioni. La scelta del più significativo tra dozzine di sottogruppi o trasformazioni produce risultati spuri; identificare e risolvere in anticipo.
- Dimenticare quanti test hai fatto. Tieni traccia del numero totale di tentativi; Nessun valore p può essere interpretato onestamente senza conoscere questo numero.
Suggerimento: prima di scrivere un risultato, chiediti: "Quanti modi ho provato in silenzio finché non ho trovato questo risultato e li sto segnalando tutti?" Se alcuni saggi rimangono nel cassetto, il tuo rapporto sembra più forte di quanto non sia.
In sintesi
p-hacking, HARKing, reporting selettivo e il giardino dei percorsi che si biforcano; Molte sono trappole che funzionano involontariamente ma producono risultati spuri e non riproducibili. L’intelligenza artificiale accelera queste insidie perché può provare dozzine di analisi all’istante; Le richieste di tipo “trova risultati significativi” trasformano l’intelligenza artificiale in un motore di p-hacking. Difesa; separando la scoperta dalla conferma con un piano di pre-registrazione e analisi, riportando tutte le specifiche e l'analisi di sensibilità, correggendo confronti multipli e inserendo l'intelligenza artificiale in un quadro onesto che richiede il "risultato corretto". La responsabilità finale spetta sempre al ricercatore.
Compito dell'applicazione
Scegli una domanda di ricerca e scrivi un breve piano di analisi prima di esaminare i dati: ipotesi primaria, modello principale, variabile di risultato primaria, sottogruppi predefiniti, strategia di confronto multiplo. Quindi stimare il modello principale. Quindi esegui un'analisi di sensibilità (controlli diversi, valore anomalo incluso/escluso, modulo di funzione diverso) e mostra tutti i risultati in un'unica tabella. In un paragrafo, valuta quali passaggi rappresentano un rischio di p-hacking e in che modo il tuo quadro onesto li limita.
lista di controllo
- [ ] Ho scritto il piano di analisi/modello generale prima di immergermi nei dati.
- [ ] Ho etichettato separatamente le analisi esplorative e di conferma; Non stavo esagerando.
- [ ] Ho riportato tutte le specifiche che ho provato; Non ho scelto solo quello bello.
- [ ] Ho definito in anticipo i sottogruppi e le trasformazioni, non li ho scansionati dopo i dati.
- [ ] Ho tenuto traccia di quanti test avevo eseguito e ho applicato la correzione necessaria.
- [] Ho usato l'intelligenza artificiale nel contesto di "trovare la verità" piuttosto che "trovarla significativa"; Mi sono preso la responsabilità.