Guadagni:
- Capacità di definire correttamente l'ipotesi nulla, il valore p, l'intervallo di confidenza e il potere statistico e di utilizzare l'intelligenza artificiale nella selezione e interpretazione dei test.
- Capacità di distinguere cosa è e cosa non è un valore p (non la dimensione dell'effetto, non la probabilità di precisione) e capire perché è necessaria la correzione per confronti multipli
- Capacità di riconoscere i commenti fatti dall'intelligenza artificiale che confondono la significatività con la materialità e di riportarli con dimensione dell'effetto e incertezza
Lo strumento statistico più utilizzato e frainteso è il test delle ipotesi. L’idea di base è semplice: abbiamo un’affermazione (ad esempio “la media di questi due gruppi è diversa”) e il suo opposto, un’ipotesi nulla (H0 – “in realtà non c’è alcuna differenza”). Il test misura quanto i dati concordano con l’ipotesi nulla. In questa unità vedremo come l'intelligenza artificiale (AI) sta semplificando la selezione e l'interpretazione dei test, ma perché le trappole attorno al valore p sono così comuni e pericolose. Partiamo dall'inizio: l'AI sa quale sintassi del test scrivere; ma è tuo compito interpretare se il presupposto del test è soddisfatto e cosa significa realmente il risultato.
Qual è in realtà il valore p?
Il valore p è la probabilità che il risultato osservato, o un risultato più estremo, si verifichi per caso quando l'ipotesi nulla è vera (ovvero, non c'è effettivamente alcun effetto). Un valore p basso (0,05 è la soglia tradizionale) significa che "sarebbe sorprendente vedere tali dati se davvero non ci fosse alcun effetto"; Questa è considerata una prova contro l’ipotesi nulla.
Ora chiariamo cosa non è il valore p, che l'IA spesso confonde:
- Il valore p non è la probabilità che l’ipotesi nulla sia vera. p=0,03 non significa "c'è una probabilità del 3% di nessun effetto".
- Il valore p non indica la dimensione dell'effetto. Un effetto molto piccolo può produrre un valore p minuscolo in un campione di grandi dimensioni.
- Il valore p non dimostra che il risultato sia significativo o reale. “Significativo” è un termine statistico, “significativo” è un giudizio.
- p>0,05 non significa "nessun effetto"; Significa "non abbiamo potuto mostrare l'effetto con questi dati". L’assenza di prove non è prova di assenza.
Attenzione: l’errore di interpretazione dell’IA più comune è presentare la parola “significativo” come “impatto significativo/forte/importante”. La significatività statistica e la significatività pratica sono due cose diverse; Segnalare sempre i due separatamente.
Intervallo di confidenza e dimensione dell'effetto: informazioni più ricche
Invece di un singolo valore p, un intervallo di confidenza è molto più informativo: fornisce l’intervallo di valori plausibili per la tua stima. La frase "Effetto 1.200, intervallo di confidenza al 95% [300, 2.100]" mostra sia la direzione, l'entità che l'incertezza; "p<0,05" dice semplicemente "lontano da zero". La pratica statistica moderna utilizza il valore p non solo; raccomanda di effettuare il reporting con il trio formato da dimensione dell'effetto + intervallo di confidenza + valore p.
Potenza statistica e campione
Il potere statistico è la probabilità di rilevare un effetto realmente esistente (1 meno la probabilità di errore di tipo II, cioè di "mancare l'effetto reale"). Uno studio sottodimensionato è suscettibile di due rischi: (1) non riesce a cogliere gli effetti reali (falso negativo); (2) i pochi risultati che si rivelano significativi comportano grandezze gonfiate: la cosiddetta maledizione del vincitore perché solo le previsioni gonfiate possono superare la soglia. Pertanto, è buona pratica calcolare la potenza/campione prima dell'analisi. L'intelligenza artificiale genera il codice per questo account; Determina la dimensione dell'effetto target con la teoria.
Problema di confronti multipli
Quando si esegue un test, una soglia di 0,05 significa "rischio del 5% di falsi positivi". Ma se si eseguono 20 test, in media ci si aspetterebbe che uno dia per caso p<0,05, anche quando tutti sono effettivamente inefficaci. Questo è chiamato il problema dei confronti multipli. La probabilità di falsi positivi aumenta rapidamente quando vengono testati un gran numero di variabili, sottogruppi o variabili di risultato. La soluzione è correggere la soglia: metodi Bonferroni (dividendo la soglia per il numero di test – rigoroso), Holm o Benjamini-Hochberg che controllano il tasso di false scoperte (FDR). Questo rischio diventa ancora maggiore nell’era dell’intelligenza artificiale, poiché l’intelligenza artificiale può produrre dozzine di test in pochi secondi – questo è l’argomento diretto della prossima unità (p-hacking).
Tabella comparativa: cosa dice e cosa non dice il valore p
espressione
È vero?
Descrizione
"p=0,02, la probabilità di nessun effetto è del 2%"
sbagliato
p non è la probabilità di H0
"p<0,05, l'effetto è ampio"
sbagliato
p non indica la dimensione
"p=0,20, nessun effetto"
sbagliato
Non poter mostrare non è assenza
"p<0,05, ci sono prove contro H0"
Vero
Prudente e puntuale
"Effetto 1.200 [300;2.100], p=0,01"
migliore
Dimensioni + incertezza + prove
Quattro istruzioni copiabili
1. Scegliere il test giusto:
Il tuo ruolo: assistente ai test statistici. Voglio confrontare la media di due gruppi indipendenti (variabile continua). Dimmi: quale test è appropriato (con le sue ipotesi: normalità, uguaglianza della varianza), l'alternativa se l'ipotesi non è soddisfatta (ad esempio Welch, Mann-Whitney) e il codice R. Analizzerò il risultato e controllerò le ipotesi.
2. Riportare correttamente il valore p:
Riporta l'output del test di seguito, ma REGOLE:- NON presentare il valore p come "probabilità di H0" o "dimensione dell'effetto",- assicurati di includere la dimensione dell'effetto e l'intervallo di confidenza al 95%,- scrivi "significativo" e "significativo" separatamente,- se p>0,05, NON dire "nessun effetto", dì "non potremmo mostrare". Risultato: [incolla]
3. Calcolo potenza/campione:
Sto pianificando un esperimento: due gruppi, dimensione dell'effetto prevista (Cohen d) ~ 0,4, potenza 0,80, alfa 0,05. Scrivi il codice R che calcola la dimensione del campione richiesta (pacchetto pwr) e spiega i rischi di uno studio a bassa potenza (maledizione del vincitore).
4. Correzione per confronti multipli:
Ho eseguito 15 test di ipotesi separati e ho valori p. Scrivi il codice R che applica le correzioni Bonferroni e Benjamin-Hochberg (FDR), spiega la differenza tra i due metodi e riassumi in una frase il motivo per cui non dovrei fidarmi del semplice p<0,05.
Prompt debole / Prompt forte
Suggerimento debole:
Il risultato di questo test è significativo? Commenta il risultato.
Questa affermazione intrappola l’IA nel binario “significativo/non significativo”; molto probabilmente produce una frase che confonde la grandezza con il significato, come "sì, è significativo, l'effetto è forte".
Suggerimento potente:
Il tuo ruolo: attento assistente statistico. Interpreta il risultato ma: (1) fornisci la dimensione dell'effetto + intervallo di confidenza al 95% + valore p insieme, (2) separa la significatività dalla significatività, (3) p>0,05 in "impossibile mostrare", (4) chiedi quanti test ho eseguito; Se più di uno, suggerire la correzione per confronti multipli, (5) ricordare che le ipotesi del test dovrebbero essere verificate.
Differenza: un prompt forte impone un reporting approfondito e protegge dalle trappole del valore p.
tre mini custodie
Caso 1 – “Significato” non significativo in un campione ampio. Un analista ha trovato la differenza media tra i due gruppi "altamente significativa" con p<0,001 nei dati con 500.000 osservazioni. Ma la differenza era di soli 0,3 punti (su 100) ed era praticamente priva di significato. L'enorme campione ha reso "significativa" anche la più piccola differenza. Quando è stata riportata la dimensione dell’effetto, il risultato è risultato insignificante. Lezione: il significato non è la grandezza; Se n è grande, ogni differenza è significativa.
Caso 2 – Illusione di test multipli. Un team ha testato 22 variabili di risultato; Uno di essi ha mostrato p=0,04 ed è stato annunciato come "abbiamo trovato l'effetto". Con la correzione di Bonferroni la soglia è scesa a 0,05/22 = 0,0023; 0,04 non ha superato questa soglia. L'unico risultato "significativo" sarebbe stato casuale su 22 prove. Lezione: quando si testa molto, è necessaria una correzione.
Caso 3 – Sottopotenza e maledizione del vincitore. Un piccolo studio pilota (n=15 per gruppo) ha riscontrato un effetto molto ampio (d=0,9) e significativo. Un ampio studio di replica ha ridotto l’effetto a d = 0,2. Il piccolo campione aveva consentito solo ad una sovrastima di varcare la soglia. Lezione: non ci si può fidare di effetti di dimensioni significative a bassa potenza.
Errori comuni
- Confondere significatività con importanza/grandezza. L'effetto non è grande solo perché p è piccolo; Riporta la dimensione dell'effetto separatamente.
- Confondere il valore p con la probabilità di H0. p non è la "probabilità di nessun effetto"; è concettualmente diverso.
- Lettura p>0,05 come "nessun effetto". La mancata presentazione non costituisce prova di assenza; Indica l'incertezza.
- Non correggere per test multipli. Troppi test producono falsi positivi; Applicare Bonferroni/FDR.
- Ignorare il potere. L'effetto significativo nel piccolo campione è esagerato; Calcolare la potenza prima dell'analisi.
Suggerimento: prima di considerare un risultato “significativo”, poni due domande: “L’effetto è praticamente significativo (entità)?” e "Quanti test ho effettuato prima di trovare questo risultato?" La seconda domanda è la cartina di tornasole dell’onestà.
In sintesi
La verifica delle ipotesi e il valore p sono strumenti potenti ma fraintesi. Il valore p è la probabilità di vedere i dati quando l'ipotesi nulla è vera; La probabilità di H0 non è l’entità dell’effetto o la significatività del risultato. Riportare sempre la significatività insieme alla dimensione dell'effetto e all'intervallo di confidenza; Non leggere p>0,05 come "nessun effetto"; applica la correzione per confronti multipli se hai fatto molti test; Essere consapevoli del rischio di effetti esagerati derivanti da studi a bassa potenza. L’intelligenza artificiale produce codice e progetto di test; È tua responsabilità distinguere tra significatività e materialità e verificare le ipotesi.
Compito dell'applicazione
Effettua un confronto delle medie tra due gruppi in un set di dati. Chiedi all'IA il test appropriato (con le sue ipotesi) e il codice, eseguilo e verifica le ipotesi. Riportare il risultato con tre componenti: dimensione dell'effetto, intervallo di confidenza al 95%, valore p. Poi pensa a quanti confronti diversi puoi fare sugli stessi dati; Se hai eseguito più test, applica la correzione Bonferroni o FDR e segnala se il risultato è ancora valido. Infine, scrivi una valutazione approssimativa della potenza per la tua analisi.
lista di controllo
- [ ] Ho selezionato il test con le sue ipotesi e ho verificato le ipotesi.
- [ ] Ho riportato il risultato come dimensione dell'effetto + intervallo di confidenza + valore p.
- [ ] Ho tenuto separati “significativo” e “importante”; Non pensavo che p fosse la probabilità di H0.
- [ ] Ho scritto p>0.05 come "non abbiamo potuto mostrarlo" piuttosto che "nessun effetto".
- [ ] Ho applicato la correzione per confronti multipli se ho eseguito più test.
- [ ] Ho valutato la potenza di campionamento; Ero cauto riguardo alla dimensione dell'effetto a bassa potenza.