Guadagni:
- Capacità di produrre statistiche descrittive e grafici di distribuzione/relazioni con il supporto dell'intelligenza artificiale e di scegliere il giusto tipo di grafico in base ai dati e alla domanda
- Capacità di riconoscere scelte fuorvianti (asse tratteggiato, scala inappropriata, smussamento eccessivo) nelle immagini prodotte dall'intelligenza artificiale e di applicare principi di visualizzazione onesti
- Essere in grado di distinguere che l'analisi esplorativa serve a generare ipotesi e la trappola di fare scoperte e conferme con gli stessi dati (il che apre le porte al p-hacking).
Dopo aver ripulito i dati, il primo compito del ricercatore empirico è conoscerli. Questa fase si chiama analisi esplorativa dei dati (EDA - Exploratory Data Analysis): è il processo di esame dei dati con grafici e statistiche riassuntive e di vederne la struttura, i modelli e le sorprese. L’obiettivo non è ancora testare un’ipotesi, ma conoscere i dati, generare domande e gettare le basi per il modello che costruirai in futuro. In questa unità vedremo come l'intelligenza artificiale (AI) accelera l'EDA e la visualizzazione, ma perché la grafica che produce deve essere attentamente controllata.
Facciamo innanzitutto due distinzioni fondamentali. Innanzitutto, le statistiche descrittive (numeri che riassumono dati come media, mediana, deviazione standard, quartili) e la visualizzazione (che mostrano graficamente le stesse informazioni) si completano a vicenda; Insieme descrivono i dati. Secondo, e più importante: occorre distinguere tra scoperta e conferma. L'analisi esplorativa serve per generare ipotesi; Esplorare l'ipotesi con gli stessi dati e dire "L'ho testato e l'ho trovato significativo" apre le porte al p-hacking, che vedremo nella prossima unità. È libero di guardare i dati e vedere uno schema; Ma dichiarare che questo modello sia un “risultato comprovato” negli stessi dati è fuorviante.
Analisi esplorativa passo dopo passo
1. Vista univariata. Esamina ciascuna variabile individualmente: la sua distribuzione è simmetrica o distorta; quante colline ci sono; Dove sono i valori anomali? Per le variabili numeriche, istogramma (grafico che mostra la frequenza dividendo i valori in intervalli) e boxplot (boxplot — grafico che mostra i valori mediani, quartili ed estremi); Per le variabili categoriali, utilizzare tabelle di frequenza e grafici a barre.
2. Visualizzazione bivariata. Visualizza la relazione tra due variabili: diagramma a dispersione per due variabili numeriche (mostra ciascuna osservazione come un punto sul piano xy), diagramma a riquadri raggruppati per numerico-categorico, tabella a campi incrociati per due categoriali. Prima di guardare il coefficiente di correlazione, assicurati di guardare il grafico a dispersione: la stessa correlazione può mostrare modelli molto diversi (il famoso quartetto Anscombe lo dimostra; quattro serie di dati hanno statistiche quasi identiche, ma una volta tracciate risultano essere completamente diverse).
3. Scegli il tipo di grafico corretto. Il tipo di grafico dipende dalla domanda e dal tipo di dati. Istogramma per la distribuzione; dispersione per relazione; grafico a linee per il cambiamento nel tempo; grafico a barre per il confronto delle categorie; (con attenzione) barra impilata per il rapporto tra le parti e il tutto. L'intelligenza artificiale genera rapidamente il codice per te, ma la decisione su "quale grafico per quale domanda" spetta a te.
4. Nota lo schema, non dichiarare i risultati. Registra qualsiasi modello interessante che vedi come una "nota della scoperta", ma non considerarlo un risultato confermato. La conferma viene effettuata in una fase separata, preferibilmente con dati separati o un programma predeterminato.
Principi di visualizzazione onesti
La grafica convince; Pertanto, anche il suo potere ingannevole è elevato. L’intelligenza artificiale può fare scelte estetiche ma a volte fuorvianti. Controlla queste politiche:
- Nei grafici a barre, l'asse y deve iniziare da zero. L'asse tratteggiato mostra differenze piccole quanto grandi.
- La scala dovrebbe essere coerente. Se vengono confrontati due grafici, utilizzare lo stesso intervallo di assi.
- Un livellamento eccessivo può nascondere il modello reale. Una linea di tendenza ha un bell'aspetto, ma se "smussa" troppo i dati può essere fuorviante.
- Il colore e la decorazione 3D distorcono l’attenzione, non i dati. Scegli la semplicità.
- I dati mancanti e la dimensione del campione dovrebbero essere visibili. "n=12" e "n=12.000" non dovrebbero essere uguali.
Attenzione: solo perché la grafica prodotta dall'intelligenza artificiale è bella, non è vera. L'errore più comune che commette è quello di non far partire l'asse da zero nel grafico a barre ed esagerare la differenza tra i due gruppi. Controllare sempre l'asse.
Grafico di confronto: domanda → grafico
Chiedi
grafico corretto
Errore comune
Come è distribuita questa variabile?
Istogramma/box plot
utilizzare il grafico a torta
Due variabili numeriche sono correlate?
Grafico a dispersione
Basta guardare il numero di correlazioni
Come è cambiato nel tempo?
grafico a linee
Raccontare un trend con un grafico a barre
Qual è la differenza tra i gruppi?
Casella/barra raggruppata (da zero)
Asta ad asse troncato
Rapporto parte-tutto?
Barra impilata (con cautela)
Grafico a torta multistrato
Quattro istruzioni copiabili
1. Codice di rilevamento automatico:
Il tuo ruolo: assistente EDA. Non condivido i dati, voglio il codice R (ggplot2). Nel data.frame "dati" sono presenti variabili numeriche (reddito, età, spesa) e categoriali (regione, istruzione). Obiettivo: scrivere codice che produca un istogramma per ogni valore numerico, un grafico a barre per ogni categoria e un grafico a dispersione per reddito~età. Nei grafici a barre, lascia che l'asse y parta da ZERO. Aggiungi riga di commento.
2. Revisione della correlazione (correlazione + visivo insieme):
Scrivi il codice che calcola la correlazione di Pearson per reddito e spesa e traccia un grafico a dispersione + tendenza lineare. Aggiungi una riga di commento per ricordarmi di esaminare il grafico prima di FIDARSI del conteggio delle correlazioni (avviso Anscombe). Non attenuare eccessivamente la linea di tendenza.
3. Verifica dell'integrità:
Controlla il seguente codice ggplot per una visualizzazione onesta:[codice]. Controllare e correggere quanto segue: l'asse y parte da zero, la scala è coerente, la dimensione del campione è visibile, è presente un livellamento eccessivo? Spiega la giustificazione per ogni correzione apportata.
4. Produzione di una nota di scoperta (non di una scoperta):
Sulla base dei grafici che produco, elenca le OSSERVAZIONI come una "nota di scoperta"; scrivere ogni elemento nel linguaggio di "ipotesi da verificare", non di "risultato conclusivo". Esempio: “Il reddito nell'istruzione superiore SEMBRA più distribuito; dovrebbe essere testato con dati separati.' Evitare affermazioni causali e definitive.
Prompt debole / Prompt forte
Suggerimento debole:
Crea dei bei grafici dalla resa e dimmi cosa significano.
Questo suggerimento invita a risultati fuorvianti: “bello” si concentra sull’estetica, mentre “cosa significa” spinge l’intelligenza artificiale a saltare dalla scoperta alla conclusione definitiva. Seguono commenti causali ed esagerati.
Suggerimento potente:
Il tuo ruolo: onesto assistente EDA. Compito: (1) scegli il tipo di grafico adatto alla mia domanda e scrivi la giustificazione, (2) avvia l'asse da zero nei grafici a barre, (3) interpreta l'output nel linguaggio DISCOVERY NOTE: nessuna affermazione definitiva/causale suggerisce un'ipotesi nel linguaggio "deve essere testato", (4) avvisami se il campione è piccolo (n <30). Eseguirò il grafico nel mio ambiente e lo verificherò.
Differenza: la forte volontà giustifica il tipo di grafico, impone regole di onestà e non confonde la scoperta con la conferma.
tre mini custodie
Caso 1 — Esagerazione dell'asse discreto. Un analista ha mostrato i punteggi di soddisfazione di due settori (7,8 e 8,0; su 10) in un grafico a barre. Avviando l'asse YZ da 7.5, il secondo ramo appariva alto quasi il doppio del primo; mentre la differenza era solo del 2,5%. La direzione stava per premiare una filiale che aveva avuto l'impressione sbagliata. Quando ho avviato l'asse da zero la differenza era quasi invisibile. Lezione: la sola scelta dell'asse cambia la percezione.
Caso 2: fidarsi della correlazione e saltare il grafico. Un ricercatore ha visto r = 0,81 tra due variabili e ha scritto "relazione lineare forte". Quando il suo consulente chiese il diagramma di dispersione, si vide che la relazione era in realtà dovuta a una singola osservazione estrema e quando quel punto fu rimosso, la correlazione scese a 0,12. Lezione: il conteggio delle correlazioni non sostituisce un grafico; guarda sempre la dispersione.
Caso 3 – Confondere la scoperta con la conferma. Uno studente ha esaminato tutte le correlazioni a coppie in un set di dati di 40 variabili, ha selezionato quella più alta (r=0,52) e ha scritto: "abbiamo trovato una relazione significativa tra istruzione e risparmio (p=0,004)". Tuttavia, c'erano centinaia di coppie in 40 variabili; scegliere il più alto è stato un falso risultato dovuto al caso. Lezione: il modello scoperto non può essere “testato e dichiarato significativo” negli stessi dati; È necessaria una conferma separata.
Errori comuni
- Non avviare l'asse da zero nel grafico a barre. Esagera la piccola differenza; La bugia visiva più comune. Controlla sempre.
- Osservando la correlazione e saltando il grafico. La stessa correlazione deriva da modelli molto diversi; può adattarsi a una relazione anomala. Innanzitutto, la dispersione.
- Considerando lo schema riscontrato nel ritrovamento come “prova” negli stessi dati. Questa è la porta d'accesso al p-hacking; La conferma viene effettuata separatamente.
- Tipo di grafico errato. Corrispondenze come la barra per la tendenza e la torta per la distribuzione sono fuorvianti. Scegli un genere in base alla domanda.
- Nascondere la dimensione del campione. n=8 e n=8.000 non dovrebbero apparire uguali sullo stesso grafico; l’incertezza deve essere mostrata.
Suggerimento: prima di pubblicare un grafico, chiediti: "La storia cambierebbe se cambiassi l'asse?" Se la risposta è sì, probabilmente hai iniziato il pivot da un punto disonesto.
In sintesi
L'analisi esplorativa dei dati è la fase in cui si incontrano i dati, si vedono modelli e si generano ipotesi; Non è una conferma. L'intelligenza artificiale genera rapidamente statistiche descrittive e codice grafico, ma tu scegli il tipo di grafico in base alla tua domanda e controlli i principi di equità (asse zero, scala coerente, incertezza apparente). Guarda la dispersione prima di fidarti del numero di correlazione; Non dichiarare il modello trovato durante la scoperta come "prova" negli stessi dati. Un bel grafico dell’intelligenza artificiale non significa un grafico corretto.
Compito dell'applicazione
Seleziona almeno tre variabili in un set di dati. Chiedi all'intelligenza artificiale ed esegui codice che produca grafici esplorativi (istogramma, dispersione, boxed) con un prompt che impone regole di onestà. Per ciascun grafico: verificare (1) l'adeguatezza del tipo di grafico alla domanda, (2) l'onestà dell'asse, (3) la visibilità della dimensione del campione. Scrivi almeno una "nota di scoperta" nel linguaggio delle ipotesi ("...sembra essere testato separatamente"). Esaminare una correlazione sia con il conteggio che con la dispersione e segnalare se c'è una discrepanza tra loro.
lista di controllo
- [ ] Ho scelto il tipo di grafico in base alla mia domanda e al tipo di dati.
- [ ] Nei grafici a barre, inizio l'asse y da zero; Ho controllato l'onestà dell'asse.
- [] Ho guardato il grafico a dispersione prima di fidarmi della correlazione.
- [ ] Ho riflesso la dimensione del campione e l'incertezza sul grafico.
- [ ] Ho scritto gli schemi che ho trovato nell'esplorazione come "ipotesi da verificare" piuttosto che come "prova".
- [ ] Ho notato che non avrei utilizzato gli stessi dati per la conferma e che era necessario un passaggio separato.