Guadagni:
- Capacità di esplorare la distribuzione, il centro, la diffusione e le anomalie delle variabili con grafici appropriati (istogramma, box plot, diagramma a dispersione).
- Capacità di interpretare correttamente la correlazione e di leggerla insieme allo scatter plot, senza confonderla con la causalità
- Capacità di comprendere che le statistiche sommarie possono essere fuorvianti (lezione Anscombe) e di sviluppare ipotesi che determinano la direzione della modellizzazione.
Prima di costruire un modello è necessario conoscere i dati. Proprio come un medico non prescrive farmaci senza esaminare il paziente, un data scientist non costruisce un modello senza “esaminare” i dati. Questo esame si chiama analisi esplorativa dei dati (in breve EDA): è la fase in cui si scoprono visivamente e graficamente la distribuzione, le relazioni, le sorprese e le trappole dei dati. Lo scopo dell'EDA è generare ipotesi, individuare errori e determinare la direzione della modellazione. L’intelligenza artificiale è un assistente molto potente in questa fase: suggerisce quale grafico è adatto, scrive il suo codice, interpreta una distribuzione. Ma una persona decide, con la sua conoscenza del campo, se lo schema che vede è reale o una coincidenza.
Cosa cerca l'EDA?
L'EDA cerca risposte a quattro domande. Distribuzione: come viene distribuita ciascuna variabile: è simmetrica, distorta o a due picchi? Tendenza centrale e spread: quali sono la media, la mediana e la deviazione standard? Relazioni: come sono correlate tra loro le variabili? Anomalie: ci sono valori, lacune, raggruppamenti inattesi? Queste quattro domande determinano quale funzionalità funzionerà e quale modello è appropriato.
Definiamo alcuni concetti base. Un istogramma è un grafico che divide i valori di una variabile numerica in intervalli e mostra quante osservazioni ci sono in ciascun intervallo; È il modo più veloce per vedere la distribuzione. L'asimmetria è lo spostamento della distribuzione in una direzione; Variabili come il reddito sono sbilanciate a destra (maggioranza bassa, pochi molto alta). Un box plot mostra a colpo d'occhio la mediana, i quartili e gli outlier. Un grafico a dispersione mostra la relazione di due variabili numeriche con una nuvola di punti.
Correlazione: esiste una relazione ma attenzione
Correlazione: una misura di come due variabili si muovono insieme; un numero compreso tra -1 e +1 — è lo strumento più utilizzato e frainteso dell'EDA. +1 significa co-aumento perfetto, -1 significa relazione inversa perfetta, 0 significa nessuna relazione lineare. Ci sono due grandi trappole. Innanzitutto la famosa regola: la correlazione non è causalità. Aumentano i casi di soffocamento con le vendite di gelati; non perché l’una porti all’altra, ma perché l’estate (la terza variabile nascosta) le innesca entrambe. In secondo luogo, la correlazione misura solo la relazione lineare; Potrebbe indicare una relazione forte ma curvilinea vicina allo 0. Quindi, quando osservi la correlazione, assicurati di guardare anche il grafico a dispersione.
Attenzione: quando l’IA fornisce un numero di correlazione, potrebbe scivolare in un linguaggio causale come “A aumenta B”. Questo è pericoloso. La correlazione indica solo il movimento insieme; Solo l’esperienza, la conoscenza del dominio e un’attenta deduzione ne stabiliscono la ragione.
Quartetto Anscombe: perché non guardare solo il numero
C'è un famoso esempio in statistica: il quartetto Anscombe. Quattro diversi insiemi di dati hanno quasi la stessa media, la stessa varianza e la stessa correlazione (0,82); Ma quando vengono rappresentati graficamente, appaiono completamente diversi: una linea retta, una curva, una nuvola trascinata da un singolo valore anomalo. La lezione è chiara: le statistiche riassuntive sono fuorvianti, guardare il grafico è d’obbligo. L’intelligenza artificiale può darti medie e correlazioni, ma fidarsi di quei numeri senza vedere il grafico significa cadere nella trappola di Anscombe.
La tabella seguente riassume quale grafico si adatta a ciascuna domanda:
Domanda
grafica adatta
Cosa mostra
Distribuzione di una singola variabile
Istogramma/KDE
Forma, asimmetria, numero di vertici
Centro e valori anomali
Trama a scatola
Mediana, quartili, outlier
Relazione tra due numeri
grafico a dispersione
Direzione, forza, curvatura
Confronto di categorie
grafico a barre
Differenza tra gruppi
cambiare nel tempo
grafico a linee
Tendenza, stagionalità
Relazione multivariata
Mappa termica di correlazione
Matrice generale delle relazioni
Il paradosso di Simpson: i dati aggregati possono mentire
Una trappola subdola dell'EDA di cui tenere conto è il paradosso di Simpson: un modello può mostrare una direzione quando tutti i dati vengono esaminati insieme, ma invertire quando i dati sono divisi in sottogruppi significativi. Esempio classico: il tasso di accettazione complessivo delle donne candidate in un'università sembra essere inferiore a quello degli uomini; Ma se si considera dipartimento per dipartimento, il tasso di accettazione delle donne è più alto di quello degli uomini nella maggior parte dei dipartimenti. Da dove? Le donne hanno fatto domanda a dipartimenti più competitivi (tassi di accettazione più bassi); Il numero combinato memorizza questa variabile nascosta. La lezione è chiara: quando guardi un totale o una media, assicurati di controllare se quel numero racconta la stessa storia quando viene suddiviso in sottogruppi significativi (segmento, periodo, canale). Quando l’intelligenza artificiale ti fornisce una tariffa combinata, chiedendo “è ancora valido quando lo segmenti” otterrai subito la maggior parte dei risultati fuorvianti.
tre mini custodie
Caso 1 — Due colline nascoste. Un analista ha riscontrato che l'età media dei clienti è di 41 anni e l'ha definita "folla di mezza età". Ma l’istogramma mostrava due picchi: i gruppi di età 22-28 e 55-62. La media di 41 in realtà non rappresentava nessuno. Lezione: tracciare la distribuzione prima di fidarsi della media.
Caso 2 — Correlazione spuria. Un team ha riscontrato una correlazione di 0,78 tra “spesa pubblicitaria” e “vendite” e ha raddoppiato il budget. Tuttavia, ciò che ha innescato entrambe sono state le campagne stagionali; durante il periodo fuori campagna il rapporto è sceso a 0,10. La pubblicità aggiuntiva di 340mila TL non ha prodotto il rendimento atteso. Lezione: confondere la correlazione con la causalità è costoso.
Caso 3 – La linea tracciata dall’unico contrarian. Da un'analisi immobiliare è emersa una forte relazione tra metratura e prezzo (r=0,80). Quando è stato disegnato il grafico a dispersione, quasi l'intera relazione è stata creata da una singola villa di lusso da 12 milioni di TL; Quando quel punto è stato rimosso, la correlazione è scesa a 0,31. Lezione: leggi sempre la correlazione insieme al grafico a dispersione.
Quattro modelli copiabili
1) Riepilogo automatico EDA:
Ho dei panda df. Scrivi il codice che produce: (1) df.info() e df.describe(), (2) istogramma per ogni colonna numerica, (3) conteggio per ogni colonna categoriale. Non commentare, genera semplicemente il codice di rilevamento; Interpreto gli schemi.
2) Correlazione + visiva (con l'avvertenza della causalità):
Scrivi il codice che disegna una matrice di correlazione e una mappa termica per le colonne numeriche. Disegna anche un grafico a dispersione delle 3 coppie più correlate. Aggiungi una riga di commento all'output ricordandoti che la correlazione non implica causalità. Non fare affermazioni causali.
3) Diagnosi della distribuzione:
Per la colonna "reddito_tl": scrivi il codice che produce l'istogramma, il box plot, il valore di asimmetria e il confronto mediana/media. Interpreterò se la distribuzione è distorta o meno; basta dare il codice.
4) Confronto dei segmenti:
Confronta i clienti per "canale" (web/mobile): scrivi il codice che produce un boxplot dell'importo medio, dell'importo mediano, del numero di ordini e della distribuzione dell'importo per ciascun canale. Suggerisci quale test è appropriato per la significatività statistica della differenza tra i due canali, ma la decisione spetta a me.
Prompt debole / Prompt forte
Suggerimento debole:
Trova qualcosa di interessante in questi dati.
"Interessante" non è definito; L’intelligenza artificiale non vede i dati, quindi li inventa o fa affermazioni generali. Non c’è direzione, né variabili, né scopo.
Suggerimento potente:
Il tuo ruolo: assistente EDA. colonne df: età (int), reddito_tl (float), città (categoria), canale (web/mobile), importo (float). Scopo: scoprire i fattori che influenzano la "quantità". Compito: (1) codice che traccia la distribuzione dell'importo, (2) grafici di distribuzione tra importo, età e reddito_tl, (3) box plot dell'importo nella suddivisione del canale. Stabilire un'affermazione causale; Genera semplicemente il codice di rilevamento e io interpreterò il modello.
Qui lo scopo, le variabili e il limite della "rivendicazione di causalità" sono chiari.
Errori comuni
- Basandosi esclusivamente su statistiche riassuntive. Come mostra il quartetto di Anscombe, la stessa media nasconde distribuzioni molto diverse; vedere la tabella.
- Confondere la correlazione con la causalità. La coazione non indica che l'uno porti all'altro; Attenzione alle variabili nascoste.
- Osservando la correlazione senza un grafico a dispersione. Un singolo valore anomalo o curvilinearità fuorvia il numero.
- Riassumendo una distribuzione a due picchi/asimmetrica con la media. La media potrebbe non rappresentare nessuno.
- Saltare l'EDA e andare direttamente al modello. I dati non riconosciuti indicano un modello cieco.
Suggerimento: con ogni nuovo set di dati, dedica i primi 30 minuti solo a disegnare grafici: istogramma di ciascun numero, grafico a dispersione di coppie significative, grafico a barre delle categorie. Questi 30 minuti prevengono futuri errori di modellazione per i giorni a venire.
In sintesi
L'EDA è la fase di conoscenza dei dati prima di costruire un modello e cerca risposte a quattro domande: distribuzione, diffusione del centro, relazioni e anomalie. Le statistiche riassuntive possono essere fuorvianti; guardare il grafico è d'obbligo (lezione Anscombe). La correlazione è uno strumento potente, ma la causalità non lo è e dovrebbe assolutamente essere letta insieme a un grafico a dispersione. L’intelligenza artificiale è un grande acceleratore per suggerire grafica e scrivere codice; Ma le persone interpretano con la loro conoscenza del campo se lo schema che vedono è reale o una coincidenza.
Compito dell'applicazione
Scegli un set di dati ed esegui semplicemente EDA: estrai un istogramma di almeno tre variabili numeriche, un grafico a dispersione di due coppie di variabili e una mappa termica di correlazione. Trova almeno una “sorpresa” (come una distribuzione con due picchi, un candidato per una correlazione spuria, una relazione attratta da un singolo valore anomalo) e spiegala in una frase. Scrivere senza fare alcuna affermazione causale.
lista di controllo
- [ ] Ho rappresentato graficamente la distribuzione di ciascuna variabile numerica?
- [ ] Ho osservato le correlazioni con il grafico a dispersione?
- [ ] Ho mantenuto separate causalità e correlazione?
- [ ] Non ho notato distribuzioni distorte o a due picchi e non mi fido ciecamente della media?
- [ ] Ho derivato almeno un aspetto/ipotesi di modellazione dai risultati dell'EDA?