Vinster:
- Förmåga att utforska fördelningen, mitten, spridningen och anomalierna hos variabler med lämpliga grafer (histogram, boxplot, scatterplot).
- Förmåga att tolka korrelation korrekt och läsa den tillsammans med scatter plot, utan att förväxla den med kausalitet
- Förmåga att förstå att sammanfattande statistik kan vara missvisande (Anscombe-lektion) och utveckla hypoteser som bestämmer riktningen för modelleringen.
Innan man bygger en modell är det nödvändigt att känna till data. Precis som en läkare inte skriver ut medicin utan att undersöka patienten, bygger inte en datavetare en modell utan att "undersöka" data. Denna undersökning kallas exploratory data analysis (EDA för kort): det är fasen för att upptäcka fördelningen, sambanden, överraskningarna och fällorna av datan visuellt och grafiskt. Syftet med EDA är att generera hypoteser, fånga fel och bestämma modelleringsriktningen. Artificiell intelligens är en mycket kraftfull assistent i detta skede: den föreslår vilket diagram som är lämpligt, skriver dess kod, tolkar en distribution. Men en person avgör, med sin fältkunskap, om mönstret han ser är verkligt eller en slump.
Vad letar EDA efter?
EDA söker svar på fyra frågor. Fördelning: Hur är varje variabel fördelad – är den symmetrisk, skev eller tvåtoppad? Central tendens och spridning: Vad är medelvärde, median, standardavvikelse? Relationer: Hur är variablerna relaterade till varandra? Anomalier: Finns det oväntade värden, luckor, grupperingar? Dessa fyra frågor avgör vilken funktion som fungerar och vilken modell som är lämplig.
Låt oss definiera några grundläggande begrepp. Ett histogram är en graf som delar upp värdena för en numerisk variabel i intervall och visar hur många observationer som finns i varje intervall; Det är det snabbaste sättet att se fördelningen. Skevhet är förskjutningen av fördelningen i en riktning; Variabler som inkomst är snedställda åt höger (majoriteten låg, få mycket hög). En boxplot visar median, kvartiler och extremvärden i ett ögonkast. Ett spridningsdiagram visar förhållandet mellan två numeriska variabler och ett moln av punkter.
Korrelation: det finns ett förhållande men var försiktig
Korrelation — ett mått på hur två variabler rör sig tillsammans; ett tal mellan -1 och +1 — är det mest använda och mest missförstådda verktyget i EDA. +1 betyder perfekt medökning, -1 betyder perfekt omvänt samband, 0 betyder inget linjärt samband. Det finns två stora fällor. Först den berömda regeln: korrelation är inte orsakssamband. Kvävningsfall ökar med glassförsäljningen; inte för att det ena leder till det andra, utan för att sommaren (den dolda tredje variabeln) utlöser båda. För det andra mäter korrelation endast linjärt samband; Det kan tyda på ett starkt men kurvlinjärt samband nära 0. Så när du tittar på korrelation, se till att titta på spridningsdiagrammet också.
Varning: När AI:n ger ett korrelationstal, kan den glida in i ett kausalt språk som "A ökar B." Det här är farligt. Korrelation indikerar endast rörelse tillsammans; Endast erfarenhet, domänkunskap och noggrann slutledning fastställer orsaken.
Anscombe-kvartett: varför inte bara titta på numret
Det finns ett känt exempel inom statistiken: Anscombe-kvartetten. Fyra olika datamängder har nästan samma medelvärde, samma varians och samma korrelation (0,82); Men när de är grafiska ser de helt annorlunda ut - en rak linje, en krökt, en ett moln som dras av en enda ytterstång. Lärdomen är tydlig: sammanfattande statistik är missvisande, att titta på grafen är ett måste. AI kan ge dig medelvärden och korrelationer, men att lita på dessa siffror utan att se grafen faller i Anscombe-fällan.
Tabellen nedan sammanfattar vilket diagram som passar vilken fråga:
Fråga
passande grafik
Vad visar
Fördelning av en enda variabel
Histogram / KDE
Form, skevhet, antal hörn
Centrum och extremvärden
Box tomt
Median, kvartiler, extremvärden
Förhållandet mellan två siffror
spridningsdiagram
Riktning, styrka, krökning
Kategorijämförelse
stapeldiagram
Skillnad mellan grupper
förändras över tid
linjediagram
Trend, säsongsvariationer
Multivariat förhållande
Korrelationsvärmekarta
Allmän relationsmatris
Simpsons paradox: aggregerad data kan ljuga
En smygfälla i EDA att vara medveten om är Simpsons paradox: ett mönster kan visa en riktning när all data undersöks tillsammans, men vända när data delas in i meningsfulla undergrupper. Klassiskt exempel: den totala acceptansgraden för kvinnliga sökande vid ett universitet verkar vara lägre än för män; Men när man tittar på avdelning för avdelning är acceptansen bland kvinnor högre än män på de flesta avdelningar. Varifrån? Kvinnor sökte till mer konkurrenskraftiga (lägre acceptansgrader) avdelningar; Det kombinerade numret lagrar denna dolda variabel. Lärdomen är tydlig: när du tittar på en total eller ett medelvärde, se till att kontrollera om den siffran berättar samma historia när den delas upp i meningsfulla undergrupper (segment, period, kanal). När AI:n ger dig en kombinerad hastighet, frågar du "är den fortfarande giltig när du segmenterar den" kommer de flesta missvisande resultat tidigt.
tre minifodral
Fall 1 — Två gömda kullar. En analytiker fann att den genomsnittliga kundåldern var 41 och rapporterade det som en "medelålders publik". Men histogrammet visade två toppar: åldersgrupperna 22-28 och 55-62. Genomsnittet 41 representerade faktiskt inte någon. Lektion: rita fördelningen innan du litar på medelvärdet.
Fall 2 — Falsk korrelation. Ett team hittade en korrelation på 0,78 mellan "annonsutgifter" och "försäljning" och fördubblade budgeten. Men det som utlöste båda var säsongsbetonade kampanjer; under perioden utanför kampanjen sjönk förhållandet till 0,10. 340 tusen TL ytterligare reklam gav inte den förväntade avkastningen. Lärdom: att missförstå korrelation för orsakssamband är dyrt.
Fall 3 — Den linje som dras av den ensamma kontraristen. En fastighetsanalys visade på ett starkt samband mellan kvadratmeter och pris (r=0,80). När scatterplotten drogs skapades nästan hela relationen av en enda lyxvilla på 12 miljoner TL; När den punkten togs bort sjönk korrelationen till 0,31. Lektion: läs alltid korrelationen tillsammans med spridningsdiagrammet.
Fyra kopierbara mallar
1) Automatisk EDA-sammanfattning:
Jag har pandor df. Skriv kod som producerar: (1) df.info() och df.describe(), (2) histogram för varje numerisk kolumn, (3) räkning för varje kategorisk kolumn. Kommentera inte, generera bara upptäcktskoden; Jag tolkar mönstren.
2) Korrelation + visuell (med förbehåll om kausalitet):
Skriv kod som ritar en korrelationsmatris och en värmekarta för de numeriska kolumnerna. Rita också ett spridningsdiagram av de 3 högsta korrelerade paren. Lägg till en kommentarsrad i utgången som påminner dig om att korrelation inte innebär orsakssamband. Gör inga kausala påståenden.
3) Distributionsdiagnos:
För kolumnen "inkomst_tl": skriv kod som producerar histogram, boxplot, skevhetsvärde och median/medelvärde jämförelse. Jag ska tolka om fördelningen är skev eller inte; ge bara koden.
4) Segmentjämförelse:
Jämför kunder efter "kanal" (webb/mobil): skriv kod som producerar en boxplot av medelbelopp, medianbelopp, antal beställningar och beloppsfördelning för varje kanal. Föreslå vilket test som är lämpligt för statistisk signifikans av skillnaden mellan de två kanalerna, men beslutet är upp till mig.
Svag prompt / Stark prompt
Svag uppmaning:
Hitta något intressant i denna data.
"Intressant" är odefinierat; AI ser inte data, så den antingen skapar den eller gör allmänna uttalanden. Det finns ingen riktning, inga variabler, inget syfte.
Kraftfull uppmaning:
Din roll: EDA-assistent. df-kolumner: ålder (int), inkomst_tl (flytande), stad (kategori), kanal (webb/mobil), belopp (flytande). Syfte: att upptäcka de faktorer som påverkar "belopp". Uppgift: (1) kod som plottar fördelningen av beloppet, (2) fördelningsdiagram mellan belopp och ålder och inkomst_tl, (3) ruta med belopp i kanaluppdelning. Fastställande av ett kausalt påstående; Generera bara upptäcktskoden så tolkar jag mönstret.
Här är syftet, variablerna och gränsen för att "påstå kausalitet" tydlig.
Vanliga misstag
- Förlitar sig enbart på sammanfattande statistik. Som Anscombe-kvartetten visar, döljer samma medelvärde mycket olika distributioner; se diagram.
- Misstag korrelation för orsakssamband. Samverkan indikerar inte att det ena leder till det andra; Se upp för dolda variabler.
- Tittar på korrelation utan ett spridningsdiagram. En enda avvikelse eller kurvlinjäritet vilseleder siffran.
- Sammanfatta en tvåtoppad/skev fördelning med medelvärdet. Genomsnittet kanske inte representerar någon.
- Hoppa över EDA och gå direkt till modellen. Okänd data betyder blind modell.
Tips: Med varje ny datamängd, ägna de första 30 minuterna åt att rita grafer: histogram för varje numerisk, spridningsdiagram över signifikanta par, stapeldiagram över kategorier. Dessa 30 minuter förhindrar framtida modelleringsfel i dagar framöver.
Sammanfattningsvis
EDA är fasen för att lära känna data innan man bygger en modell och söker svar på fyra frågor: distribution, centrumspridning, relationer och anomalier. Sammanfattande statistik kan vara missvisande; att titta på grafen är ett måste (Anscombe-föreläsning). Korrelation är ett kraftfullt verktyg, men orsakssamband är inte och bör definitivt läsas i samband med ett spridningsdiagram. AI är en utmärkt accelerator för att föreslå grafik och skriva kod; Men människor tolkar med sin fältkunskap om mönstret de ser är verkligt eller en slump.
Applikationsuppgift
Välj en datauppsättning och gör bara EDA: extrahera ett histogram med minst tre numeriska variabler, ett spridningsdiagram med två par av variabler och en korrelationsvärmekarta. Hitta minst en "överraskning" (som en fördelning med två toppar, en kandidat för falsk korrelation, ett förhållande som lockas av en enda extremvärde) och förklara det i en mening. Skriv utan att göra några orsakspåståenden.
checklista
- [ ] Har jag ritat fördelningen av varje numerisk variabel?
- [ ] Kollade jag på sambanden med spridningsdiagrammet?
- [ ] Har jag hållit kausalitet och korrelation åtskilda?
- [ ] Lade jag inte märke till skeva eller tvåtoppade fördelningar och litade blint på medelvärdet?
- [ ] Har jag härlett åtminstone en modelleringsaspekt/hypotes från mina EDA-fynd?