Gevinster:
- Evne til at udforske fordelingen, centrum, spredning og anomalier af variabler med passende grafer (histogram, boksplot, scatterplot).
- Evne til at fortolke korrelation korrekt og læse den sammen med scatter-plot uden at forveksle det med kausalitet
- Evne til at forstå, at opsummerende statistik kan være vildledende (Anscombe lektion) og udvikle hypoteser, der bestemmer retningen for modellering.
Før man bygger en model, er det nødvendigt at kende dataene. Ligesom en læge ikke ordinerer medicin uden at undersøge patienten, bygger en dataforsker ikke en model uden at "undersøge" dataene. Denne undersøgelse kaldes eksplorativ dataanalyse (forkortet EDA): det er fasen, hvor man opdager dataens distribution, sammenhænge, overraskelser og fælder visuelt og grafisk. Formålet med EDA er at generere hypoteser, fange fejl og bestemme modelleringsretningen. Kunstig intelligens er en meget kraftfuld assistent på dette stadium: den foreslår hvilket diagram der er egnet, skriver dets kode, fortolker en fordeling. Men en person bestemmer, med sin feltviden, om det mønster, han ser, er virkeligt eller en tilfældighed.
Hvad leder EDA efter?
EDA søger svar på fire spørgsmål. Fordeling: Hvordan er hver variabel fordelt - er den symmetrisk, skæv eller to-spidset? Central tendens og spredning: Hvad er middelværdien, medianen, standardafvigelsen? Relationer: Hvordan er variablerne relateret til hinanden? Anomalier: Er der uventede værdier, huller, grupperinger? Disse fire spørgsmål bestemmer, hvilken funktion der fungerer, og hvilken model der er passende.
Lad os definere nogle grundlæggende begreber. Et histogram er en graf, der deler værdierne af en numerisk variabel i intervaller og viser, hvor mange observationer der er i hvert interval; Det er den hurtigste måde at se fordelingen på. Skævhed er forskydningen af fordelingen i én retning; Variabler såsom indkomst er skæve til højre (flertallet lav, få meget høj). Et boksplot viser median, kvartiler og outliers på et øjeblik. Et spredningsplot viser forholdet mellem to numeriske variable og en sky af punkter.
Korrelation: der er et forhold, men vær forsigtig
Korrelation — et mål for, hvordan to variable bevæger sig sammen; et tal mellem -1 og +1 — er det mest brugte og mest misforståede værktøj i EDA. +1 betyder perfekt co-forøgelse, -1 betyder perfekt omvendt sammenhæng, 0 betyder ingen lineær sammenhæng. Der er to store fælder. For det første den berømte regel: korrelation er ikke årsagssammenhæng. Kvælningstilfælde stiger med salget af is; ikke fordi det ene fører til det andet, men fordi sommeren (den skjulte tredje variabel) udløser begge. For det andet måler korrelation kun lineær sammenhæng; Det kan indikere et stærkt, men krumt forhold tæt på 0. Så når du ser på korrelation, skal du sørge for også at se på spredningsplottet.
Forsigtig: Når AI giver et korrelationstal, kan det glide over i kausalt sprog som "A øger B." Dette er farligt. Korrelation indikerer kun bevægelse sammen; Kun erfaring, domænekendskab og omhyggelig slutning fastslår årsagen.
Anscombe-kvartet: hvorfor ikke bare se på nummeret
Der er et berømt eksempel i statistik: Anscombe-kvartetten. Fire forskellige datasæt har næsten samme middelværdi, samme varians og samme korrelation (0,82); Men når de er tegnet, ser de helt anderledes ud - en lige linje, en buet, en en sky trukket af en enkelt afviger. Lektionen er klar: opsummerende statistikker er vildledende, at se på grafen er et must. AI kan give dig gennemsnit og korrelationer, men at stole på disse tal uden at se grafen falder i Anscombe-fælden.
Tabellen nedenfor opsummerer, hvilket diagram der passer til hvilket spørgsmål:
Spørgsmål
passende grafik
Hvad viser
Fordeling af en enkelt variabel
Histogram / KDE
Form, skævhed, antal hjørner
Center og outliers
Boksplot
Median, kvartiler, outliers
Forholdet mellem to tal
punktdiagram
Retning, styrke, krumning
Kategori sammenligning
søjlediagram
Forskel mellem grupper
ændre sig over tid
linjediagram
Trend, sæsonbestemt
Multivariat forhold
Korrelationsvarmekort
Generel relationsmatrix
Simpsons paradoks: aggregerede data kan lyve
En lusket fælde i EDA at være opmærksom på er Simpsons paradoks: et mønster kan vise én retning, når alle data undersøges sammen, men vende om, når dataene er opdelt i meningsfulde undergrupper. Klassisk eksempel: den samlede acceptrate for kvindelige ansøgere på et universitet ser ud til at være lavere end for mænd; Men når man ser på afdeling for afdeling, er acceptprocenten for kvinder højere end mænd i de fleste afdelinger. Hvorfra? Kvinder søgte til mere konkurrencedygtige (lavere acceptprocenter) afdelinger; Det kombinerede tal gemmer denne skjulte variabel. Lektionen er klar: Når du ser på en total eller et gennemsnit, skal du sørge for at kontrollere, om det tal fortæller den samme historie, når det er opdelt i meningsfulde undergrupper (segment, periode, kanal). Når AI giver dig en kombineret hastighed, vil spørgsmålet "er det stadig gyldigt, når du segmenterer det", fange de fleste vildledende resultater tidligt.
tre minisager
Tilfælde 1 - To skjulte bakker. En analytiker fandt, at den gennemsnitlige kundealder var 41 og rapporterede det som en "middelaldrende skare." Men histogrammet viste to toppe: aldersgrupperne 22-28 og 55-62. Den gennemsnitlige 41 repræsenterede faktisk ikke nogen. Lektion: plot fordelingen før du stoler på middelværdien.
Tilfælde 2 — Falsk sammenhæng. Et team fandt en 0,78 sammenhæng mellem "annonceudgifter" og "salg" og fordoblede budgettet. Men hvad der udløste begge var sæsonbestemte kampagner; i perioden uden for kampagnen faldt forholdet til 0,10. 340 tusind TL yderligere annoncering gav ikke det forventede afkast. Lektion: Det er dyrt at forveksle sammenhæng med årsagssammenhæng.
Tilfælde 3 — Den linje, der trækkes af den enlige kontrar. En ejendomsanalyse viste en stærk sammenhæng mellem kvadratmeter og pris (r=0,80). Da scatter-plot blev tegnet, blev næsten hele forholdet skabt af en enkelt 12 millioner TL luksusvilla; Da det punkt blev fjernet, faldt korrelationen til 0,31. Lektion: Læs altid korrelationen sammen med scatter-plot.
Fire kopierbare skabeloner
1) Automatisk EDA-oversigt:
Jeg har pandaer df. Skriv kode, der producerer: (1) df.info() og df.describe(), (2) histogram for hver numerisk kolonne, (3) tæller for hver kategorisk kolonne. Kommenter ikke, generer blot opdagelseskoden; Jeg fortolker mønstrene.
2) Korrelation + visuel (med forbehold om kausalitet):
Skriv kode, der tegner en korrelationsmatrix og et varmekort for de numeriske kolonner. Tegn også et punktdiagram af de 3 højest korrelerede par. Tilføj en kommentarlinje til outputtet, der minder dig om, at korrelation ikke indebærer årsagssammenhæng. Fremsæt ikke kausale påstande.
3) Distributionsdiagnose:
For kolonnen "income_tl": skriv kode, der producerer histogram, boksplot, skævhedsværdi og median/middel-sammenligning. Jeg vil tolke om fordelingen er skæv eller ej; bare giv koden.
4) Segmentsammenligning:
Sammenlign kunder efter "kanal" (web/mobil): skriv kode, der producerer et boxplot af det gennemsnitlige beløb, medianbeløb, antal ordrer og mængdefordeling for hver kanal. Foreslå hvilken test der er passende for statistisk signifikans af forskellen mellem de to kanaler, men beslutningen er op til mig.
Svag prompt / Stærk prompt
Svag prompt:
Find noget interessant i disse data.
"Interessant" er udefineret; AI kan ikke se dataene, så det enten opdigter dem eller kommer med generelle udsagn. Der er ingen retning, ingen variabler, intet formål.
Kraftig prompt:
Din rolle: EDA-assistent. df-kolonner: alder (int), indkomst_tl (float), by (kategori), kanal (web/mobil), beløb (float). Formål: at opdage de faktorer, der påvirker "beløb". Opgave: (1) kode, der plotter fordelingen af beløb, (2) fordelingsgrafer mellem beløb og alder og indkomst_tl, (3) boksplot af beløb i kanalopdeling. Etablering af et kausalt krav; Bare generer opdagelseskoden, så fortolker jeg mønsteret.
Her er formålet, variablerne og grænsen for "påstand om kausalitet" klar.
Almindelige fejl
- Udelukkende afhængig af oversigtsstatistikker. Som Anscombe-kvartetten viser, skjuler den samme middelværdi meget forskellige fordelinger; se diagrammet.
- Forkert sammenhæng med årsagssammenhæng. Co-action indikerer ikke, at det ene fører til det andet; Pas på skjulte variabler.
- Ser på korrelation uden et scatter plot. En enkelt outlier eller krumning vildleder tallet.
- Opsummering af en to-spids/skæv fordeling med middelværdien. Gennemsnittet repræsenterer måske ikke nogen.
- Springer EDA over og går direkte til modellen. Ugenkendte data betyder blind model.
Tip: Med hvert nyt datasæt skal du bruge de første 30 minutter på at tegne grafer: histogram af hver numerisk, spredningsplot af signifikante par, søjlediagram over kategorier. Disse 30 minutter forhindrer fremtidige modelleringsfejl i de kommende dage.
Sammenfattende
EDA er den fase, hvor man lærer dataene at kende, før man bygger en model og søger svar på fire spørgsmål: distribution, center-spredning, relationer og anomalier. Sammenfattende statistik kan være vildledende; at se på grafen er et must (Anscombe-foredrag). Korrelation er et kraftfuldt værktøj, men årsagssammenhæng er ikke og bør absolut læses sammen med et scatterplot. AI er en fantastisk accelerator til at foreslå grafik og skrive kode; Men folk fortolker med deres feltviden, om det mønster, de ser, er virkeligt eller en tilfældighed.
Ansøgningsopgave
Vælg et datasæt og lav bare EDA: udtræk et histogram med mindst tre numeriske variable, et spredningsplot af to par variabler og et korrelationsvarmekort. Find mindst én "overraskelse" (såsom en fordeling med to toppe, en kandidat til falsk korrelation, et forhold tiltrukket af en enkelt afviger) og forklar det i én sætning. Skriv uden at komme med årsagspåstande.
tjekliste
- [ ] Har jeg tegnet fordelingen af hver numerisk variabel graf?
- [ ] Så jeg på sammenhængene med scatterplot?
- [ ] Har jeg holdt kausalitet og sammenhæng adskilt?
- [ ] Lagde jeg ikke mærke til skæve eller to-spidsede fordelinger og stolede blindt på gennemsnittet?
- [ ] Har jeg udledt mindst ét modelleringsaspekt/-hypotese fra mine EDA-resultater?