Winst:
- Mogelijkheid om de verdeling, het centrum, de spreiding en de afwijkingen van variabelen te onderzoeken met de juiste grafieken (histogram, boxplot, spreidingsdiagram).
- Vermogen om correlatie correct te interpreteren en samen met het spreidingsdiagram te lezen, zonder deze te verwarren met causaliteit
- Vermogen om te begrijpen dat samenvattende statistieken misleidend kunnen zijn (Anscombe-les) en hypothesen te ontwikkelen die de richting van het modelleren bepalen.
Voordat u een model kunt bouwen, is het noodzakelijk om de gegevens te kennen. Net zoals een arts geen medicijnen voorschrijft zonder de patiënt te onderzoeken, bouwt een datawetenschapper geen model zonder de gegevens te ‘onderzoeken’. Dit onderzoek wordt verkennende data-analyse (kortweg EDA) genoemd: het is de fase waarin de distributie, relaties, verrassingen en valkuilen van de data visueel en grafisch worden ontdekt. Het doel van EDA is het genereren van hypothesen, het opsporen van fouten en het bepalen van de richting van het modelleren. Kunstmatige intelligentie is in dit stadium een zeer krachtige assistent: het suggereert welke grafiek geschikt is, schrijft de code ervan, interpreteert een verdeling. Maar een persoon beslist, met zijn/haar kennis van het veld, of het patroon dat hij ziet echt is of toeval.
Waar let EDA op?
EDA zoekt antwoorden op vier vragen. Verdeling: Hoe wordt elke variabele verdeeld: is deze symmetrisch, scheef of met twee pieken? Centrale tendens en spreiding: wat zijn de gemiddelde, mediaan, standaarddeviatie? Relaties: Hoe zijn de variabelen met elkaar verbonden? Anomalieën: Zijn er onverwachte waarden, hiaten, groeperingen? Deze vier vragen bepalen welke functie werkt en welk model geschikt is.
Laten we enkele basisconcepten definiëren. Een histogram is een grafiek die de waarden van een numerieke variabele in intervallen verdeelt en laat zien hoeveel waarnemingen er in elk interval zitten; Het is de snelste manier om de verdeling te zien. Scheefheid is de verschuiving van de verdeling in één richting; Variabelen zoals inkomen zijn scheef naar rechts (meerderheid laag, weinig zeer hoog). Een boxplot toont in één oogopslag de mediaan, kwartielen en uitschieters. Een spreidingsdiagram toont de relatie van twee numerieke variabelen met een puntenwolk.
Correlatie: er is een relatie, maar wees voorzichtig
Correlatie — een maatstaf voor hoe twee variabelen samen bewegen; een getal tussen -1 en +1 is het meest gebruikte en meest onbegrepen instrument van EDA. +1 betekent perfecte co-toename, -1 betekent perfecte omgekeerde relatie, 0 betekent geen lineaire relatie. Er zijn twee grote vallen. Ten eerste de beroemde regel: correlatie is geen oorzakelijk verband. Het aantal gevallen van verstikking neemt toe met de verkoop van ijs; niet omdat het een tot het ander leidt, maar omdat de zomer (de verborgen derde variabele) beide in gang zet. Ten tweede meet correlatie alleen de lineaire relatie; Het kan wijzen op een sterk maar kromlijnig verband dat dicht bij 0 ligt. Als u dus naar de correlatie kijkt, zorg er dan voor dat u ook naar het spreidingsdiagram kijkt.
Let op: wanneer de AI een correlatiegetal geeft, kan deze in causale taal terechtkomen, zoals ‘A verhoogt B.’ Dit is gevaarlijk. Correlatie duidt alleen op beweging samen; Alleen ervaring, domeinkennis en zorgvuldige gevolgtrekking kunnen de reden vaststellen.
Anscombe kwartet: waarom kijken we niet gewoon naar het nummer?
Er is een beroemd voorbeeld uit de statistiek: het Anscombe-kwartet. Vier verschillende datasets hebben vrijwel hetzelfde gemiddelde, dezelfde variantie en dezelfde correlatie (0,82); Maar als ze in een grafiek worden weergegeven, zien ze er totaal anders uit: één rechte lijn, één gebogen, één een wolk die wordt getrokken door een enkele uitbijter. De les is duidelijk: samenvattende statistieken zijn misleidend, naar de grafiek kijken is een must. AI kan je gemiddelden en correlaties geven, maar als je op die cijfers vertrouwt zonder de grafiek te zien, trap je in de Anscombe-valkuil.
De onderstaande tabel vat samen welk diagram bij welke vraag past:
Vraag
geschikte afbeelding
Wat blijkt
Verdeling van een enkele variabele
Histogram/KDE
Vorm, scheefheid, aantal hoekpunten
Centrum en uitschieters
Boxplot
Mediaan, kwartielen, uitschieters
Relatie van twee getallen
spreidingsdiagram
Richting, sterkte, kromming
Categorie vergelijking
staafdiagram
Verschil tussen groepen
veranderen in de loop van de tijd
lijndiagram
Trend, seizoensinvloeden
Multivariate relatie
Correlatie warmtekaart
Algemene relatiematrix
Simpsons paradox: geaggregeerde gegevens kunnen liegen
Een sluwe valkuil in EDA waar we rekening mee moeten houden is de paradox van Simpson: een patroon kan de ene richting aangeven wanneer alle gegevens samen worden onderzocht, maar de omgekeerde richting aangeven wanneer de gegevens in betekenisvolle subgroepen worden verdeeld. Klassiek voorbeeld: het algemene acceptatiepercentage voor vrouwelijke sollicitanten aan een universiteit lijkt lager te zijn dan voor mannen; Maar als we per afdeling bekijken, is de acceptatiegraad van vrouwen op de meeste afdelingen hoger dan die van mannen. Van waar? Vrouwen solliciteerden op meer competitieve (lagere acceptatiepercentages) afdelingen; Het gecombineerde getal slaat deze verborgen variabele op. De les is duidelijk: als je naar een totaal of een gemiddelde kijkt, zorg er dan voor dat je controleert of dat getal hetzelfde verhaal vertelt wanneer het wordt opgesplitst in betekenisvolle subgroepen (segment, periode, kanaal). Wanneer de AI u een gecombineerd tarief geeft, zal de vraag “is het nog steeds geldig wanneer u het segmenteert” de meeste misleidende resultaten vroegtijdig opleveren.
drie minikoffers
Geval 1 — Twee verborgen heuvels. Eén analist ontdekte dat de gemiddelde leeftijd van klanten 41 jaar was en rapporteerde dit als een 'menigte van middelbare leeftijd'. Maar het histogram liet twee pieken zien: de leeftijdsgroepen 22-28 en 55-62 jaar. Het gemiddelde van 41 vertegenwoordigde eigenlijk niemand. Les: breng de verdeling in kaart voordat u op het gemiddelde vertrouwt.
Geval 2 — Onechte correlatie. Eén team vond een correlatie van 0,78 tussen ‘advertentie-uitgaven’ en ‘verkoop’ en verdubbelde het budget. Wat beide echter triggerde, waren seizoenscampagnes; tijdens de periode buiten de campagne daalde de relatie naar 0,10. 340 duizend TL extra reclame leverde niet het verwachte rendement op. Les: correlatie verwarren met causaliteit is duur.
Geval 3 – De lijn getrokken door de enige tegendraadse. Een vastgoedanalyse toonde een sterke relatie aan tussen vierkante meters en prijs (r=0,80). Toen het spreidingsdiagram werd getekend, werd bijna de hele relatie gecreëerd door een enkele luxe villa van 12 miljoen TL; Toen dat punt werd verwijderd, daalde de correlatie naar 0,31. Les: lees altijd de correlatie samen met het spreidingsdiagram.
Vier kopieerbare sjablonen
1) Automatische EDA-samenvatting:
Ik heb panda's df. Schrijf code die het volgende produceert: (1) df.info() en df.describe(), (2) histogram voor elke numerieke kolom, (3) telling voor elke categorische kolom. Geef geen commentaar, genereer gewoon de ontdekkingscode; Ik interpreteer de patronen.
2) Correlatie + visueel (met het voorbehoud van causaliteit):
Schrijf code die een correlatiematrix en een heatmap voor de numerieke kolommen tekent. Teken ook een spreidingsdiagram van de drie hoogst gecorreleerde paren. Voeg een commentaarregel toe aan de uitvoer om u eraan te herinneren dat correlatie geen oorzakelijk verband impliceert. Maak geen causale claims.
3) Distributiediagnose:
Voor de kolom "income_tl": schrijf code die een histogram, een boxplot, een scheefheidswaarde en een vergelijking van de mediaan/gemiddelde produceert. Ik zal interpreteren of de verdeling scheef is of niet; geef gewoon de code.
4) Segmentvergelijking:
Vergelijk klanten op 'kanaal' (web/mobiel): schrijf code die een boxplot produceert van het gemiddelde bedrag, het mediaanbedrag, het aantal bestellingen en de bedragverdeling voor elk kanaal. Stel voor welke test geschikt is voor de statistische significantie van het verschil tussen de twee kanalen, maar de beslissing is aan mij.
Zwakke prompt/sterke prompt
Zwakke prompt:
Vind iets interessants in deze gegevens.
“Interessant” is niet gedefinieerd; AI ziet de gegevens niet, dus verzint ze deze of doet ze algemene uitspraken. Er is geen richting, geen variabelen, geen doel.
Krachtige prompt:
Jouw rol: EDA-assistent. df-kolommen: leeftijd (int), inkomen_tl (float), stad (categorie), kanaal (web/mobiel), bedrag (float). Doel: het ontdekken van de factoren die van invloed zijn op de "hoeveelheid". Taak: (1) code die de verdeling van het bedrag in kaart brengt, (2) verdelingsgrafieken tussen bedrag en leeftijd en inkomen_tl, (3) boxplot van het bedrag in kanaalverdeling. Het vaststellen van een causale claim; Genereer gewoon de ontdekkingscode en ik interpreteer het patroon.
Hier zijn het doel, de variabelen en de grens van het ‘claimen van causaliteit’ duidelijk.
Veel voorkomende fouten
- Alleen gebaseerd op samenvattende statistieken. Zoals het Anscombe-kwartet laat zien, gaat achter hetzelfde gemiddelde heel verschillende verdelingen schuil; zie grafiek.
- Correlatie verwarren met causaliteit. Co-actie betekent niet dat het één tot het ander leidt; Pas op voor verborgen variabelen.
- Kijken naar correlatie zonder een spreidingsdiagram. Een enkele uitschieter of kromlijnigheid misleidt het getal.
- Een verdeling met twee pieken/scheve verdeling samenvatten met het gemiddelde. Het gemiddelde vertegenwoordigt mogelijk niemand.
- EDA overslaan en direct naar het model gaan. Niet-herkende gegevens betekenen een blind model.
Tip: Besteed bij elke nieuwe dataset de eerste 30 minuten alleen maar aan het tekenen van grafieken: histogram van elk numeriek getal, spreidingsdiagram van significante paren, staafdiagram van categorieën. Deze 30 minuten voorkomen toekomstige modelleringsfouten voor de komende dagen.
Samengevat
EDA is de fase waarin je de gegevens leert kennen voordat een model wordt gebouwd en zoekt naar antwoorden op vier vragen: distributie, centrumspreiding, relaties en anomalieën. Samenvattende statistieken kunnen misleidend zijn; naar de grafiek kijken is een must (Anscombe-lezing). Correlatie is een krachtig hulpmiddel, maar causaliteit is dat niet en moet zeker worden gelezen in combinatie met een spreidingsdiagram. AI is een geweldige versneller voor het voorstellen van afbeeldingen en het schrijven van code; Maar mensen interpreteren met hun veldkennis of het patroon dat ze zien echt is of toeval.
Applicatie taak
Kies een dataset en voer gewoon EDA uit: extraheer een histogram van ten minste drie numerieke variabelen, een spreidingsdiagram van twee paar variabelen en een correlatie-heatmap. Zoek ten minste één ‘verrassing’ (zoals een verdeling met twee pieken, een kandidaat voor valse correlatie, een verband dat wordt aangetrokken door één enkele uitbijter) en leg deze in één zin uit. Schrijf zonder enige causale bewering.
controlelijst
- [ ] Heb ik de verdeling van elke numerieke variabele in een grafiek weergegeven?
- [ ] Heb ik gekeken naar de correlaties met het spreidingsdiagram?
- [ ] Heb ik causaliteit en correlatie gescheiden gehouden?
- [ ] Heb ik geen scheve verdelingen of verdelingen met twee pieken opgemerkt en blindelings op het gemiddelde vertrouwd?
- [ ] Heb ik ten minste één modelaspect/hypothese afgeleid uit mijn EDA-bevindingen?