Explorative Datenanalyse (EDA): Verteilungen, Beziehungen und erste Erkenntnisse

Gewinne:

• Fähigkeit, die Verteilung, das Zentrum, die Streuung und Anomalien von Variablen mit geeigneten Diagrammen (Histogramm, Boxplot, Streudiagramm) zu untersuchen.
• Fähigkeit, Korrelationen richtig zu interpretieren und zusammen mit dem Streudiagramm zu lesen, ohne sie mit Kausalität zu verwechseln
• Fähigkeit zu verstehen, dass zusammenfassende Statistiken irreführend sein können (Anscombe-Lektion) und Hypothesen zu entwickeln, die die Richtung der Modellierung bestimmen.

Bevor Sie ein Modell erstellen, müssen Sie die Daten kennen. So wie ein Arzt keine Medikamente verschreibt, ohne den Patienten zu untersuchen, erstellt ein Datenwissenschaftler kein Modell, ohne die Daten zu „untersuchen“. Diese Untersuchung wird als explorative Datenanalyse (kurz EDA) bezeichnet: Es handelt sich um die Phase, in der die Verteilung, Zusammenhänge, Überraschungen und Fallen der Daten visuell und grafisch entdeckt werden. Der Zweck von EDA besteht darin, Hypothesen zu generieren, Fehler zu erkennen und die Modellierungsrichtung zu bestimmen. Künstliche Intelligenz ist in dieser Phase ein sehr leistungsfähiger Helfer: Sie schlägt vor, welches Diagramm geeignet ist, schreibt seinen Code und interpretiert eine Verteilung. Aber ein Mensch entscheidet anhand seines Fachwissens, ob das Muster, das er sieht, real oder ein Zufall ist.

Wonach sucht EDA?

EDA sucht Antworten auf vier Fragen. Verteilung: Wie ist jede Variable verteilt – ist sie symmetrisch, schief oder zweispitzig? Zentrale Tendenz und Streuung: Was sind Mittelwert, Median und Standardabweichung? Beziehungen: In welcher Beziehung stehen die Variablen zueinander? Anomalien: Gibt es unerwartete Werte, Lücken, Gruppierungen? Diese vier Fragen bestimmen, welche Funktion funktioniert und welches Modell geeignet ist.

Lassen Sie uns einige grundlegende Konzepte definieren. Ein Histogramm ist ein Diagramm, das die Werte einer numerischen Variablen in Intervalle unterteilt und zeigt, wie viele Beobachtungen in jedem Intervall liegen; Dies ist der schnellste Weg, die Verteilung zu sehen. Schiefe ist die Verschiebung der Verteilung in eine Richtung; Variablen wie das Einkommen sind rechtsschief (mehrheitlich niedrig, wenige sehr hoch). Ein Boxplot zeigt den Median, die Quartile und Ausreißer auf einen Blick. Ein Streudiagramm zeigt die Beziehung zweier numerischer Variablen mit einer Punktwolke.

Korrelation: Es besteht eine Beziehung, aber seien Sie vorsichtig

Korrelation – ein Maß dafür, wie sich zwei Variablen zusammen bewegen; eine Zahl zwischen -1 und +1 – ist das am häufigsten verwendete und am meisten missverstandene EDA-Tool. +1 bedeutet perfekte Co-Zunahme, -1 bedeutet perfekte inverse Beziehung, 0 bedeutet keine lineare Beziehung. Es gibt zwei große Fallen. Erstens die berühmte Regel: Korrelation ist keine Kausalität. Erstickungsfälle nehmen mit dem Verkauf von Eis zu; Nicht weil das eine zum anderen führt, sondern weil der Sommer (die verborgene dritte Variable) beides auslöst. Zweitens misst die Korrelation nur die lineare Beziehung; Dies kann auf eine starke, aber krummlinige Beziehung nahe 0 hinweisen. Wenn Sie sich also die Korrelation ansehen, achten Sie darauf, auch das Streudiagramm zu betrachten.

Achtung: Wenn die KI eine Korrelationszahl angibt, kann es sein, dass sie in eine kausale Sprache wie „A erhöht B“ verfällt. Das ist gefährlich. Korrelation zeigt nur eine gemeinsame Bewegung an; Nur Erfahrung, Domänenwissen und sorgfältige Schlussfolgerungen ermitteln den Grund.

Anscombe-Quartett: Schauen Sie sich doch einfach die Zahl an

In der Statistik gibt es ein berühmtes Beispiel: das Anscombe-Quartett. Vier verschiedene Datensätze haben fast den gleichen Mittelwert, die gleiche Varianz und die gleiche Korrelation (0,82); Aber in der grafischen Darstellung sehen sie völlig anders aus – eine gerade Linie, eine gekrümmte, eine wie eine Wolke, die von einem einzelnen Ausreißer gezogen wird. Die Lektion ist klar: Zusammenfassende Statistiken sind irreführend, ein Blick auf die Grafik ist ein Muss. KI kann Ihnen Durchschnittswerte und Korrelationen liefern, aber wenn Sie diesen Zahlen vertrauen, ohne die Grafik zu sehen, tappen Sie in die Anscombe-Falle.

Die folgende Tabelle fasst zusammen, welches Diagramm zu welcher Frage passt:

Frage

passende Grafik

Was zeigt

Verteilung einer einzelnen Variablen

Histogramm / KDE

Form, Schiefe, Anzahl der Eckpunkte

Zentrum und Ausreißer

Boxplot

Median, Quartile, Ausreißer

Beziehung zweier Zahlen

Streudiagramm

Richtung, Stärke, Krümmung

Kategorievergleich

Balkendiagramm

Unterschied zwischen Gruppen

sich im Laufe der Zeit ändern

Liniendiagramm

Trend, Saisonalität

Multivariate Beziehung

Korrelations-Heatmap

Allgemeine Beziehungsmatrix

Simpsons Paradoxon: Aggregierte Daten können lügen

Eine heimliche Falle in der EDA, die man beachten sollte, ist das Simpson-Paradoxon: Ein Muster zeigt möglicherweise eine Richtung, wenn alle Daten zusammen untersucht werden, kehrt jedoch um, wenn die Daten in sinnvolle Untergruppen unterteilt werden. Klassisches Beispiel: Die Gesamtakzeptanzquote für weibliche Bewerber an einer Universität scheint niedriger zu sein als für männliche; Betrachtet man jedoch die einzelnen Abteilungen, ist die Aufnahmequote von Frauen in den meisten Abteilungen höher als die von Männern. Wovon? Frauen bewarben sich in wettbewerbsfähigeren Abteilungen (niedrigere Akzeptanzquoten); Die kombinierte Zahl speichert diese versteckte Variable. Die Lektion ist klar: Wenn Sie eine Gesamt- oder Durchschnittszahl betrachten, achten Sie darauf, zu prüfen, ob diese Zahl das Gleiche sagt, wenn sie in sinnvolle Untergruppen (Segment, Zeitraum, Kanal) unterteilt wird. Wenn die KI Ihnen einen kombinierten Tarif vorgibt, werden Sie durch die Frage „Ist dieser noch gültig, wenn Sie ihn segmentieren?“ schon früh zu den meisten irreführenden Ergebnissen führen.

drei Mini-Koffer

Fall 1 – Zwei versteckte Hügel. Ein Analyst ermittelte ein durchschnittliches Kundenalter von 41 Jahren und bezeichnete es als „Personengruppe mittleren Alters“. Das Histogramm zeigte jedoch zwei Spitzenwerte: die Altersgruppen 22–28 und 55–62. Der Durchschnitt 41 repräsentierte eigentlich niemanden. Lektion: Zeichnen Sie die Verteilung auf, bevor Sie dem Mittelwert vertrauen.

Fall 2 – Falsche Korrelation. Ein Team stellte eine Korrelation von 0,78 zwischen „Werbeausgaben“ und „Verkäufen“ fest und verdoppelte das Budget. Der Auslöser für beides waren jedoch saisonale Kampagnen; Während der Zeit außerhalb der Kampagne sank das Verhältnis auf 0,10. 340.000 TL zusätzliche Werbung brachten nicht die erwartete Rendite. Lektion: Es ist teuer, Korrelation mit Kausalität zu verwechseln.

Fall 3 – Die vom einsamen Widersacher gezogene Linie. Eine Immobilienanalyse zeigte einen starken Zusammenhang zwischen Quadratmeterzahl und Preis (r=0,80). Als das Streudiagramm erstellt wurde, wurde fast die gesamte Beziehung durch eine einzige 12-Millionen-TL-Luxusvilla geschaffen; Als dieser Punkt entfernt wurde, sank die Korrelation auf 0,31. Lektion: Lesen Sie immer die Korrelation zusammen mit dem Streudiagramm.

Vier kopierbare Vorlagen

1) Automatische EDA-Zusammenfassung:

Ich habe Pandas df. Schreiben Sie Code, der Folgendes erzeugt: (1) df.info() und df.describe(), (2) Histogramm für jede numerische Spalte, (3) Anzahl für jede kategoriale Spalte. Kommentieren Sie nicht, generieren Sie einfach den Erkennungscode. Ich interpretiere die Muster.

2) Korrelation + visuell (mit dem Vorbehalt der Kausalität):

Schreiben Sie Code, der eine Korrelationsmatrix und eine Heatmap für die numerischen Spalten zeichnet. Zeichnen Sie außerdem ein Streudiagramm der drei am höchsten korrelierten Paare. Fügen Sie der Ausgabe eine Kommentarzeile hinzu, die Sie daran erinnert, dass Korrelation keine Kausalität bedeutet. Machen Sie keine kausalen Behauptungen.

3) Verteilungsdiagnose:

Für die Spalte „income_tl“: Schreiben Sie Code, der ein Histogramm, einen Boxplot, einen Schiefewert und einen Median/Mittelwert-Vergleich erstellt. Ich werde interpretieren, ob die Verteilung verzerrt ist oder nicht; Geben Sie einfach den Code ein.

4) Segmentvergleich:

Vergleichen Sie Kunden nach „Kanal“ (Web/Mobil): Schreiben Sie Code, der einen Boxplot des durchschnittlichen Betrags, des mittleren Betrags, der Anzahl der Bestellungen und der Betragsverteilung für jeden Kanal erstellt. Schlagen Sie vor, welcher Test für die statistische Signifikanz des Unterschieds zwischen den beiden Kanälen geeignet ist, aber die Entscheidung liegt bei mir.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Finden Sie etwas Interessantes in diesen Daten.

„Interessant“ ist undefiniert; Die KI sieht die Daten nicht, also erfindet sie sie entweder oder trifft allgemeine Aussagen. Es gibt keine Richtung, keine Variablen, keinen Zweck.

Kraftvolle Aufforderung:

Ihre Rolle: EDA-Assistent. df-Spalten: Alter (int), Einkommen_TL (Float), Stadt (Kategorie), Kanal (Web/Mobil), Betrag (Float). Zweck: Ermittlung der Faktoren, die die „Menge“ beeinflussen. Aufgabe: (1) Code zur Darstellung der Betragsverteilung, (2) Verteilungsdiagramme zwischen Betrag und Alter und Einkommen_tl, (3) Boxplot des Betrags in der Kanalaufschlüsselung. Feststellung eines Kausalanspruchs; Generieren Sie einfach den Erkennungscode und ich interpretiere das Muster.

Hier sind der Zweck, die Variablen und die Grenzen der „Behauptung von Kausalität“ klar.

Häufige Fehler

• Verlassen Sie sich ausschließlich auf zusammenfassende Statistiken. Wie das Anscombe-Quartett zeigt, verbergen sich hinter demselben Mittelwert sehr unterschiedliche Verteilungen; siehe Diagramm.
• Korrelation mit Kausalität verwechseln. Gemeinsames Handeln bedeutet nicht, dass das eine zum anderen führt; Hüten Sie sich vor versteckten Variablen.
• Betrachtung der Korrelation ohne Streudiagramm. Ein einzelner Ausreißer oder eine Krümmungslinearität führt die Zahl in die Irre.
• Zusammenfassen einer Zwei-Peak-/Schiefverteilung mit dem Mittelwert. Der Durchschnitt repräsentiert möglicherweise niemanden.
• Überspringen Sie EDA und gehen Sie direkt zum Modell. Nicht erkannte Daten bedeuten blindes Modell.

Tipp: Verbringen Sie bei jedem neuen Datensatz die ersten 30 Minuten damit, nur Diagramme zu zeichnen: Histogramm jeder Zahl, Streudiagramm der signifikanten Paare, Balkendiagramm der Kategorien. Diese 30 Minuten verhindern zukünftige Modellierungsfehler für die nächsten Tage.

Zusammenfassend

EDA ist die Phase des Kennenlernens der Daten vor der Erstellung eines Modells und sucht nach Antworten auf vier Fragen: Verteilung, Zentralverteilung, Beziehungen und Anomalien. Zusammenfassende Statistiken können irreführend sein; Ein Blick auf die Grafik ist ein Muss (Anscombe-Vorlesung). Korrelation ist ein leistungsfähiges Werkzeug, Kausalität jedoch nicht und sollte unbedingt in Verbindung mit einem Streudiagramm gelesen werden. KI ist ein großartiger Beschleuniger für das Vorschlagen von Grafiken und das Schreiben von Code. Aber Menschen interpretieren anhand ihres Fachwissens, ob das Muster, das sie sehen, real oder ein Zufall ist.

Anwendungsaufgabe

Wählen Sie einen Datensatz und führen Sie einfach eine EDA durch: Extrahieren Sie ein Histogramm von mindestens drei numerischen Variablen, ein Streudiagramm von zwei Variablenpaaren und eine Korrelations-Heatmap. Finden Sie mindestens eine „Überraschung“ (z. B. eine Verteilung mit zwei Spitzen, einen Kandidaten für eine falsche Korrelation, eine Beziehung, die durch einen einzelnen Ausreißer angezogen wird) und erklären Sie sie in einem Satz. Schreiben Sie, ohne Kausalbehauptungen zu machen.

Checkliste

• [ ] Habe ich die Verteilung jeder numerischen Variablen grafisch dargestellt?
• [ ] Habe ich mir die Korrelationen mit dem Streudiagramm angesehen?
• [ ] Habe ich Kausalität und Korrelation getrennt gehalten?
• [ ] Habe ich nicht schiefe oder zweigipfelige Verteilungen bemerkt und blind auf den Mittelwert vertraut?
• [ ] Habe ich aus meinen EDA-Ergebnissen mindestens einen Modellierungsaspekt/eine Modellierungshypothese abgeleitet?