Explorative Datenanalyse und Visualisierung: Grafische Darstellung und Interpretation mit künstlicher Intelligenz

Gewinne:

• Fähigkeit, beschreibende Statistiken und Verteilungs-/Beziehungsdiagramme mit Unterstützung künstlicher Intelligenz zu erstellen und den richtigen Diagrammtyp entsprechend den Daten und der Frage auszuwählen
• Fähigkeit, irreführende Entscheidungen (gestrichelte Achse, unangemessener Maßstab, übermäßige Glättung) in Bildern zu erkennen, die von künstlicher Intelligenz erstellt wurden, und ehrliche Visualisierungsprinzipien anzuwenden
• In der Lage sein zu unterscheiden, dass explorative Analysen der Generierung von Hypothesen dienen und in die Falle geraten, Entdeckungen und Bestätigungen mit denselben Daten vorzunehmen (was dem P-Hacking Tür und Tor öffnet).

Nach der Bereinigung der Daten besteht die erste Aufgabe des empirischen Forschers darin, sie kennenzulernen. Diese Phase wird als explorative Datenanalyse (EDA – Exploratory Data Analysis) bezeichnet: Dabei werden die Daten anhand von Diagrammen und zusammenfassenden Statistiken untersucht und ihre Struktur, Muster und Überraschungen erkannt. Ziel ist es noch nicht, eine Hypothese zu testen, sondern sich mit den Daten vertraut zu machen, Fragen zu stellen und den Grundstein für das Modell zu legen, das Sie in Zukunft erstellen werden. In dieser Einheit werden wir sehen, wie künstliche Intelligenz (KI) EDA und Visualisierung beschleunigt, aber warum die von ihr erzeugten Grafiken sorgfältig geprüft werden müssen.

Lassen Sie uns zunächst zwei grundlegende Unterscheidungen treffen. Erstens ergänzen sich beschreibende Statistik (Zahlen, die Daten wie Mittelwert, Median, Standardabweichung, Quartile zusammenfassen) und Visualisierung (grafische Darstellung derselben Informationen) einander; Zusammen beschreiben sie die Daten. Zweitens und am wichtigsten: Entdeckung und Bestätigung müssen unterschieden werden. Die explorative Analyse dient der Generierung von Hypothesen. Die Hypothese mit denselben Daten zu untersuchen und zu sagen: „Ich habe sie getestet und für signifikant befunden“, öffnet die Tür zum P-Hacking, das wir in der nächsten Einheit sehen werden. Es steht Ihnen frei, sich die Daten anzusehen und ein Muster zu erkennen; Es ist jedoch irreführend, dieses Muster in denselben Daten als „bewiesenen Befund“ zu bezeichnen.

Schrittweise explorative Analyse

1. Univariate Sicht. Untersuchen Sie jede Variable einzeln: Ist ihre Verteilung symmetrisch oder schief? wie viele Hügel gibt es? Wo sind die Ausreißer? Für numerische Variablen: Histogramm (Diagramm, das die Häufigkeit durch Aufteilung der Werte in Bereiche zeigt) und Boxplot (Boxplot – Diagramm, das Median-, Quartil- und Extremwerte zeigt); Verwenden Sie für kategoriale Variablen Häufigkeitstabellen und Balkendiagramme.

2. Bivariate Ansicht. Sehen Sie sich die Beziehung zwischen zwei Variablen an: Streudiagramm für zwei numerische Variablen (zeigt jede Beobachtung als Punkt auf der x-y-Ebene), gruppiertes Boxdiagramm für numerisch-kategoriale Variablen, Kreuztabelle für zwei kategoriale Variablen. Bevor Sie sich den Korrelationskoeffizienten ansehen, schauen Sie sich unbedingt das Streudiagramm an: Die gleiche Korrelation kann sehr unterschiedliche Muster zeigen (das berühmte Anscombe-Quartett zeigt dies; vier Datensätze haben fast identische Statistiken, aber wenn sie aufgetragen werden, erweisen sie sich als völlig unterschiedlich).

3. Wählen Sie den richtigen Diagrammtyp. Der Diagrammtyp hängt von Ihrer Frage und Ihrem Datentyp ab. Histogramm zur Verteilung; Streuung für Beziehung; Liniendiagramm für Veränderungen im Zeitverlauf; Balkendiagramm zum Kategorievergleich; (sorgfältig) gestapelter Balken für das Verhältnis der Teile zum Ganzen. KI generiert schnell Code für Sie, aber die Entscheidung „welches Diagramm für welche Frage“ liegt bei Ihnen.

4. Beachten Sie das Muster, deklarieren Sie keine Ergebnisse. Notieren Sie jedes interessante Muster, das Sie sehen, als „Entdeckungsnotiz“, aber betrachten Sie es nicht als bestätigten Befund. Die Bestätigung erfolgt in einem separaten Schritt, vorzugsweise mit separaten Daten oder einem vorgegebenen Zeitplan.

Ehrliche Visualisierungsprinzipien

Die Grafik überzeugt; Daher ist auch seine irreführende Kraft hoch. KI kann ästhetische, aber manchmal irreführende Entscheidungen treffen. Überprüfen Sie diese Richtlinien:

• In Balkendiagrammen muss die Y-Achse bei Null beginnen. Die gestrichelte Achse zeigt kleine Unterschiede ebenso wie große.
• Der Maßstab sollte konsistent sein. Wenn zwei Diagramme verglichen werden, verwenden Sie denselben Achsenbereich.
• Übermäßiges Glätten kann das wahre Muster verbergen. Eine Trendlinie sieht gut aus, aber wenn sie die Daten zu sehr „glättet“, kann sie irreführend sein.
• Farbe und 3D-Dekoration verzerren die Aufmerksamkeit, nicht Daten. Wählen Sie Einfachheit.
• Fehlende Daten und fehlende Stichprobengröße sollten sichtbar sein. „n=12“ und „n=12.000“ sollten nicht gleich aussehen.

Achtung: Nur weil die von KI erzeugten Grafiken schön sind, sind sie nicht wahr. Der häufigste Fehler, den er macht, besteht darin, die Achse im Balkendiagramm nicht bei Null zu beginnen und den Unterschied zwischen den beiden Gruppen zu übertreiben. Überprüfen Sie immer die Achse.

Vergleichstabelle: Frage → Diagramm

Fragen Sie

richtiges Diagramm

Häufiger Fehler

Wie ist diese Variable verteilt?

Histogramm/Boxplot

Verwenden Sie ein Kreisdiagramm

Hängen zwei numerische Variablen zusammen?

Streudiagramm

Ich schaue mir nur die Anzahl der Korrelationen an

Wie hat es sich im Laufe der Zeit verändert?

Liniendiagramm

Einen Trend mit einem Balkendiagramm erkennen

Was ist der Unterschied zwischen Gruppen?

Gruppierte Box/Leiste (von Grund auf neu)

Abgeschnittener Achsstab

Teil-zu-Ganze-Verhältnis?

Gestapelte Stange (mit Vorsicht)

Mehrteiliges Kreisdiagramm

Vier kopierbare Eingabeaufforderungen

1. Code für die automatische Erkennung:

Ihre Rolle: EDA-Assistent. Ich teile die Daten nicht, ich möchte den R-Code (ggplot2). Im Datenrahmen „Daten“ gibt es numerische (Einkommen, Alter, Ausgaben) und kategoriale (Region, Bildung) Variablen. Aufgabe: Schreiben Sie Code, der ein Histogramm für jede Zahl, ein Balkendiagramm für jede Kategorie und ein Streudiagramm für Einkommen/Alter erstellt. Lassen Sie in Balkendiagrammen die Y-Achse bei NULL beginnen. Kommentarzeile hinzufügen.

2. Korrelationsüberprüfung (Korrelation + Visual zusammen):

Schreiben Sie Code, der sowohl die Pearson-Korrelation für Einkommen und Ausgaben berechnet als auch ein Streudiagramm + einen linearen Trend darstellt. Fügen Sie eine Kommentarzeile hinzu, die mich daran erinnert, das Diagramm zu prüfen, bevor ich der Korrelationszählung VERTRAUE (Anscombe-Warnung). Glätten Sie die Trendlinie nicht zu sehr.

3. Integritätsaudit:

Überprüfen Sie den folgenden ggplot-Code für eine ehrliche Visualisierung:[code]. Überprüfen und korrigieren Sie Folgendes: Beginnt die Y-Achse bei Null, ist die Skala konsistent, ist die Stichprobengröße sichtbar, liegt eine übermäßige Glättung vor? Erläutern Sie die Begründung für jede von Ihnen vorgenommene Korrektur.

4. Erstellen einer Entdeckungsnotiz (kein Fund):

Listen Sie auf der Grundlage der von mir erstellten Grafiken BEOBACHTUNGEN als „Entdeckungsnotiz“ auf. Schreiben Sie jeden Punkt in der Sprache „zu prüfende Hypothese“ und nicht in der Sprache „schlüssiges Ergebnis“. Beispiel: „Das Einkommen im Hochschulbereich SCHEINT stärker verteilt; sollte mit separaten Daten getestet werden.' Vermeiden Sie kausale und definitive Aussagen.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Machen Sie schöne Diagramme aus dem Ertrag und sagen Sie mir, was sie bedeuten.

Diese Aufforderung führt zu irreführenden Ergebnissen: „schön“ konzentriert sich auf die Ästhetik, während „was es bedeutet“ die KI dazu drängt, von der Entdeckung zur endgültigen Schlussfolgerung zu springen. Es folgen kausale, übertriebene Kommentare.

Kraftvolle Aufforderung:

Ihre Rolle: ehrlicher EDA-Assistent. Aufgabe: (1) Wählen Sie den Diagrammtyp aus, der zu meiner Frage passt, und schreiben Sie die Begründung, (2) beginnen Sie die Achse in Balkendiagrammen bei Null, (3) interpretieren Sie die Ausgabe in DISCOVERY NOTE-Sprache: Keine definitive/kausale Aussage, schlagen Sie eine Hypothese in der Sprache „muss getestet“ vor, (4) warnen Sie mich, wenn die Stichprobe klein ist (n<30). Ich werde das Diagramm in meiner eigenen Umgebung ausführen und es überprüfen.

Unterschied: Ein starker Wille rechtfertigt den Diagrammtyp, legt Regeln der Ehrlichkeit fest und verwechselt Entdeckung nicht mit Bestätigung.

drei Mini-Koffer

Fall 1 – Diskrete Achsenübertreibung. Ein Analyst zeigte die Zufriedenheitswerte zweier Filialen (7,8 und 8,0; von 10) in einem Balkendiagramm. Beim Start der YZ-Achse von 7,5 erschien der zweite Zweig fast doppelt so hoch wie der erste; wohingegen der Unterschied nur 2,5 % betrug. Das Management war im Begriff, eine Filiale aufgrund des falschen Eindrucks zu belohnen. Als ich die Achse von Grund auf neu startete, war der Unterschied fast unsichtbar. Lektion: Allein die Wahl der Achse verändert die Wahrnehmung.

Fall 2 – Der Korrelation vertrauen und das Diagramm überspringen. Ein Forscher sah r = 0,81 zwischen zwei Variablen und schrieb „starke lineare Beziehung“. Als sein Berater nach dem Streudiagramm fragte, stellte sich heraus, dass die Beziehung tatsächlich auf einer einzigen extremen Beobachtung beruhte, und als dieser Punkt entfernt wurde, sank die Korrelation auf 0,12. Lektion: Die Korrelationszählung ist kein Ersatz für ein Diagramm; Achten Sie immer auf die Streuung.

Fall 3 – Verwechslung von Entdeckung mit Bestätigung. Ein Student untersuchte alle paarweisen Korrelationen in einem Datensatz mit 40 Variablen, wählte die höchste aus (r=0,52) und schrieb: „Wir haben einen signifikanten Zusammenhang zwischen Bildung und Ersparnissen gefunden (p=0,004).“ Es gab jedoch Hunderte von Paaren in 40 Variablen; Die Entscheidung für den höchsten Wert war eine zufällige Fehlentscheidung. Lektion: Das entdeckte Muster kann nicht in denselben Daten „getestet und für signifikant erklärt“ werden; Eine gesonderte Bestätigung ist erforderlich.

Häufige Fehler

• Die Achse beginnt im Balkendiagramm nicht bei Null. Es übertreibt den kleinen Unterschied; Die häufigste visuelle Lüge. Überprüfen Sie immer.
• Betrachten Sie die Korrelation und überspringen Sie das Diagramm. Die gleiche Korrelation ergibt sich aus sehr unterschiedlichen Mustern; kann zu einer Ausreißerbeziehung passen. Erstens, Streuung.
• Betrachten Sie das in der Entdeckung gefundene Muster als „Beweis“ in denselben Daten. Dies ist das Tor zum P-Hacking; Die Bestätigung erfolgt separat.
• Falscher Diagrammtyp. Übereinstimmungen wie Balken für Trend und Kuchen für Verteilung sind irreführend. Wählen Sie ein Genre basierend auf der Frage.
• Ausblenden der Stichprobengröße. n=8 und n=8.000 sollten im selben Diagramm nicht gleich aussehen; Unsicherheit muss aufgezeigt werden.

Tipp: Bevor Sie ein Diagramm veröffentlichen, fragen Sie sich: „Würde sich die Geschichte ändern, wenn ich die Achse ändere?“ Wenn die Antwort „Ja“ lautet, haben Sie den Pivot wahrscheinlich von einem unehrlichen Ausgangspunkt aus begonnen.

Zusammenfassend

Bei der explorativen Datenanalyse geht es um die Phase, in der die Daten ermittelt, Muster erkannt und Hypothesen aufgestellt werden. Es ist keine Bestätigung. Die KI generiert schnell beschreibende Statistiken und Diagrammcode, aber Sie wählen den Diagrammtyp basierend auf Ihrer Frage und kontrollieren die Grundsätze der Fairness (Nullachse, konsistente Skala, scheinbare Unsicherheit). Schauen Sie sich die Streuung an, bevor Sie der Korrelationszahl vertrauen. Deklarieren Sie das Muster, das Sie bei der Entdeckung gefunden haben, nicht als „Beweis“ in denselben Daten. Ein schönes KI-Diagramm bedeutet nicht, dass es sich um ein korrektes Diagramm handelt.

Anwendungsaufgabe

Wählen Sie mindestens drei Variablen in einem Datensatz aus. Fragen Sie die KI nach Code und führen Sie ihn aus, der explorative Diagramme (Histogramm, Streuung, Box) mit einer Eingabeaufforderung erstellt, die Ehrlichkeitsregeln durchsetzt. Überprüfen Sie für jedes Diagramm (1) die Eignung des Diagrammtyps für die Frage, (2) die Ehrlichkeit der Achse, (3) die Sichtbarkeit der Stichprobengröße. Schreiben Sie mindestens eine „Entdeckungsnotiz“ in Hypothesensprache („…scheint separat getestet zu werden“). Untersuchen Sie eine Korrelation sowohl mit der Anzahl als auch mit der Streuung und melden Sie, wenn zwischen ihnen eine Diskrepanz besteht.

Checkliste

• [ ] Ich habe den Diagrammtyp basierend auf meiner Frage und meinem Datentyp ausgewählt.
• [ ] In Balkendiagrammen beginne ich die Y-Achse bei Null; Ich habe die Ehrlichkeit der Achse überprüft.
• [ ] Ich habe mir das Streudiagramm angesehen, bevor ich der Korrelation vertraut habe.
• [ ] Ich habe die Stichprobengröße und die Unsicherheit in der Grafik dargestellt.
• [ ] Ich habe die Muster, die ich bei der Erkundung gefunden habe, als „zu prüfende Hypothese“ und nicht als „Beweis“ beschrieben.
• [ ] Ich habe darauf hingewiesen, dass ich nicht dieselben Daten zur Bestätigung verwenden würde und dass ein separater Schritt erforderlich ist.