Zyski:
- Możliwość tworzenia statystyk opisowych i wykresów rozkładu/relacji przy wsparciu sztucznej inteligencji oraz wybierania odpowiedniego typu wykresu w zależności od danych i pytania
- Umiejętność rozpoznawania wprowadzających w błąd wyborów (oś przerywana, niewłaściwa skala, nadmierne wygładzenie) w obrazach tworzonych przez sztuczną inteligencję i stosowania zasad uczciwej wizualizacji
- Umiejętność rozróżnienia, że analiza eksploracyjna służy do generowania hipotez i pułapki polegającej na dokonywaniu odkryć i potwierdzaniu tych samych danych (co otwiera drzwi do p-hackingu).
Po oczyszczeniu danych pierwszym zadaniem badacza empirycznego jest ich poznanie. Ten etap nazywa się eksploracyjną analizą danych (EDA - Exploratory Data Analysis): jest to proces badania danych za pomocą wykresów i statystyk zbiorczych oraz dostrzegania ich struktury, wzorców i niespodzianek. Celem nie jest jeszcze przetestowanie hipotezy, ale zapoznanie się z danymi, sformułowanie pytań i położenie podstaw pod model, który zbudujesz w przyszłości. W tej jednostce zobaczymy, jak sztuczna inteligencja (AI) przyspiesza EDA i wizualizację, ale dlaczego wytwarzana przez nią grafika musi być dokładnie kontrolowana.
Najpierw dokonajmy dwóch podstawowych rozróżnień. Po pierwsze, statystyki opisowe (liczby podsumowujące dane, takie jak średnia, mediana, odchylenie standardowe, kwartyle) i wizualizacja (przedstawiająca graficznie te same informacje) uzupełniają się; Razem opisują dane. Po drugie i najważniejsze: należy rozróżnić odkrycie i potwierdzenie. Analiza eksploracyjna służy do generowania hipotez; Badanie hipotezy na tych samych danych i stwierdzenie: „Przetestowałem ją i uznałem, że jest istotna” otwiera drzwi do p-hackingu, o którym przekonamy się w następnej części. Przeglądanie danych i dostrzeganie prawidłowości jest bezpłatne; Jednak deklarowanie tego wzorca jako „udowodnionego ustalenia” na podstawie tych samych danych jest mylące.
Analiza eksploracyjna krok po kroku
1. Widok jednowymiarowy. Zbadaj każdą zmienną indywidualnie: czy jej rozkład jest symetryczny czy skośny; ile jest tam wzgórz; Gdzie są wartości odstające? Dla zmiennych numerycznych histogram (wykres przedstawiający częstotliwość poprzez podzielenie wartości na przedziały) i wykres skrzynkowy (wykres pudełkowy — wykres przedstawiający wartości medianę, kwartyl i ekstrema); W przypadku zmiennych kategorycznych użyj tabel częstości i wykresów słupkowych.
2. Widok dwuwymiarowy. Zobacz związek między dwiema zmiennymi: wykres punktowy dla dwóch zmiennych numerycznych (pokazuje każdą obserwację jako punkt na płaszczyźnie x-y), pogrupowany wykres pudełkowy dla liczbowo-kategorycznych, tabela przestawna dla dwóch kategorii. Zanim przyjrzysz się współczynnikowi korelacji, koniecznie spójrz na wykres punktowy: ta sama korelacja może wykazywać bardzo różne wzorce (pokazuje to słynny kwartet Anscombe; cztery zestawy danych mają prawie identyczne statystyki, ale po wykreśleniu okazują się zupełnie inne).
3. Wybierz właściwy typ wykresu. Typ wykresu zależy od pytania i typu danych. Histogram rozkładu; rozpraszanie dla relacji; wykres liniowy zmian w czasie; wykres słupkowy do porównania kategorii; (ostrożnie) ułożony słupek określający stosunek części do całości. Sztuczna inteligencja szybko generuje dla Ciebie kod, ale decyzja „który wykres i pytanie” należy do Ciebie.
4. Zanotuj wzór, nie deklaruj wyników. Zapisz każdy interesujący wzór, który zauważysz, jako „notatkę odkrycia”, ale nie traktuj tego jako potwierdzonego odkrycia. Potwierdzenie odbywa się w osobnym etapie, najlepiej na podstawie odrębnych danych lub według wcześniej ustalonego harmonogramu.
Uczciwe zasady wizualizacji
Grafika przekonuje; Dlatego też jego moc zwodnicza jest również duża. Sztuczna inteligencja może dokonywać estetycznych, ale czasami wprowadzających w błąd wyborów. Sprawdź te zasady:
- Na wykresach słupkowych oś Y musi zaczynać się od zera. Oś przerywana pokazuje małe różnice jako duże.
- Skala powinna być spójna. Jeśli porównujesz dwa wykresy, użyj tego samego zakresu osi.
- Nadmierne wygładzenie może ukryć prawdziwy wzór. Linia trendu wygląda ładnie, ale jeśli za bardzo „wygładzi” dane, może wprowadzić w błąd.
- Kolory i dekoracje 3D zniekształcają uwagę, a nie dane. Wybierz prostotę.
- Powinny być widoczne brakujące dane i wielkość próby. „n=12” i „n=12 000” nie powinny wyglądać tak samo.
Uwaga: Tylko dlatego, że grafika stworzona przez sztuczną inteligencję jest piękna, nie jest to prawdą. Najczęstszym błędem, jaki popełnia, jest nie rozpoczynanie osi od zera na wykresie słupkowym i wyolbrzymianie różnicy pomiędzy obiema grupami. Zawsze sprawdzaj oś.
Tabela porównawcza: pytanie → wykres
Zapytaj
poprawny wykres
Częsty błąd
Jak rozkłada się ta zmienna?
Histogram/wykres pudełkowy
użyj wykresu kołowego
Czy dwie zmienne numeryczne są ze sobą powiązane?
Wykres rozproszony
Wystarczy spojrzeć na liczbę korelacji
Jak to się zmieniło na przestrzeni czasu?
wykres liniowy
Opowiadanie trendu za pomocą wykresu słupkowego
Jaka jest różnica pomiędzy grupami?
Zgrupowane pudełko/pasek (od podstaw)
Pręt o ściętej osi
Stosunek części do całości?
Ułożony pasek (z zachowaniem ostrożności)
Wieloczęściowy wykres kołowy
Cztery kopiowalne podpowiedzi
1. Kod automatycznego wykrywania:
Twoja rola: asystent EDA. Nie udostępniam danych, chcę kod R (ggplot2). W ramce danych „dane” znajdują się zmienne numeryczne (dochody, wiek, wydatki) i kategoryczne (region, wykształcenie). Zadanie: napisz kod, który generuje histogram dla każdej wartości liczbowej, wykres słupkowy dla każdej kategorii oraz wykres punktowy dla wieku dochodowego. Na wykresach słupkowych oś Y powinna zaczynać się od ZERA. Dodaj linię komentarza.
2. Przegląd korelacji (łącznie korelacja + wizualna):
Napisz kod, który obliczy korelację Pearsona dla dochodów i wydatków oraz wykreśli wykres punktowy + trend liniowy. Dodaj komentarz przypominający mi o sprawdzeniu wykresu przed ZAUFANIEM liczby korelacji (ostrzeżenie Anscombe). Nie wygładzaj nadmiernie linii trendu.
3. Audyt integralności:
Sprawdź następujący kod ggplot, aby uzyskać uczciwą wizualizację: [kod]. Sprawdź i popraw: czy oś Y zaczyna się od zera, czy skala jest zgodna, czy widoczna jest wielkość próbki, czy występuje nadmierne wygładzenie? Wyjaśnij uzasadnienie każdej wprowadzonej korekty.
4. Sporządzenie notatki odkrywczej (nie ustalenia):
Na podstawie sporządzonych przeze mnie wykresów zapisz OBSERWACJE jako „notatkę odkrycia”; zapisz każdą pozycję językiem „hipoteza do sprawdzenia”, a nie „ostateczne ustalenie”. Przykład: „Dochody w szkolnictwie wyższym WYDAJĄ się bardziej rozłożone; należy przetestować na oddzielnych danych.” Unikaj stwierdzeń przyczynowych i ostatecznych.
Słaba zachęta/silna zachęta
Słaba zachęta:
Zrób ładne wykresy wydajności i powiedz mi, co one oznaczają.
Ta zachęta zachęca do mylących wyników: „piękny” skupia się na estetyce, podczas gdy „co to znaczy” popycha sztuczną inteligencję do przeskoczenia od odkrycia do ostatecznego wniosku. Następują przyczynowe, przesadne komentarze.
Potężny monit:
Twoja rola: uczciwy asystent EDA. Zadanie: (1) wybierz typ wykresu, który odpowiada mojemu pytaniu i napisz uzasadnienie, (2) rozpocznij oś od zera na wykresach słupkowych, (3) zinterpretuj wynik w języku DISCOVERY NOTE: żadne twierdzenie ostateczne/przyczynowe nie sugeruje hipotezy w języku „należy przetestować”, (4) ostrzeż mnie, jeśli próbka jest mała (n<30). Uruchomię wykres w swoim własnym środowisku i go zweryfikuję.
Różnica: silna wola uzasadnia typ wykresu, narzuca zasady uczciwości i nie myli odkrycia z potwierdzeniem.
trzy mini etui
Przypadek 1 — Przeskalowanie osi dyskretnej. Analityk pokazał wyniki satysfakcji dwóch branż (7,8 i 8,0; z 10) na wykresie słupkowym. Rozpoczynając oś YZ od 7,5, druga gałąź pojawiła się prawie dwukrotnie wyżej niż pierwsza; podczas gdy różnica wyniosła zaledwie 2,5%. Kierownictwo miało zamiar nagrodzić oddział pod złym wrażeniem. Kiedy zaczynałem oś od zera różnica była prawie niewidoczna. Lekcja: sam wybór osi zmienia percepcję.
Przypadek 2 — Zaufanie korelacji i pominięcie wykresu. Badacz zauważył r = 0,81 między dwiema zmiennymi i napisał „silną zależność liniową”. Kiedy jego konsultant poprosił o wykres punktowy, okazało się, że zależność wynika w rzeczywistości z pojedynczej skrajnej obserwacji, a kiedy usunięto ten punkt, korelacja spadła do 0,12. Lekcja: liczba korelacji nie zastępuje wykresu; zawsze patrz na rozproszenie.
Przypadek 3 – Mylenie odkrycia z potwierdzeniem. Jeden ze studentów przyjrzał się wszystkim korelacjom parami w zestawie danych składającym się z 40 zmiennych, wybrał najwyższą (r=0,52) i napisał: „Odkryliśmy istotny związek między edukacją a oszczędnościami (p=0,004)”. Jednakże w 40 zmiennych występowały setki par; wybranie najwyższej wartości było wynikiem fałszywego wyniku i przypadku. Lekcja: odkrytego wzorca nie można „przetestować i uznać za znaczący” w tych samych danych; Wymagane jest osobne potwierdzenie.
Typowe błędy
- Nie rozpoczynanie osi od zera na wykresie słupkowym. Wyolbrzymia tę małą różnicę; Najczęstsze kłamstwo wizualne. Zawsze sprawdzaj.
- Patrząc na korelację i pomijając wykres. Ta sama korelacja wynika z bardzo różnych wzorców; może pasować do relacji odstającej. Po pierwsze, rozproszenie.
- Uznanie wzoru znalezionego w odkryciu za „dowód” w tych samych danych. To jest brama do p-hakowania; Potwierdzenie odbywa się osobno.
- Zły typ wykresu. Dopasowania takie jak słupek trendu i kołowy rozkład są mylące. Wybierz gatunek na podstawie pytania.
- Ukrywanie wielkości próbki. n=8 i n=8000 nie powinny wyglądać tak samo na tym samym wykresie; należy wykazać niepewność.
Wskazówka: przed opublikowaniem wykresu zadaj sobie pytanie: „Czy historia zmieni się, jeśli zmienię oś?” Jeśli odpowiedź brzmi „tak”, prawdopodobnie rozpocząłeś przewrót z nieuczciwego miejsca.
Podsumowując
Eksploracyjna analiza danych to faza spotkania z danymi, dostrzeżenia wzorców i generowania hipotez; To nie jest potwierdzenie. Sztuczna inteligencja szybko generuje statystyki opisowe i kod wykresu, ale to Ty wybierasz typ wykresu na podstawie swojego pytania i kontrolujesz zasady rzetelności (oś zerowa, stała skala, pozorna niepewność). Zanim zaufasz liczbie korelacji, spójrz na rozrzut; Nie deklaruj wzorca znalezionego podczas odkrycia jako „dowodu” w tych samych danych. Piękny wykres AI nie oznacza prawidłowego wykresu.
Zadanie aplikacji
Wybierz co najmniej trzy zmienne w zestawie danych. Poproś sztuczną inteligencję o kod generujący wykresy eksploracyjne (histogram, punktowy, ramkowy) i uruchom kod, który wymusza zasady uczciwości. Dla każdego wykresu: sprawdź (1) adekwatność typu wykresu do pytania, (2) uczciwość osi, (3) widoczność wielkości próby. Napisz co najmniej jedną „notatkę odkrywczą” w języku hipotez („…wydaje się być testowane osobno”). Sprawdź korelację zarówno z liczbą, jak i rozproszeniem, i zgłoś, czy istnieje między nimi rozbieżność.
lista kontrolna
- [ ] Wybrałem typ wykresu na podstawie mojego pytania i typu danych.
- [ ] Na wykresach słupkowych oś Y zaczynam od zera; Sprawdziłem szczelność osi.
- [ ] Przyjrzałem się wykresowi rozrzutu, zanim zaufałem korelacji.
- [ ] Odzwierciedliłem wielkość próby i niepewność na wykresie.
- [ ] Napisałem wzorce, które znalazłem podczas eksploracji, jako „hipotezę do sprawdzenia”, a nie „dowód”.
- [ ] Zauważyłem, że nie będę wykorzystywał tych samych danych do potwierdzenia i że wymagany jest osobny krok.