Zyski:
- Umiejętność badania rozkładu, środka, rozrzutu i anomalii zmiennych za pomocą odpowiednich wykresów (histogram, wykres pudełkowy, wykres punktowy).
- Umiejętność prawidłowej interpretacji korelacji i odczytywania jej razem z wykresem punktowym, nie myląc jej z przyczynowością
- Umiejętność zrozumienia, że statystyka podsumowująca może wprowadzać w błąd (lekcja Anscombe) i sformułowania hipotez wyznaczających kierunek modelowania.
Przed zbudowaniem modelu konieczna jest znajomość danych. Tak jak lekarz nie przepisuje leków bez zbadania pacjenta, tak badacz danych nie buduje modelu bez „badania” danych. Badanie to nazywa się eksploracyjną analizą danych (w skrócie EDA): jest to faza odkrywania rozkładu, powiązań, niespodzianek i pułapek danych w sposób wizualny i graficzny. Celem EDA jest generowanie hipotez, wychwytywanie błędów i określanie kierunku modelowania. Sztuczna inteligencja jest na tym etapie bardzo potężnym pomocnikiem: podpowiada, który wykres jest odpowiedni, pisze jego kod, interpretuje rozkład. Ale to człowiek decyduje, korzystając ze swojej wiedzy terenowej, czy wzór, który widzi, jest prawdziwy, czy też dziełem przypadku.
Czego szuka EDA?
EDA poszukuje odpowiedzi na cztery pytania. Dystrybucja: Jak rozkłada się każda zmienna – czy jest ona symetryczna, skośna czy z dwoma szczytami? Tendencja centralna i rozpiętość: jaka jest średnia, mediana i odchylenie standardowe? Relacje: W jaki sposób zmienne są ze sobą powiązane? Anomalie: czy występują nieoczekiwane wartości, luki, grupowania? Te cztery pytania określają, która funkcja będzie działać i który model będzie odpowiedni.
Zdefiniujmy kilka podstawowych pojęć. Histogram to wykres dzielący wartości zmiennej numerycznej na przedziały i pokazujący, ile obserwacji znajduje się w każdym przedziale; Jest to najszybszy sposób sprawdzenia dystrybucji. Skośność to przesunięcie rozkładu w jednym kierunku; Zmienne takie jak dochód są przesunięte w prawo (większość niska, kilka bardzo wysokich). Wykres pudełkowy pokazuje w skrócie medianę, kwartyle i wartości odstające. Wykres punktowy przedstawia związek dwóch zmiennych numerycznych z chmurą punktów.
Korelacja: istnieje związek, ale bądź ostrożny
Korelacja — miara tego, jak dwie zmienne poruszają się razem; liczba od -1 do +1 — jest najczęściej używanym i najbardziej niezrozumianym narzędziem EDA. +1 oznacza doskonały współwzrost, -1 oznacza idealną zależność odwrotną, 0 oznacza brak zależności liniowej. Istnieją dwie duże pułapki. Po pierwsze, słynna zasada: korelacja nie jest przyczyną. Liczba przypadków zadławień wzrasta wraz ze sprzedażą lodów; nie dlatego, że jedno prowadzi do drugiego, ale dlatego, że lato (ukryta trzecia zmienna) wyzwala jedno i drugie. Po drugie, korelacja mierzy jedynie zależność liniową; Może to wskazywać na silną, ale krzywoliniową zależność bliską 0. Zatem przyglądając się korelacji, pamiętaj, aby spojrzeć również na wykres rozrzutu.
Uwaga: gdy sztuczna inteligencja podaje liczbę korelacji, może to zostać przetłumaczone na język przyczynowy, na przykład „A zwiększa B”. To jest niebezpieczne. Korelacja wskazuje jedynie na wspólny ruch; Tylko doświadczenie, wiedza dziedzinowa i ostrożne wnioski ustalają przyczynę.
Kwartet Anscombe: dlaczego nie spojrzeć tylko na liczby
W statystyce znany jest przykład: kwartet Anscombe. Cztery różne zestawy danych mają prawie tę samą średnią, tę samą wariancję i tę samą korelację (0,82); Ale na wykresie wyglądają zupełnie inaczej – jedna linia prosta, druga zakrzywiona, a jeszcze jedna chmura ciągnięta przez pojedynczą wartość odstającą. Lekcja jest jasna: statystyki podsumowujące wprowadzają w błąd, spojrzenie na wykres jest koniecznością. Sztuczna inteligencja może podawać średnie i korelacje, ale ufanie tym liczbom bez oglądania wykresu wpada w pułapkę Anscombe’a.
Poniższa tabela podsumowuje, który wykres pasuje do którego pytania:
Pytanie
odpowiednia grafika
Co pokazuje
Rozkład pojedynczej zmiennej
Histogram / KDE
Kształt, skośność, liczba wierzchołków
Centrum i wartości odstające
Fabuła pudełkowa
Mediana, kwartyle, wartości odstające
Związek dwóch liczb
wykres punktowy
Kierunek, siła, krzywizna
Porównanie kategorii
wykres słupkowy
Różnica między grupami
zmieniać się w czasie
wykres liniowy
Trend, sezonowość
Relacja wielowymiarowa
Mapa ciepła korelacji
Ogólna macierz relacji
Paradoks Simpsona: zagregowane dane mogą kłamać
Podstępną pułapką w EDA, o której należy pamiętać, jest paradoks Simpsona: wzór może wskazywać jeden kierunek, gdy wszystkie dane są analizowane razem, ale odwracać się, gdy dane są podzielone na znaczące podgrupy. Klasyczny przykład: ogólny wskaźnik akceptacji kandydatów na studia w przypadku kobiet wydaje się niższy niż w przypadku mężczyzn; Jednak patrząc na wydział po wydziale, w większości wydziałów wskaźnik akceptacji kobiet jest wyższy niż mężczyzn. Skąd? Kobiety aplikowały na bardziej konkurencyjne wydziały (niższe wskaźniki akceptacji); Połączona liczba przechowuje tę ukrytą zmienną. Lekcja jest jasna: patrząc na sumę lub średnią, pamiętaj, aby sprawdzić, czy liczba ta opowiada tę samą historię po podziale na znaczące podgrupy (segment, okres, kanał). Kiedy sztuczna inteligencja podaje łączną stawkę, pytanie „czy jest ona nadal ważna po podzieleniu jej na segmenty” na początku pozwoli uzyskać najbardziej mylące wyniki.
trzy mini etui
Przypadek 1 — Dwa ukryte wzgórza. Jeden z analityków ustalił, że średni wiek klienta to 41 lat i określił go jako „tłum w średnim wieku”. Jednak histogram pokazał dwa szczyty: grupy wiekowe 22–28 i 55–62 lata. Średnia 41 tak naprawdę nikogo nie reprezentowała. Lekcja: wykreśl rozkład, zanim zaufasz średniej.
Przypadek 2 – Pozorna korelacja. Jeden zespół odkrył korelację na poziomie 0,78 między „wydatkami na reklamę” a „sprzedażą” i podwoił budżet. Jednak przyczyną obu były kampanie sezonowe; w okresie poza kampanią związek spadł do 0,10. Dodatkowe reklamy w wysokości 340 tys. TL nie przyniosły oczekiwanego zwrotu. Lekcja: mylenie korelacji z przyczynowością jest kosztowne.
Przypadek 3 – Linia wyznaczona przez samotnego przeciwnika. Analiza nieruchomości wykazała silny związek między powierzchnią a ceną (r=0,80). Kiedy sporządzono wykres punktowy, prawie cały związek został stworzony przez jedną luksusową willę o wartości 12 milionów TL; Po usunięciu tego punktu korelacja spadła do 0,31. Lekcja: zawsze czytaj korelację wraz z wykresem punktowym.
Cztery szablony do kopiowania
1) Automatyczne podsumowanie EDA:
Mam pandy df. Napisz kod, który generuje: (1) df.info() i df.describe(), (2) histogram dla każdej kolumny liczbowej, (3) licznik dla każdej kolumny kategorycznej. Nie komentuj, po prostu wygeneruj kod odkrywczy; Interpretuję wzory.
2) Korelacja + wizualna (z zastrzeżeniem przyczynowości):
Napisz kod, który rysuje macierz korelacji i mapę cieplną dla kolumn liczbowych. Narysuj także wykres punktowy 3 najwyżej skorelowanych par. Dodaj do wyniku wiersz komentarza przypominający, że korelacja nie implikuje związku przyczynowego. Nie wysuwaj roszczeń przyczynowych.
3) Diagnoza dystrybucji:
Dla kolumny „income_tl”: wpisz kod generujący histogram, wykres pudełkowy, wartość skośności i porównanie mediany/średniej. Zinterpretuję, czy rozkład jest skośny, czy nie; po prostu podaj kod.
4) Porównanie segmentów:
Porównaj klientów według „kanału” (internet/mobile): napisz kod, który wygeneruje wykres pudełkowy średniej kwoty, mediany kwoty, liczby zamówień i rozkładu kwot dla każdego kanału. Zasugeruj, który test jest odpowiedni dla statystycznej istotności różnicy między obydwoma kanałami, ale decyzja należy do mnie.
Słaba zachęta/silna zachęta
Słaba zachęta:
Znajdź coś interesującego w tych danych.
„Interesujące” jest nieokreślone; Sztuczna inteligencja nie widzi danych, więc albo je wymyśla, albo formułuje ogólne stwierdzenia. Nie ma kierunku, nie ma zmiennych, nie ma celu.
Potężny monit:
Twoja rola: asystent EDA. kolumny df: wiek (int), dochód_tl (float), miasto (kategoria), kanał (internet/mobile), kwota (float). Cel: odkrycie czynników wpływających na „ilość”. Zadanie: (1) kod przedstawiający rozkład kwoty, (2) wykresy rozkładu kwoty i wieku oraz dochodu_tl, (3) wykres pudełkowy kwoty w podziale na kanały. Ustalenie roszczenia przyczynowego; Po prostu wygeneruj kod wykrywający, a ja zinterpretuję wzór.
Tutaj cel, zmienne i granica „twierdzenia o przyczynowości” są jasne.
Typowe błędy
- Opieranie się wyłącznie na statystykach zbiorczych. Jak pokazuje kwartet Anscombe, za tą samą średnią kryją się bardzo różne rozkłady; zobacz wykres.
- Mylenie korelacji z przyczynowością. Współpraca nie oznacza, że jedno prowadzi do drugiego; Uważaj na ukryte zmienne.
- Patrząc na korelację bez wykresu punktowego. Pojedyncza wartość odstająca lub krzywoliniowa wprowadza w błąd liczbę.
- Podsumowanie rozkładu o dwóch szczytach/skośności ze średnią. Średnia może nikogo nie reprezentować.
- Pomijam EDA i od razu przechodzę do modelu. Nierozpoznane dane oznaczają ślepy model.
Wskazówka: przy każdym nowym zestawie danych poświęć pierwsze 30 minut na rysowanie wykresów: histogram każdej wartości liczbowej, wykres punktowy znaczących par, wykres słupkowy kategorii. Te 30 minut zapobiegnie przyszłym błędom modelowania w nadchodzących dniach.
Podsumowując
EDA to faza poznawania danych przed zbudowaniem modelu i szuka odpowiedzi na cztery pytania: dystrybucja, rozproszenie centralne, relacje i anomalie. Statystyki podsumowujące mogą wprowadzać w błąd; patrzenie na wykres jest koniecznością (wykład Anscombe). Korelacja jest potężnym narzędziem, ale związek przyczynowy już nie i zdecydowanie należy go czytać w połączeniu z wykresem punktowym. AI to świetny akcelerator do sugerowania grafiki i pisania kodu; Ale ludzie interpretują, korzystając ze swojej wiedzy terenowej, czy widziany przez nich wzór jest prawdziwy, czy też przypadkowy.
Zadanie aplikacji
Wybierz zbiór danych i po prostu wykonaj EDA: wyodrębnij histogram co najmniej trzech zmiennych numerycznych, wykres punktowy dwóch par zmiennych i mapę cieplną korelacji. Znajdź przynajmniej jedną „niespodziankę” (taką jak rozkład z dwoma pikami, kandydatem na fałszywą korelację, związek przyciągany przez pojedynczą wartość odstającą) i wyjaśnij ją w jednym zdaniu. Pisz bez żadnych roszczeń przyczynowych.
lista kontrolna
- [ ] Czy narysowałem wykres rozkładu każdej zmiennej numerycznej?
- [ ] Czy przyjrzałem się korelacjom z wykresem rozrzutu?
- [ ] Czy rozdzieliłem przyczynowość i korelację?
- [ ] Czy nie zauważyłem rozkładów skośnych lub dwuszczytowych i ślepo ufałem średniej?
- [ ] Czy wyciągnąłem przynajmniej jeden aspekt/hipotezę modelowania z moich ustaleń EDA?