Dobici:
- Sposobnost istraživanja distribucije, centra, širenja i anomalija varijabli sa odgovarajućim grafovima (histogram, box plot, dijagram raspršenja).
- Sposobnost pravilnog tumačenja korelacije i čitanja zajedno sa dijagramom raspršenosti, bez brkanja sa uzročnosti
- Sposobnost razumijevanja da sumarna statistika može dovesti u zabludu (Anscombe lekcija) i razvijanje hipoteza koje određuju smjer modeliranja.
Prije izgradnje modela potrebno je poznavati podatke. Kao što doktor ne propisuje lekove bez pregleda pacijenta, naučnik podataka ne gradi model bez „ispitivanja“ podataka. Ovo ispitivanje se zove istraživačka analiza podataka (skraćeno EDA): to je faza otkrivanja distribucije, odnosa, iznenađenja i zamki podataka vizuelno i grafički. Svrha EDA je da generiše hipoteze, uhvati greške i odredi pravac modeliranja. Umjetna inteligencija je vrlo moćan asistent u ovoj fazi: sugerira koji je grafikon prikladan, piše svoj kod, tumači distribuciju. Ali osoba odlučuje, sa svojim znanjem na terenu, da li je obrazac koji vidi stvaran ili slučajan.
Šta traži EDA?
EDA traži odgovore na četiri pitanja. Distribucija: Kako je svaka varijabla raspoređena – da li je simetrična, nakošena ili sa dva vrha? Centralna tendencija i širenje: Koja su srednja vrijednost, medijana, standardna devijacija? Odnosi: Kako su varijable povezane jedna s drugom? Anomalije: Postoje li neočekivane vrijednosti, praznine, grupisanja? Ova četiri pitanja određuju koja će funkcija raditi i koji je model prikladan.
Hajde da definišemo neke osnovne pojmove. Histogram je graf koji dijeli vrijednosti numeričke varijable u intervale i pokazuje koliko je opservacija u svakom intervalu; To je najbrži način da vidite distribuciju. Kosina je pomak distribucije u jednom smjeru; Varijable kao što je prihod su nagnute udesno (većina niska, nekoliko vrlo visoka). Okvirni dijagram prikazuje medijanu, kvartile i granične vrijednosti na prvi pogled. Dijagram rasipanja pokazuje odnos dve numeričke varijable sa oblakom tačaka.
Korelacija: postoji veza, ali budite oprezni
Korelacija — mjera kako se dvije varijable kreću zajedno; broj između -1 i +1 — je najčešće korišteni i najneshvaćeniji alat EDA. +1 znači savršeno ko-povećanje, -1 znači savršen inverzni odnos, 0 znači da nema linearne veze. Postoje dvije velike zamke. Prvo, poznato pravilo: korelacija nije uzročna veza. Slučajevi gušenja se povećavaju s prodajom sladoleda; ne zato što jedno vodi ka drugom, već zato što ljeto (skrivena treća varijabla) pokreće oboje. Drugo, korelacija mjeri samo linearni odnos; To može ukazivati na jak, ali krivolinijski odnos blizu 0. Dakle, kada gledate korelaciju, obavezno pogledajte i dijagram raspršenja.
Oprez: Kada AI da korelacioni broj, može se prevući u uzročno-posledični jezik kao što je „A povećava B“. Ovo je opasno. Korelacija samo ukazuje na zajedničko kretanje; Samo iskustvo, znanje iz domena i pažljivo zaključivanje utvrđuju razlog.
Anscombe kvartet: zašto jednostavno ne pogledate broj
Poznat je primjer u statistici: kvartet Anscombe. Četiri različita skupa podataka imaju skoro istu srednju vrijednost, istu varijansu i istu korelaciju (0,82); Ali kada su prikazani na grafikonu, izgledaju potpuno drugačije - jedna ravna linija, jedna zakrivljena, jedna oblak koji je povukao jedan izuzetak. Pouka je jasna: zbirne statistike su obmanjujuće, gledanje grafikona je obavezno. AI vam može dati prosjeke i korelacije, ali vjerovati tim brojevima bez gledanja grafikona pada u Anscombeovu zamku.
Tabela ispod rezimira koji grafikon odgovara kojem pitanju:
Pitanje
odgovarajuća grafika
Šta pokazuje
Distribucija jedne varijable
Histogram / KDE
Oblik, zakrivljenost, broj vrhova
Centar i vanjske strane
Box plot
Medijan, kvartili, odstupnici
Odnos dva broja
Scatter chart
Smjer, snaga, zakrivljenost
Poređenje kategorija
trakasti grafikon
Razlika između grupa
mijenjati tokom vremena
linijski grafikon
Trend, sezonalnost
Multivarijantni odnos
Toplotna karta korelacije
Matrica općih odnosa
Simpsonov paradoks: agregirani podaci mogu lagati
Podmukla zamka u EDA-i koje treba biti svjestan je Simpsonov paradoks: obrazac može pokazati jedan smjer kada se svi podaci ispituju zajedno, ali obrnuti kada su podaci podijeljeni u smislene podgrupe. Klasičan primjer: čini se da je ukupna stopa prihvatanja za kandidatkinje na univerzitetu niža nego za muškarce; Ali kada se pogleda odjel po odjel, stopa prihvatanja žena je veća od muškaraca u većini odjela. Odakle? Žene su se prijavljivale u konkurentnije (niže stope prihvatanja) odjeljenja; Kombinirani broj pohranjuje ovu skrivenu varijablu. Pouka je jasna: kada gledate ukupan ili prosjek, provjerite da li taj broj govori istu priču kada se razbije na značajne podgrupe (segment, period, kanal). Kada vam AI da kombinovanu stopu, pitanje „da li još uvek važi kada je segmentirate“ će rano uhvatiti većinu obmanjujućih rezultata.
tri mini kofera
Slučaj 1 — Dva skrivena brda. Jedan analitičar je utvrdio da je prosječna starost kupaca 41 godina i prijavio ga kao "sredovječnu gomilu". Ali histogram je pokazao dva vrha: starosne grupe 22-28 i 55-62 godine. Prosjek 41 zapravo nije predstavljao nikoga. Pouka: nacrtajte distribuciju prije nego što vjerujete srednjoj vrijednosti.
Slučaj 2 — Lažna korelacija. Jedan tim je otkrio korelaciju od 0,78 između “potrošnje na oglase” i “prodaje” i udvostručio budžet. Međutim, ono što je pokrenulo i jedno i drugo bile su sezonske kampanje; tokom perioda van kampanje, odnos je pao na 0,10. Dodatno oglašavanje od 340 hiljada TL nije dalo očekivani povrat. Pouka: pogrešiti korelaciju sa uzročno-posledičnom vezu je skupo.
Slučaj 3 — Linija koju je povukao usamljeni suprotan. Analiza nekretnina pokazala je jaku vezu između kvadrature i cijene (r=0,80). Kada je nacrtan dijagram raspršenosti, gotovo cijeli odnos je stvorila jedna luksuzna vila od 12 miliona TL; Kada je ta tačka uklonjena, korelacija je pala na 0,31. Pouka: uvijek čitajte korelaciju zajedno sa dijagramom raspršivanja.
Četiri šablona za kopiranje
1) Automatski EDA sažetak:
Imam pande df. Napišite kod koji proizvodi: (1) df.info() i df.describe(), (2) histogram za svaku numeričku kolonu, (3) broj za svaku kategoričku kolonu. Nemojte komentarisati, samo generirajte kod za otkrivanje; Ja tumačim obrasce.
2) Korelacija + vizuelna (uz napomenu uzročnosti):
Napišite kod koji crta matricu korelacije i toplotnu kartu za numeričke stupce. Također nacrtajte dijagram raspršenosti 3 najveća korelirana para. Dodajte red komentara na izlaz koji vas podsjeća da korelacija ne implicira uzročnost. Nemojte iznositi uzročne tvrdnje.
3) Dijagnoza distribucije:
Za kolonu "income_tl": napišite kod koji proizvodi histogram, dijagram okvira, vrijednost iskrivljenosti i poređenje medijane/srednje vrijednosti. Ja ću protumačiti da li je distribucija iskrivljena ili ne; samo daj kod.
4) Poređenje segmenata:
Uporedite kupce prema "kanalu" (web/mobilni): napišite kod koji proizvodi okvir prosječnog iznosa, srednjeg iznosa, broja narudžbi i distribucije iznosa za svaki kanal. Predložite koji je test prikladan za statističku značajnost razlike između dva kanala, ali odluka je na meni.
Slaba prompt / Jaka prompt
Slab upit:
Pronađite nešto zanimljivo u ovim podacima.
„Zanimljivo“ je nedefinisano; AI ne vidi podatke, pa ih ili izmišlja ili daje opšte izjave. Nema smjera, nema varijabli, nema svrhe.
Snažan upit:
Vaša uloga: EDA asistent. df kolone: age (int), prihod_tl (float), grad (kategorija), kanal (web/mobilni), iznos (float). Svrha: otkriti faktore koji utiču na "količinu". Zadatak: (1) kod za crtanje distribucije iznosa, (2) grafovi distribucije između iznosa i starosti i prihoda_tl, (3) okvirni dijagram iznosa u raščlanjenju kanala. Utvrđivanje uzročne tvrdnje; Samo generirajte kod za otkrivanje i ja ću protumačiti obrazac.
Ovdje su jasni svrha, varijable i granica "tvrdnje o uzročnosti".
Uobičajene greške
- Oslanjajući se isključivo na zbirnu statistiku. Kao što pokazuje kvartet Anscombe, ista sredina krije veoma različite distribucije; vidi grafikon.
- Pogrešna korelacija za uzročnost. Ko-akcija ne ukazuje da jedno vodi ka drugom; Čuvajte se skrivenih varijabli.
- Gledanje korelacije bez dijagrama raspršenja. Pojedinačna odstupanja ili krivolinearnost dovode u zabludu broj.
- Sumiranje distribucije sa dva vrha/iskrivljena sa srednjom. Prosjek možda ne predstavlja nikoga.
- Preskakanje EDA i prelazak direktno na model. Neprepoznati podaci znače slijepi model.
Savjet: Sa svakim novim skupom podataka, prvih 30 minuta provedite samo crtajući grafikone: histogram svakog broja, dijagram raspršenosti značajnih parova, trakasti grafikon kategorija. Ovih 30 minuta sprečava buduće greške u modeliranju u danima koji dolaze.
Ukratko
EDA je faza upoznavanja podataka prije izgradnje modela i traži odgovore na četiri pitanja: distribucija, širenje po centru, odnosi i anomalije. Sumarni statistički podaci mogu biti pogrešni; gledanje grafa je obavezno (Anscombe predavanje). Korelacija je moćan alat, ali uzročnost nije i svakako bi se trebala čitati zajedno sa dijagramom raspršenosti. AI je odličan akcelerator za predlaganje grafike i pisanje koda; Ali ljudi tumače svojim znanjem na terenu da li je obrazac koji vide stvaran ili slučajan.
Zadatak aplikacije
Odaberite skup podataka i samo uradite EDA: izdvojite histogram od najmanje tri numeričke varijable, dijagram raspršenja dva para varijabli i korelacijske toplinske karte. Pronađite barem jedno „iznenađenje“ (kao što je distribucija sa dva vrha, kandidat za lažnu korelaciju, odnos privučen jednim izuzetkom) i objasnite ga u jednoj rečenici. Pišite bez ikakvih kauzalnih tvrdnji.
kontrolna lista
- [ ] Da li sam nacrtao distribuciju svake numeričke varijable?
- [ ] Da li sam pogledao korelacije sa dijagramom raspršenosti?
- [ ] Jesam li držao uzročnost i korelaciju odvojeno?
- [ ] Nisam li primijetio iskrivljene ili dvovrške distribucije i slijepo vjerovao srednjoj vrijednosti?
- [ ] Da li sam izveo barem jedan aspekt/hipotezu modeliranja iz mojih nalaza EDA?