Câștiguri:
- Abilitatea de a explora distribuția, centrarea, răspândirea și anomaliile variabilelor cu grafice adecvate (histogramă, box plot, scatter plot).
- Abilitatea de a interpreta corect corelația și de a o citi împreună cu diagrama de dispersie, fără a o confunda cu cauzalitatea
- Abilitatea de a înțelege că statisticile rezumative pot induce în eroare (lecția Anscombe) și de a dezvolta ipoteze care determină direcția modelării.
Înainte de a construi un model, este necesar să cunoașteți datele. Așa cum un medic nu prescrie medicamente fără a examina pacientul, un cercetător de date nu construiește un model fără a „examina” datele. Această examinare se numește analiza exploratorie a datelor (EDA pe scurt): este faza descoperirii distribuției, relațiilor, surprizelor și capcanelor datelor vizual și grafic. Scopul EDA este de a genera ipoteze, de a capta erori și de a determina direcția de modelare. Inteligența artificială este un asistent foarte puternic în această etapă: sugerează ce diagramă este potrivită, își scrie codul, interpretează o distribuție. Dar o persoană decide, cu cunoștințele sale de domeniu, dacă tiparul pe care îl vede este real sau o coincidență.
Ce caută EDA?
EDA caută răspunsuri la patru întrebări. Distribuție: Cum este distribuită fiecare variabilă - este simetrică, oblică sau cu două vârfuri? Tendința centrală și răspândirea: care sunt media, mediana, abaterea standard? Relații: Cum sunt variabilele legate între ele? Anomalii: Există valori neașteptate, lacune, grupări? Aceste patru întrebări determină ce caracteristică va funcționa și care model este adecvat.
Să definim câteva concepte de bază. O histogramă este un grafic care împarte valorile unei variabile numerice în intervale și arată câte observații sunt în fiecare interval; Este cel mai rapid mod de a vedea distribuția. Skewness este deplasarea distribuției într-o direcție; Variabile precum venitul sunt înclinate spre dreapta (majoritate scăzută, puține foarte mari). Un diagramă cu casete arată mediana, quartilele și valorile aberante dintr-o privire. Un grafic de dispersie arată relația dintre două variabile numerice cu un nor de puncte.
Corelație: există o relație dar aveți grijă
Corelație - o măsură a modului în care două variabile se mișcă împreună; un număr între -1 și +1 — este instrumentul cel mai folosit și cel mai greșit înțeles al EDA. +1 înseamnă co-creștere perfectă, -1 înseamnă relație inversă perfectă, 0 înseamnă nicio relație liniară. Există două capcane mari. În primul rând, celebra regulă: corelația nu este cauzalitate. Cutiile de sufocare cresc odată cu vânzările de înghețată; nu pentru că unul duce la celălalt, ci pentru că vara (a treia variabilă ascunsă) le declanșează pe amândouă. În al doilea rând, corelația măsoară doar relația liniară; Poate indica o relație puternică, dar curbilinie apropiată de 0. Așadar, atunci când priviți corelația, asigurați-vă că vă uitați și la diagrama de dispersie.
Atenție: atunci când AI oferă un număr de corelație, acesta poate trece în limbaj cauzal, cum ar fi „A crește B”. Acest lucru este periculos. Corelația indică doar mișcarea împreună; Doar experiența, cunoașterea domeniului și inferența atentă stabilesc motivul.
Cvartetul Anscombe: de ce să nu te uiți doar la număr
Există un exemplu celebru în statistică: cvartetul Anscombe. Patru seturi de date diferite au aproape aceeași medie, aceeași varianță și aceeași corelație (0,82); Dar atunci când sunt reprezentate grafic, ele arată complet diferit - o linie dreaptă, una curbă, unul un nor tras de un singur valori abere. Lecția este clară: statisticile rezumate sunt înșelătoare, este o necesitate să te uiți la grafic. AI vă poate oferi medii și corelații, dar a avea încredere în acele numere fără a vedea graficul cade în capcana Anscombe.
Tabelul de mai jos rezumă care diagramă se potrivește cu întrebarea:
Întrebare
grafică adecvată
Ce arată
Distribuția unei singure variabile
Histogramă / KDE
Forma, asimetrie, numărul de vârfuri
Centru și valori aberante
Box plot
Mediană, quartile, valori aberante
Relația dintre două numere
diagramă de dispersie
Direcție, rezistență, curbură
Comparație de categorii
diagramă cu bare
Diferența dintre grupuri
schimba in timp
diagramă cu linii
Tendință, sezonalitate
Relație multivariată
Harta termică a corelației
Matricea relațiilor generale
Paradoxul lui Simpson: datele agregate pot minți
O capcană ascunsă în EDA de care trebuie să fii conștient este paradoxul lui Simpson: un model poate arăta o direcție atunci când toate datele sunt examinate împreună, dar invers când datele sunt împărțite în subgrupuri semnificative. Exemplu clasic: rata generală de acceptare a solicitanților de sex feminin la o universitate pare a fi mai mică decât a bărbaților; Însă, când se analizează departamentul cu departament, rata de acceptare a femeilor este mai mare decât a bărbaților în majoritatea departamentelor. De unde? Femeile au aplicat la departamente mai competitive (rate de acceptare mai mici); Numărul combinat stochează această variabilă ascunsă. Lecția este clară: atunci când priviți un total sau o medie, asigurați-vă că verificați dacă acel număr spune aceeași poveste atunci când este împărțit în subgrupuri semnificative (segment, perioadă, canal). Când AI vă oferă o rată combinată, întrebarea „este încă valabilă când o segmentați” va prinde cele mai devreme rezultate înșelătoare.
trei mini cutii
Cazul 1 — Două dealuri ascunse. Un analist a constatat că vârsta medie a clienților este de 41 de ani și a raportat că este o „mulțime de vârstă mijlocie”. Dar histograma a arătat două vârfuri: grupele de vârstă 22-28 și 55-62 de ani. Media 41 nu reprezenta de fapt pe nimeni. Lecția: reprezentați grafic distribuția înainte de a avea încredere în medie.
Cazul 2 — Corelație falsă. O echipă a găsit o corelație de 0,78 între „cheltuieli publicitare” și „vânzări” și a dublat bugetul. Totuși, ceea ce i-a declanșat pe ambele au fost campaniile sezoniere; în perioada în afara campaniei, relația a scăzut la 0,10. Publicitatea suplimentară de 340 mii TL nu a dat profitul așteptat. Lecția: a confunda corelația cu cauzalitatea este costisitoare.
Cazul 3 — Linia trasată de către contrarianul singur. O analiză imobiliară a arătat o relație puternică între metru pătrat și preț (r=0,80). Când a fost desenată diagrama de dispersie, aproape întreaga relație a fost creată de o singură vilă de lux de 12 milioane TL; Când acel punct a fost eliminat, corelația a scăzut la 0,31. Lecție: citiți întotdeauna corelația împreună cu diagrama de dispersie.
Patru șabloane copiabile
1) Rezumat automat EDA:
Am panda df. Scrieți codul care produce: (1) df.info() și df.describe(), (2) histogramă pentru fiecare coloană numerică, (3) numărați pentru fiecare coloană categorială. Nu comenta, doar generează codul de descoperire; interpretez tiparele.
2) Corelație + vizual (cu avertismentul cauzalității):
Scrieți cod care desenează o matrice de corelație și o hartă termică pentru coloanele numerice. Desenați, de asemenea, o diagramă de dispersie a celor 3 perechi cele mai înalte corelate. Adăugați o linie de comentariu la rezultat care vă reamintește că corelația nu implică cauzalitate. Nu faceți pretenții cauzale.
3) Diagnosticul distribuției:
Pentru coloana „income_tl”: scrieți codul care produce histograma, diagrama cu casete, valoarea asimetrică și comparația mediană/medie. Voi interpreta dacă distribuția este denaturată sau nu; doar da codul.
4) Compararea segmentelor:
Comparați clienții după „canal” (web/mobil): scrieți codul care produce o diagramă cu suma medie, suma medie, numărul de comenzi și distribuția sumei pentru fiecare canal. Sugerați ce test este potrivit pentru semnificația statistică a diferenței dintre cele două canale, dar decizia este la latitudinea mea.
Prompt slab / Prompt puternic
Prompt slab:
Găsiți ceva interesant în aceste date.
„Interesant” este nedefinit; AI nu vede datele, așa că fie le inventează, fie face declarații generale. Nu există nicio direcție, nici variabile, nici scop.
Solicitare puternică:
Rolul dvs.: asistent EDA. coloane df: vârstă (int), income_tl (float), oraș (categorie), canal (web/mobil), sumă (float). Scop: descoperirea factorilor care afectează „cantitatea”. Sarcină: (1) graficul codului de distribuție a sumei, (2) grafice de distribuție între sumă și vârstă și income_tl, (3) diagramă cu casete a sumei în defalcarea canalului. Stabilirea unei revendicări cauzale; Doar generează codul de descoperire și voi interpreta modelul.
Aici, scopul, variabilele și limita „pretinderii cauzalității” sunt clare.
Greșeli comune
- Bazându-se exclusiv pe statistici rezumative. După cum arată cvartetul Anscombe, același mijloc ascunde distribuții foarte diferite; vezi graficul.
- Corelație greșită cu cauzalitate. Co-acțiunea nu indică faptul că unul duce la celălalt; Atenție la variabilele ascunse.
- Privind corelația fără diagramă de dispersie. O singură valoare anormală sau curbilinie induce în eroare numărul.
- Rezumarea unei distribuții cu două vârfuri/deformate cu media. Media poate să nu reprezinte pe nimeni.
- Sari peste EDA si mergi direct la model. Datele nerecunoscute înseamnă model orb.
Sfat: cu fiecare nou set de date, petreceți primele 30 de minute doar desenând grafice: histograma fiecărei cifre, diagramă de dispersie a perechilor semnificative, diagramă cu bare a categoriilor. Aceste 30 de minute previn viitoarele erori de modelare pentru zilele următoare.
Pe scurt
EDA este faza de cunoaștere a datelor înainte de construirea unui model și caută răspunsuri la patru întrebări: distribuție, răspândire în centru, relații și anomalii. Statisticile rezumate pot induce în eroare; Privirea graficului este obligatorie (prelegerea Anscombe). Corelația este un instrument puternic, dar cauzalitatea nu este și trebuie citită cu siguranță împreună cu un diagramă de dispersie. AI este un accelerator excelent pentru a sugera grafică și a scrie cod; Dar oamenii interpretează cu cunoștințele lor de teren dacă modelul pe care îl văd este real sau o coincidență.
Sarcina de aplicare
Alegeți un set de date și faceți doar EDA: extrageți o histogramă de cel puțin trei variabile numerice, un grafic de dispersie a două perechi de variabile și o hartă termică de corelație. Găsiți cel puțin o „surpriză” (cum ar fi o distribuție cu două vârfuri, un candidat pentru o corelație falsă, o relație atrasă de un singur outlier) și explicați-o într-o singură propoziție. Scrieți fără a face afirmații cauzale.
lista de verificare
- [ ] Am reprezentat grafic distribuția fiecărei variabile numerice?
- [ ] M-am uitat la corelațiile cu graficul de dispersie?
- [ ] Am păstrat separat cauzalitatea și corelația?
- [ ] Nu am observat distribuții distorsionate sau cu două vârfuri și am încredere orbește în medie?
- [ ] Am derivat cel puțin un aspect/ipoteză de modelare din constatările mele EDA?