Câștiguri:
- Abilitatea de a produce statistici descriptive și diagrame de distribuție/relație cu suport de inteligență artificială și de a alege tipul de diagramă potrivit în funcție de date și întrebare
- Capacitatea de a recunoaște alegerile înșelătoare (axă întreruptă, scară neadecvată, netezire excesivă) în imaginile produse de inteligența artificială și de a aplica principii oneste de vizualizare
- A putea distinge acea analiză exploratorie este pentru generarea de ipoteze și capcana de a face descoperire și confirmare cu aceleași date (ceea ce deschide ușa p-hacking-ului).
După curățarea datelor, primul loc de muncă al cercetătorului empiric este să le cunoască. Această etapă se numește analiza exploratorie a datelor (EDA - Exploratory Data Analysis): este procesul de examinare a datelor cu grafice și statistici rezumative și de a vedea structura, tiparele și surprizele acestora. Scopul nu este de a testa încă o ipoteză, ci de a vă familiariza cu datele, de a genera întrebări și de a pune bazele modelului pe care îl veți construi în viitor. În această unitate, vom vedea cum inteligența artificială (AI) accelerează EDA și vizualizarea, dar de ce grafica pe care o produce trebuie să fie auditată cu atenție.
Să facem mai întâi două distincții de bază. În primul rând, statisticile descriptive (numere care rezumă date precum media, mediana, abaterea standard, quartile) și vizualizarea (care arată aceleași informații grafic) se completează reciproc; Împreună descriu datele. În al doilea rând, și cel mai critic: descoperirea și confirmarea trebuie să fie distinse. Analiza exploratorie este pentru generarea de ipoteze; Explorând ipoteza cu aceleași date și spunând „Am testat-o și am găsit-o semnificativ” deschide ușa p-hacking-ului, pe care îl vom vedea în următoarea unitate. Este liber să priviți datele și să vedeți un model; Dar declararea acelui model o „descoperire dovedită” în aceleași date este înșelătoare.
Analiză exploratorie pas cu pas
1. Vedere univariată. Examinați fiecare variabilă individual: distribuția ei este simetrică sau declinată; câte dealuri sunt acolo; Unde sunt valorile aberante? Pentru variabilele numerice, histograma (grafic care arată frecvența prin împărțirea valorilor în intervale) și boxplot (grafic cu box - diagramă care arată valorile mediane, quartile și extreme); Pentru variabilele categorice, utilizați tabele de frecvență și diagrame cu bare.
2. Vedere bivariată. Vedeți relația dintre două variabile: diagramă de dispersie pentru două variabile numerice (afișează fiecare observație ca un punct pe planul x-y), diagramă cu casete grupate pentru numeric-categoric, tabel încrucișat pentru două categorii. Înainte de a vă uita la coeficientul de corelație, asigurați-vă că vă uitați la graficul de dispersie: aceeași corelație poate prezenta modele foarte diferite (celebrul cvartet Anscombe demonstrează acest lucru; patru seturi de date au statistici aproape identice, dar atunci când sunt reprezentate se dovedesc a fi complet diferite).
3. Alegeți tipul corect de diagramă. Tipul diagramei depinde de întrebarea dvs. și de tipul de date. Histogramă pentru distribuție; împrăștiere pentru relație; diagramă cu linii pentru modificarea în timp; diagramă cu bare pentru compararea categoriilor; (cu grijă) bară stivuită pentru raportul dintre părți și întreg. AI generează rapid cod pentru tine, dar decizia „care grafic pentru ce întrebare” este a ta.
4. Observați modelul, nu declarați rezultate. Înregistrați orice model interesant pe care îl vedeți ca „notă de descoperire”, dar nu îl considerați o descoperire confirmată. Confirmarea se face într-un pas separat, de preferință cu date separate sau un program prestabilit.
Principii oneste de vizualizare
Grafica convinge; Prin urmare, puterea sa înșelătoare este, de asemenea, mare. AI poate face alegeri estetice, dar uneori înșelătoare. Verificați aceste politici:
- În diagramele cu bare, axa y trebuie să înceapă de la zero. Axa punctată arată diferențe mici pe cât de mari.
- Scara ar trebui să fie consecventă. Dacă două diagrame sunt comparate, utilizați același interval de axe.
- Netezirea excesivă poate ascunde modelul adevărat. O linie de tendință arată bine, dar dacă „netezește” prea mult datele, poate fi înșelătoare.
- Culoarea și decorarea 3D distorsionează atenția, nu datele. Alege simplitatea.
- Datele lipsă și dimensiunea eșantionului ar trebui să fie vizibile. „n=12” și „n=12.000” nu ar trebui să arate la fel.
Atenție: doar pentru că graficele produse de AI sunt frumoase, nu sunt adevărate. Cea mai frecventă greșeală pe care o face este să nu pornească axa de la zero în diagrama cu bare și să exagereze diferența dintre cele două grupuri. Verificați întotdeauna axa.
Diagramă de comparație: întrebare → diagramă
Întreabă
graficul corect
Greșeală comună
Cum este distribuită această variabilă?
Histogramă/box plot
utilizați diagrama circulară
Două variabile numerice sunt legate?
Graficul de dispersie
Privind doar numărul de corelații
Cum s-a schimbat de-a lungul timpului?
diagramă cu linii
Spuneți o tendință cu un grafic cu bare
Care este diferența dintre grupuri?
Cutie/bară grupată (de la zero)
Tija cu ax trunchiat
Raportul dintre părți și întreg?
Bar stivuit (cu precauție)
Diagramă circulară cu mai multe felii
Patru solicitări copiabile
1. Cod de descoperire automată:
Rolul dvs.: asistent EDA. Nu împărtășesc datele, vreau codul R (ggplot2). Există variabile numerice (venit, vârstă, cheltuieli) și categoriale (regiune, educație) în cadrul de date „date”. Sarcină: scrieți un cod care produce o histogramă pentru fiecare număr, o diagramă cu bare pentru fiecare categorie și un diagramă de dispersie pentru venituri ~i vârstă. În diagramele cu bare, lăsați axa y să înceapă de la ZERO. Adăugați o linie de comentarii.
2. Revizuirea corelației (corelație + vizual împreună):
Scrieți codul care calculează atât corelația Pearson pentru venituri și cheltuieli, cât și graficul de dispersie + tendința liniară. Adăugați o linie de comentariu care să-mi amintească să examinez diagrama înainte de a avea ÎNCREDE în numărul de corelații (avertisment Anscombe). Nu neteziți prea mult linia de tendințe.
3. Audit de integritate:
Verificați următorul cod ggplot pentru vizualizare sinceră:[cod]. Verificați și corectați următoarele: axa y începe de la zero, scara este consecventă, dimensiunea eșantionului este vizibilă, există o netezire excesivă? Explicați justificarea fiecărei corecții pe care ați făcut-o.
4. Producerea unei note de descoperire (nu o constatare):
Pe baza graficelor pe care le produc, enumerați OBSERVAȚII ca „notă de descoperire”; scrieți fiecare element în limbajul „ipoteză de testat”, nu „concluzie”. Exemplu: „Veniturile din învățământul superior PARE mai răspândite; ar trebui testat cu date separate. Evitați afirmațiile cauzale și definitive.
Prompt slab / Prompt puternic
Prompt slab:
Faceți grafice frumoase din randament și spuneți-mi ce înseamnă.
Acest prompt invită rezultate înșelătoare: „frumos” se concentrează pe estetică, în timp ce „ce înseamnă” împinge AI să treacă de la descoperire la concluzia definitivă. Urmează comentarii cauzale, exagerate.
Solicitare puternică:
Rolul dvs.: asistent EDA cinstit. Sarcină: (1) alegeți tipul de diagramă care se potrivește întrebării mele și scrieți justificarea,(2) începeți axa de la zero în diagramele cu bare,(3) interpretați rezultatul în limbajul NOTĂ DE DECOPERIRE: nicio afirmație definitivă/cauzoală nu sugerează ipoteza în limbajul „trebuie testat”, (4) mă avertizează dacă eșantionul este mic și voi rula în mediul meu <30).
Diferența: voința puternică justifică tipul de diagramă, impune reguli de onestitate și nu confundă descoperirea cu confirmarea.
trei mini cutii
Cazul 1 — Exagerarea axelor discrete. Un analist a arătat scorurile de satisfacție a două ramuri (7,8 și 8,0; din 10) într-o diagramă cu bare. La pornirea axei YZ de la 7,5, a doua ramură a apărut aproape de două ori mai sus decât prima; în timp ce diferența a fost de numai 2,5%. Conducerea era pe cale să răsplătească o sucursală sub impresia greșită. Când am pornit axa de la zero, diferența era aproape invizibilă. Lecție: numai alegerea axei schimbă percepția.
Cazul 2 — Încredere în corelație și săriți peste grafic. Un cercetător a văzut r = 0,81 între două variabile și a scris „relație liniară puternică”. Când consultantul său a cerut graficul de dispersie, s-a văzut că relația se datora de fapt unei singure observații extreme, iar când acel punct a fost eliminat, corelația a scăzut la 0,12. Lecția: numărul de corelații nu înlocuiește un grafic; uită-te mereu la împrăștiere.
Cazul 3 — Confuză descoperirea cu confirmarea. Un student a analizat toate corelațiile perechi dintr-un set de date cu 40 de variabile, a selectat-o pe cea mai mare (r=0,52) și a scris: „am găsit o relație semnificativă între educație și economii (p=0,004).” Cu toate acestea, au existat sute de perechi în 40 de variabile; alegerea celei mai înalte a fost o constatare falsă datorată întâmplării. Lecție: modelul descoperit nu poate fi „testat și declarat semnificativ” în aceleași date; Este necesară o confirmare separată.
Greșeli comune
- Nu începe axa de la zero în diagrama cu bare. Exagerează mica diferență; Cea mai comună minciună vizuală. Verificați întotdeauna.
- Privind corelația și săriți peste grafic. Aceeași corelație provine din modele foarte diferite; se poate potrivi cu o relație anormală. În primul rând, împrăștierea.
- Considerând tiparul găsit în descoperire ca „dovadă” în aceleași date. Aceasta este poarta de acces către p-hacking; Confirmarea se face separat.
- Tip greșit de diagramă. Potrivirile precum bar pentru tendință și plăcintă pentru distribuție sunt înșelătoare. Alegeți un gen în funcție de întrebare.
- Ascunderea dimensiunii eșantionului. n=8 și n=8.000 nu ar trebui să arate la fel pe același grafic; trebuie arătată incertitudinea.
Sfat: Înainte de a publica o diagramă, întrebați-vă: „S-ar schimba povestea dacă aș schimba axa?” Dacă răspunsul este da, probabil că ați început pivotul dintr-un loc necinstit.
În concluzie
Analiza exploratorie a datelor este faza de întâlnire a datelor, de a vedea tipare și de a genera ipoteze; Nu este o confirmare. AI generează rapid statistici descriptive și cod de grafic, dar alegeți tipul de grafic pe baza întrebării dvs. și controlați principiile corectitudinii (axa zero, scară consecventă, incertitudine aparentă). Uită-te la scatter înainte de a avea încredere în numărul de corelație; Nu declara modelul pe care l-ai găsit în descoperire ca „dovadă” în aceleași date. Un grafic frumos al AI nu înseamnă un grafic corect.
Sarcina de aplicare
Selectați cel puțin trei variabile dintr-un set de date. Solicitați AI și rulați codul care produce grafice exploratorii (histogramă, scatter, boxed) cu un prompt care impune regulile de onestitate. Pentru fiecare diagramă: verificați (1) caracterul adecvat al tipului de diagramă la întrebare, (2) onestitatea axei, (3) vizibilitatea dimensiunii eșantionului. Scrieți cel puțin o „notă de descoperire” în limbajul ipotezei („…pare a fi testat separat”). Examinați o corelație atât cu numărarea, cât și cu împrăștierea și raportați dacă există o discrepanță între ele.
lista de verificare
- [ ] Am ales tipul de diagramă pe baza întrebării mele și a tipului de date.
- [ ] În diagramele cu bare, încep axa y de la zero; Am verificat onestitatea axei.
- [ ] M-am uitat la graficul de dispersie înainte de a avea încredere în corelație.
- [ ] Am reflectat dimensiunea eșantionului și incertitudinea pe grafic.
- [ ] Am scris modelele pe care le-am găsit în explorare ca „ipoteză de testat” mai degrabă decât „dovezi”.
- [ ] Am observat că nu voi folosi aceleași date pentru confirmare și că este necesar un pas separat.