Pelnas:
- Galimybė sudaryti aprašomąją statistiką ir pasiskirstymo/santykių diagramas su dirbtinio intelekto palaikymu ir pasirinkti tinkamą diagramos tipą pagal duomenis ir klausimą
- Gebėjimas atpažinti klaidinančius pasirinkimus (brūkšninė ašis, netinkamas mastelis, per didelis išlyginimas) dirbtinio intelekto sukurtuose vaizduose ir taikyti sąžiningus vizualizacijos principus
- Gebėjimas atskirti, kad tiriamoji analizė yra skirta hipotezėms generuoti ir spąstams padaryti atradimą ir patvirtinimą naudojant tuos pačius duomenis (tai atveria duris p-hacking).
Išvalius duomenis, pirmasis empirinio tyrėjo darbas – juos pažinti. Šis etapas vadinamas tiriamąja duomenų analize (EDA – Exploratory Data Analysis): tai procesas, kai tiriami duomenys naudojant grafikus ir suvestinė statistika bei matoma jų struktūra, modeliai ir netikėtumai. Kol kas siekiama ne patikrinti hipotezę, o susipažinti su duomenimis, sugeneruoti klausimus ir padėti pagrindus modeliui, kurį kursite ateityje. Šiame skyriuje pamatysime, kaip dirbtinis intelektas (AI) pagreitina EDA ir vizualizaciją, tačiau kodėl jo kuriama grafika turi būti atidžiai patikrinta.
Pirmiausia išskirkime du pagrindinius skirtumus. Pirma, aprašomoji statistika (skaičiai, apibendrinantys tokius duomenis kaip vidurkis, mediana, standartinis nuokrypis, kvartiliai) ir vizualizacija (parodanti tą pačią informaciją grafiškai) papildo viena kitą; Kartu jie apibūdina duomenis. Antra ir svarbiausia: atradimas ir patvirtinimas turi būti atskirti. Tiriamoji analizė skirta hipotezėms generuoti; Išnagrinėjus hipotezę su tais pačiais duomenimis ir pasakius „Išbandžiau ir radau reikšmingą“ atveria duris p-hacking’ui, kurį pamatysime kitame skyriuje. Galima nemokamai peržiūrėti duomenis ir matyti modelį; Tačiau paskelbti, kad šis modelis yra „įrodytas radinys“ tuose pačiuose duomenyse, yra klaidinantis.
Žingsnis po žingsnio tiriamoji analizė
1. Vienetinis vaizdas. Išnagrinėkite kiekvieną kintamąjį atskirai: ar jo pasiskirstymas yra simetriškas ar iškreiptas; kiek kalvų yra; Kur yra nuokrypiai? Skaitiniams kintamiesiems – histograma (grafikas, rodantis dažnį, padalijus reikšmes į diapazonus) ir boxplot (boxplot – diagrama, kurioje rodomos medianos, kvartilės ir kraštutinės reikšmės); Kategoriniams kintamiesiems naudokite dažnių lenteles ir juostines diagramas.
2. Dvimatis vaizdas. Žr. ryšį tarp dviejų kintamųjų: dviejų skaitinių kintamųjų sklaidos diagrama (kiekvienas stebėjimas rodomas kaip taškas x-y plokštumoje), grupinio langelio diagrama skaitiniam-kategoriniam, kryžminė dviejų kategorijų diagrama. Prieš žvelgdami į koreliacijos koeficientą, būtinai pažiūrėkite į sklaidos diagramą: ta pati koreliacija gali rodyti labai skirtingus modelius (tai demonstruoja garsusis Anscombe kvartetas; keturių duomenų rinkinių statistika yra beveik identiška, tačiau nubraižant pasirodo, kad jie visiškai skiriasi).
3. Pasirinkite tinkamą diagramos tipą. Diagramos tipas priklauso nuo jūsų klausimo ir duomenų tipo. Paskirstymo histograma; išsibarstymas santykiams; linijinė diagrama, skirta pokyčiams laikui bėgant; juostinė diagrama kategorijų palyginimui; (atsargiai) sukrauta juosta dalių ir visumos santykiui. AI greitai sugeneruoja kodą už jus, bet jūs turite nuspręsti, „kuriam klausimui skirta diagrama“.
4. Atkreipkite dėmesį į modelį, nedeklaruokite rezultatų. Įrašykite bet kokį įdomų modelį, kurį matote kaip „atradimo užrašą“, bet nelaikykite jo patvirtintu radiniu. Patvirtinimas atliekamas atskiru žingsniu, pageidautina atskirais duomenimis arba iš anksto nustatytu grafiku.
Sąžiningi vizualizacijos principai
Grafika įtikina; Todėl jo klaidinanti galia taip pat didelė. AI gali priimti estetinius, bet kartais klaidinančius pasirinkimus. Patikrinkite šias taisykles:
- Juostinėse diagramose y ašis turi prasidėti nuo nulio. Brūkšninė ašis rodo mažus skirtumus kaip didelius.
- Skalė turi būti nuosekli. Jei lyginamos dvi diagramos, naudokite tą patį ašių diapazoną.
- Per didelis išlyginimas gali paslėpti tikrąjį modelį. Tendencijos linija atrodo gražiai, tačiau jei ji per daug „išlygina“ duomenis, tai gali būti klaidinanti.
- Spalva ir 3D apdaila iškreipia dėmesį, o ne duomenis. Rinkitės paprastumą.
- Turėtų būti matomi trūkstami duomenys ir imties dydis. „n=12“ ir „n=12 000“ neturėtų atrodyti taip pat.
Dėmesio: vien todėl, kad AI sukurta grafika yra graži, ji nėra tiesa. Dažniausia jo daroma klaida yra tai, kad stulpelinėje diagramoje ašis nepradedama nuo nulio ir perdėdama skirtumą tarp dviejų grupių. Visada patikrinkite ašį.
Palyginimo diagrama: klausimas → diagrama
Paklausk
teisinga diagrama
Dažna klaida
Kaip šis kintamasis paskirstomas?
Histogramos/dėžutės brėžinys
naudoti skritulinę diagramą
Ar du skaitiniai kintamieji yra susiję?
Sklaidos sklypas
Tiesiog žiūrint į koreliacijų skaičių
Kaip jis pasikeitė laikui bėgant?
linijinė diagrama
Tendencijos pasakymas juostine diagrama
Kuo skiriasi grupės?
Sugrupuota dėžutė / juosta (nuo nulio)
Nupjautos ašies strypas
Dalies ir visumos santykis?
Sukrauta juosta (atsargiai)
Kelių gabalų skritulinė diagrama
Keturi nukopijuoti raginimai
1. Automatinio aptikimo kodas:
Jūsų vaidmuo: EDA asistentas. Aš nesidalinu duomenimis, noriu R (ggplot2) kodo. „Data“ data.frame yra skaitiniai (pajamos, amžius, išlaidos) ir kategoriniai (regionas, išsilavinimas) kintamieji. Užduotis: parašykite kodą, kuris sukuria kiekvieno skaičiaus histogramą, kiekvienos kategorijos juostinę diagramą ir pajamų–amžiaus sklaidos diagramą. Juostinėse diagramose y ašis turi prasidėti nuo NULIS. Pridėti komentaro eilutę.
2. Koreliacijos peržiūra (koreliacija + vizualinis vaizdas kartu):
Parašykite kodą, kuris apskaičiuoja Pirsono koreliaciją pagal pajamas ir išlaidas ir nubraižo sklaidos diagramą + tiesinę tendenciją. Pridėkite komentaro eilutę, primenančią, kad prieš PATIKĖJANT koreliacijos skaičiumi reikia išnagrinėti diagramą (Anscombe įspėjimas). Neišlyginkite tendencijų linijos.
3. Sąžiningumo auditas:
Patikrinkite šį ggplot kodą, kad būtų sąžininga vizualizacija: [kodas]. Patikrinkite ir pataisykite: ar y ašis prasideda nuo nulio, ar skalė nuosekli, ar matomas imties dydis, ar nėra per daug išlyginimo? Paaiškinkite kiekvieno atlikto pataisymo pagrindimą.
4. Atradimo užrašo (ne radinio) sudarymas:
Remdamiesi mano sudarytais grafikais, įtraukite PASTEBĖJIMUS kaip „atradimo pastabą“; kiekvieną elementą parašykite „hipotezė, kurią reikia patikrinti“, o ne „galutinis radinys“. Pavyzdys: „Aukštojo mokslo pajamos ATRODO labiau paskirstytos; turėtų būti tikrinama naudojant atskirus duomenis. Venkite priežastinių ir galutinių teiginių.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Padarykite gražius grafikus iš derliaus ir pasakykite man, ką jie reiškia.
Šis raginimas skatina klaidinančius rezultatus: „gražus“ sutelkia dėmesį į estetiką, o „ką tai reiškia“ verčia dirbtinį intelektą pereiti nuo atradimo prie galutinės išvados. Toliau seka priežastiniai, perdėti komentarai.
Galingas raginimas:
Jūsų vaidmuo: sąžiningas EDA asistentas.Užduotis: (1) pasirinkite diagramos tipą, atitinkantį mano klausimą, ir parašykite pagrindimą, (2) paleiskite ašį nuo nulio juostinėse diagramose, (3) interpretuokite išvestį DISCOVERY NOTE kalba: nėra galutinio / priežastinio teiginio, kad būtų pasiūlyta hipotezė kalba "būtina patikrinti" (4) įspėti mane, jei aš paleidžiu <3 pavyzdys, jei diagrama yra maža. tai.
Skirtumas: stipri valia pateisina diagramos tipą, nustato sąžiningumo taisykles ir nepainioja atradimo su patvirtinimu.
trys mini dėklai
1 atvejis. Diskrečios ašies perdėta. Analitikas stulpelinėje diagramoje parodė dviejų šakų pasitenkinimo balus (7,8 ir 8,0; iš 10). Pradėjus YZ ašį nuo 7,5, antroji šaka pasirodė beveik dvigubai aukštesnė už pirmąją; tuo tarpu skirtumas buvo tik 2,5 proc. Vadovybė ketino apdovanoti filialą, susidariusį klaidingam įspūdžiui. Kai aš pradėjau važiuoti nuo nulio, skirtumas buvo beveik nepastebimas. Pamoka: vien ašies pasirinkimas keičia suvokimą.
2 atvejis – pasitikėjimas koreliacija ir diagramos praleidimas. Tyrėjas matė r = 0,81 tarp dviejų kintamųjų ir parašė „stiprus tiesinis ryšys“. Kai jo konsultantas paprašė sklaidos diagramos, buvo matyti, kad ryšys iš tikrųjų atsirado dėl vieno ekstremalaus stebėjimo, o kai šis taškas buvo pašalintas, koreliacija sumažėjo iki 0,12. Pamoka: koreliacijos skaičius nepakeičia grafiko; visada žiūrėkite į sklaidą.
3 atvejis – painus atradimas su patvirtinimu. Vienas studentas peržiūrėjo visas porines koreliacijas 40 kintamųjų duomenų rinkinyje, pasirinko didžiausią (r=0,52) ir parašė: „Mes nustatėme reikšmingą ryšį tarp išsilavinimo ir santaupų (p=0,004).“ Tačiau 40 kintamųjų buvo šimtai porų; pasirinkti aukščiausią buvo klaidinga išvada dėl atsitiktinumo. Pamoka: aptikto modelio negalima „išbandyti ir paskelbti reikšmingu“ tais pačiais duomenimis; Reikalingas atskiras patvirtinimas.
Dažnos klaidos
- Juostinėje diagramoje ašis nepradedama nuo nulio. Tai perdeda mažą skirtumą; Dažniausias vizualinis melas. Visada patikrinkite.
- Žvelgiant į koreliaciją ir praleidžiant diagramą. Ta pati koreliacija kyla iš labai skirtingų modelių; gali atitikti išorinius santykius. Pirma, sklaidymas.
- Atradimo modelį laikant tų pačių duomenų „įrodymu“. Tai vartai į p-hacking; Patvirtinimas atliekamas atskirai.
- Netinkamas diagramos tipas. Tokie atitikmenys kaip baras už tendenciją ir pyragas platinimui yra klaidinantys. Pasirinkite žanrą pagal klausimą.
- Mėginio dydžio slėpimas. n=8 ir n=8000 tame pačiame grafike neturėtų atrodyti taip pat; turi būti parodytas neapibrėžtumas.
Patarimas: prieš paskelbdami diagramą paklauskite savęs: „Ar istorija pasikeistų, jei pakeisčiau ašį? Jei atsakymas yra teigiamas, tikriausiai pradėjote sukimąsi iš nesąžiningos vietos.
Apibendrinant
Tiriamoji duomenų analizė yra duomenų surinkimo, modelių matymo ir hipotezių generavimo fazė; Tai nėra patvirtinimas. AI greitai sukuria aprašomąją statistiką ir grafiko kodą, tačiau jūs pasirenkate grafiko tipą pagal savo klausimą ir kontroliuojate teisingumo principus (nulinė ašis, nuosekli skalė, akivaizdus neapibrėžtumas). Prieš pasitikėdami koreliacijos skaičiumi, pažiūrėkite į sklaidą; Nenurodykite modelio, kurį radote atradimo metu, kaip „įrodymą“ tuose pačiuose duomenyse. Gražus AI grafikas nereiškia teisingo grafiko.
Taikymo užduotis
Duomenų rinkinyje pasirinkite bent tris kintamuosius. Paprašykite dirbtinio intelekto ir paleiskite kodą, kuris sukuria tiriamąsias diagramas (histogramą, išsklaidytą, supakuotą) su raginimu, kuris užtikrina sąžiningumo taisykles. Kiekvienai diagramai: patikrinkite (1) diagramos tipo tinkamumą klausimui, (2) ašies teisingumą, (3) imties dydžio matomumą. Parašykite bent vieną „atradimo pastabą“ hipotezės kalba („...atrodo, kad bus patikrinta atskirai“). Išnagrinėkite ryšį su skaičiumi ir sklaida ir praneškite, jei tarp jų yra neatitikimų.
kontrolinis sąrašas
- [ ] Diagramos tipą pasirinkau pagal savo klausimą ir duomenų tipą.
- [ ] Juostinėse diagramose y ašį pradedu nuo nulio; Aš patikrinau ašies sąžiningumą.
- [ ] Prieš pasitikėdamas koreliacija, pažiūrėjau į sklaidos diagramą.
- [ ] Grafike atspindėjau imties dydį ir neapibrėžtumą.
- [ ] Tyrinėjimo metu rastus modelius parašiau kaip „hipotezę, kurią reikia patikrinti“, o ne „įrodymus“.
- [ ] Pažymėjau, kad patvirtinimui nenaudosiu tų pačių duomenų ir reikalingas atskiras veiksmas.