Voitot:
- Kyky tuottaa kuvaavia tilastoja ja jakautumis-/suhdekaavioita tekoälyn tuella ja valita oikea kaaviotyyppi tietojen ja kysymyksen mukaan
- Kyky tunnistaa tekoälyn tuottamissa kuvissa harhaanjohtavia valintoja (katkoviiva, sopimaton mittakaava, liiallinen tasoitus) ja soveltaa rehellisiä visualisointiperiaatteita
- Kyky erottaa, että tutkiva analyysi on hypoteesien luomiseen ja ansaan tehdä löytö ja vahvistus samoilla tiedoilla (joka avaa oven p-hakkerointiin).
Tietojen puhdistamisen jälkeen empiirisen tutkijan ensimmäinen tehtävä on tutustua siihen. Tätä vaihetta kutsutaan tutkivaksi data-analyysiksi (EDA - Exploratory Data Analysis): se on prosessi, jossa dataa tarkastellaan kaavioilla ja yhteenvetotilastoilla ja nähdään sen rakenne, kuviot ja yllätykset. Tavoitteena ei ole vielä testata hypoteesia, vaan tutustua aineistoon, luoda kysymyksiä ja luoda pohja tulevalle mallille. Tässä osiossa näemme kuinka tekoäly (AI) nopeuttaa EDA:ta ja visualisointia, mutta miksi sen tuottamaa grafiikkaa on tarkastettava huolellisesti.
Tehdään ensin kaksi peruseroa. Ensinnäkin kuvaavat tilastot (luvut, jotka tiivistävät tiedot, kuten keskiarvon, mediaanin, keskihajonnan, kvartiilit) ja visualisointi (näyttää samat tiedot graafisesti) täydentävät toisiaan; Yhdessä ne kuvaavat dataa. Toinen ja kriittisin: löytö ja vahvistus on erotettava toisistaan. Tutkiva analyysi on hypoteesien luomiseen; Hypoteesin tutkiminen samoilla tiedoilla ja sanominen "Testasin sen ja huomasin sen merkittäväksi" avaa oven p-hakkerointiin, jonka näemme seuraavassa osiossa. On ilmaista tarkastella tietoja ja nähdä kuvio; Mutta tämän mallin julistaminen "todistetuksi löydökseksi" samoissa tiedoissa on harhaanjohtavaa.
Askel askeleelta tutkiva analyysi
1. Yksimuuttujanäkymä. Tutki kutakin muuttujaa erikseen: onko sen jakautuminen symmetrinen vai vino; kuinka monta kukkulaa siellä on; Missä ovat poikkeamat? Numeerisille muuttujille histogrammi (käyrä, joka näyttää taajuuden jakamalla arvot alueisiin) ja boxplot (boxplot - kaavio, joka näyttää mediaani-, kvartiili- ja ääriarvot); Kategoristen muuttujien osalta käytä taajuustaulukoita ja pylväskaavioita.
2. Kaksimuuttujanäkymä. Katso kahden muuttujan välinen suhde: hajontakaavio kahdelle numeeriselle muuttujalle (näyttää kunkin havainnon pisteenä x-y-tasolla), ryhmitelty laatikkokaavio numeeriselle kategoriselle, ristitaulukko kahdelle kategoriselle. Ennen kuin katsot korrelaatiokerrointa, muista katsoa sirontakuvaajaa: sama korrelaatio voi näyttää hyvin erilaisia malleja (kuuluisa Anscombe-kvartetti osoittaa tämän; neljällä tietojoukolla on lähes identtiset tilastot, mutta piirrettynä ne osoittautuvat täysin erilaisiksi).
3. Valitse oikea kaaviotyyppi. Kaavion tyyppi riippuu kysymyksestäsi ja tietotyypistäsi. Histogrammi jakelua varten; hajoaminen suhdetta varten; viivakaavio ajan muutokselle; pylväskaavio luokkien vertailua varten; (varovasti) pinottu tanko osien suhteelle kokonaisuuteen. Tekoäly luo nopeasti koodin sinulle, mutta päätös "mikä kuvaaja mihinkin kysymykseen" on sinun.
4. Huomaa kuvio, älä ilmoita tuloksia. Kirjaa kaikki näkemäsi mielenkiintoinen kuvio "löytömuistiinpanoksi", mutta älä pidä sitä vahvistettuna löydönä. Vahvistus tehdään erillisessä vaiheessa, mieluiten erillisillä tiedoilla tai ennalta määrätyllä aikataululla.
Rehelliset visualisointiperiaatteet
Grafiikka vakuuttaa; Siksi sen harhaanjohtava voima on myös suuri. Tekoäly voi tehdä esteettisiä, mutta joskus harhaanjohtavia valintoja. Tarkista nämä käytännöt:
- Pylväskaavioissa y-akselin on aloitettava nollasta. Katkoviivalla näkyvät pienet erot ovat suuria.
- Asteikon tulee olla johdonmukainen. Jos kahta kaaviota verrataan, käytä samaa akselialuetta.
- Liiallinen tasoitus voi piilottaa todellisen kuvion. Trendiviiva näyttää hyvältä, mutta jos se "tasoittaa" tietoja liikaa, se voi olla harhaanjohtavaa.
- Värit ja 3D-sisustus vääristävät huomiota, eivät tietoja. Valitse yksinkertaisuus.
- Puuttuvien tietojen ja otoskoon pitäisi olla näkyvissä. "n=12" ja "n=12 000" eivät saa näyttää samalta.
Huomio: Vain koska tekoälyn tuottama grafiikka on kaunis, se ei ole totta. Yleisin virhe, jonka hän tekee, on se, että se ei aloita akselia nollasta pylväskaaviossa ja liioittelee näiden kahden ryhmän välistä eroa. Tarkista aina akseli.
Vertailukaavio: kysymys → kaavio
Kysy
oikea kaavio
Yleinen virhe
Miten tämä muuttuja jakautuu?
Histogrammi/laatikkokaavio
käytä ympyräkaaviota
Liittyvätkö kaksi numeerista muuttujaa toisiinsa?
Hajakuvaaja
Katsotaan vain korrelaatioiden määrää
Miten se on muuttunut ajan myötä?
viivakaavio
Trendin kertominen pylväskaavion avulla
Mitä eroa on ryhmien välillä?
Ryhmitetty laatikko/palkki (alusta)
Katkaistu akselitanko
Osa-koko-suhde?
Pinottu baari (varoen)
Monilohkoinen ympyräkaavio
Neljä kopioitavaa kehotetta
1. Automaattinen etsintäkoodi:
Sinun roolisi: EDA-assistentti. En jaa tietoja, haluan R (ggplot2) -koodin. Data.frame-kentässä on numeeriset (tulot, ikä, menot) ja kategorialliset (alue, koulutus) muuttujat. Tehtävä: kirjoita koodi, joka tuottaa histogrammin jokaiselle numeeriselle numerolle, pylväskaavion jokaiselle kategorialle ja hajontakaavio tulo-iästä. Pylväskaavioissa y-akseli alkaa nollasta. Lisää kommenttirivi.
2. Korrelaatiokatsaus (korrelaatio + visuaalinen yhdessä):
Kirjoita koodi, joka sekä laskee Pearson-korrelaation tuloille ja menoille että piirtää hajakuvaajan + lineaarisen trendin. Lisää kommenttirivi, joka muistuttaa minua tutkimaan kaaviota ennen kuin LUOTTAN korrelaatiolaskuriin (Anscombe-varoitus). Älä tasoita trendiviivaa liikaa.
3. Rehellisyystarkastus:
Tarkista seuraavasta ggplot-koodista rehellinen visualisointi: [koodi]. Tarkista ja korjaa seuraavat asiat: alkaako y-akseli nollasta, onko asteikko johdonmukainen, onko näytekoko näkyvissä, onko liiallista tasoitusta? Selitä jokaisen tekemäsi korjauksen perustelu.
4. Löytää muistiinpano (ei löytö):
Tuottamieni kaavioiden perusteella luettele HUOMAUTUKSET "löytömuistiinpanoksi"; kirjoita jokainen kohta kielellä "testattava hypoteesi", ei "vapaava havainto". Esimerkki: 'Korkeakoulutuksen tulot NÄYTTÄVÄT hajaantuneemmalta; olisi testattava erillisillä tiedoilla. Vältä syy- ja lopullisia väitteitä.
Heikko kehote / Vahva kehote
Heikko kehote:
Tee tuotosta mukavia kaavioita ja kerro, mitä ne tarkoittavat.
Tämä kehote kutsuu harhaanjohtavia tuloksia: "kaunis" keskittyy estetiikkaan, kun taas "mitä se tarkoittaa" pakottaa tekoälyn hyppäämään löydöstä lopulliseen johtopäätökseen. Syyllisiä, liioiteltuja kommentteja seuraa.
Tehokas kehotus:
Roolisi: rehellinen EDA-assistentti.Tehtävä: (1) valitse kysymykseeni sopiva kaaviotyyppi ja kirjoita perustelut,(2) aloita akseli nollasta pylväskaavioissa,(3) tulkitse tulos DISCOVERY NOTE -kielellä: ei lopullista/syy-väittämää ei ehdota hypoteesia "täytyy testata" -kielellä,(4) varoittaa minua, jos kaavio on omassa ympäristössäni <3 ja näyte0 on pieni. se.
Ero: vahva tahto oikeuttaa kaaviotyypin, asettaa rehellisyyden sääntöjä eikä sekoita löytöä vahvistukseen.
kolme minilaukkua
Tapaus 1 — Diskreetin akselin liioittelua. Analyytikko osoitti pylväskaaviossa kahden haaran tyytyväisyyspisteet (7,8 ja 8,0; 10:stä). Kun YZ-akseli käynnistettiin pisteestä 7,5, toinen haara näytti lähes kaksi kertaa korkeammalta kuin ensimmäinen; ero oli vain 2,5 prosenttia. Johto aikoi palkita sivuliikkeen väärällä vaikutelmalla. Kun aloitin akselin tyhjästä, ero oli melkein näkymätön. Oppitunti: akselin valinta yksin muuttaa käsitystä.
Tapaus 2 – korrelaatioon luottaminen ja kaavion ohittaminen. Tutkija näki r = 0,81 kahden muuttujan välillä ja kirjoitti "vahvan lineaarisen suhteen". Kun hänen konsulttinsa pyysi sirontadiagrammia, havaittiin, että suhde johtui itse asiassa yhdestä äärimmäisestä havainnosta, ja kun tämä piste poistettiin, korrelaatio putosi arvoon 0,12. Oppitunti: korrelaatiolaskenta ei korvaa kuvaajaa; katso aina hajontaa.
Tapaus 3 – Hämmentävä löytö ja vahvistus. Yksi opiskelija tarkasteli kaikkia parittaisia korrelaatioita 40 muuttujan tietojoukossa, valitsi korkeimman (r=0,52) ja kirjoitti: "Löysimme merkittävän suhteen koulutuksen ja säästöjen välillä (p = 0,004)." Kuitenkin 40 muuttujassa oli satoja pareja; Korkeimman valinta oli sattuman vuoksi väärä havainto. Oppitunti: löydettyä mallia ei voida "testata ja julistaa merkittäväksi" samoissa tiedoissa; Erillinen vahvistus vaaditaan.
Yleisiä virheitä
- Ei aloita akselia pylväskaavion nollasta. Se liioittelee pientä eroa; Yleisin visuaalinen valhe. Tarkista aina.
- Tarkastellaan korrelaatiota ja ohitetaan kaavio. Sama korrelaatio tulee hyvin erilaisista malleista; voi sopia ulkopuoliseen suhteeseen. Ensinnäkin hajonta.
- Löydöstä löytyneen kuvion pitäminen "todisteena" samoissa tiedoissa. Tämä on portti p-hakkerointiin; Vahvistus tehdään erikseen.
- Väärä kaaviotyyppi. Ottelut, kuten bar for trend ja piirakka jakelua varten, ovat harhaanjohtavia. Valitse tyylilaji kysymyksen perusteella.
- Otoskoon piilottaminen. n=8 ja n=8000 eivät saa näyttää samalta samassa kaaviossa; epävarmuus on näytettävä.
Vinkki: Ennen kuin julkaiset kaavion, kysy itseltäsi: "Muuttuuko tarina, jos vaihtaisin akselia?" Jos vastaus on kyllä, aloitit luultavasti epärehellisen paikan.
Yhteenvetona
Tutkiva data-analyysi on vaihe, jossa tiedot täyttyvät, mallit nähdään ja hypoteesia luodaan; Se ei ole vahvistus. Tekoäly luo nopeasti kuvaavia tilastoja ja kaaviokoodia, mutta valitset kaaviotyypin kysymyksesi perusteella ja hallitset oikeudenmukaisuuden periaatteita (nollaakseli, johdonmukainen asteikko, näennäinen epävarmuus). Katso hajontaa ennen kuin luotat korrelaationumeroon; Älä julista löydössä löytämääsi mallia "todisteena" samoissa tiedoissa. Kaunis tekoälyn kaavio ei tarkoita oikeaa kuvaajaa.
Sovellustehtävä
Valitse tietojoukosta vähintään kolme muuttujaa. Pyydä tekoälyltä ja suorita koodi, joka tuottaa tutkivia kaavioita (histogrammi, sironta, laatikollinen) kehotteen kanssa, joka noudattaa rehellisyyssääntöjä. Jokaisen kaavion kohdalla: tarkista (1) kaaviotyypin sopivuus kysymykseen, (2) akselin rehellisyys, (3) otoskoon näkyvyys. Kirjoita vähintään yksi "löytömuistiinpano" hypoteesikielellä ("...näyttää testattavan erikseen"). Tutki korrelaatiota sekä laskennan että hajonnan kanssa ja ilmoita, jos niiden välillä on eroa.
tarkistuslista
- [ ] Valitsin kaaviotyypin kysymykseni ja tietotyypin perusteella.
- [ ] Pylväskaavioissa aloitan y-akselin nollasta; Tarkistin akselin rehellisyyden.
- [ ] Katsoin hajontakaaviota ennen kuin luotin korrelaatioon.
- [ ] Kuvasin otoksen kokoa ja epävarmuutta kuvaajassa.
- [ ] Kirjoitin etsinnässä löytämäni mallit "testattavaksi hypoteesiksi" eikä "todistukseksi".
- [ ] Huomasin, että en käyttäisi samoja tietoja vahvistukseen ja että vaadittiin erillinen vaihe.