Voitot:
- Kyky tutkia muuttujien jakautumista, keskustaa, leviämistä ja poikkeavuuksia sopivilla kaavioilla (histogrammi, laatikkodiagrammi, hajontakaavio).
- Kyky tulkita korrelaatiota oikein ja lukea se yhdessä sirontakuvaajan kanssa sekoittamatta sitä kausaalisuuteen
- Kyky ymmärtää, että yhteenvetotilastot voivat olla harhaanjohtavia (Anscombe-oppitunti) ja kehittää hypoteeseja, jotka määrittävät mallinnuksen suunnan.
Ennen mallin rakentamista on tarpeen tuntea tiedot. Aivan kuten lääkäri ei määrää lääkitystä tutkimatta potilasta, datatieteilijä ei rakenna mallia "tutkimatta" tietoja. Tätä tutkimusta kutsutaan exploratory data-analyysiksi (lyhennettynä EDA): se on vaihe, jossa etsitään datan jakautumista, suhteita, yllätyksiä ja ansoja visuaalisesti ja graafisesti. EDA:n tarkoituksena on luoda hypoteeseja, havaita virheet ja määrittää mallinnuksen suunta. Tekoäly on tässä vaiheessa erittäin tehokas apulainen: se ehdottaa, mikä kaavio sopii, kirjoittaa sen koodin, tulkitsee jakauman. Mutta ihminen päättää kentällä tietämyksensä avulla, onko hänen näkemänsä kuvio todellinen vai sattuma.
Mitä EDA etsii?
EDA etsii vastauksia neljään kysymykseen. Jakauma: Miten kukin muuttuja jakautuu – onko se symmetrinen, vino vai kaksihuippuinen? Keskitrendi ja leviäminen: Mikä on keskiarvo, mediaani, keskihajonna? Suhteet: Miten muuttujat liittyvät toisiinsa? Anomaliat: Onko odottamattomia arvoja, aukkoja, ryhmittymiä? Nämä neljä kysymystä määrittävät, mikä ominaisuus toimii ja mikä malli on sopiva.
Määrittelemme joitain peruskäsitteitä. Histogrammi on kaavio, joka jakaa numeerisen muuttujan arvot intervalleiksi ja näyttää kuinka monta havaintoa on kussakin välissä; Se on nopein tapa nähdä jakelu. Vino on jakauman siirtyminen yhteen suuntaan; Muuttujat, kuten tulot, ovat vinossa oikealle (enemmistö alhainen, harvat erittäin korkeat). Laatikkokaavio näyttää mediaanin, kvartiilit ja poikkeamat yhdellä silmäyksellä. Sirontakaavio näyttää kahden numeerisen muuttujan suhteen pistepilven kanssa.
Korrelaatio: suhde on olemassa, mutta ole varovainen
Korrelaatio — mitta siitä, kuinka kaksi muuttujaa liikkuvat yhdessä; numero välillä -1 ja +1 — on EDA:n eniten käytetty ja väärinymmärretty työkalu. +1 tarkoittaa täydellistä yhteiskasvua, -1 tarkoittaa täydellistä käänteistä suhdetta, 0 tarkoittaa, että ei lineaarista suhdetta. On kaksi suurta ansoja. Ensinnäkin kuuluisa sääntö: korrelaatio ei ole syy-yhteyttä. Tukehtumistapaukset lisääntyvät jäätelön myynnin myötä; ei siksi, että toinen johtaa toiseen, vaan koska kesä (piilotettu kolmas muuttuja) laukaisee molemmat. Toiseksi korrelaatio mittaa vain lineaarista suhdetta; Se voi viitata vahvaan mutta käyräviivaiseen suhteeseen, joka on lähellä nollaa. Joten kun tarkastelet korrelaatiota, muista katsoa myös sirontadiagrammia.
Varoitus: Kun tekoäly antaa korrelaatioluvun, se voi liukua kausaalikieleen, kuten "A lisää B:tä". Tämä on vaarallista. Korrelaatio osoittaa vain liikettä yhdessä; Vain kokemus, alan tuntemus ja huolellinen päätelmä vahvistavat syyn.
Anscombe-kvartetti: miksi ei vain katsoisi numeroa
Tilastoissa on kuuluisa esimerkki: Anscombe-kvartetti. Neljällä eri tietojoukolla on lähes sama keskiarvo, sama varianssi ja sama korrelaatio (0,82); Mutta graafisesti piirrettynä ne näyttävät täysin erilaisilta - yksi suora viiva, yksi kaareva, yksi pilvi, jonka vetää yksittäinen poikkeama. Oppitunti on selvä: yhteenvetotilastot ovat harhaanjohtavia, kaavion katsominen on välttämätöntä. Tekoäly voi antaa sinulle keskiarvoja ja korrelaatioita, mutta luottaminen näihin lukuihin näkemättä kaaviota putoaa Anscomben ansaan.
Alla olevassa taulukossa on yhteenveto, mikä kaavio sopii mihinkin kysymykseen:
Kysymys
sopiva grafiikka
Mitä näyttää
Yhden muuttujan jakauma
Histogrammi / KDE
Muoto, vinous, kärkien lukumäärä
Keskusta ja outliers
Laatikko tontti
Mediaani, kvartiilit, poikkeavat arvot
Kahden luvun suhde
hajontakaavio
Suunta, vahvuus, kaarevuus
Luokkien vertailu
pylväskaavio
Ero ryhmien välillä
muuttua ajan myötä
viivakaavio
Trendi, kausiluonteisuus
Monimuuttujasuhde
Korrelaatiolämpökartta
Yleinen suhdematriisi
Simpsonin paradoksi: aggregoitu data voi valehdella
Simpsonin paradoksi on tiedostettava EDA:n luja ansa: kuvio voi näyttää yhden suunnan, kun kaikkia tietoja tarkastellaan yhdessä, mutta päinvastainen, kun tiedot jaetaan merkityksellisiin alaryhmiin. Klassinen esimerkki: naispuolisten hakijoiden yleinen hyväksymisaste yliopistoon näyttää olevan alhaisempi kuin miesten; Mutta kun tarkastellaan osastoittain, naisten hyväksyntäaste on korkeampi kuin miesten useimmilla osastoilla. mistä? Naiset hakivat kilpailukykyisemmille (alempi hyväksymisaste) osastoille; Yhdistetty numero tallentaa tämän piilotetun muuttujan. Oppitunti on selvä: kun tarkastelet kokonaislukua tai keskiarvoa, muista tarkistaa, kertooko tämä luku saman tarinan, kun se jaetaan merkityksellisiin alaryhmiin (segmentti, jakso, kanava). Kun tekoäly antaa sinulle yhdistetyn hinnan, kysymällä "onko se edelleen voimassa, kun segmentoit sen" saa useimmat harhaanjohtavat tulokset varhain.
kolme minilaukkua
Tapaus 1 – Kaksi piilotettua mäkeä. Eräs analyytikko havaitsi asiakkaiden keski-iän olevan 41 vuotta ja ilmoitti sen olevan "keski-ikäinen joukko". Mutta histogrammi osoitti kaksi huippua: 22-28 ja 55-62 ikäryhmät. Keskimääräinen 41 ei edustanut ketään. Oppitunti: piirrä jakauma ennen kuin luotat keskiarvoon.
Tapaus 2 – Valheellinen korrelaatio. Yksi tiimi havaitsi 0,78-korrelaation "mainoskulujen" ja "myynnin" välillä ja kaksinkertaisti budjetin. Se, mikä laukaisi kuitenkin molemmat, olivat kausiluonteiset kampanjat; kampanjan ulkopuolisena aikana suhde putosi 0,10:een. 340 tuhannen TL:n lisämainonta ei tuottanut odotettua tuottoa. Oppitunti: korrelaation sekoittaminen syy-yhteyteen on kallista.
Tapaus 3 – Yksinäisen vastapuolen piirtämä viiva. Kiinteistöanalyysi osoitti vahvan suhteen neliömetrin ja hinnan välillä (r=0,80). Kun sirontakuvaa piirrettiin, lähes koko suhde loi yhden 12 miljoonan TL:n luksushuvilan; Kun tämä piste poistettiin, korrelaatio putosi 0,31:een. Oppitunti: lue aina korrelaatio sirontakuvaajan mukana.
Neljä kopioitavaa mallia
1) Automaattinen EDA-yhteenveto:
Minulla on pandat df. Kirjoita koodi, joka tuottaa: (1) df.info() ja df.describe(), (2) histogrammin jokaiselle numeeriselle sarakkeelle, (3) jokaiselle kategoriselle sarakkeelle. Älä kommentoi, vaan luo vain hakukoodi; Minä tulkitsen kuvioita.
2) Korrelaatio + visuaalinen (syy-yhteyden varalta):
Kirjoita koodi, joka piirtää korrelaatiomatriisin ja lämpökartan numeerisille sarakkeille. Piirrä myös 3 korkeimman korreloidun parin sirontakaavio. Lisää tulosteeseen kommenttirivi, joka muistuttaa, että korrelaatio ei tarkoita syy-yhteyttä. Älä esitä kausaalisia väitteitä.
3) Jakaumadiagnoosi:
"Income_tl" -sarakkeelle: kirjoita koodi, joka tuottaa histogrammin, laatikkokaavion, vinoarvon ja mediaani/keskiarvon vertailun. Minä tulkitsen, onko jakautuminen vino vai ei; anna vain koodi.
4) Segmenttien vertailu:
Vertaa asiakkaita "kanavan" mukaan (verkko/mobiili): kirjoita koodi, joka tuottaa kunkin kanavan keskimääräisen summan, mediaanimäärän, tilausten lukumäärän ja summajakauman boxplotin. Ehdota, mikä testi on sopiva kahden kanavan välisen eron tilastollisen merkitsevyyden kannalta, mutta päätös on minun.
Heikko kehote / Vahva kehote
Heikko kehote:
Löydä jotain mielenkiintoista näistä tiedoista.
"Mielenkiintoinen" on määrittelemätön; Tekoäly ei näe dataa, joten se joko keksii sen tai esittää yleisiä lausuntoja. Ei ole suuntaa, ei muuttujia, ei tarkoitusta.
Tehokas kehotus:
Sinun roolisi: EDA-assistentti. df-sarakkeet: ikä (int), tulo_tl (float), kaupunki (luokka), kanava (verkko/mobiili), summa (float). Tarkoitus: löytää "määrään" vaikuttavat tekijät. Tehtävä: (1) koodi piirtää summan jakautumisen, (2) jakautumiskaaviot määrän ja iän ja tulo_tl välillä, (3) laatikkokuvaaja summan kanavaerittelyssä. kausaalisen väitteen vahvistaminen; Luo vain hakukoodi ja tulkitsen kuvion.
Tässä on selvät syy-yhteyden väittämisen tarkoitus, muuttujat ja raja.
Yleisiä virheitä
- Luotetaan vain yhteenvetotilastoihin. Kuten Anscombe-kvartetti osoittaa, sama keskiarvo kätkee hyvin erilaisia jakaumia; katso kaavio.
- Virheellinen korrelaatio syy-yhteydelle. Yhteistoiminta ei osoita, että yksi johtaa toiseen; Varo piilotettuja muuttujia.
- Tarkastellaan korrelaatiota ilman sirontakaaviota. Yksittäinen poikkeama tai kaarevuus johtaa luvun harhaan.
- Kaksihuippuisen/vinollisen jakauman yhteenveto keskiarvon kanssa. Keskiarvo ei välttämättä edusta ketään.
- Ohita EDA ja siirryt suoraan malliin. Tunnistamaton data tarkoittaa sokeaa mallia.
Vinkki: Käytä jokaisen uuden tietojoukon yhteydessä ensimmäiset 30 minuuttia vain kaavioiden piirtämiseen: kunkin numeerisen histogrammin, merkittävien parien hajontakaavion, kategorioiden pylväskaavion. Nämä 30 minuuttia estävät tulevia mallinnusvirheitä tulevina päivinä.
Yhteenvetona
EDA on vaihe, jossa tutustutaan tietoihin ennen mallin rakentamista ja etsitään vastauksia neljään kysymykseen: jakelu, keskihajautus, suhteet ja poikkeavuudet. Yhteenvetotilastot voivat olla harhaanjohtavia; kaavion katsominen on välttämätöntä (Anscomben luento). Korrelaatio on tehokas työkalu, mutta syy-yhteyttä ei ole eikä sitä pitäisi ehdottomasti lukea yhdessä sirontakaavion kanssa. AI on loistava kiihdytin grafiikan ehdottamiseen ja koodin kirjoittamiseen; Mutta ihmiset tulkitsevat kenttätiedoillaan, onko näkemänsä kuvio todellinen vai sattuma.
Sovellustehtävä
Valitse tietojoukko ja tee vain EDA: poimi vähintään kolmen numeerisen muuttujan histogrammi, kahden muuttujaparin hajontakaavio ja korrelaatiolämpökartta. Etsi ainakin yksi ”yllätys” (kuten jakauma, jossa on kaksi huippua, ehdokas harhaan korrelaatioon, suhde, jota houkuttelee yksittäinen poikkeava) ja selitä se yhdellä lauseella. Kirjoita ilman mitään syy-seurantaa.
tarkistuslista
- [ ] Olenko piirtänyt kunkin numeerisen muuttujan jakauman?
- [ ] Katsoinko korrelaatioita sirontakaavion kanssa?
- [ ] Olenko pitänyt kausaliteetin ja korrelaation erillään?
- [ ] Enkö huomannut vinoja tai kaksihuippujakaumia ja luottanut sokeasti keskiarvoon?
- [ ] Olenko saanut EDA-löydöistäni ainakin yhden mallinnusnäkökohdan/hypoteesin?