Kasu:
- Oskus sobivate graafikutega (histogramm, kastdiagramm, hajuvusdiagramm) uurida muutujate jaotust, keskpunkti, levikut ja anomaaliaid.
- Oskus korrelatsiooni õigesti tõlgendada ja koos hajuvusdiagrammiga lugeda, segamata seda põhjuslikkusega
- Oskus mõista, et koondstatistika võib olla eksitav (Anscombe’i õppetund) ja välja töötada hüpoteese, mis määravad modelleerimise suuna.
Enne mudeli ehitamist on vaja andmeid teada. Nii nagu arst ei määra ravimeid ilma patsienti uurimata, ei koosta andmeteadlane mudelit ilma andmeid "uurimata". Seda uurimist nimetatakse uurimuslikuks andmeanalüüsiks (lühidalt EDA): see on andmete jaotuse, seoste, üllatuste ja lõksude visuaalse ja graafilise avastamise faas. EDA eesmärk on luua hüpoteese, tabada vigu ja määrata modelleerimise suund. Tehisintellekt on selles etapis väga võimas abiline: see soovitab, milline diagramm sobib, kirjutab selle koodi, tõlgendab jaotust. Aga inimene otsustab oma valdkonnateadmistega, kas muster, mida ta näeb, on tõeline või juhus.
Mida EDA otsib?
EDA otsib vastuseid neljale küsimusele. Jaotus: kuidas jaotatakse iga muutuja – kas see on sümmeetriline, kallutatud või kahe tipuga? Keskne tendents ja levik: mis on keskmine, mediaan, standardhälve? Seosed: kuidas on muutujad omavahel seotud? Anomaaliad: kas on ootamatuid väärtusi, lünki, rühmitusi? Need neli küsimust määravad, milline funktsioon töötab ja milline mudel on sobiv.
Määratleme mõned põhimõisted. Histogramm on graafik, mis jagab arvulise muutuja väärtused intervallideks ja näitab, mitu vaatlust igas intervallis on; See on kiireim viis jaotuse nägemiseks. Viltus on jaotuse nihkumine ühes suunas; Muutujad, nagu sissetulek, on kaldu paremale (enamus madal, vähesed väga suured). Kastigraafik näitab lühidalt mediaani, kvartiile ja kõrvalekaldeid. Hajumisdiagramm näitab kahe arvulise muutuja seost punktipilvega.
Korrelatsioon: suhe on olemas, kuid ole ettevaatlik
Korrelatsioon – kahe muutuja koos liikumise mõõt; arv vahemikus -1 kuni +1 — on EDA enim kasutatud ja enim valesti mõistetud tööriist. +1 tähendab täiuslikku kaaskasvu, -1 tähendab täiuslikku pöördsuhet, 0 tähendab, et lineaarset seost pole. Seal on kaks suurt lõksu. Esiteks kuulus reegel: korrelatsioon ei ole põhjuslik seos. Lämbumisjuhtumite arv suureneb jäätise müügiga; mitte sellepärast, et üks viib teiseni, vaid sellepärast, et suvi (varjatud kolmas muutuja) käivitab mõlemad. Teiseks mõõdab korrelatsioon ainult lineaarset seost; See võib viidata tugevale, kuid kõverjoonelisele suhtele, mis on lähedane nullile. Seega, kui vaatate korrelatsiooni, vaadake kindlasti ka hajuvusgraafikut.
Ettevaatust: kui tehisintellekt annab korrelatsiooninumbri, võib see libiseda põhjuslikuks keeleks, näiteks "A suurendab B". See on ohtlik. Korrelatsioon näitab ainult liikumist koos; Põhjuse tuvastavad ainult kogemused, valdkonnateadmised ja hoolikad järeldused.
Anscombe kvartett: miks mitte vaadata lihtsalt numbrit
Statistikas on üks kuulus näide: Anscombe’i kvartett. Neljal erineval andmekogumil on peaaegu sama keskmine, sama dispersioon ja sama korrelatsioon (0,82); Kuid graafikuna näevad nad välja täiesti erinevad – üks sirgjoon, üks kõver, üks pilv, mille tõmbab üks kõrvalekalle. Õppetund on selge: kokkuvõtlik statistika on eksitav, graafiku vaatamine on kohustuslik. AI võib anda teile keskmisi ja korrelatsioone, kuid nende arvude usaldamine ilma graafikut nägemata langeb Anscombe'i lõksu.
Allolevas tabelis on kokkuvõte, milline diagramm vastab millisele küsimusele:
küsimus
sobiv graafika
Mis näitab
Ühe muutuja jaotus
Histogramm / KDE
Kuju, viltused, tippude arv
Keskpunkt ja kõrvalekalded
Kasti krunt
Mediaan, kvartiilid, kõrvalekalded
Kahe arvu seos
hajuvusdiagramm
Suund, tugevus, kumerus
Kategooriate võrdlus
tulpdiagramm
Erinevus rühmade vahel
aja jooksul muutuda
joondiagramm
Trend, hooajalisus
Mitmemõõtmeline seos
Korrelatsiooni soojuskaart
Üldine suhtemaatriks
Simpsoni paradoks: koondandmed võivad valetada
EDA salakaval lõks, millest tuleb teadlik olla, on Simpsoni paradoks: muster võib näidata ühte suunda, kui kõiki andmeid vaadatakse koos, kuid vastupidine, kui andmed on jagatud tähenduslikeks alarühmadeks. Klassikaline näide: naissoost kandidaatide üldine vastuvõtuprotsent ülikoolis näib olevat madalam kui meessoost kandideerijate puhul; Kuid osakondade kaupa vaadeldes on naiste vastuvõtmise määr enamikus osakondades kõrgem kui meestel. kust? Naised kandideerisid konkurentsivõimelisematesse (madalama vastuvõtumääraga) osakondadesse; Kombineeritud arv salvestab selle peidetud muutuja. Õppetund on selge: kui vaatate kogusummat või keskmist, kontrollige kindlasti, kas see arv räägib sama lugu, kui see on jagatud tähenduslikeks alarühmadeks (segment, periood, kanal). Kui tehisintellekt annab teile kombineeritud määra, siis küsides „kas see segmenteerimisel ikka kehtib” tabab enamik eksitavaid tulemusi juba varakult.
kolm minikarpi
Juhtum 1 – kaks peidetud künka. Üks analüütik leidis, et klientide keskmine vanus on 41 ja teatas, et see on "keskealine rahvahulk". Kuid histogramm näitas kahte tippu: 22-28 ja 55-62 vanuserühma. Keskmine 41 ei esindanud tegelikult kedagi. Õppetund: joonistage jaotus enne keskmise usaldamist.
Juhtum 2 – võltskorrelatsioon. Üks meeskond leidis 0,78 korrelatsiooni „reklaamikulude” ja „müügi” vahel ning kahekordistas eelarve. Mõlemad käivitasid aga hooajalised kampaaniad; kampaaniavälisel perioodil langes suhe 0,10 peale. 340 tuhat TL lisareklaam ei andnud oodatud tulu. Õppetund: korrelatsiooni segi ajamine põhjusliku seosega on kallis.
3. juhtum – üksildase vastaspoole tõmmatud joon. Kinnisvaraanalüüs näitas tugevat seost ruutmeetri ja hinna vahel (r=0,80). Kui hajusjoont joonistati, lõi peaaegu kogu suhte üksainus 12 miljonit TL luksusvilla; Kui see punkt eemaldati, langes korrelatsioon 0,31-ni. Õppetund: lugege alati korrelatsiooni koos hajuvusdiagrammiga.
Neli kopeeritavat malli
1) Automaatne EDA kokkuvõte:
Mul on pandad df. Kirjutage kood, mis annab: (1) df.info() ja df.describe(), (2) iga numbriveeru histogrammi, (3) iga kategooria veeru arvu. Ärge kommenteerige, vaid genereerige avastuskood; Ma tõlgendan mustreid.
2) Korrelatsioon + visuaalne (koos põhjusliku seosega):
Kirjutage kood, mis joonistab numbriliste veergude jaoks korrelatsioonimaatriksi ja soojuskaardi. Joonistage ka 3 kõrgeima korrelatsioonipaari hajuvusdiagramm. Lisage väljundile kommentaaririda, mis tuletab meelde, et korrelatsioon ei tähenda põhjuslikku seost. Ärge esitage põhjuslikke väiteid.
3) Jaotusdiagnoos:
Veeru "income_tl" jaoks: kirjutage kood, mis loob histogrammi, kasti graafiku, kaldsuse väärtuse ja mediaani/keskmise võrdluse. Ma tõlgendan, kas jaotus on viltu või mitte; anna lihtsalt kood.
4) Segmendi võrdlus:
Võrrelge kliente "kanali" järgi (veeb/mobiil): kirjutage kood, mis loob iga kanali keskmise summa, mediaansumma, tellimuste arvu ja summade jaotuse kastiploki. Soovitage, milline test sobib kahe kanali erinevuse statistilise olulisuse jaoks, kuid otsus on minu teha.
Nõrk viip / Tugev viip
Nõrk viip:
Leidke nendest andmetest midagi huvitavat.
"Huvitav" on määratlemata; Tehisintellekt ei näe andmeid, seega kas mõtleb need välja või teeb üldisi avaldusi. Pole suunda, muutujaid ega eesmärki.
Võimas viip:
Teie roll: EDA assistent. df veerud: vanus (int), tulu_tl (float), linn (kategooria), kanal (veeb/mobiil), summa (float). Eesmärk: "summat" mõjutavate tegurite väljaselgitamine. Ülesanne: (1) summa jaotuse kood, (2) jaotusgraafikud summa ja vanuse ja tulu_tl vahel, (3) summa kastigraafik kanalite jaotuses. Põhjusliku nõude tuvastamine; Lihtsalt genereerige avastuskood ja ma tõlgendan mustrit.
Siin on selged "põhjuslikkuse väitmise" eesmärk, muutujad ja piir.
Levinud vead
- Tuginedes ainult kokkuvõtlikule statistikale. Nagu Anscombe’i nelik näitab, peidab sama keskmine väga erinevaid jaotusi; vaata diagrammi.
- Põhjusliku seose eksimine. Koostegevus ei viita sellele, et üks viib teiseni; Hoiduge peidetud muutujatest.
- Vaadates korrelatsiooni ilma hajuvusdiagrammita. Üksik kõrvalekalle või kõverjoonelisus eksitab arvu.
- Kahe tipuga/viltu jaotuse summeerimine keskmisega. Keskmine ei pruugi kedagi esindada.
- EDA vahelejätmine ja otse mudeli juurde minemine. Tundmatud andmed tähendavad pimedat mudelit.
Näpunäide. Iga uue andmekogumi puhul kulutage esimesed 30 minutit lihtsalt graafikute joonistamisele: iga numbri histogramm, oluliste paaride hajuvusdiagramm, kategooriate tulpdiagramm. Need 30 minutit hoiavad ära tulevaste modelleerimisvigade esinemise järgmisteks päevadeks.
Kokkuvõttes
EDA on andmete tundmaõppimise faas enne mudeli loomist ja otsib vastuseid neljale küsimusele: jaotus, keskne levik, seosed ja anomaaliad. Kokkuvõtlik statistika võib olla eksitav; graafiku vaatamine on kohustuslik (Anscombe loeng). Korrelatsioon on võimas tööriist, kuid põhjuslikku seost ei ole ega tuleks kindlasti lugeda koos hajuvusdiagrammiga. AI on suurepärane kiirendi graafika soovitamiseks ja koodi kirjutamiseks; Kuid inimesed tõlgendavad oma valdkonnateadmistega, kas muster, mida nad näevad, on tõeline või juhus.
Rakenduse ülesanne
Valige andmestik ja tehke lihtsalt EDA: eraldage vähemalt kolmest arvulisest muutujast koosnev histogramm, kahe muutujapaari hajuvusdiagramm ja korrelatsiooni soojuskaart. Leidke vähemalt üks "üllatus" (nt kahe tipuga jaotus, võltskorrelatsiooni kandidaat, suhe, mida tõmbab üks kõrvalekalle) ja selgitage seda ühe lausega. Kirjutage põhjuslikke väiteid esitamata.
kontrollnimekiri
- [ ] Kas olen joonistanud iga arvmuutuja jaotuse?
- [ ] Kas ma vaatasin seoseid hajuvusdiagrammiga?
- [ ] Kas olen hoidnud põhjuslikkuse ja korrelatsiooni lahus?
- [ ] Kas ma ei märganud kallutatud või kahe tipuga jaotusi ega usaldanud pimesi keskmist?
- [ ] Kas ma olen oma EDA leidudest tuletanud vähemalt ühe modelleerimise aspekti/hüpoteesi?