Hagnaður:
- Hæfni til að kanna dreifingu, miðju, útbreiðslu og frávik breyta með viðeigandi línuritum (súlurrit, kassarit, dreifirit).
- Hæfni til að túlka fylgni rétt og lesa hana saman með dreifisögunni, án þess að rugla því saman við orsakasamhengi
- Hæfni til að skilja að yfirlitstölfræði getur verið villandi (Anscombe lexía) og þróa tilgátur sem ákvarða stefnu líkanagerðar.
Áður en líkan er byggt er nauðsynlegt að þekkja gögnin. Rétt eins og læknir ávísar ekki lyfjum án þess að skoða sjúklinginn, byggir gagnafræðingur ekki líkan án þess að „skoða“ gögnin. Þessi athugun er kölluð könnunargagnagreining (EDA í stuttu máli): það er áfangi þess að uppgötva dreifingu, tengsl, óvænt og gildrur gagnanna sjónrænt og myndrænt. Tilgangur EDA er að búa til tilgátur, veiða villur og ákvarða stefnu reiknilíkana. Gervigreind er mjög öflugur aðstoðarmaður á þessu stigi: hún gefur til kynna hvaða graf hentar, skrifar kóðann, túlkar dreifingu. En maður ákveður, með þekkingu sinni á sviði, hvort mynstrið sem hann sér sé raunverulegt eða tilviljun.
Eftir hverju leitar EDA?
EDA leitar svara við fjórum spurningum. Dreifing: Hvernig dreifist hver breyta - er hún samhverf, skekkt eða tvítinduð? Miðlæg tilhneiging og útbreiðsla: Hver eru meðaltal, miðgildi, staðalfrávik? Tengsl: Hvernig tengjast breyturnar hver annarri? Frávik: Eru óvænt gildi, eyður, hópar? Þessar fjórar spurningar ákvarða hvaða eiginleiki mun virka og hvaða líkan er viðeigandi.
Við skulum skilgreina nokkur grundvallarhugtök. Súlurit er línurit sem skiptir gildum tölulegrar breytu í millibil og sýnir hversu margar athuganir eru á hverju bili; Það er fljótlegasta leiðin til að sjá dreifinguna. Skekkja er tilfærsla dreifingarinnar í eina átt; Breytur eins og tekjur eru skekktar til hægri (meirihluti lágur, fáar mjög háar). Kassaþráður sýnir miðgildi, kvartil og útvik í fljótu bragði. Dreifingarrit sýnir tengsl tveggja tölulegra breyta við punktaský.
Fylgni: það er samband en farðu varlega
Fylgni — mælikvarði á hvernig tvær breytur hreyfast saman; tala á milli -1 og +1 — er mest notaða og illskiljanlegasta tól EDA. +1 þýðir fullkomin samhækkun, -1 þýðir fullkomið öfugt samband, 0 þýðir ekkert línulegt samband. Það eru tvær stórar gildrur. Í fyrsta lagi hin fræga regla: fylgni er ekki orsakasamband. Köfnunartilfellum fjölgar með íssölu; ekki vegna þess að annað leiði til annars, heldur vegna þess að sumarið (falin þriðja breytan) kallar á báðar. Í öðru lagi mælir fylgni aðeins línulegt samband; Það gæti bent til sterkt en krókótt samband nálægt 0. Svo þegar þú skoðar fylgni, vertu viss um að skoða dreifingarmyndina líka.
Varúð: Þegar gervigreind gefur upp fylgnitölu getur það runnið yfir í orsakamál eins og „A eykur B. Þetta er hættulegt. Fylgni gefur aðeins til kynna hreyfingu saman; Aðeins reynsla, lénsþekking og varkár ályktun staðfestir ástæðuna.
Anscombe kvartett: af hverju ekki bara að skoða númerið
Það er frægt dæmi í tölfræði: Anscombe kvartettinn. Fjögur mismunandi gagnasöfn hafa nánast sama meðaltal, sömu dreifni og sömu fylgni (0,82); En þegar þeir eru teknir á línurit, líta þeir allt öðruvísi út - ein bein lína, ein bogin, eitt ský sem dregið er af einum útlægum. Lærdómurinn er skýr: yfirlitstölfræði er villandi, að skoða línuritið er nauðsyn. AI getur gefið þér meðaltöl og fylgni, en að treysta þessum tölum án þess að sjá línuritið er að falla í Anscombe gildruna.
Taflan hér að neðan tekur saman hvaða töflu passar við hvaða spurningu:
Spurning
viðeigandi grafík
Hvað sýnir
Dreifing einni breytu
Histogram / KDE
Lögun, skekkja, fjöldi hornpunkta
Miðja og útlægir
Kassalóð
Miðgildi, kvartil, útlæg
Samband tveggja talna
dreifingarrit
Stefna, styrkur, sveigjanleiki
Samanburður á flokkum
súlurit
Mismunur á milli hópa
breytast með tímanum
línurit
Stefna, árstíðabundin
Fjölbreytusamband
Fylgni hitakort
Almennt sambandsfylki
Þversögn Simpsons: samanlögð gögn geta logið
Leynd gildra í EDA til að vera meðvituð um er þversögn Simpsons: mynstur getur sýnt eina átt þegar öll gögn eru skoðuð saman, en snúið við þegar gögnunum er skipt í þýðingarmikla undirhópa. Klassískt dæmi: heildarsamþykkishlutfall kvenkyns umsækjenda við háskóla virðist vera lægra en karla; En þegar litið er á deild eftir deild er samþykki kvenna hærra en karla í flestum deildum. Hvaðan? Konur sóttu um í samkeppnishæfari (lægra samþykkishlutfall) deildir; Samanlagður fjöldi geymir þessa faldu breytu. Lærdómurinn er skýr: þegar heildar- eða meðaltal er skoðað, vertu viss um að athuga hvort þessi tala segi sömu sögu þegar hún er sundurliðuð í þýðingarmikla undirhópa (hluti, punktur, rás). Þegar gervigreind gefur þér samanlagt hlutfall, að spyrja „er það enn í gildi þegar þú greinir það“ mun ná villandi niðurstöðum snemma.
þrjú smámál
Tilfelli 1 - Tvær huldar hæðir. Einn sérfræðingur fann meðalaldur viðskiptavina vera 41 árs og greindi frá því sem „miðaldra mannfjölda“. En súluritið sýndi tvo toppa: 22-28 ára og 55-62 ára. Meðaltalið 41 var í raun ekki fulltrúi neins. Lexía: teiknaðu dreifinguna áður en þú treystir meðaltalinu.
Tilvik 2 - Ósvikin fylgni. Eitt teymi fann 0,78 fylgni á milli „auglýsingaeyðslu“ og „sölu“ og tvöfaldaði kostnaðarhámarkið. Hins vegar, það sem kveikti bæði voru árstíðabundnar herferðir; á tímabili utan herferðar lækkaði sambandið í 0,10. 340 þúsund TL aukaauglýsingar skiluðu ekki væntanlegum ávöxtun. Lærdómur: Það er dýrt að misskilja fylgni fyrir orsakasamhengi.
Tilfelli 3 — Línan sem dregin er af einmana andstæðingnum. Fasteignagreining sýndi sterk tengsl milli fermetra og verðs (r=0,80). Þegar dreifingarþráðurinn var teiknaður var nánast allt sambandið skapað af einni 12 milljón TL lúxusvillu; Þegar sá punktur var fjarlægður fór fylgnin niður í 0,31. Lexía: lestu alltaf fylgnina ásamt dreifisögunni.
Fjögur afritanleg sniðmát
1) Sjálfvirk EDA samantekt:
Ég á pöndur df. Skrifaðu kóða sem framleiðir: (1) df.info() og df.describe(), (2) súlurit fyrir hvern tölulegan dálk, (3) talningu fyrir hvern flokkadálk. Ekki gera athugasemdir, búðu bara til uppgötvunarkóðann; Ég túlka mynstrin.
2) Fylgni + sjónræn (með fyrirvara um orsakasamhengi):
Skrifaðu kóða sem teiknar fylgnifylki og hitakort fyrir tölusúlurnar. Teiknaðu einnig dreifingarmynd af 3 hæstu fylgnipörunum. Bættu athugasemdarlínu við úttakið sem minnir þig á að fylgni þýðir ekki orsakasamband. Ekki setja fram orsakafullyrðingar.
3) Dreifingargreining:
Fyrir "income_tl" dálkinn: skrifaðu kóða sem framleiðir súlurit, kassarit, skekkjugildi og miðgildi/meðal samanburð. Ég mun túlka hvort dreifingin sé skekkt eða ekki; gefðu bara kóðann.
4) Hlutasamanburður:
Berðu viðskiptavini saman eftir "rás" (vef/farsíma): skrifaðu kóða sem framleiðir kassarit af meðalupphæð, miðgildi, fjölda pantana og magndreifingu fyrir hverja rás. Stingdu upp á hvaða próf hentar fyrir tölfræðilega marktekt á mismuninum á rásunum tveimur, en ákvörðunin er undir mér komið.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Finndu eitthvað áhugavert í þessum gögnum.
„Áhugavert“ er óskilgreint; AI sér ekki gögnin, þannig að það annað hvort býr til þau eða kemur með almennar yfirlýsingar. Það er engin stefna, engar breytur, enginn tilgangur.
Öflug tilvitnun:
Þitt hlutverk: EDA aðstoðarmaður. df dálkar: aldur (int), inkomst_tl (flot), borg (flokkur), rás (vefur/farsími), upphæð (flot). Tilgangur: að uppgötva þá þætti sem hafa áhrif á "magn". Verkefni: (1) kóði sem sýnir dreifingu upphæðar, (2) dreifingarrit milli upphæð og aldurs og tekju_tl, (3) kassaplottur af upphæð í sundurliðun rásar. Stofna orsakakröfu; Búðu bara til uppgötvunarkóðann og ég mun túlka mynstrið.
Hér eru tilgangur, breytur og mörk þess að „krafa um orsakasamhengi“ skýr.
Algeng mistök
- Að treysta eingöngu á yfirlitstölfræði. Eins og Anscombe kvartettinn sýnir, felur sama meðaltalið mjög mismunandi dreifingu; sjá töflu.
- Að misskilja fylgni fyrir orsakasamhengi. Meðvirkni bendir ekki til þess að annað leiði til annars; Varist falinn breytur.
- Horft á fylgni án dreifisögu. Einn útlægur eða sveigjanleiki villir töluna.
- Dregið saman tveggja toppa/skekkt dreifingu með meðaltalinu. Meðaltalið er kannski ekki fulltrúi neins.
- Sleppir EDA og fer beint í líkanið. Óþekkt gögn þýðir blindt líkan.
Ábending: Með hverju nýju gagnasetti, eyddu fyrstu 30 mínútunum í að teikna línurit: súlurit af hverri tölu, dreifingarmynd af mikilvægum pörum, súlurit yfir flokka. Þessar 30 mínútur koma í veg fyrir framtíðarlíkönvillur næstu daga.
Í stuttu máli
EDA er áfangi þess að kynnast gögnunum áður en líkan er byggt og leitar svara við fjórum spurningum: dreifingu, miðdreifingu, samböndum og frávikum. Yfirlitstölfræði getur verið villandi; að skoða línuritið er nauðsyn (Anscombe fyrirlestur). Fylgni er öflugt tæki, en orsakasamhengi er ekki og ætti örugglega að lesa það í samhengi við dreifisögu. AI er frábær hraðall til að stinga upp á grafík og skrifa kóða; En fólk túlkar með vettvangsþekkingu sinni hvort mynstrið sem það sér sé raunverulegt eða tilviljun.
Umsóknarverkefni
Veldu gagnapakka og gerðu bara EDA: dragðu út súlurit með að minnsta kosti þremur tölulegum breytum, dreifingarrit af tveimur pörum af breytum og fylgnihitakort. Finndu að minnsta kosti eina „óvart“ (svo sem dreifingu með tveimur toppum, frambjóðanda fyrir falska fylgni, samband sem dregur að sér af einum útlægum) og útskýrðu það í einni setningu. Skrifaðu án þess að halda fram neinum orsakafullyrðingum.
gátlisti
- [ ] Hef ég sett dreifingu hverrar tölubreytu á línurit?
- [ ] Skoðaði ég fylgnina við dreifimyndina?
- [ ] Hef ég haldið orsakasamhengi og fylgni aðskildum?
- [ ] Tók ég ekki eftir skekktri eða tvítinda dreifingu og treysti í blindni meðaltalinu?
- [ ] Hef ég dregið að minnsta kosti einn líkanaþátt/tilgátu úr EDA niðurstöðum mínum?