Faida:
- Uwezo wa kuchunguza usambazaji, kituo, kuenea na kutofautiana kwa vigezo na grafu zinazofaa (histogram, njama ya sanduku, njama ya kutawanya).
- Uwezo wa kutafsiri uunganisho kwa usahihi na kuisoma pamoja na njama ya kutawanya, bila kuichanganya na sababu.
- Uwezo wa kuelewa kuwa takwimu za muhtasari zinaweza kupotosha (Somo la Anscombe) na kukuza nadharia zinazoamua mwelekeo wa uundaji wa mfano.
Kabla ya kuunda mfano, ni muhimu kujua data. Kama vile daktari haagizi dawa bila kumchunguza mgonjwa, mwanasayansi wa data hafanyi muundo bila "kuchunguza" data. Uchunguzi huu unaitwa uchanganuzi wa data ya uchunguzi (EDA kwa ufupi): ni awamu ya kugundua usambazaji, uhusiano, mshangao na mitego ya data kwa macho na graphically. Madhumuni ya EDA ni kutoa dhana, makosa ya kukamata, na kuamua mwelekeo wa kielelezo. Akili ya Bandia ni msaidizi mwenye nguvu sana katika hatua hii: inapendekeza ni chati gani inayofaa, inaandika msimbo wake, inatafsiri usambazaji. Lakini mtu anaamua, kwa ujuzi wake wa shamba, ikiwa mfano anaoona ni halisi au bahati mbaya.
EDA inatafuta nini?
EDA inatafuta majibu kwa maswali manne. Usambazaji: Je, kila kigezo kinasambazwa vipi—je, kina ulinganifu, kimepinda, au chenye kilele mbili? Mwelekeo wa kati na uenezi: Ni nini maana, wastani, kupotoka kwa kawaida? Mahusiano: Vigezo vinahusiana vipi? Anomalies: Je, kuna maadili yasiyotarajiwa, mapungufu, makundi? Maswali haya manne huamua ni kipengele kipi kitakachofanya kazi na kielelezo kipi kinafaa.
Hebu tufafanue baadhi ya dhana za msingi. Histogram ni grafu ambayo inagawanya maadili ya kutofautisha kwa nambari katika vipindi na inaonyesha ni uchunguzi ngapi katika kila kipindi; Ni njia ya haraka sana ya kuona usambazaji. Skewness ni mabadiliko ya usambazaji katika mwelekeo mmoja; Vigezo kama vile mapato vimegeuzwa kulia (wengi chini, wachache juu sana). Mpangilio wa sanduku unaonyesha wastani, quartiles na nje kwa muhtasari. Mpango wa kutawanya unaonyesha uhusiano wa vigezo viwili vya nambari na wingu la pointi.
Uwiano: kuna uhusiano lakini kuwa mwangalifu
Uwiano - kipimo cha jinsi vigezo viwili vinavyotembea pamoja; nambari kati ya -1 na +1 - ndiyo zana inayotumika zaidi na isiyoeleweka zaidi ya EDA. +1 ina maana ya ongezeko kamilifu la ushirikiano, -1 ina maana ya uhusiano kamili wa kinyume, 0 inamaanisha hakuna uhusiano wa mstari. Kuna mitego miwili mikubwa. Kwanza, sheria maarufu: uunganisho sio sababu. Kesi za choking huongezeka kwa mauzo ya ice cream; sio kwa sababu moja inaongoza kwa nyingine, lakini kwa sababu majira ya joto (ya tatu iliyofichwa) husababisha zote mbili. Pili, uunganisho hupima tu uhusiano wa mstari; Inaweza kuonyesha uhusiano wenye nguvu lakini wa curvilinear karibu na 0. Kwa hivyo unapoangalia uwiano, hakikisha uangalie njama ya kutawanya pia.
Tahadhari: Wakati AI inatoa nambari ya uunganisho, inaweza kuteleza katika lugha ya sababu kama "A huongeza B." Hii ni hatari. Uwiano unaonyesha tu harakati pamoja; Uzoefu pekee, maarifa ya kikoa, na uelekezaji makini huanzisha sababu.
Quartet ya Anscombe: kwa nini usiangalie nambari tu
Kuna mfano maarufu katika takwimu: quartet ya Anscombe. Seti nne tofauti za data zina karibu maana sawa, tofauti sawa, na uwiano sawa (0.82); Lakini zinapochorwa, zinaonekana tofauti kabisa - mstari mmoja ulionyooka, mmoja uliopinda, mmoja wingu linalovutwa na mtoaji mmoja. Somo ni wazi: takwimu za muhtasari ni za kupotosha, kutazama grafu ni lazima. AI inaweza kukupa wastani na uunganisho, lakini kuamini nambari hizo bila kuona grafu ni kuanguka kwenye mtego wa Anscombe.
Jedwali hapa chini linatoa muhtasari wa chati ambayo inafaa swali:
Swali
mchoro unaofaa
Nini inaonyesha
Usambazaji wa kigezo kimoja
Histogram / KDE
Umbo, mshikamano, idadi ya wima
Kituo na nje
Mchoro wa sanduku
Kati, quartiles, nje
Uhusiano wa nambari mbili
kutawanya chati
Mwelekeo, nguvu, curvature
Ulinganisho wa kitengo
chati ya bar
Tofauti kati ya vikundi
mabadiliko ya muda
chati ya mstari
Mwenendo, msimu
Uhusiano wa multivariate
Ramani ya uhusiano wa joto
Matrix ya uhusiano wa jumla
Kitendawili cha Simpson: data iliyojumlishwa inaweza kusema uwongo
Mtego wa hila katika EDA wa kufahamu ni kitendawili cha Simpson: mchoro unaweza kuonyesha mwelekeo mmoja wakati data yote inachunguzwa pamoja, lakini kinyume data inapogawanywa katika vikundi vidogo vya maana. Mfano wa kawaida: kiwango cha jumla cha kukubalika kwa waombaji wa kike katika chuo kikuu kinaonekana kuwa cha chini kuliko kwa wanaume; Lakini ikizingatiwa idara kwa idara, kiwango cha kukubalika kwa wanawake ni cha juu kuliko wanaume katika idara nyingi. Kutoka wapi? Wanawake waliomba kwa idara zenye ushindani zaidi (viwango vya chini vya kukubalika); Nambari iliyojumuishwa huhifadhi tofauti hii iliyofichwa. Somo liko wazi: unapoangalia jumla au wastani, hakikisha umeangalia ikiwa nambari hiyo inasimulia hadithi sawa wakati imegawanywa katika vikundi vidogo vya maana (sehemu, kipindi, chaneli). Wakati AI inakupa kiwango cha pamoja, kuuliza "je bado ni halali unapoitenga" itapata matokeo yanayopotosha mapema.
kesi tatu ndogo
Kesi 1 - Milima miwili iliyofichwa. Mchambuzi mmoja alipata wastani wa umri wa mteja kuwa 41 na akaripoti kama "umati wa watu wenye umri wa kati." Lakini histogram ilionyesha vilele viwili: vikundi vya umri wa 22-28 na 55-62. Wastani wa 41 hawakuwakilisha mtu yeyote. Somo: panga usambazaji kabla ya kuamini wastani.
Kesi ya 2 - Uwiano wa uwongo. Timu moja ilipata uwiano wa 0.78 kati ya "matumizi ya matangazo" na "mauzo" na kuongeza bajeti mara mbili. Hata hivyo, kilichochochea zote mbili ni kampeni za msimu; wakati wa kipindi cha nje ya kampeni, uhusiano ulipungua hadi 0.10. Matangazo ya ziada ya TL 340,000 hayakutoa mapato yaliyotarajiwa. Somo: kukosea kwa uunganisho wa sababu ni ghali.
Uchunguzi wa 3 - Mstari uliochorwa na mpinzani pekee. Uchanganuzi wa mali isiyohamishika ulionyesha uhusiano mkubwa kati ya picha za mraba na bei (r=0.80). Wakati njama ya kutawanya ilitolewa, karibu uhusiano wote uliundwa na villa moja ya kifahari ya TL milioni 12; Wakati hatua hiyo iliondolewa, uunganisho ulishuka hadi 0.31. Somo: daima soma uwiano pamoja na njama ya kutawanya.
Violezo vinne vinavyoweza kunakiliwa
1) Muhtasari wa EDA otomatiki:
Nina pandas df. Andika msimbo unaotoa: (1) df.info() na df.describe(), (2) histogram kwa kila safu wima ya nambari, (3) hesabu kwa kila safu wima. Usitoe maoni, toa tu msimbo wa ugunduzi; Ninatafsiri mifumo.
2) Uwiano + wa kuona (na pango la sababu):
Andika msimbo unaochora matrix ya uunganisho na ramani ya joto kwa safu wima za nambari. Pia chora njama ya kutawanya ya jozi 3 za juu zaidi zilizounganishwa. Ongeza mstari wa maoni kwenye pato kukukumbusha kuwa uunganisho haumaanishi sababu. Usitoe madai ya sababu.
3) Utambuzi wa usambazaji:
Kwa safu wima ya "income_tl": andika msimbo unaotoa histogram, mpangilio wa kisanduku, thamani ya mkengeushi na ulinganisho wa wastani/wastani. Nitatafsiri ikiwa usambazaji umepotoshwa au la; toa tu kanuni.
4) Ulinganisho wa sehemu:
Linganisha wateja kwa "chaneli" (mtandao/simu): andika msimbo ambao hutoa kisanduku cha kiasi cha wastani, kiasi cha wastani, idadi ya maagizo, na usambazaji wa kiasi kwa kila kituo. Pendekeza ni jaribio gani linafaa kwa umuhimu wa takwimu wa tofauti kati ya chaneli hizo mbili, lakini uamuzi ni wangu.
Mwongozo dhaifu / Mwongozo thabiti
Agizo dhaifu:
Pata kitu cha kuvutia katika data hii.
"Kuvutia" haijafafanuliwa; AI haioni data, kwa hivyo inaifanya au inatoa taarifa za jumla. Hakuna mwelekeo, hakuna vigezo, hakuna kusudi.
Agizo lenye nguvu:
Jukumu lako: Msaidizi wa EDA. df safuwima: umri (int), income_tl (float), jiji (aina), chaneli (wavuti/simu), kiasi (kuelea). Kusudi: kugundua sababu zinazoathiri "kiasi". Kazi: (1) kupanga msimbo kupanga usambazaji wa kiasi, (2) grafu za usambazaji kati ya kiasi na umri na mapato_tl, (3) mpangilio wa kisanduku wa kiasi katika uchanganuzi wa kituo. Kuanzisha madai ya sababu; Tengeneza tu nambari ya ugunduzi na nitatafsiri muundo.
Hapa, madhumuni, vigezo na kikomo cha "kudai causality" ni wazi.
Makosa ya kawaida
- Inategemea tu takwimu za muhtasari. Kama quartet ya Anscombe inavyoonyesha, maana sawa huficha usambazaji tofauti sana; tazama chati.
- Kukosea kwa uunganisho wa sababu. Ushirikiano hauonyeshi kwamba moja inaongoza kwa nyingine; Jihadharini na vigezo vilivyofichwa.
- Kuangalia uwiano bila njama ya kutawanya. Kipengele kimoja cha nje au curvilinearity hupotosha nambari.
- Inatoa muhtasari wa usambazaji wa kilele/miongo miwili na wastani. Wastani hauwezi kuwakilisha mtu yeyote.
- Kuruka EDA na kwenda moja kwa moja kwa mfano. Data isiyotambulika inamaanisha kielelezo kipofu.
Kidokezo: Kwa kila seti mpya ya data, tumia dakika 30 za kwanza kuchora tu grafu: histogram ya kila nambari, mpangilio wa kutawanya wa jozi muhimu, chati ya miraba ya kategoria. Dakika hizi 30 huzuia hitilafu za uundaji wa siku zijazo kwa siku zijazo.
Kwa muhtasari
EDA ni awamu ya kujua data kabla ya kuunda kielelezo na hutafuta majibu kwa maswali manne: usambazaji, kuenea kwa kituo, mahusiano na hitilafu. Takwimu za muhtasari zinaweza kupotosha; kuangalia graph ni lazima ( Anscombe lecture). Uhusiano ni chombo chenye nguvu, lakini sababu sio na inapaswa kusomwa kwa kushirikiana na njama ya kutawanya. AI ni kichochezi kizuri cha kupendekeza michoro na msimbo wa uandishi; Lakini watu hutafsiri kwa maarifa yao ya uwanjani ikiwa muundo wanaona ni wa kweli au ni bahati mbaya.
Jukumu la maombi
Chagua seti ya data na ufanye EDA tu: toa histogram ya angalau vigezo vitatu vya nambari, njama ya kutawanya ya jozi mbili za vigezo, na ramani ya uunganisho wa joto. Tafuta angalau "mshangao" mmoja (kama vile usambazaji na vilele viwili, mgombeaji wa uwiano wa uongo, uhusiano unaovutiwa na mtangazaji mmoja) na uelezee katika sentensi moja. Andika bila kutoa madai yoyote ya sababu.
orodha ya ukaguzi
- [ ] Je, nimechora usambazaji wa kila kigezo cha nambari?
- [ ] Je, niliangalia uwiano na eneo la kutawanya?
- [ ] Je, nimeweka sababu na uwiano tofauti?
- [ ] Je, sikuona ugawaji uliopindishwa au ulio na viwango viwili na kuamini kwa upofu maana yake?
- [ ] Je, nimepata angalau kipengele/dhahania moja kutoka kwa matokeo yangu ya EDA?