Faida:
- Uwezo wa kutoa takwimu za maelezo na chati za usambazaji / uhusiano na usaidizi wa akili ya bandia na kuchagua aina sahihi ya chati kulingana na data na swali.
- Uwezo wa kutambua chaguo potofu (mhimili uliokatika, kiwango kisichofaa, ulainishaji kupita kiasi) katika picha zinazotolewa na akili ya bandia na kutumia kanuni za uaminifu za kuona.
- Kuweza kutofautisha uchanganuzi huo wa uchunguzi ni kwa ajili ya kuzalisha dhahania na mtego wa kufanya ugunduzi na uthibitisho kwa data sawa (ambayo hufungua mlango wa udukuzi).
Baada ya kusafisha data, kazi ya kwanza ya mtafiti mwenye ujuzi ni kuifahamu. Hatua hii inaitwa uchanganuzi wa data ya uchunguzi (EDA - Uchambuzi wa Data ya Uchunguzi): ni mchakato wa kuchunguza data kwa grafu na takwimu za muhtasari na kuona muundo wake, ruwaza na mshangao. Kusudi sio kujaribu nadharia bado, lakini kufahamiana na data, toa maswali na uweke msingi wa mfano utakaounda katika siku zijazo. Katika kitengo hiki, tutaona jinsi akili ya bandia (AI) inavyoharakisha EDA na taswira, lakini kwa nini michoro inayozalisha lazima ikaguliwe kwa uangalifu.
Hebu kwanza tufanye tofauti mbili za msingi. Kwanza, takwimu za maelezo (nambari zinazotoa muhtasari wa data kama vile wastani, wastani, mkengeuko wa kawaida, quartiles) na taswira (kuonyesha maelezo sawa kwa picha) hukamilishana; Kwa pamoja wanaelezea data. Pili, na muhimu zaidi: ugunduzi na uthibitisho lazima utofautishwe. Uchambuzi wa kiuchunguzi ni kwa ajili ya kuzalisha hypotheses; Kuchunguza dhahania kwa kutumia data sawa na kusema "Niliijaribu na nikaona ni muhimu" hufungua mlango wa udukuzi wa p, ambao tutaona katika kitengo kinachofuata. Ni bure kuangalia data na kuona muundo; Lakini kutangaza muundo huo "utaftaji uliothibitishwa" katika data hiyo hiyo ni kupotosha.
Uchambuzi wa hatua kwa hatua wa uchunguzi
1. Mwonekano usiobadilika. Chunguza kila kigezo kivyake: usambazaji wake ni linganifu au umepinda; kuna vilima vingapi; Wauzaji wa nje wako wapi? Kwa vigezo vya nambari, histogram (njama inayoonyesha mzunguko kwa kugawanya maadili katika safu) na sanduku (boxplot - chati inayoonyesha maadili ya wastani, ya robo na kali); Kwa vigezo vya kategoria, tumia majedwali ya marudio na chati za miraba.
2. Mtazamo wa Bivariate. Tazama uhusiano kati ya viambajengo viwili: njama ya kutawanya kwa viambishi viwili vya nambari (inaonyesha kila uchunguzi kama sehemu kwenye ndege ya x-y), njama ya kisanduku kilichowekwa kwa vikundi kwa kategoria ya nambari, kichupo cha kategoria mbili. Kabla ya kuangalia mgawo wa uunganisho, hakikisha uangalie njama ya kutawanya: uwiano sawa unaweza kuonyesha mifumo tofauti sana (quartet maarufu ya Anscombe inaonyesha hili; seti nne za data zina karibu takwimu zinazofanana, lakini zinapopangwa zinageuka kuwa tofauti kabisa).
3. Chagua aina sahihi ya chati. Aina ya chati inategemea swali lako na aina ya data. Histogram kwa usambazaji; kutawanyika kwa uhusiano; chati ya mstari kwa mabadiliko ya muda; chati ya bar kwa kulinganisha kategoria; (kwa uangalifu) upau uliopangwa kwa uwiano wa sehemu kwa zima. AI hukutengenezea msimbo haraka, lakini uamuzi wa "grafu ipi ya swali" ni yako.
4. Kumbuka muundo, usitangaze matokeo. Rekodi muundo wowote unaovutia unaouona kama "dokezo la uvumbuzi," lakini usiuchukulie kama matokeo yaliyothibitishwa. Uthibitishaji unafanywa kwa hatua tofauti, ikiwezekana kwa data tofauti au ratiba iliyopangwa mapema.
Kanuni za uaminifu za taswira
Mchoro unasadikisha; Kwa hiyo, uwezo wake wa kupotosha pia ni wa juu. AI inaweza kufanya chaguzi za urembo lakini wakati mwingine za kupotosha. Angalia sera hizi:
- Katika chati za pau, mhimili wa y lazima uanzie sifuri. Mhimili uliokatika unaonyesha tofauti ndogo kama kubwa.
- Kiwango kinapaswa kuwa thabiti. Ikiwa chati mbili zinalinganishwa, tumia safu ya mhimili sawa.
- Kulainisha kupita kiasi kunaweza kuficha muundo wa kweli. Mstari wa mwelekeo unaonekana mzuri, lakini ikiwa "unapunguza" data sana, inaweza kupotosha.
- Rangi na mapambo ya 3D hupotosha umakini, sio data. Chagua urahisi.
- Data inayokosekana na saizi ya sampuli inapaswa kuonekana. "n=12" na "n=12,000" hazipaswi kuonekana sawa.
Makini: Kwa sababu tu picha zinazotolewa na AI ni nzuri, sio kweli. Makosa ya kawaida anayofanya sio kuanzisha mhimili kutoka sifuri kwenye chati ya pau na kutia chumvi tofauti kati ya vikundi viwili. Daima angalia mhimili.
Chati ya kulinganisha: swali → chati
Uliza
chati sahihi
Makosa ya kawaida
Tofauti hii inasambazwa vipi?
Histogram / njama ya sanduku
tumia chati ya pai
Viwango viwili vya nambari vinahusiana?
Njama ya kutawanya
Kuangalia tu idadi ya maingiliano
Je, imebadilikaje baada ya muda?
chati ya mstari
Kuelezea mtindo na chati ya mwambaa
Kuna tofauti gani kati ya vikundi?
Sanduku/upau uliowekwa kwenye vikundi (kutoka mwanzo)
Fimbo ya mhimili iliyokatwa
Uwiano wa sehemu kwa nzima?
Upau uliopangwa kwa rafu (kwa tahadhari)
Chati ya pai ya vipande vingi
Vidokezo vinne vinavyoweza kunakiliwa
1. Msimbo wa kugundua kiotomatiki:
Jukumu lako: Msaidizi wa EDA. Sishiriki data, nataka nambari ya R (ggplot2). Kuna vigezo vya nambari (mapato, umri, matumizi) na kategoria (eneo, elimu) katika mfumo wa data wa 'data'. Kazi: andika msimbo unaotoa histogramu kwa kila nambari, chati ya pau kwa kila kitengo, na mpangilio wa kutawanya kwa ajili ya mapato ~ age. Katika chati za pau, acha mhimili wa y uanze kutoka ZERO. Ongeza mstari wa maoni.
2. Mapitio ya uwiano (uhusiano + kuona pamoja):
Andika msimbo ambao wote hukokotoa uwiano wa Pearson kwa mapato na matumizi na kupanga mpango wa kutawanya + mwelekeo wa mstari. Ongeza mstari wa maoni ukinikumbusha kuchunguza chati kabla ya KUAMINI hesabu ya uunganisho (onyo la Anscombe). Usilainishe zaidi mstari wa mwenendo.
3. Ukaguzi wa uadilifu:
Angalia nambari ifuatayo ya ggplot kwa taswira ya uaminifu:[code]. Angalia na urekebishe yafuatayo: je, mhimili wa y huanza kutoka sifuri, je, kiwango kinalingana, saizi ya sampuli inaonekana, je, kuna ulainishaji kupita kiasi? Eleza uhalali wa kila marekebisho uliyofanya.
4. Kutengeneza dokezo la ugunduzi (sio kupatikana):
Kulingana na grafu ninazotoa, orodhesha ANGALIZO kama 'dokezo la uvumbuzi'; andika kila kipengele katika lugha ya 'dhahania ijaribiwe', si 'upataji wa uhakika'. Mfano: 'Mapato katika elimu ya juu YANAONEKANA kuenea zaidi; inapaswa kujaribiwa na data tofauti.' Epuka kauli za sababu na za uhakika.
Mwongozo dhaifu / Mwongozo thabiti
Agizo dhaifu:
Tengeneza grafu nzuri kutoka kwa mavuno na uniambie inamaanisha nini.
Kidokezo hiki kinaalika matokeo ya kupotosha: "nzuri" inazingatia urembo, wakati "inachomaanisha" inasukuma AI kuruka kutoka ugunduzi hadi hitimisho dhahiri. Sababu, maoni yaliyotiwa chumvi yanafuata.
Agizo lenye nguvu:
Jukumu lako: msaidizi mwaminifu wa EDA.Kazi: (1) chagua aina ya chati inayolingana na swali langu na uandike uhalalishaji,(2) anza mhimili kutoka sufuri katika chati za pau,(3) tafsiri towe katika lugha ya DISCOVERY NOTE: hakuna dai la uhakika/sababu linalopendekeza nadharia tete katika lugha ya "lazima ijaribiwe",(4) nionye ikiwa sampuli ya 30 ni ndogo (itaendesha mazingira yangu).
Tofauti: mapenzi yenye nguvu huhalalisha aina ya chati, huweka sheria za uaminifu na haichanganyi ugunduzi na uthibitisho.
kesi tatu ndogo
Kesi ya 1 - Kuzidisha kwa mhimili tofauti. Mchanganuzi alionyesha alama za kuridhika za matawi mawili (7.8 na 8.0; kati ya 10) katika chati ya pau. Wakati wa kuanza mhimili wa YZ kutoka 7.5, tawi la pili lilionekana karibu mara mbili ya kwanza; ambapo tofauti ilikuwa 2.5% tu. Usimamizi ulikuwa karibu kulipa tawi chini ya maoni yasiyo sahihi. Nilipoanza mhimili kutoka mwanzo tofauti ilikuwa karibu kutoonekana. Somo: uchaguzi wa mhimili pekee hubadilisha mtazamo.
Kesi ya 2 - Kuamini uwiano na kuruka chati. Mtafiti aliona r = 0.81 kati ya vijiti viwili na akaandika "uhusiano mkali wa mstari". Wakati mshauri wake aliuliza njama ya kutawanya, ilionekana kuwa uhusiano huo ulikuwa kwa kweli kutokana na uchunguzi mmoja uliokithiri, na wakati hatua hiyo iliondolewa, uwiano ulipungua hadi 0.12. Somo: hesabu ya uunganisho haiwezi kuchukua nafasi ya grafu; kila mara tazama mtawanyiko.
Kesi ya 3 - Inachanganya ugunduzi na uthibitisho. Mwanafunzi mmoja aliangalia uwiano wote wa jozi katika seti ya data yenye vigezo 40, akachagua ya juu zaidi (r=0.52) na kuandika, "tulipata uhusiano mkubwa kati ya elimu na akiba (p=0.004)." Hata hivyo, kulikuwa na mamia ya jozi katika vigezo 40; kuchagua cha juu zaidi kilikuwa ugunduzi wa uwongo kwa sababu ya bahati nasibu. Somo: muundo uliogunduliwa hauwezi "kujaribiwa na kutangazwa kuwa muhimu" katika data sawa; Uthibitisho tofauti unahitajika.
Makosa ya kawaida
- Sio kuanzisha mhimili kutoka sifuri kwenye chati ya upau. Inazidisha tofauti ndogo; Uongo wa kawaida wa kuona. Angalia kila wakati.
- Kuangalia uwiano na kuruka chati. Uwiano sawa unatoka kwa mifumo tofauti sana; inaweza kutoshea uhusiano wa nje. Kwanza, kutawanyika.
- Kwa kuzingatia muundo unaopatikana katika ugunduzi kama "ushahidi" katika data sawa. Hili ndilo lango la udukuzi; Uthibitishaji unafanywa tofauti.
- Aina ya chati isiyo sahihi. Mechi kama vile upau wa mtindo na pai ya usambazaji inapotosha. Chagua aina kulingana na swali.
- Kuficha ukubwa wa sampuli. n=8 na n=8,000 hazipaswi kuonekana sawa kwenye grafu sawa; kutokuwa na uhakika lazima kuonyeshwa.
Kidokezo: Kabla ya kuchapisha chati, jiulize: "Je! hadithi itabadilika ikiwa ningebadilisha mhimili?" Ikiwa jibu ni ndiyo, labda ulianzisha egemeo kutoka mahali pa kukosa uaminifu.
Kwa muhtasari
Uchanganuzi wa data ya uchunguzi ni awamu ya kufikia data, kuona mifumo na kutoa dhahania; Sio uthibitisho. AI hutengeneza takwimu za maelezo na msimbo wa grafu kwa haraka, lakini unachagua aina ya grafu kulingana na swali lako na kudhibiti kanuni za haki (mhimili sifuri, kipimo thabiti, kutokuwa na uhakika dhahiri). Angalia kutawanya kabla ya kuamini nambari ya uwiano; Usitangaze muundo uliopata katika ugunduzi kama "ushahidi" katika data sawa. Grafu nzuri ya AI haimaanishi mchoro sahihi.
Jukumu la maombi
Chagua angalau vigezo vitatu katika seti ya data. Uliza AI na uendeshe msimbo ambao hutoa grafu za uchunguzi (histogram, tawanya, sanduku) kwa haraka ambayo inatekeleza sheria za uaminifu. Kwa kila chati: angalia (1) ufaafu wa aina ya chati kwa swali, (2) uaminifu wa mhimili, (3) mwonekano wa saizi ya sampuli. Andika angalau "dokezo moja la uvumbuzi" katika lugha ya dhahania ("...inaonekana kujaribiwa kando"). Chunguza uwiano na hesabu na tawanya na uripoti ikiwa kuna tofauti kati yao.
orodha ya ukaguzi
- [ ] Nilichagua aina ya chati kulingana na swali langu na aina ya data.
- [ ] Katika chati za pau, ninaanza mhimili wa y kutoka sifuri; Niliangalia uaminifu wa mhimili.
- [ ] Nilitazama eneo la kutawanya kabla ya kuamini uunganisho.
- [ ] Nilionyesha ukubwa wa sampuli na kutokuwa na uhakika kwenye grafu.
- [ ] Niliandika mifumo niliyopata katika uchunguzi kama "dhahania ya kujaribiwa" badala ya "ushahidi".
- [ ] Nilibainisha kuwa singetumia data sawa kwa uthibitisho na kwamba hatua tofauti ilihitajika.