Naúrar 3 / 11

Binciken Bayanan Bayani da Kallon gani: Zane da Fassara tare da Hankali na Artificial

Riba:

  • Ikon samar da ƙididdiga na siffantawa da rarrabawa / alaƙar alaƙa tare da tallafin hankali na wucin gadi kuma zaɓi nau'in ginshiƙi mai dacewa bisa ga bayanai da tambaya.
  • Ƙarfin gane zaɓin ɓarna (dashed axis, ma'aunin da bai dace ba, wuce kima) a cikin hotunan da hankali na wucin gadi ya samar da amfani da ƙa'idodin gani na gaskiya.
  • Samun damar bambance wannan binciken bincike shine don samar da hasashe da tarkon ganowa da tabbatarwa tare da bayanai guda ɗaya (wanda ke buɗe ƙofar p-hacking).

Bayan tsaftace bayanan, aikin farko na mai bincike shine ya san su. Ana kiran wannan mataki na bincike na bayanai (EDA - Exploratory Data Analysis): tsari ne na nazarin bayanai tare da jadawalai da ƙididdigar ƙididdiga da ganin tsarinsa, alamu da abubuwan mamaki. Manufar ba shine a gwada hasashe ba tukuna, amma don sanin bayanan, samar da tambayoyi da aza harsashin ƙirar da zaku gina a nan gaba. A cikin wannan rukunin, za mu ga yadda hankali na wucin gadi (AI) ke haɓaka EDA da hangen nesa, amma dalilin da yasa zanen da yake samarwa dole ne a duba shi a hankali.

Bari mu fara yin bambance-bambance na asali guda biyu. Na farko, ƙididdiga masu bayyanawa (lambobi waɗanda ke taƙaita bayanai kamar ma'ana, tsaka-tsaki, daidaitaccen karkata, ƙididdiga) da gani (nuna bayanai iri ɗaya a hoto) suna haɗa juna; Tare suka bayyana bayanan. Na biyu, kuma mafi mahimmanci: ganowa da tabbatarwa dole ne a bambanta. Binciken bincike shine don samar da hasashe; Binciken hasashe da bayanai iri ɗaya da faɗin "Na gwada shi kuma na gano yana da mahimmanci" yana buɗe kofa ga p-hacking, wanda za mu gani a raka'a ta gaba. Yana da kyauta don duba bayanan kuma ku ga tsari; Amma bayyana wannan tsarin a matsayin "tabbatacciyar ganowa" a cikin bayanai iri ɗaya yaudara ce.

Binciken bincike na mataki-mataki

1. Ra'ayin Univariate. Bincika kowane ma'auni daban-daban: rarrabawar sa daidai ne ko karkatacce; tudu nawa ne; Ina masu fita waje? Don masu canji na lambobi, histogram (makircin da ke nuna mita ta hanyar rarraba dabi'u zuwa jeri) da kuma akwatin akwatin (kwalti - ginshiƙi yana nuna matsakaici, quartile da matsananciyar dabi'u); Don bambance-bambancen mabambanta, yi amfani da tebur mitar da sigogin mashaya.

2. Bivariate view. Dubi alakar da ke tsakanin masu canji guda biyu: tarwatsa mahallin don mabanbantan lambobi biyu (yana nuna kowane kallo a matsayin batu akan jirgin x-y), makircin akwatin da aka harhada don lambobi-lambobi, crosstab don nau'i biyu. Kafin ka kalli ma'auni na daidaitawa, tabbatar da duba tsarin watsawa: daidaitattun daidaito na iya nuna nau'i daban-daban (Shahararren Anscombe quartet ya nuna wannan; Saitunan bayanai guda huɗu suna da kusan ƙididdiga iri ɗaya, amma lokacin da aka tsara su sun zama daban-daban).

3. Zaɓi nau'in ginshiƙi daidai. Nau'in ginshiƙi ya dogara da tambayar ku da nau'in bayanai. Histogram don rarrabawa; watsawa don dangantaka; ginshiƙi na layi don canzawa akan lokaci; ginshiƙi mashaya don kwatanta nau'in; (a hankali) madaidaicin sanda don rabon sassa ga duka. AI da sauri yana haifar muku da lamba, amma shawarar "wane jadawali na wace tambaya" naku ne.

4. Kula da tsarin, kar a bayyana sakamako. Yi rikodin kowane nau'i mai ban sha'awa da kuke gani a matsayin "bayanin ganowa," amma kar ku ɗauki shi tabbataccen bincike. Tabbatarwa ana yin shi a wani mataki na daban, zai fi dacewa tare da keɓantaccen bayanai ko ƙayyadaddun jadawali.

Ka'idodin gani na gaskiya

Hoton yana tabbatarwa; Saboda haka, ikonsa na yaudara kuma yana da yawa. AI na iya yin ƙaya amma wani lokacin zaɓe na yaudara. Duba waɗannan manufofin:

  • A cikin sigogin mashaya, y-axis dole ne ya fara a sifili. Axis ɗin da aka tsinke yana nuna ƙananan bambance-bambance kamar babba.
  • Ya kamata ma'auni ya kasance daidai. Idan ana kwatanta sigogi biyu, yi amfani da kewayon axis iri ɗaya.
  • Yin laushi mai yawa zai iya ɓoye ainihin tsari. Layin yanayin yana da kyau, amma idan ya "smoothes" bayanan da yawa, yana iya zama yaudara.
  • Launi da kayan ado na 3D suna karkatar da hankali, ba bayanai ba. Zaɓi sauƙi.
  • Bacewar bayanai da girman samfurin yakamata a ganuwa. "n=12" da "n=12,000" kada suyi kama da juna.
Hankali: Kawai saboda zane-zanen da AI ke samarwa suna da kyau, ba gaskiya bane. Babban kuskuren da ya saba yi shine rashin farawa axis daga sifili a cikin ginshiƙi na mashaya da ƙari ga bambanci tsakanin ƙungiyoyin biyu. Koyaushe bincika axis.

Taswirar kwatanta: tambaya → ginshiƙi

Tambayi

daidai ginshiƙi

Kuskuren gama gari

Ta yaya ake rarraba wannan canjin?

Histogram/kwalin makirci

amfani da kek ginshiƙi

Shin masu canjin lamba biyu suna da alaƙa?

Watsa shiri

Kawai kallon adadin alaƙa

Ta yaya abin ya canza a tsawon lokaci?

layin layi

Faɗin yanayi tare da ginshiƙi na mashaya

Menene bambanci tsakanin kungiyoyi?

Akwatin / mashaya (daga karce)

Sanda mai tsinke

Rabo-zuwa-duka?

Matsakaicin sanda (tare da taka tsantsan)

Jadawalin kek da yawa

Hanyoyi huɗu masu kwafi

1. Lambar ganowa ta atomatik:

Matsayinku: Mataimakin EDA. Ba na raba bayanan, Ina son lambar R (ggplot2). Akwai lambobi (shigarwa, shekaru, kashewa) da rarrabuwa (yanki, ilimi) masu canji a cikin 'data' data.frame. Aiki: rubuta lambar da ke samar da tarihin ƙididdiga ga kowane lambobi, ginshiƙi na kowane nau'i, da yanki mai warwatse don samun kudin shiga ~ shekaru. A cikin sigogin mashaya, bari y-axis ta fara daga ZERO. Ƙara layin sharhi.

2. Bita na daidaitawa (daidaituwa + na gani tare):

Rubuta lambar cewa duka suna ƙididdige alaƙar Pearson don samun kudin shiga da kashewa da kuma tsara makircin watsawa + yanayin layi. Ƙara layin sharhi yana tunatar da ni in bincika ginshiƙi kafin AMINCI Countididdigar (Anscombe gargadi). Kada a wuce gona da iri kan lamuni.

3. Binciken gaskiya:

Duba lambar ggplot mai zuwa don ganin gaskiya:[code]. Bincika kuma gyara abubuwan da ke biyowa: shin y-axis yana farawa daga sifili, shin ma'aunin ya daidaita, ana iya ganin girman samfurin, akwai santsi fiye da kima? Bayyana dalilin kowane gyara da kuka yi.

4. Samar da bayanin ganowa (ba bincike ba):

Dangane da jadawali da nake samarwa, lissafta LABARIN A matsayin 'bayanin ganowa'; rubuta kowane abu a cikin yaren ' hasashe da za'a gwada', ba 'ganowar ƙarshe' ba. Misali: 'Kudaden shiga a manyan makarantu da alama sun fi bazuwa; yakamata a gwada shi da bayanan daban.' Ka nisanci sanadi da tabbataccen maganganu.

Rauni mai ƙarfi / Ƙarfi mai ƙarfi

Rawanin faɗakarwa:

Yi hotuna masu kyau daga yawan amfanin ƙasa kuma ku gaya mani abin da suke nufi.

Wannan saurin yana gayyatar fitowar yaudara: "kyakkyawa" yana mai da hankali kan kyawawan halaye, yayin da "abin da ake nufi" yana tura AI don tsalle daga ganowa zuwa tabbataccen ƙarshe. Dalili, karin tsokaci suna biyo baya.

Ƙarfi mai ƙarfi:

Matsayinku: mai gaskiya EDA mataimakin.Task: (1) zaɓi nau'in ginshiƙi wanda ya dace da tambayata kuma rubuta hujja, (2) fara axis daga sifili a cikin sigogin mashaya, (3) fassara fitarwa a cikin yaren GANO NOTE: babu tabbataccen / dalili da'awar bayar da shawarar hasashe a cikin "dole ne a gwada" harshe, (4) gargaɗin da ni idan ginshiƙi ya yi ƙarami.

Bambanci: mai ƙarfi zai ba da hujjar nau'in ginshiƙi, sanya ƙa'idodi na gaskiya kuma baya rikitar da bincike tare da tabbatarwa.

uku mini lokuta

Case 1 - Mai hankali axis ƙari. Wani manazarci ya nuna gamsuwar rassa biyu (7.8 da 8.0; cikin 10) a cikin ginshiƙi na mashaya. Lokacin farawa da axis YZ daga 7.5, reshe na biyu ya bayyana kusan sau biyu kamar na farko; yayin da bambancin ya kasance kawai 2.5%. Gudanarwa yana gab da ba da lada ga reshe a ƙarƙashin ra'ayi mara kyau. Lokacin da na fara axis daga karce bambancin ya kusan ganuwa. Darasi: zabin axis kadai yana canza fahimta.

Hali na 2 - Amincewa da daidaituwa da tsallake ginshiƙi. Wani mai bincike ya ga r = 0.81 tsakanin masu canji guda biyu kuma ya rubuta "dangantaka mai karfi". Lokacin da mai ba da shawararsa ya nemi shirin watsawa, an ga cewa dangantakar ta kasance a haƙiƙa saboda wani matsanancin kallo guda ɗaya, kuma lokacin da aka cire wannan batu, alaƙar ta ragu zuwa 0.12. Darasi: Ƙididdigar haɗin kai ba maimakon jadawali ba; koda yaushe ka kalli warwatse.

Case 3 - Gano mai ruɗani tare da tabbatarwa. Ɗaya daga cikin ɗalibi ya kalli duk haɗin kai guda biyu a cikin saitin bayanai na 40, ya zaɓi mafi girma (r=0.52) kuma ya rubuta, "mun sami muhimmiyar dangantaka tsakanin ilimi da tanadi (p=0.004)." Duk da haka, akwai ɗaruruwan nau'i-nau'i a cikin masu canji 40; zabar mafi girma shine binciken ƙarya saboda dama. Darasi: ƙirar da aka gano ba za a iya "gwaji da bayyana mahimmanci" a cikin bayanai guda ɗaya ba; Ana buƙatar tabbaci daban.

Kuskuren gama gari

  • Ba farawa axis daga sifili a cikin ginshiƙi mashaya ba. Yana ƙara ɗan bambanci; Ƙarya na gani da aka fi sani. Koyaushe duba.
  • Duban haɗin kai da tsallake ginshiƙi. Daidaitawar iri ɗaya ta fito ne daga alamu daban-daban; zai iya dacewa da dangantaka mara kyau. Na farko, watsawa.
  • Yin la'akari da tsarin da aka samo a cikin binciken a matsayin "shaida" a cikin bayanai guda ɗaya. Wannan ita ce ƙofa zuwa p-hacking; Tabbatarwa ana yin shi daban.
  • Nau'in ginshiƙi mara kyau. Matches kamar mashaya don Trend da kek don rarraba yaudara ne. Zaɓi nau'in bisa ga tambayar.
  • Boye girman samfurin. n=8 da n=8,000 kada su yi kama da jadawali daya; dole ne a nuna rashin tabbas.
Tukwici: Kafin buga ginshiƙi, tambayi kanku: "Shin labarin zai canza idan na canza axis?" Idan amsar eh, tabbas kun fara pivot daga wurin rashin gaskiya.

a takaice

Binciken bayanan bincike shine lokaci na saduwa da bayanai, ganin alamu da samar da hasashe; Ba tabbaci ba ne. AI cikin sauri yana haifar da ƙididdige ƙididdiga da lambar hoto, amma kun zaɓi nau'in jadawali dangane da tambayar ku kuma ku sarrafa ka'idodin adalci (sifili axis, daidaiton sikelin, rashin tabbas). Dubi warwatse kafin aminta da lambar daidaitawa; Kada ka ayyana tsarin da ka samo a cikin binciken a matsayin "shaida" a cikin bayanai iri ɗaya. Kyakkyawan jadawali na AI baya nufin madaidaicin jadawali.

Aikin aikace-aikace

Zaɓi aƙalla masu canji uku a cikin saitin bayanai. Tambayi AI don kuma gudanar da lambar da ke samar da zane-zane (histogram, warwatse, akwati) tare da hanzari wanda ke tilasta dokokin gaskiya. Ga kowane ginshiƙi: duba (1) dacewa da nau'in ginshiƙi ga tambayar, (2) gaskiyar axis, (3) ganin girman samfurin. Rubuta aƙalla “bayanin ganowa” ɗaya a cikin yaren hasashe (“… yana bayyana don gwadawa daban”). Bincika alaƙa tare da duka biyun ƙirga kuma watsawa kuma bayar da rahoto idan akwai sabani a tsakanin su.

jerin abubuwan dubawa

  • [ ] Na zaɓi nau'in ginshiƙi bisa ga tambayata da nau'in bayanai.
  • [ ] A cikin sigogin mashaya, na fara y-axis daga sifili; Na duba axis gaskiya.
  • [ ] Na kalli ɓacin rai kafin in amince da haɗin kai.
  • [ ] Na nuna girman samfurin da rashin tabbas akan jadawali.
  • [ ] Na rubuta tsarin da na samo a cikin bincike a matsayin "hasashen da za a gwada" maimakon "shaida".
  • [ ] Na lura cewa ba zan yi amfani da bayanai iri ɗaya don tabbatarwa ba kuma ana buƙatar wani mataki daban.