Riba:
- Ƙarfin gane nau'in bayanan da suka ɓace (MCAR / MAR / MNAR), masu fita, da kurakurai na coding da amfani da AI tare da daidaitattun bayanai don samar da lambar tsaftacewa da bincike.
- Ƙarfin ganin yadda kowane matakin tsaftacewa (sharewa, aiki, canji) da aka ba da shawarar ta hanyar basirar wucin gadi zai shafi sakamakon bincike da kafa tsarin aiki mai jujjuyawa da rubuce-rubuce.
- Tsayar da cewa yanke shawarar tsaftacewa ya dogara ne akan ilimin tsarin da ke samar da bayanai, kuma cewa basirar wucin gadi mataimaki ne mai kulawa, ba makaho mai sarrafa kansa ba.
Duk wani gogaggen manazarci ya san gaskiya guda ɗaya: mafi yawan lokutan aikin ƙwaƙƙwara ba ƙirar ƙira ba, amma tsaftacewar bayanai (aikin gyara kurakurai, ƙetare, da rashin daidaituwa a cikin bayanan da kuma sanya shi shirye don bincike). A matsayin ƙaƙƙarfan ƙaƙƙarfan ƙaƙƙarfan yatsa, kusan 70-80% na lokacin yana shiga cikin fahimta, tsaftacewa da canza bayanai; kawai 20-30% ya rage don ainihin bincike. A cikin wannan rukunin, za mu ga mataki-mataki yadda basirar wucin gadi (AI) ke sauƙaƙe wannan nauyi mai nauyi, amma waɗanne yanke shawara yakamata su kasance tare da ku kuma me yasa.
Bari mu sanya muhimman abubuwa guda biyu a gaba. Na farko, yanke shawarar tsaftacewa sun dogara ne akan ilimin ku na tsarin da ke samar da bayanan: kawai ku san dalilin da yasa darajar ta ɓace, dalilin da yasa lamba ta yi girma sosai. AI baya ganin bayanan, bai san mahallin ba; Yana rubuta lamba, baya yanke shawara. Na biyu, kowane matakin tsaftacewa na iya canza sakamakon bincike. Share abin waje yana iya juyar da ƙima; Cika abin da ya ɓace tare da ma'ana na iya rage bambance-bambancen ta hanyar wucin gadi. Don haka tsaftacewa ya kamata ya zama mai jujjuyawa kuma a rubuce: kar a taɓa ɗanyen bayanai, yi kowane mataki a lamba, rikodin tasirin kowane mataki.
Tsaftace-mataki-mataki tafiyar aiki
1. Sanin bayanai. Da farko duba tsarin: adadin layuka (na lura) da ginshiƙai (masu canzawa), nau'in kowane maɗaukaki (lambobi, nau'i, kwanan wata), ƙididdiga taƙaice, adadin ɓacewa. Kuna iya tambayar AI don wannan lambar "bayanin martaba"; Amma kun karanta fitarwa kuma kuyi tambayoyi kamar "me yasa wannan canjin ya zo a matsayin rubutu?"
2. Fahimta da kuma rarraba bayanan da suka ɓace. Bacewar bayanan ya kasu kashi uku. MCAR (Bace Gabaɗaya A Bazuwar): Bacewar ba saboda wani abu bane, misali na'urar firikwensin ya gaza ba da gangan ba. MAR (Bace A Bazuwar): Rasa ya dogara da wasu canje-canjen da aka gani, alal misali tsofaffi suna barin tambaya ba komai akai-akai, amma kun san shekaru. MNAR (Ba a Rasa Ba a Random): Rasa ya dogara da ƙimar da ba a lura da ita ba, misali masu yawan samun kuɗi ba sa bayar da rahoton kuɗin shiga. Wannan bambance-bambancen yana da mahimmanci saboda yana ƙayyade hanyar mafita kuma AI ba zata iya yanke muku wannan ba.
3. Magance rashi. Zaɓuɓɓuka: sharewa ta hanyar lissafi, ma'ana/matsakaici imputation, tushen ƙira mai yawa. Sharewa a cikin MCAR ba shi da lafiya amma yana rage girman samfurin. Ayyuka da yawa sun fi dacewa a MAR. Babu wata hanya mai sauƙi da ke tabbatar da rashin son zuciya a cikin MNAR; Ya kamata a tsara tsarin rashi ko aƙalla a yi nazarin hankali. Cika ma'ana yana da sauƙi amma mai haɗari: yana rage bambance-bambance, yana raunana dangantaka, yana ɓoye rashin tabbas.
4. Bincika abubuwan waje. Fitowa abin kallo ne wanda ke da nisa da sauran. Rarraba tambayoyin guda biyu: Shin wannan kuskure ne (an rubuta shekaru 999 a cikin shigar da bayanai) ko kuwa ainihin ƙimar kuɗi ne amma mafi girma (kudaden shiga na biliyan biliyan)? Gyara kwari; Kar a share masu fita na gaskiya saboda suna wakiltar bayanai. Share bayanan "saboda yana damun" kuna karkatar da bayanan zuwa ga sakamako.
5. Coding da daidaito. Daidaita nau'ikan nau'ikan ("Namiji", "namiji", "E" duk cikin lamba ɗaya), kawo kwanan wata zuwa tsari ɗaya, raka'a cikin sikeli ɗaya, gano kwafin layuka. Wannan shine mafi ƙarancin lokaci mai haɗari inda AI ke taimakawa mafi kyau.
6. Takardu da daskare. Yi rikodin kowane mataki tare da lamba da layin sharhi, kiyaye danye da tsabtace bayanai daban. Don haka lokacin da alkalin wasa ya tambaya "me yasa aka yi watsi da waɗannan abubuwan?" kana da amsarka a shirye.
Tsanaki: Kada ku yanke shawarar tsaftacewa bisa sakamako. Share layin da ke cewa "Lokacin da kuka goge wannan layin, ƙididdiga ta zama mahimmanci" shine mafi girman nau'i na p-hacking, wanda zamu gani a cikin raka'a na gaba.
Teburin kwatance: hanyoyin bayanai da suka ɓace
Hanya
Yaushe ya dace?
kasada
Matsayin AI
Share jere
MCAR, ƙarancin ƙarancin ƙima
Samfurin ya zama ƙarami, son zuciya a cikin MAR/MNAR
Yana rubuta lambar; ka yanke shawara
Ma'ana/matsakaici aiki
Binciken farko mai sauri
Yana rage bambance-bambance, yana ɓoye dangantaka
Yana da sauƙi amma baya bada shawarar shi; kamata yayi gargadi
Ayyuka da yawa (MI)
MAR, masu canji masu mahimmanci
Idan ba a shigar da shi daidai ba zai zama yaudara
Yana ba da shawarar lamba da fakiti (mice)
Kayan aikin injiniya
MNAR
Complex, zato-m
Zane kawai; gwani ake bukata
Hanyoyi huɗu masu kwafi
1. Bayanan Bayani:
Matsayinku: mataimakin tsaftace bayanai. Ba na raba bayanan, Ina son lambar R. Ina da data.frame mai suna 'digit'; masu canji: id, shekaru (lambobi), samun shiga (lambobi), ilimi (nau'i), yanki (nau'i), kwanan wata (kwana). Aiki: rubuta lambar da ke samar da nau'i, lambar da ta ɓace da ƙididdigewa ga kowane maɗaukaki, taƙaitaccen ƙididdiga na ƙididdiga, da tebur na mitar don nau'i. Ƙara layin sharhi.
2. Bacewar ganewar bayanai:
Rubuta lambar da ke bincika tsarin da ya ɓace don bayanan 'lambobi' a sama: - ƙarancin adadin kowane ma'auni, - tebur mai sauƙi / jadawali yana nuna alaƙar ɓacewa da wasu masu canji. Zan duba fitar da lambar kuma in sanya bambancin MCAR/MAR/MNAR; Kuna kawai samar da kayan aikin bincike, KADA ku yanke shawara akan hanyar aiki.
3. Binciken waje (ba sharewa ba):
Rubuta lamba don 'shigarwa mai ma'ana' wanda ke bincika abubuwan da ba a goge su ba BA TARE DA GYARA ba: akwatin akwatin, iyakoki na tushen IQR, da jerin abubuwan lura + ƙima. Zan gani idan waɗannan kurakurai ne ko na gaske. Ƙara shafewar atomatik.
4. Daidaita rikodin:
A cikin ma'anar 'ilimi', ana rubuta dabi'u gauraye: "Makarantar Firamare", "Makarantar Firamare", "Firamare", "Makarantar Sakandare", "Makarantar Sakandare", "Jami'a", "univ". Rubuta lambar R wanda ke sake canza waɗannan zuwa nau'ikan madaidaitan; Nuna teburin taswira a sarari don in tabbatar da kowane juyi. Saita ƙimar da baku gane ba zuwa "RA'ADIN".
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rawanin faɗakarwa:
Tsaftace bayanai, cike giɓi, watsar da abubuwan waje.
Wannan buƙatar tana da haɗari: Yana ba da iko makaho ga AI. Wani nau'i na ɓacewa, wane nau'in cikawa, abin da ya saba wa gaskiya - babu wani abu da ya bayyana. Sakamakon yana iya zama saitin bayanai na son zuciya a asirce.
Ƙarfi mai ƙarfi:
Matsayinku: Mataimakin tsaftacewa, ba kai ne mai yanke shawara ba. Tafi mataki-mataki kuma rubuta lambar da ke ba da rahoton tasirin KOWANE mataki: 1) nuna alamar da ta ɓace (KADA KA share/cika), 2) jerin sunayen ƴan takara (KADA KA share), 3) gyara rashin daidaituwa na rukuni tare da tebur taswira. Buga lissafin jere da taƙaitaccen ƙididdiga bayan kowane mataki don in gani da tabbatar da canjin. Saka aiki/ gogewa ta atomatik.
Bambanci a bayyane yake: karfi zai sanya AI a matsayin mataimaki mai kulawa, yana samar da matakai masu juyawa da rubuce-rubuce.
uku mini lokuta
Case 1 - Matsakaicin tarkon aiki. Adadin kudin shiga na wani manazarci na mutane 5,000 ya ɓace kashi 18%. Ya gaya wa AI don "cika gibin"; AI ta daidaita su duka. Sakamako: bambance-bambancen samun kudin shiga ya ragu da kashi 22%, kuma ƙimar dangantakar ilimi da samun kudin shiga ta zama mai rauni fiye da yadda take. Hanyar da ta dace: rashi shine MAR (saboda ilimi), dole ne a cika shi da ayyuka da yawa (mice). Darasi: Hanyar cikawa ya dogara da tsarin.
Case 2 - Tsabtace tsafta tana jujjuya binciken. Akwai manyan kamfanoni 3 (0.6% na jimlar lura) a cikin bayanan kamfani ɗaya. An share waɗannan ta hanyar shawarar "tsabta" ta AI; Tattalin arzikin ma'auni ya juya daga tabbatacce zuwa mara kyau. Koyaya, waɗannan kamfanoni 3 sun kasance na gaske kuma muhimmin sashi na masana'antar. Hanyar da ta dace ita ce bayar da rahoto tare da cikakkiyar ƙima da ƙarfi maimakon sharewa. Darasi: ainihin masu fita bayanai ne, ba hayaniya ba.
Case 3 - Kuskuren coding shiru. A cikin kwamiti ɗaya, canjin kwanan wata ya zo cikin tsari biyu daban-daban ("2020-03-01" da "01/03/2020"). Lokacin da lambar haɗin da AI ta samar ta kuskure su don ƙima daban-daban, abubuwan lura 1,400 ba su dace ba kuma ƙimar girma ya zama abin dariya. Ba kome ba idan manazarcin bai duba lissafin jere ba. Darasi: Ƙididdigar lura da duba lafiyar jiki bayan kowane mataki dole ne.
Kuskuren gama gari
- Makanta yana cike gibin tare da matsakaita. Yana rage bambance-bambance, yana ɓoye rashin tabbas, kuma yana haifar da son zuciya a cikin MAR/MNAR. Farko rarraba tsarin.
- Share outlier "saboda yana damun". Masu fitowa na gaskiya suna wakiltar bayanai; gogewa yana lankwashe sakamako. Gyara abin da ba daidai ba, kiyaye abin da yake na gaske.
- Taɓa danyen bayanai. Kada a taɓa canza danyen bayanai; Yi duk tsaftacewa tare da lambar a cikin wani kwafi daban don a iya mayar da ita.
- Ba auna tasirin matakai ba. Idan ba a duba kirga jere da kididdigar taƙaitawa ba bayan kowane mataki, kurakuran shiru za su taru.
- Tsaftacewa a sakamakon haka. Ma'anar "Idan ka ƙara wannan layi, sakamakon zai zama mafi kyau" shine p-hacking; Ya kamata a shirya tsaftacewa kafin da kuma ba tare da sakamakon bincike ba.
Tukwici: Kiyaye teburin "kafin/bayan" wanda ke sanya ƙididdiga na asali iri ɗaya (ma'ana, tsaka-tsaki, adadin abubuwan lura, ƴan alaƙa) gefe da gefe kafin da bayan tsaftacewa. Tsalle mara tsammani shine mafi kyawun harbinger na kuskuren ɓoye.
A takaice
Tsabtace bayanai shine mafi ɗaukar lokaci da yanke shawara-lokacin aiki mai ƙarfi. AI shine janareta na lamba mai ƙarfi akan wannan, amma ba zai iya kiran harbin ba: kuna rarraba nau'in bayanan da suka ɓace (MCAR / MAR/MNAR), ƙayyade ko mafi girman kuskure ne ko na gaske, kiyaye kowane mataki mai jujjuyawa da rubutawa. Maimakon ba da ikon AI makafi "bayyane", kafa tsarin aiki na mataki-mataki wanda aka auna tasirin tasirinsa kuma an inganta shi. Bincika adadin abubuwan dubawa da taƙaitaccen ƙididdiga bayan kowane mataki shine mafi kyawun maganin kurakuran shiru.
Aikin aikace-aikace
Zaɓi aƙalla masu canji guda biyu waɗanda ke ɗauke da ɓacewa da masu fita a cikin saitin bayanai (bayanan ku ko saitin samfurin). Nemi lambar bincike daga AI ta hanyar "mataki-mataki, kar a share / cika" da sauri a sama kuma kunna shi. Rarraba rashi kamar MCAR/MAR/MNAR kuma rubuta hujjar ku a cikin jumla guda. Yi nazarin 'yan takara masu cin karo da juna daya bayan daya sannan a tantance wane kuskure ne wanene na gaske. A ƙarshe, samar da tebur "kafin-bayan" kafin/bayan tsaftacewa da bayar da rahoto idan akwai wasu canje-canjen da ba zato ba tsammani.
jerin abubuwan dubawa
- [ ] Na share danyen bayanan a cikin kwafi daban ba tare da canza shi ba.
- [ ] Na rarraba rashi a matsayin MCAR/MAR/MNAR kuma na zaɓi hanyar da ta dace.
- [ ] Na yi nazarin abubuwan da suka fita daya bayan daya ko kuskure ne ko na gaske; Ban share shi a makance ba.
- [ ] Na duba adadin abubuwan lura da ƙididdigar ƙididdiga bayan kowane matakin tsaftacewa.
- [ ] Na rubuta duk matakan tare da lamba da layin sharhi; mai juyawa.
- [ ] Na dogara ne akan tsaftacewa akan ilimin tsarin da ke samar da bayanai, ba akan sakamakon bincike ba.