Faida:
- Uwezo wa kutambua aina za data zinazokosekana (MCAR/MAR/MNAR), wauzaji nje, na makosa ya usimbaji na kutumia AI iliyo na data sahihi kutoa msimbo wa kusafisha na uchunguzi.
- Uwezo wa kuona jinsi kila hatua ya kusafisha (kufuta, mgawo, mabadiliko) iliyopendekezwa na akili ya bandia itaathiri matokeo ya uchambuzi na kuanzisha mtiririko wa kazi unaoweza kubadilishwa na kumbukumbu.
- Kudumisha kwamba maamuzi ya usafishaji yanatokana na ujuzi wa mchakato unaozalisha data, na kwamba akili bandia ni msaidizi anayesimamiwa, si kiotomatiki kipofu.
Kila mchambuzi mwenye ujuzi anajua ukweli mmoja: wakati mwingi wa mradi wa majaribio sio mfano, lakini kusafisha data (kazi ya kusahihisha makosa, kuachwa, na kutofautiana kwa data na kuifanya kuwa tayari kwa uchambuzi). Kama kanuni mbaya ya kidole gumba, karibu 70-80% ya wakati huenda katika kuelewa, kusafisha na kubadilisha data; ni 20-30% tu iliyobaki kwa uchambuzi halisi. Katika kitengo hiki, tutaona hatua kwa hatua jinsi akili ya bandia (AI) inavyopunguza mzigo huu mzito, lakini ni maamuzi gani bado unafaa kubaki nayo na kwa nini.
Hebu tuweke mambo mawili ya msingi kwanza. Kwanza, maamuzi ya kusafisha yanatokana na ujuzi wako wa mchakato unaozalisha data: wewe tu unajua ni kwa nini thamani inakosekana, kwa nini nambari ni kubwa kupita kiasi. AI haoni data, haijui muktadha; Huandika msimbo, haifanyi maamuzi. Pili, kila hatua ya kusafisha inaweza kubadilisha matokeo ya uchambuzi. Kufuta nje kunaweza kugeuza mgawo; Kujaza kilichokosekana na wastani kunaweza kupunguza tofauti hiyo kwa njia ya bandia. Kwa hivyo usafishaji unapaswa kubadilishwa na kurekodiwa: usiwahi kugusa data ghafi, fanya kila hatua kwa nambari, rekodi athari ya kila hatua.
Mchakato wa kusafisha hatua kwa hatua
1. Jua data. Kwanza tazama muundo: idadi ya safu (uchunguzi) na safu wima (vigezo), aina ya kila kigezo (nambari, kitengo, tarehe), takwimu za muhtasari, idadi ya kukosa. Unaweza kuuliza AI kwa nambari hii ya "wasifu wa data"; Lakini unasoma matokeo na kuuliza maswali kama "kwa nini utaftaji huu ulikuja kama maandishi?"
2. Kuelewa na kuainisha data iliyokosekana. Data inayokosekana imegawanywa katika aina tatu. MCAR (Imekosekana Kabisa kwa Nasibu): inayokosekana haitokani na chochote, kwa mfano kitambuzi kilishindwa bila mpangilio. MAR (Kukosa Mara kwa Mara): kukosekana kunategemea vigezo vingine vinavyoangaliwa, kwa mfano watu wazee huacha swali wazi mara nyingi zaidi, lakini unajua umri. MNAR (Missing Not At Random): kukosa kunategemea thamani yenyewe isiyozingatiwa, kwa mfano watu wenye kipato cha juu hawaripoti mapato yao. Tofauti hii ni muhimu kwa sababu huamua njia ya suluhisho na AI haiwezi kukuamulia hili.
3. Kukabiliana na upungufu. Chaguzi: ufutaji wa orodha, uwekaji wa wastani/wastani, uigaji mwingi unaotegemea modeli. Ufutaji katika MCAR ni salama kiasi lakini hupunguza saizi ya sampuli. Kazi nyingi zinafaa zaidi katika MAR. Hakuna njia rahisi inayohakikisha kutokuwa na upendeleo katika MNAR; Utaratibu wa upungufu unapaswa kuwa wa mfano au angalau uchambuzi wa unyeti unapaswa kufanywa. Kujaza maana ni rahisi lakini ni hatari: hupunguza tofauti, hudhoofisha mahusiano, na kuficha kutokuwa na uhakika.
4. Chunguza vifaa vya nje. Nje ni uchunguzi ambao unasimama mbali sana na wengine. Tenganisha maswali haya mawili: Je, hili ni kosa (umri wa 999 uliandikwa katika ingizo la data) au ni thamani halisi lakini ya nje (mapato ya bilionea)? Rekebisha makosa; Usifute matoleo ya kweli kwa sababu yanawakilisha data. Kufuta nje "kwa sababu inasumbua" ni kuelekeza data kuelekea matokeo.
5. Coding na uthabiti. Sawazisha kategoria ("Mwanaume", "mwanaume", "E" zote katika msimbo mmoja), leta tarehe katika umbizo moja, vitengo katika kipimo kimoja, gundua safu mlalo. Hii ni awamu ya hatari zaidi ambapo AI husaidia vizuri zaidi.
6. Hati na kufungia. Rekodi kila hatua kwa kutumia msimbo na mstari wa maoni, ukitenganisha data mbichi na iliyosafishwa. Kwa hivyo mwamuzi anapouliza "kwa nini uchunguzi huu ulitupwa?" jibu lako tayari.
Tahadhari: Usifanye maamuzi ya kusafisha kulingana na matokeo. Kufuta mstari unaosema "Unapofuta laini hii, mgawo huwa muhimu" ni njia ya siri zaidi ya udukuzi wa p, ambayo tutaona katika kitengo kinachofuata.
Jedwali la kulinganisha: mbinu za data zinazokosekana
Mbinu
Ni wakati gani inafaa?
hatari
Jukumu la AI
Futa safu
MCAR, kiwango cha chini cha kukosa
Sampuli inakuwa ndogo, upendeleo katika MAR/MNAR
Anaandika kanuni; unaamua
Mgawo wa wastani/wastani
Uchambuzi wa awali wa haraka
Hupunguza tofauti, huficha uhusiano
Ni rahisi lakini haipendekezi; inapaswa kuonya
Kazi nyingi (MI)
MAR, vigezo muhimu
Ikiwa haijasakinishwa kwa usahihi itakuwa ya kupotosha
Inapendekeza msimbo na kifurushi (panya)
Uundaji wa utaratibu
MNAR
Complex, dhana-kubwa
Rasimu tu; mtaalam anahitajika
Vidokezo vinne vinavyoweza kunakiliwa
1. Uwekaji wasifu wa data:
Jukumu lako: msaidizi wa utakaso wa data. Sishiriki data, nataka nambari ya R. Nina data.frame inayoitwa 'digit'; vigezo: kitambulisho, umri (nambari), mapato (nambari), elimu (kategoria), eneo (kategoria), tarehe (tarehe). Kazi: andika msimbo ambao hutoa aina, nambari inayokosekana na kiwango kwa kila kigeuzi, takwimu za muhtasari wa nambari, na jedwali la masafa kwa zile za kategoria. Ongeza mstari wa maoni.
2. Utambuzi wa data haupo:
Andika msimbo unaochunguza mchoro unaokosekana wa data ya 'tarakimu' hapo juu: - Kiwango cha kukosa cha kila kigezo, - jedwali/grafu rahisi inayoonyesha uhusiano wa kukosa na vigeu vingine. Nitaangalia matokeo ya msimbo na kufanya tofauti ya MCAR/MAR/MNAR; Unatoa tu zana ya utambuzi, USIAMUE juu ya njia ya mgawo.
3. Ukaguzi wa nje (sio kufutwa):
Andika msimbo wa 'mapato' tofauti ambayo huchunguza wauzaji BILA KUFUTA: boxplot, mipaka inayotegemea IQR, na kuorodhesha jedwali uchunguzi wa nje + maadili. Nitaona kama haya ni makosa au kweli. Ongeza ufutaji kiotomatiki.
4. Kusanifisha usimbaji:
Katika muundo wa 'elimu', maadili yameandikwa mchanganyiko: "Shule ya Msingi", shule ya msingi", "MSINGI", "Shule ya Upili", "shule ya upili", "Chuo Kikuu", "chuo kikuu". Andika msimbo R unaoweka upya haya katika kategoria thabiti; Onyesha jedwali la ramani kwa uwazi ili niweze kuthibitisha kila ubadilishaji. Weka thamani usiyoitambua kuwa "HAIJULIKANI".
Mwongozo dhaifu / Mwongozo thabiti
Agizo dhaifu:
Safisha data, jaza mapengo, utupe nje.
Hitaji hili ni hatari: Inatoa mamlaka kipofu kwa AI. Ni aina gani ya kukosa, ni aina gani ya kujaza, ni ukweli gani unaopingana - hakuna hata mmoja ni wazi. Matokeo yake yanaweza kuwa seti ya data yenye upendeleo kwa siri.
Agizo lenye nguvu:
Jukumu lako: msaidizi wa kusafisha, wewe sio mtoa maamuzi. Nenda hatua kwa hatua na uandike msimbo unaoripoti athari ya KILA hatua: 1) onyesha mchoro unaokosekana (USIFUTE/UJAZE), 2) orodhesha watahiniwa wa nje (USIFUTE), 3) rekebisha tofauti za kategoria na jedwali la ramani. Chapisha hesabu ya safu mlalo na takwimu za muhtasari baada ya kila hatua ili niweze kuona na kuthibitisha mabadiliko. Uingizaji wa kazi/ufutaji otomatiki.
Tofauti ni wazi: nia thabiti inaweka AI kama msaidizi anayesimamiwa, ikitoa hatua zinazoweza kutenduliwa na zilizorekodiwa.
kesi tatu ndogo
Kesi ya 1 - Mtego wa wastani wa kazi. Data ya mapato ya mchambuzi mmoja kwa watu 5,000 ilikosa 18%. Aliiambia AI "kujaza mapengo"; AI iliwaweka wastani wote. Matokeo: tofauti ya mapato ilipungua kwa 22%, na mgawo wa uhusiano wa mapato ya elimu uligeuka kuwa dhaifu kuliko ilivyokuwa. Njia sahihi: upungufu ulikuwa MAR (kutokana na elimu), ilibidi kujazwa na kazi nyingi (panya). Somo: njia ya kujaza inategemea utaratibu.
Kesi ya 2 - Usafishaji wa nje hubadilisha utaftaji. Kulikuwa na makampuni 3 makubwa sana (0.6% ya jumla ya uchunguzi) katika data moja ya kampuni. Hizi zilifutwa na pendekezo la AI la "kusafisha"; Uchumi wa mgawo wa kipimo ulibadilika kutoka chanya hadi hasi. Walakini, kampuni hizo 3 zilikuwa za kweli na sehemu muhimu ya tasnia. Njia sahihi ilikuwa kuripoti kwa makadirio kamili na thabiti badala ya kufuta. Somo: wauzaji halisi ni data, sio kelele.
Kesi ya 3 - Hitilafu ya usimbaji kimya. Katika paneli moja, utofauti wa tarehe ulikuja katika miundo miwili tofauti ("2020-03-01" na "01/03/2020"). Wakati msimbo wa mchanganyiko uliotolewa na AI ulipotosha kwa maadili tofauti, uchunguzi 1,400 haukulinganishwa na viwango vya ukuaji vikawa vya kuchekesha. Haijalishi ikiwa mchambuzi hakuangalia hesabu ya safu. Somo: hesabu za uchunguzi na ukaguzi wa afya njema baada ya kila hatua ni lazima.
Makosa ya kawaida
- Kujaza pengo kwa upofu kwa wastani. Inapunguza tofauti, inaficha kutokuwa na uhakika, na inaleta upendeleo katika MAR/MNAR. Kwanza ainisha utaratibu.
- Kufuta nje "kwa sababu inasumbua". Wauzaji wa kweli huwakilisha data; kufuta ni kupinda matokeo. Sahihisha kile ambacho sio sahihi, weka kile ambacho ni halisi.
- Kugonga data ghafi. Usiwahi kurekebisha data ghafi; Fanya usafishaji wote kwa msimbo katika nakala tofauti ili iweze kurejeshwa.
- Sio kupima athari za hatua. Ikiwa hesabu ya safu mlalo na takwimu za muhtasari hazitaangaliwa baada ya kila hatua, hitilafu zisizo na sauti zitakusanyika.
- Kusafisha kama matokeo. Mantiki ya "Unapoongeza mstari huu, matokeo yanakuwa bora" ni p-hacking; Kusafisha kunapaswa kupangwa kabla na bila kujitegemea matokeo ya uchambuzi.
Kidokezo: Weka jedwali la "kabla/baada" ambalo linaweka takwimu za msingi sawa (wastani, wastani, idadi ya uchunguzi, uwiano machache) kando kabla na baada ya kusafisha. Kuruka bila kutarajiwa ni kiashiria bora cha hitilafu iliyofichwa.
Kwa muhtasari
Usafishaji wa data ndio hatua inayotumia wakati mwingi na inayohitaji maamuzi ya kazi ya majaribio. AI ni jenereta ya msimbo yenye nguvu kwa hili, lakini haiwezi kupiga picha: unaainisha aina ya data iliyokosekana (MCAR/MAR/MNAR), bainisha ikiwa muuzaji nje ni kosa au halisi, weka kila hatua iweze kutenduliwa na kurekodiwa. Badala ya kutoa mamlaka ya "wazi" ya AI, anzisha mtiririko wa hatua kwa hatua ambao athari yake hupimwa na kuthibitishwa. Kuangalia idadi ya uchunguzi na takwimu za muhtasari baada ya kila hatua ni dawa bora ya makosa ya kimya.
Jukumu la maombi
Chagua angalau vigeu viwili ambavyo vinakosekana na viambajengo katika seti ya data (data yako mwenyewe au seti ya sampuli). Omba msimbo wa uchunguzi kutoka kwa AI kupitia "hatua kwa hatua, usifute / ujaze" papo hapo juu na uiendeshe. Bainisha upungufu kama MCAR/MAR/MNAR na uandike uhalalishaji wako katika sentensi moja. Chunguza wagombea kinzani mmoja baada ya mwingine na uamue yupi amekosea na yupi ni wa kweli. Hatimaye, toa jedwali la "kabla-baada" kabla/baada ya kusafisha na uripoti ikiwa kuna mabadiliko yoyote yasiyotarajiwa.
orodha ya ukaguzi
- [ ] Nilisafisha data mbichi katika nakala tofauti bila kuibadilisha.
- [ ] Niliainisha upungufu huo kuwa MCAR/MAR/MNAR na nikachagua mbinu ipasavyo.
- [ ] Nilichunguza vitu vya nje moja baada ya nyingine kama vilikuwa makosa au halisi; Sikuifuta kwa upofu.
- [ ] Niliangalia idadi ya uchunguzi na takwimu za muhtasari baada ya kila hatua ya kusafisha.
- [ ] Niliandika hatua zote kwa nambari na mstari wa maoni; inayoweza kugeuzwa.
- [ ] Nilizingatia usafishaji kwenye ujuzi wa mchakato unaozalisha data, si kwa matokeo ya uchanganuzi.