Gnóthachain:
- Cumas cineálacha sonraí atá in easnamh (MCAR/MAR/MNAR), asluitigh, agus earráidí códaithe a aithint agus AI a úsáid leis na sonraí cearta chun cód glanta agus diagnóisic a tháirgeadh
- Cumas a fheiceáil conas a dhéanfaidh gach céim ghlantacháin (scriosadh, sannadh, claochlú) a mhol hintleachta saorga difear do thoradh na hanailíse agus sreabhadh oibre inchúlaithe agus doiciméadaithe a bhunú
- A choimeád ar bun go mbíonn cinntí glantacháin bunaithe ar eolas ar an bpróiseas a ghineann sonraí, agus gur cúntóir maoirsithe í an intleacht shaorga, ní uathoibreán dall
Tá a fhios ag gach anailísí taithí fhírinne amháin: ní samhaltú an chuid is mó den am a bhaineann le tionscadal eimpíreach, ach glanadh sonraí (obair cheartú earráidí, easnaimh agus neamhréireachtaí sna sonraí agus é a dhéanamh réidh le haghaidh anailíse). Mar riail garbh ordóg, téann thart ar 70-80% den am isteach i sonraí a thuiscint, a ghlanadh agus a athrú; níl ach 20-30% fágtha don anailís iarbhír. San aonad seo, feicfimid céim ar chéim conas a éascaíonn intleacht shaorga (AI) an t-ualach trom seo, ach cad iad na cinntí ba cheart a bheith agat fós agus cén fáth.
Cuirimis dhá fhíric bhunúsacha ar dtús. Ar an gcéad dul síos, bunaítear cinntí glantacháin ar do chuid eolais ar an bpróiseas a tháirgeann na sonraí: ní bhíonn a fhios agat ach cén fáth a bhfuil luach in easnamh, cén fáth a bhfuil uimhir ró-mhór. Ní fheiceann AI na sonraí, níl a fhios aige an comhthéacs; Scríobhann sé cód, ní dhéanann sé cinntí. Sa dara háit, féadfaidh gach céim glantacháin an toradh anailíse a athrú. Má scriostar asluiteach, féadtar an chomhéifeacht a inbhéartú; Is féidir an t-athraitheas a laghdú go saorga trí líonadh isteach an easnamh leis an meán. Mar sin ba chóir go mbeadh glantachán inchúlaithe agus doiciméadaithe: ná déan teagmháil leis na sonraí amh, ná déan gach céim sa chód, taifead tionchar gach céim.
Sreabhadh oibre glantacháin céim ar chéim
1. Bíodh na sonraí ar eolas agat. Féach ar an struchtúr ar dtús: líon na sraitheanna (tuairimí) agus na gcolún (athróga), cineál gach athróige (uimhriúil, catagóiriúil, dáta), staitisticí achoimre, líon na n-athróg. Is féidir leat an cód "próifíl sonraí" seo a iarraidh ar an AI; Ach léann tú an t-aschur agus cuireann tú ceisteanna ar nós "cén fáth ar tháinig an athróg seo mar théacs?"
2. Sonraí atá in easnamh a thuiscint agus a rangú. Tá sonraí ar iarraidh roinnte i dtrí chineál. MCAR (In easnamh go hiomlán ar randamach): níl aon rud ar iarraidh, mar shampla theip ar braiteoir go randamach. MAR (Ar Iarraidh go Fánach): braitheann easnamh ar athróga breathnaithe eile, mar shampla fágann daoine breacaosta ceist folamh níos minice, ach bíonn aois ar eolas agat. MNAR (Neamh In easnamh go Randamach): braitheann easnamh ar an luach nár breathnaíodh é féin, mar shampla ní thuairiscíonn daoine atá ag tuilleamh arda a n-ioncam. Tá an t-idirdhealú seo ríthábhachtach toisc go gcinnfidh sé an modh réitigh agus ní féidir leis an AI é seo a chinneadh duit.
3. Déileáil leis an easnamh. Roghanna: scriosadh liosta, leithreas meánach/airmheánach, il-leithiúlacht samhail-bhunaithe. Tá scriosadh i MCAR sách sábháilte ach laghdaíonn sé méid an tsampla. Tá tascanna iolracha níos oiriúnaí i MAR. Ní ráthaíonn aon mhodh simplí neamhchlaontacht i MNAR; Ba cheart an sásra easnaimh a shamhaltú nó ar a laghad anailís íogaireachta a dhéanamh. Tá meánlíon éasca ach contúirteach: laghdaíonn sé éagsúlacht, lagaíonn sé caidrimh, agus cuireann sé neamhchinnteacht i bhfolach.
4. Scrúdaigh asluiteacha. Breathnú is ea asluiteach a sheasann i bhfad ar shiúl ó na cinn eile. Scar an dá cheist: An earráid í seo (scríobhadh aois 999 san iontráil sonraí) nó an luach fíor ach asluiteach é (ioncam billiúnaí)? bugs a dheisiú; Ná scrios asluiteacha fíor toisc go léiríonn siad sonraí. Agus an t-asluiteach á scriosadh "toisc go gcuireann sé isteach ar" tá tú ag sceabhadh na sonraí i dtreo an toraidh.
5. Códú agus comhsheasmhacht. Déan catagóirí a chaighdeánú ("Fireann", "fireann", "E" ar fad i gcód amháin), tabhair dátaí i bhformáid amháin, aonaid i scála amháin, braite sraitheanna dúblacha. Is é seo an chéim is lú riosca nuair a chuidíonn AI is fearr.
6. Doiciméad agus reo. Taifead gach céim le cód agus le líne tráchta, ag coinneáil sonraí amh agus glanta ar leithligh. Mar sin nuair a fhiafraíonn réiteoir "cén fáth ar thit na tuairimí seo?" tá do fhreagra réidh agat.
Aire: Ná déan cinntí glantacháin bunaithe ar thorthaí. Líne a scriosadh ag rá "Nuair a scriosann tú an líne seo, éiríonn an chomhéifeacht suntasach" an fhoirm is insidious de p-hacking, a fheicfimid sa chéad aonad eile.
Tábla Comparáide: modhanna sonraí in easnamh
Modh
Cathain a bhíonn sé oiriúnach?
riosca
Ról AI
Scrios as a chéile
MCAR, ráta íseal in easnamh
Éiríonn an sampla níos lú, laofacht i MAR/MNAR
Scríobhann an cód; shocraíonn tú
Tasc meánach/airmheánach
Réamhanailís thapa
Laghdaíonn sé éagsúlacht, seithí caidreamh
Tá sé éasca ach ní mholann sé; Ba chóir rabhadh a thabhairt
Tasc iolrach (MI)
MAR, athróga tábhachtacha
Mura bhfuil sé suiteáilte i gceart beidh sé míthreorach
Molann cód agus pacáiste (lucha)
Samhaltú meicníochta
MNAR
Coimpléasc, dian tuisceana
Dréacht amháin; saineolaí ag teastáil
Ceithre leid inchóipeála
1. Próifíleáil sonraí:
Do ról: cúntóir glanta sonraí. Ní roinnim na sonraí, ba mhaith liom an cód R. Tá data.frame agam ar a dtugtar 'digit'; athróga: id, aois (uimhriúil), ioncam (uimhriúil), oideachas (catagóireach), réigiún (catagóir), dáta (dáta). Tasc: scríobh cód a tháirgeann cineál, uimhir in easnamh agus ráta do gach athróg, staitisticí achoimre le haghaidh na cinn uimhriúla, agus tábla minicíochta do na cinn chatagóireacha. Cuir líne tráchta leis.
2. Diagnóis sonraí ar iarraidh:
Scríobh cód a scrúdaíonn an patrún atá in easnamh do na sonraí 'digite' thuas: - ráta in easnamh gach athróige, - tábla/graf simplí a thaispeánann an gaol atá idir easnamh agus athróga eile. Breathnóidh mé ar aschur an chóid agus déanfaidh mé an t-idirdhealú MCAR/MAR/MNAR; Níl ort ach an uirlis dhiagnóiseach a tháirgeadh, NÁ cinneadh a dhéanamh ar mhodh an taisc.
3. Cigireacht asluiteach (gan scriosadh):
Scríobh cód le haghaidh 'ioncaim' athróg a scrúdaíonn asluitigh GAN SCRIOSADH: bosca-plota, teorainneacha bunaithe ar IQR, agus tábla ag liostú breathnuithe + luachanna asluiteacha. Beidh mé a fheiceáil má tá na botúin nó fíor. Cuir scriosadh uathoibríoch leis.
4. Caighdeánú códaithe:
San athróg 'oideachas', scríobhtar na luachanna measctha: "Bunscoil", "bunscoil", "BUNSCOIL", "Ardscoil", "ardscoil", "Ollscoil", "univ". Scríobh cód R a athchódaíonn iad seo ina gcatagóirí comhsheasmhacha; Taispeáin an tábla mapála go soiléir ionas gur féidir liom gach tiontú a dhearbhú. Socraigh an luach nach n-aithníonn tú go "ANKNOWN".
Leid lag / Pras láidir
Leid lag:
Glan suas na sonraí, líon isteach na bearnaí, caith amach na asluitigh.
Tá an t-éileamh seo contúirteach: Tugann sé údarás dall do AI. Cén cineál ar iarraidh, cén cineál líonadh, cén fhírinne contrártha - níl aon cheann de soiléir. Seans gurb é an toradh atá air ná tacar sonraí atá claonta faoi rún.
Leid chumhachtach:
Do ról: cúntóir glantacháin, ní tusa an déantóir cinntí. Téigh céim ar chéim agus scríobh cód a thuairiscíonn tionchar GACH céim: 1) taispeáin an patrún atá in easnamh (NÁ scrios / líon), 2) liostaigh iarrthóirí asluiteacha (NÁ scrios), 3) ceartaigh neamhréireachtaí catagóirí leis an tábla mapála. Priontáil an comhaireamh ró agus an staitistic achomair tar éis gach céim ionas gur féidir liom an t-athrú a fheiceáil agus a dhearbhú. Ionsáigh uathoibríoch sannadh/scriosadh.
Tá an difríocht soiléir: seasann toil láidir an AI mar chúntóir maoirsithe, ag táirgeadh céimeanna inchúlaithe agus doiciméadaithe.
trí chás mion
Cás 1 - Meánghaiste sannacháin. Bhí 18% in easnamh ar shonraí ioncaim anailísí amháin do 5,000 duine. Dúirt sé le AI "na bearnaí a líonadh"; Chuir AI meán orthu go léir. Toradh: tháinig laghdú 22% ar an éagsúlacht ioncaim, agus bhí comhéifeacht an chaidrimh oideachais-ioncam níos laige ná mar a bhí. Bealach ceart: ba é MAR an t-easnamh (mar gheall ar oideachas), b’éigean é a líonadh trí shannadh iolrach (lucha). Ceacht: braitheann an modh líonadh ar an meicníocht.
Cás 2 - Déanann glantachán asluiteach an toradh a aisiompú. Bhí 3 ghnólacht an-mhór (0.6% den bhreathnóireacht iomlán) i sonraí gnólachta amháin. Scriosadh iad seo le moladh an AI "glanadh"; D’iompaigh comhéifeacht barainneachtaí scála ó dearfach go diúltach. Mar sin féin, bhí na 3 chuideachta sin fíor agus mar chuid thábhachtach den tionscal. Ba é an bealach ceart ná tuairisc a thabhairt le meastachán iomlán agus láidir in ionad scriosadh. Ceacht: is sonraí iad fíor-asluaileoirí, ní torann.
Cás 3 - Earráid chódú chiúin. I bpainéal amháin, tháinig an t-athróg dáta in dhá fhormáid dhifriúla ("2020-03-01" agus "01/03/2020"). Nuair a rinne an cód teaglaim a tháirg an AI iad a chur amú le haghaidh luachanna éagsúla, rinneadh mímheaitseáil ar 1,400 breathnóireacht agus d’éirigh na rátaí fáis ridiciúil. Is cuma mura seiceálfadh an t-anailísí an líon rónna. Ceacht: ní mór comhaireamh breathnóireachta agus seiceálacha sláinteachais tar éis gach céime.
Botúin choitianta
- Blindly líonadh an bhearna leis an meán. Laghdaíonn sé athraithis, folaíonn sé éiginnteacht, agus cruthaíonn sé laofacht i MAR/MNAR. An meicníocht a rangú ar dtús.
- An t-asluiteach a scriosadh "toisc go gcuireann sé isteach ar". Léiríonn asluiteach fíor na sonraí; scriosadh é lúbadh an toradh. Ceartaigh cad atá mícheart, coinnigh an rud atá fíor.
- Tapping sonraí amh. Ná modhnaigh sonraí amh riamh; Déan an glantachán ar fad leis an gcód i gcóip ar leith ionas gur féidir dul ar ais chuige.
- Gan tionchar na gcéimeanna a thomhas. Mura ndéantar an comhaireamh ró agus staitisticí achoimre a sheiceáil tar éis gach céim, carnfaidh earráidí ciúine.
- Glanadh suas mar thoradh air. Is é an loighic "Nuair a chuireann tú an líne seo leis, éiríonn an toradh níos fearr" ná p-hacking; Ba chóir glanadh a phleanáil roimh thoradh na hanailíse agus go neamhspleách.
Leid: Coinnigh tábla “roimh/i ndiaidh” a chuireann na bunstaitisticí céanna (meán, airmheán, líon breathnuithe, cúpla comhghaol) taobh le taobh roimh agus tar éis an ghlantacháin. Is é léim gan choinne an rian is fearr ar earráid fholaithe.
Go hachomair
Is é glanadh sonraí an chéim is mó ama agus cinntí a éilíonn obair eimpíreach. Is gineadóir cód cumhachtach é an AI faoi seo, ach ní féidir leis na seatanna a ghlaoch: déanann tú an cineál sonraí atá ar iarraidh a rangú (MCAR/MAR/MNAR), cinneann an earráid nó fíor an t-asluiteach, coinnigh gach céim inchúlaithe agus doiciméadaithe. In ionad údarás dall “soiléir” a thabhairt don AI, bunaigh sreabhadh oibre céim ar chéim a ndéanfar a thionchar a thomhas agus a bhailíochtú. Is é líon na dtuairimí agus na staitisticí achoimre a sheiceáil tar éis gach céime an fhrithghníomh is fearr ar earráidí ciúine.
Tasc feidhmchláir
Roghnaigh ar a laghad dhá athróg ina bhfuil asluitigh in easnamh agus asluiteach i dtacar sonraí (do shonraí féin nó tacar samplach). Iarr cód diagnóiseach ón AI tríd an leid "céim ar chéim, ná scrios/líon" thuas agus rith é. Déan an t-easnamh a rangú mar MCAR/MAR/MNAR agus scríobh do chosaint in aon abairt amháin. Scrúdaigh na hiarrthóirí contrártha ceann ar cheann agus cinn cé acu botún atá i gceist agus cén botún atá fíor. Ar deireadh, tabhair tábla "roimh i ndiaidh" roimh/i ndiaidh glantacháin agus tuairiscigh má tá aon athruithe gan choinne.
seicliosta
- [ ] Ghlan mé na sonraí amh i gcóip ar leith gan iad a athrú.
- [ ] D'aicmigh mé an t-easnamh mar MCAR/MAR/MNAR agus roghnaigh mé an modh dá réir.
- [ ] Scrúdaigh mé na hasluiteacha ceann ar cheann cibé acu earráidí nó fíor; Níor scrios mé go dall é.
- [ ] Sheiceáil mé líon na dtuairimí agus na staitisticí achoimre tar éis gach céim ghlantacháin.
- [ ] Dhoiciméadaigh mé na céimeanna go léir le cód agus líne tráchta; inchúlaithe.
- [ ] Bhunaigh mé an glanadh ar eolas ar an bpróiseas a tháirgeann na sonraí, ní ar thoradh na hanailíse.