Gnóthachain:
- Cumas idirdhealú a dhéanamh ar chúis na luachanna atá in easnamh (randamach, córasach, bríoch) agus an straitéis chuí a roghnú agus an luach líonta a ríomh ón oiliúint amháin
- Cumas scrúdú a dhéanamh ar asluitigh roimh iad a scriosadh agus idirdhealú a dhéanamh idir earráid sonraí agus fíor-theagmhas annamh
- Cumas caillteanas ciúine a chosc trí mhonatóireacht a dhéanamh ar thionchar gach céime ar líon na línte/bhearnaí agus neamhréireachtaí cineáil agus formáide a thabhairt chuig an gcaighdeán
Téann thart ar 60-80 faoin gcéad d'am eolaí sonraí le glanadh; Sa tionscal, tá sé seo ar a dtugtar leath-jokingly "wrangling sonraí" (sonraí wrangling nó sonraí a ghlanadh). Toisc nach mbíonn sonraí ón bhfíorshaol beagnach réidh le hanailís a dhéanamh orthu: tá na dátaí i bhformáidí measctha, stóráiltear uimhreacha mar théacs, tá roinnt cealla bán, tagann custaiméir trí huaire sa tábla céanna le dhá litriú éagsúla. San aonad seo clúdóimid trí ghné bhunúsacha den ghlantachán: luachanna in easnamh, asluitigh, agus comhshó cineáil/formáide. Cúntóir thar a bheith gasta sa saothar seo is ea hintleacht shaorga; Ach is tusa a chinneann cad atá le glanadh agus conas, toisc go n-athraíonn gach rogha glantacháin an anailís.
An riail órga glantacháin: is cinneadh é gach athrú
Cill a scriosadh, luach in easnamh a líonadh leis an meán, asluiteach a bhearradh – ní oibríochtaí “neodracha” iad aon cheann díobh seo. Athraíonn gach ceann acu na sonraí agus bíonn tionchar acu ar an toradh. Mar sin riail órga na glanta: scríobh gach athrú isteach sa chód, tabhair faoi deara an réasúnaíocht, ná scríobh na sonraí bunaidh riamh. Tugann an AI cód glanta tapa duit, ach is ortsa atá an fhreagracht a thuiscint cad a dhéanann an cód sin; Ná rith é gan féachaint cé mhéad línte atá imithe nuair a deir tú "scrios línte folamh".
Aire: Ná modhnaigh na bunshonraí amh choíche. Scríobh an leagan glan i gcomhad/tábla ar leith. Ar an mbealach seo, má fheiceann tú earráid, is féidir leat dul ar ais go dtí an ceann cearnach agus in-atáirgtheacht a choinneáil.
Luachanna ar iarraidh: cén fáth a bhfuil sé folamh, cad atá le déanamh
Luach in easnamh (a fheictear mar NaN de ghnáth - "Ní Uimhir" i pandas) is ea nuair a bhíonn cill folamh. Ach cinneann cúis na bearna an réiteach. Tá trí chás tipiciúil ann. Randamach ar iarraidh: níor oibrigh an braiteoir ar feadh nóiméad; D’fhéadfadh sé a bheith réasúnach é a líonadh. In easnamh córasach: ní iarrtar réimse foirme ach do chustaiméirí áirithe; Is é an bhearna atá anseo ná faisnéis i ndáiríre. In easnamh suntasach: má tá "dáta fillte" bán, níor tháinig an custaiméir ar ais; Ciallaíonn an spás seo 0 nó "níl ar bith", níl sé líonta.
Straitéisí móra:
Straitéis
Cathain a bhíonn sé oiriúnach?
riosca
Scrios ró
Tá an ráta ar iarraidh an-íseal (<5%) agus randamach
Cailliúint sonraí agus ionadaíochta
Scrios colún
Tá an chuid is mó den cholún folamh (>60%)
caillteanas eolais
Meánlíon / meánlíon
Uimhriúil, ar iarraidh go randamach
Laghdaíonn sé an t-athraitheas agus déanann sé an dáileadh a shaobhadh
Catagóir "anaithnid"
Catagóireach, córasach in easnamh
Gineann catagóirí breise
Tuar le múnla
Colún lómhar, casta
Riosca sceite, castacht
Pointe criticiúil: níor cheart an luach áirimh a ríomh ach ó na sonraí oiliúna agus ba cheart an luach céanna a chur i bhfeidhm ar na sonraí tástála. Má chuireann tú meán na sonraí tástála san áireamh, cruthaíonn tú sceitheadh (Aonad 10). Is minic gur fearr an t-airmheán (meánluach na ngnáthshonraí) ná an meán toisc go bhfuil sé níos láidre i leith na n-asluiteach ná an meán.
Asluiteacha: earráid nó fíor?
Féadfaidh asluiteach a bheith mar cheann de dhá rud: earráid sonraí (999 sa cholún aoise) nó teagmhas fíor ach neamhchoitianta (ordú $2 milliún an chustaiméara). Is tubaisteach an dá mhearbhall: scrios asluiteach fíor agus caitheann tú eolas tábhachtach; Má fhágann tú dearmad, beidh do mheáin thíos leis. Dá bhrí sin, is gá an t-asluiteach a scrúdú ar dtús, gan é a scriosadh go huathoibríoch.
Modhanna braite coitianta: modh IQR (raon idircheathairíle; meastar gur asluiteach iad luachanna atá níos mó ná 1.5 uair an difríocht idir cúigil 25% agus 75% de na sonraí) agus z-scór (líon diallais caighdeánach ar shiúl ón meánluach; de ghnáth is asluiteach é má tá sé níos mó ná 3). Scríobhann AI an cód do na ríomhanna seo i soicindí; Ach sula deir tú "scrios", seiceáil cad iad na luachanna sin.
Comhshó cineál agus formáid: foinse earráide adh
Ceann de na cinn is mó a chuireann mearbhall ar chineál sonraí. Má stóráiltear colún "méid" mar théacs, ní féidir leat; Léann an clár uimhir fhormáidithe Tuircis ar nós "1,250.50" go mícheart in ionad "míle dhá chéad caoga". Táirgeann dátaí ("01/03/2024" lá-mí nó mí-lá?), catagóirí ("Fireann"/"fireann"/"M" an rud céanna?) agus aonaid (TL nó kuruş?) torthaí míchearta go ciúin. Is cuid mhór den ghlanadh suas na neamhréireachtaí seo a tharraingt isteach sa chaighdeán: dátaí i bhformáid amháin, catagóirí i litriú amháin, uimhreacha in aonad amháin.
trí chás mion
Cás 1 - An gaiste meán. Líon foireann na 320 luach a bhí in easnamh sa cholún ioncaim leis an meán ($ 48,500). Ach bhí na heasnaimh córasach: ba iad seo an earnáil ar ioncam íseal nár dhearbhaigh ioncam riamh. Rinne meánlíon an grúpa seo saibhir go saorga agus bhí an tsamhail chreidmheasa mícheart. Ceacht: fiafraigh “cén fáth a bhfuil sé folamh” sula líonann tú amach é.
Cás 2 - Asluiteach nár cheart a scriosadh. Scrios anailísí miondíola 4 ordú ollmhór (1.8 milliún TL an ceann) sna sonraí díolacháin, ag smaoineamh gur "earráidí" iad. Mar sin féin, b'orduithe corparáideacha fíor iad seo agus b'ionann iad agus 22% den láimhdeachas iomlán. Chaill an tsamhail réamhaisnéise iar-scriosta éileamh institiúideach go hiomlán. Ceacht: scrúdaigh an t-asluiteach sula scriostar é.
Cás 3 - Tubaiste formáid dáta. I CSV, meascadh na dátaí idir "2024-03-01" agus "01.03.2024". Nuair a rinneadh an cód a scríobh YZ a pharsáil de réir na chéad fhormáide, rinneadh “dáta neamhbhailí” de 6,400 líne agus fágadh as an áireamh iad go ciúin ón anailís. Níor thug an anailísí seo faoi deara ach amháin nuair a tháinig laghdú ar líon na línte. Ceacht: seiceáil i gcónaí líon na línte agus na bearnaí tar éis an chomhshó.
Ceithre theimpléad inchóipeála
1) Léarscáil luacha in easnamh:
Tá pandaí agam df. Scríobh cód a tháirgeann tábla a thaispeánann líon agus céatadán na n-easnamh (NaN) do gach colún. Ansin, déan liosta ar leithligh de na colúin a bhfuil ráta in easnamh os cionn 40% acu agus iad siúd a bhfuil ráta in easnamh faoi 5%. Ní gá ach an cód diagnóis seo a ghiniúint, ní cén straitéis a mholann tú; Déanfaidh mé an cinneadh.
2) Cigireacht asluiteach (gan scriosadh):
Scríobh cód a BHRÍONN (ní scriosann!) asluiteacha do mo cholún “méid” ag baint úsáide as an modh IQR. Cuir na sraitheanna forimeallacha i df ar leith ionas gur féidir liom iad a scrúdú de láimh. Priontáil freisin líon na n-asluiteach agus a sciar san iomlán.
3) Caighdeánú cineál / formáid:
Scríobh cód a chaighdeánaíonn na colúin seo a leanas:- "dáta": is féidir formáidí measctha ("2024-03-01" agus "01.03.2024"); déan iad go léir a thiontú go ham dáta, comhaireamh na cinn nach féidir a aistriú agus tuairiscigh (caith go ciúin). - "inscne": "Fireann"/"fireann"/"M" -> "M", "baineann"/"baineann"/"F" -> "K". - "méid": Téacs formáidithe na Tuirce ("1.250,50") -> uimhir dheachúil. Priontáil cé mhéad sraitheanna a bhfuil tionchar orthu tar éis gach tiontaithe.
4) Seiceáil roimh / tar éis glanadh:
Scríobh cód a dhéanann comparáid idir df.shape, comhaireamh ar iarraidh, agus staitisticí achoimre (meán, airmheán, min, uas) de cholúin roghnaithe roimh agus tar éis céim glanta. Aidhm: féachaint cad a athraíonn glanadh.
Leid lag / Pras láidir
Leid lag:
Glan na sonraí seo.
Tá "soiléir" débhríoch; Níl a fhios ag AI cad iad na codanna atá ar iarraidh ba chóir a scriosadh, cad atá le líonadh, cén colún atá le próiseáil agus conas. An toradh: dall, athruithe dochúlaithe.
Leid chumhachtach:
Do ról: cúntóir glanta sonraí. colúin df: customer_id (int), registration_date (téacs formáide measctha), revenue_tl (téacs, "1,200.00"), cathair (téacs, litriú neamhréireach). Rialacha:- Athrú bunaidh df; Oibriú ar an gcóip ainmnithe df_clean.- Tiontaigh income_tl go uimhir, comhaireamh cad nach féidir a aistriú.- Athraigh record_date go datetime, tuairiscigh an earráid .- Ná scrios aon sraitheanna gan mo cheadú; Taispeáin na hiarrthóirí ar leithligh. Tar éis gach céim, priontáil df_temiz.shape agus an uimhir atá ar iarraidh.
Anseo tá an fhoinse cosanta, déantar gach claochlú a chomhaireamh, fágtar an scriosadh ag an duine.
Botúin choitianta
- Na bearnaí a líonadh gan fiafraí "cén fáth go bhfuil sé folamh?" Má dhéantar easnamh córasach/suntasach a líonadh leis an meán, déantar na sonraí a shaobhadh.
- An t-asluiteach a scriosadh gan é a scrúdú. Má chuirtear teagmhais fhíora ach neamhchoitianta ar ceal, scriostar faisnéis thábhachtach.
- Ag ríomh an luach stuála ó na sonraí go léir. Cruthaíonn sonraí tástála sceitheadh; ach ríomh ó oiliúint.
- Gan seiceáil ar líon na sraitheanna / bánna tar éis an chomhshó. Ní áirítear sraitheanna atá go ciúin NAT/NaN ón anailís.
- Forscríobh na sonraí bunaidh. Cailltear aischur agus in-atáirgtheacht.
Leid: Rith an cleanse le comparáid "roimh-i ndiaidh". Priontáil df.shape, comhaireamh in easnamh, agus staitisticí achoimre ar na colúin chriticiúla tar éis gach céime. Mar sin feiceann tú láithreach go scriosann céim amháin 6,000 sraith gan choinne.
Go hachomair
Is é an glantachán an chéim is mó ama agus cinntí a éilíonn eolaíocht sonraí. Athraíonn gach athrú na sonraí, mar sin is cinneadh comhfhiosach gach ceann acu. I gcás luachanna atá ar iarraidh, fiafraigh "cén fáth a bhfuil sé folamh?" Déan athbhreithniú ar aon asluitigh sula scriostar iad; Cuir cineál agus formáid go caighdeán. Ríomh an luach líonta ó na sonraí oiliúna amháin, coinnigh an bunaidh, agus rianaigh tionchar gach céim trína chomhaireamh. Is luasaire iontach é AI sa ghnó seo, ach cinneann daoine cad a ghlanann tú agus cén fáth.
Tasc feidhmchláir
Tóg (nó cruthaigh) tábla beag agus cuir isteach trí fhadhb d’aon ghnó: tuple luach in easnamh, asluiteach, formáid dáta measctha. Iarr diagnóis agus cód caighdeánaithe ó AI leis na teimpléid thuas; déan comparáid idir líon na sraitheanna agus na mbearnaí roimh/tar éis gach céime. Déan iarracht "caillteanas adh" amháin ar a laghad a ghabháil agus tabhair faoi deara conas a thug tú faoi deara é.
seicliosta
- [ ] Ar choinnigh mé na bunshonraí amh agus ar oibrigh mé ar an gcóip?
- [ ] Ar chuir mé an cheist "cén fáth a bhfuil sé folamh" do gach colún atá ar iarraidh?
- [ ] An ndearna mé athbhreithniú ar asluitigh sular scriosadh iad?
- [ ] Ar ríomh mé an luach stuála ó shonraí oiliúna amháin?
- [ ] An bhfuilim ag seiceáil líon na línte/bánna tar éis gach céime agus ag fáil réidh le cailliúint chiúin?