Awọn anfani:
- Agbara lati ṣe iyatọ idi ti awọn iye ti o padanu (ID, eto eto, itumọ) ati yan ilana ti o yẹ ati ṣe iṣiro iye kikun lati ikẹkọ nikan
- Agbara lati ṣe ayẹwo awọn ita ṣaaju piparẹ wọn ati iyatọ laarin aṣiṣe data ati iṣẹlẹ toje otitọ
- Agbara lati ṣe idiwọ pipadanu ipalọlọ nipasẹ mimojuto ipa ti igbesẹ kọọkan lori nọmba awọn laini / awọn òfo lakoko ti o n mu iru ati awọn aiṣedeede kika wa si boṣewa
O fẹrẹ to 60-80 ogorun ti akoko onimọ-jinlẹ data kan lọ si mimọ; Ninu ile-iṣẹ naa, eyi ni awada ni idaji-idaji ti a pe ni “wrangling data” (ijakadi data tabi mimọ data). Nitori data gidi-aye ti fẹrẹ ko wa ni imurasilẹ fun itupalẹ: awọn ọjọ wa ni awọn ọna kika adalu, awọn nọmba ti wa ni ipamọ bi ọrọ, diẹ ninu awọn sẹẹli wa ni ofo, alabara kan han ni igba mẹta ni tabili kanna pẹlu awọn akọtọ oriṣiriṣi meji. Ninu ẹyọ yii a yoo bo awọn abala ipilẹ mẹta ti afọmọ: awọn iye ti o padanu, awọn ita, ati iru/iyipada ọna kika. Oye itetisi atọwọdọwọ jẹ oluranlọwọ iyara iyalẹnu ni iṣẹ yii; Ṣugbọn iwọ ni o pinnu kini lati sọ di mimọ ati bii, nitori yiyan mimọ kọọkan yipada itupalẹ.
Ofin goolu ti mimọ: gbogbo iyipada jẹ ipinnu
Piparẹ sẹẹli kan, kikun ni iye ti o sonu pẹlu itumọ, gige ohun ti o jade - ko si ọkan ninu iwọnyi ti o jẹ awọn iṣẹ “iduroṣinṣin”. Ọkọọkan yi data pada ati ni ipa lori abajade. Nitorina ofin goolu ti afọmọ: kọ gbogbo iyipada sinu koodu, ṣe akiyesi idi, ko tun kọ data atilẹba. AI fun ọ ni koodu afọmọ ni iyara, ṣugbọn o jẹ ojuṣe rẹ lati loye kini koodu yẹn ṣe; Maṣe ṣiṣẹ laisi ri iye awọn laini ti lọ nigbati o sọ pe “pa awọn laini ofo kuro”.
Išọra: Maṣe ṣe atunṣe data aise atilẹba. Kọ ẹya ti a sọ di mimọ si faili/tabili lọtọ. Ni ọna yii, ti o ba rii aṣiṣe kan, o le pada si square ọkan ki o ṣetọju atunṣe.
Awọn iye ti o padanu: kilode ti o ṣofo, kini lati ṣe
Iye sonu (nigbagbogbo han bi NaN — “Kii ṣe Nọmba” ni pandas) jẹ nigbati sẹẹli kan ba ṣofo. Ṣugbọn idi ti aafo naa pinnu ojutu. Awọn ipo aṣoju mẹta wa. ID ti o padanu: sensọ ko ṣiṣẹ fun iṣẹju kan; Ó lè bọ́gbọ́n mu láti kọ ọ́. Sonu ifinufindo: aaye fọọmu nikan ni a beere fun awọn alabara kan; Aafo nibi jẹ alaye gangan. Ti o padanu pataki: ti “ọjọ ipadabọ” ba jẹ ofo, alabara ko pada; Aaye yii tumọ si 0 tabi "ko si", ko kun.
Awọn ilana pataki:
Ilana
Nigbawo ni o yẹ?
ewu
Pa ila
Oṣuwọn ti o padanu jẹ kekere pupọ (<5%) ati laileto
Isonu ti data ati aṣoju
Pa ọwọn kan rẹ
Pupọ julọ iwe naa jẹ ofo (> 60%)
isonu ti alaye
Apapọ / agbedemeji kun
Nomba, sonu laileto
O dinku iyatọ ati daru pinpin
Ẹka "aimọ"
Isori, ifinufindo sonu
Ṣe ipilẹṣẹ awọn ẹka afikun
Asọtẹlẹ pẹlu awoṣe
Complex, iyebíye ọwọn
Ewu jo, idiju
Ojuami pataki: iye iṣiro yẹ ki o ṣe iṣiro nikan lati data ikẹkọ ati pe iye kanna yẹ ki o lo si data idanwo naa. Ti o ba pẹlu aropin ti data idanwo naa, o ṣẹda jijo (Ẹka 10). Agbedemeji (iye aarin ti data ordinal) nigbagbogbo ni ayanfẹ si itumọ nitori pe o lagbara diẹ sii si awọn ti o jade ju itumọ lọ.
Outliers: aṣiṣe tabi gidi?
Itọjade le jẹ ọkan ninu awọn ohun meji: aṣiṣe data (999 ni iwe ọjọ ori) tabi iṣẹlẹ gidi ṣugbọn toje (ibere $ 2 milionu onibara). Idarudapọ awọn mejeeji jẹ ajalu: paarẹ olutayo otitọ kan ati pe o jabọ alaye pataki; Ti o ba jẹ ki aṣiṣe kan lọ, awọn iwọn rẹ yoo jiya. Nitorinaa, o jẹ dandan lati ṣe ayẹwo jade ni akọkọ, kii ṣe lati paarẹ laifọwọyi.
Awọn ọna wiwa ti o wọpọ: Ọna IQR (aarin agbedemeji; awọn iye ti o ju awọn akoko 1.5 lọ iyatọ laarin 25% ati 75% quintiles ti data ni a gba pe o jade) ati z-score (nọmba awọn iyapa boṣewa kuro lati tumọ si iye kan jẹ; nigbagbogbo jade ti o ba tobi ju 3). AI kọ koodu fun awọn iṣiro wọnyi ni iṣẹju-aaya; Ṣugbọn ṣaaju ki o to sọ “paarẹ”, ṣayẹwo kini awọn iye yẹn jẹ.
Iru ati iyipada ọna kika: orisun aṣiṣe ipalọlọ
Ọkan ninu awọn efori julọ jẹ iruju iru data. Ti iwe “iye” kan ba wa ni ipamọ bi ọrọ, o ko le ṣafikun; Eto naa ni aṣiṣe ka nọmba kika Turki gẹgẹbi "1,250.50" dipo "ẹgbẹrun kan ati aadọta". Awọn ọjọ ("01/03/2024" oṣu-ọjọ tabi ọjọ-oṣu?), Awọn ẹka ("Ọkunrin"/"akọ"/"M" jẹ nkan kanna?) Ati awọn ẹya (TL tabi kuruş?) Ni ipalọlọ gbe awọn abajade ti ko tọ jade. Apa nla ti mimọ ni fifa awọn aiṣedeede wọnyi sinu boṣewa: awọn ọjọ sinu ọna kika kan, awọn ẹka sinu akọtọ kan, awọn nọmba sinu ẹyọ kan.
mẹta mini igba
Case 1 - The apapọ pakute. Ẹgbẹ kan ti o kun ni awọn iye ti o padanu 320 ninu iwe owo oya pẹlu apapọ ($ 48,500). Ṣugbọn awọn ailagbara naa jẹ eto: iwọnyi ni apakan ti owo-wiwọle kekere ti ko ti ṣalaye owo-wiwọle rara. Apapọ kikun jẹ ki ẹgbẹ yii jẹ ọlọrọ ni atọwọda ati awoṣe kirẹditi ko tọ. Ẹkọ: beere "kilode ti o wa ni ofo" ṣaaju ki o to kun.
Ọran 2 - Outlier ti ko yẹ ki o paarẹ. Oluyanju soobu kan paarẹ awọn aṣẹ nla 4 (1.8 million TL kọọkan) ninu data tita, ni ero pe wọn jẹ “awọn aṣiṣe”. Sibẹsibẹ, iwọnyi jẹ awọn aṣẹ ile-iṣẹ gidi ati pe o jẹ 22% ti iyipada lapapọ. Awoṣe asọtẹlẹ lẹhin piparẹ naa padanu ibeere igbekalẹ patapata. Ẹkọ: ṣayẹwo itujade ṣaaju piparẹ rẹ.
Irú 3 - Ọjọ kika ajalu. Ninu CSV kan, awọn ọjọ naa ni a dapọ si mejeeji “2024-03-01” ati “01.03.2024”. Nigbati koodu ti a kọ nipasẹ YZ ti ṣe atuntu ni ibamu si ọna kika akọkọ, awọn laini 6,400 di NaT bi “ọjọ aiṣedeede” ati pe a yọkuro ni idakẹjẹ lati itupalẹ. Oluyanju nikan ṣe akiyesi eyi nigbati nọmba awọn ila dinku. Ẹkọ: nigbagbogbo ṣayẹwo nọmba awọn laini ati awọn ofo lẹhin iyipada.
Mẹrin daakọ awọn awoṣe
1) Maapu iye ti nsọnu:
Mo ni pandas df. Kọ koodu ti o ṣe agbejade tabili ti o nfihan nọmba ati ipin ogorun ti nsọnu (NaN) fun iwe kọọkan. Lẹhinna, ṣe atokọ lọtọ awọn ọwọn pẹlu oṣuwọn sonu ti o kọja 40% ati awọn ti o padanu oṣuwọn ni isalẹ 5%. Kan ṣe agbekalẹ koodu ayẹwo yii, kii ṣe iru ilana ti o daba; Emi yoo ṣe ipinnu naa.
2) Ayẹwo ita gbangba (kii ṣe piparẹ):
Kọ koodu ti DTECTS (kii ṣe paarẹ!) Awọn ita fun iwe “iye” mi ni lilo ọna IQR. Fi awọn ori ila ti ita si df lọtọ ki MO le ṣe ayẹwo wọn pẹlu ọwọ. Tun tẹ sita awọn nọmba ti outliers ati ipin wọn ni lapapọ.
3) Iru / ọna kika:
Kọ koodu ti o ṣe idiwọn awọn ọwọn wọnyi: - "ọjọ": le jẹ awọn ọna kika adalu ("2024-03-01" ati "01.03.2024"); yi gbogbo wọn pada si akoko ọjọ, ka awọn ti a ko tumọ si ki o jabo (jabọ kuro ni idakẹjẹ). - "abo": "Ọkunrin"/"akọ"/"M" -> "M", "Obirin"/"obirin"/"F" -> "K". - "iye": Turkish kika ọrọ ("1.250,50") -> eleemewa nọmba. Tẹjade iye awọn ori ila ti o kan lẹhin iyipada kọọkan.
4) Ṣayẹwo ṣaaju / lẹhin mimọ:
Kọ koodu ti o ṣe afiwe df.shape, kika ti o padanu, ati awọn iṣiro akopọ (itumọ, agbedemeji, min, max) ti awọn ọwọn ti o yan ṣaaju ati lẹhin igbesẹ afọmọ kan. Idi: lati wo kini iyipada ninu mimo.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Pa data yii kuro.
"Clear" jẹ aibikita; AI ko mọ kini awọn ẹya ti o padanu yẹ ki o paarẹ, kini lati kun, iwe wo lati ṣiṣẹ ati bii. Abajade: afọju, awọn iyipada ti ko ni iyipada.
Ibere ti o lagbara:
Rẹ ipa: data ṣiṣe itọju arannilọwọ. df ọwọn: client_id (int), registration_date (akopọ kika ọrọ), wiwọle_tl (ọrọ, "1,200.00"), ilu (ọrọ, aisedede Akọtọ). Awọn ofin: - Iyipada atilẹba df; Ṣiṣẹ lori ẹda ti a npè ni df_clean.- Yipada owo_tl si nọmba, ka ohun ti a ko le tumọ.- Yi record_date to datetime, jabo aṣiṣe.- Maṣe pa awọn ori ila eyikeyi laisi ifọwọsi mi; Ṣe afihan awọn oludije lọtọ. Lẹhin igbesẹ kọọkan, tẹ df_temiz.shape ati nọmba ti o padanu.
Nibi orisun ti wa ni aabo, gbogbo iyipada ni a ka, piparẹ ti wa ni osi si eniyan.
Awọn aṣiṣe ti o wọpọ
- Nmu awọn ela lai beere "kilode ti o ṣofo?" Àgbáye ni ifinufindo / pataki sonu pẹlu awọn tumosi daru data.
- Pipaarẹ itujade lai ṣe ayẹwo rẹ. Yiyọ awọn iṣẹlẹ gidi ṣugbọn awọn iṣẹlẹ ṣọwọn ba alaye pataki jẹ.
- Iṣiro iye padding lati gbogbo data. Pẹlu data idanwo ṣẹda jijo; o kan ṣe iṣiro lati ikẹkọ.
- Ko ṣayẹwo nọmba awọn ori ila/awọn òfo lẹhin iyipada. Awọn ori ila ti o jẹ NaT/NaN ni ipalọlọ ni a yọkuro lati itupalẹ.
- Ìkọlélórí awọn atilẹba data. Pada ati reproducibility ti sọnu.
Imọran: Ṣiṣe awọn mimọ pẹlu a "ṣaaju-lẹhin" lafiwe. Tẹjade df.shape, nọmba ti o padanu, ati awọn iṣiro akopọ ti awọn ọwọn pataki lẹhin igbesẹ kọọkan. Nitorinaa o rii lẹsẹkẹsẹ pe igbesẹ kan ba awọn ori ila 6,000 run lairotẹlẹ.
Ni akojọpọ
Isọmọ jẹ akoko ti n gba pupọ julọ ati ipinnu ti o nilo ipele ti imọ-jinlẹ data. Gbogbo iyipada iyipada data, nitorina kọọkan jẹ ipinnu mimọ. Fun awọn iye ti o padanu, beere "kilode ti o ṣofo?" Ṣe ayẹwo eyikeyi awọn ita ṣaaju piparẹ wọn; Mu iru ati ọna kika si boṣewa. Ṣe iṣiro iye kikun lati data ikẹkọ nikan, tọju atilẹba, ki o tọpa ipa ti igbesẹ kọọkan nipa kika rẹ. AI jẹ ohun imuyara nla ni iṣowo yii, ṣugbọn awọn eniyan pinnu kini o sọ di mimọ ati idi.
Ohun elo iṣẹ-ṣiṣe
Mu (tabi ṣẹda) tabili kekere kan ki o mọọmọ fi awọn iṣoro mẹta sinu rẹ: tuple iye ti o padanu, itọsi, ọna kika ọjọ idapọpọ. Beere ayẹwo ati koodu idiwọn lati AI pẹlu awọn awoṣe loke; Ṣe afiwe nọmba awọn ori ila ati awọn ofo ṣaaju / lẹhin igbesẹ kọọkan. Gbiyanju lati yẹ o kere ju ọkan "pipadanu ipalọlọ" ki o ṣe akiyesi bi o ṣe ṣe akiyesi rẹ.
akojọ ayẹwo
- [] Njẹ Mo tọju data aise atilẹba ati ṣiṣẹ lori ẹda naa?
- [ ] Njẹ Mo ti beere ibeere naa "kilode ti o ṣofo" fun ọwọn ti o padanu kọọkan?
- [] Njẹ Mo ṣe ayẹwo awọn ita gbangba ṣaaju piparẹ wọn bi?
- [] Njẹ Mo ṣe iṣiro iye padding lati data ikẹkọ nikan?
- [] Ṣe Mo n ṣayẹwo nọmba awọn laini / awọn òfo lẹhin igbesẹ kọọkan ati imukuro pipadanu ipalọlọ?