Riba:
- Ability don bambance dalilin rasa ƙima (bazuwar, tsari, ma'ana) kuma zaɓi dabarun da suka dace da ƙididdige ƙimar cika daga horo kaɗai.
- Ikon bincika abubuwan da suka wuce kafin share su da kuma bambanta tsakanin kuskuren bayanai da wani lamari na gaskiya
- Ability don hana asarar shiru ta hanyar lura da tasirin kowane mataki akan adadin layi / blanks yayin kawo nau'i da nau'in rashin daidaituwa ga ma'auni.
Kusan kashi 60-80 na lokacin masanin kimiyyar bayanai yana zuwa tsaftacewa; A cikin masana'antar, wannan ana kiransa rabin-wasa "Data wrangling" (Data wrangling ko data tsaftacewa). Saboda bayanan zahirin duniya kusan ba su taɓa zuwa shirye-shiryen bincike ba: kwanakin suna cikin gaurayawan tsari, ana adana lambobi azaman rubutu, wasu sel babu komai, abokin ciniki ya bayyana sau uku a cikin tebur ɗaya tare da haruffa daban-daban guda biyu. A cikin wannan naúrar za mu rufe abubuwa na asali guda uku na tsaftacewa: ƙimar da ba ta dace ba, masu fita waje, da kuma nau'in / juzu'in tsarin. Hankali na wucin gadi babban mataimaki ne mai sauri a cikin wannan aikin; Amma kai ne ke yanke shawarar abin da za a tsaftace da kuma yadda, saboda kowane zaɓi na tsaftacewa yana canza bincike.
Tsarin zinariya na tsaftacewa: kowane canji shine yanke shawara
Share tantanin halitta, cika ƙimar da ta ɓace tare da ma'ana, datsa abin da ya wuce - babu ɗayan waɗannan ayyukan "tsaka-tsaki". Kowane yana canza bayanan kuma yana shafar sakamakon. Don haka tsarin tsaftacewa na zinariya: rubuta kowane canji a cikin lambar, lura da ma'anar, kada ku sake rubuta ainihin bayanan. AI yana ba ku lambar tsaftacewa mai sauri, amma alhakin ku ne fahimtar abin da lambar ke yi; Kar a gudanar da shi ba tare da ganin layuka nawa suka tafi ba lokacin da kuka ce "share layukan wofi".
Tsanaki: Kar a taɓa canza ainihin ɗanyen bayanan. Rubuta sigar da aka goge zuwa wani fayil/tebur na daban. Ta wannan hanyar, idan kun sami kuskure, zaku iya komawa zuwa murabba'i ɗaya kuma ku kula da haɓakawa.
Ƙimar da ta ɓace: me yasa babu komai, abin da za a yi
Ƙimar da ta ɓace (yawanci yana bayyana azaman NaN - "Ba Lamba ba" a cikin pandas) shine lokacin da tantanin halitta ya zama fanko. Amma dalilin tazarar yana ƙayyade mafita. Akwai yanayi guda uku na al'ada. Bazuwar bazuwar: firikwensin bai yi aiki na ɗan lokaci ba; Yana iya zama mai hankali don cika shi. Bace na tsari: filin tsari kawai ana buƙatar wasu abokan ciniki; Tazarar anan shine ainihin bayani. Bace mai mahimmanci: idan "kwanakin dawowa" ba shi da komai, abokin ciniki bai dawo ba; Wannan sarari yana nufin 0 ko "babu", ba a cika shi ba.
Manyan dabaru:
Dabarun
Yaushe ya dace?
kasada
Share layi
Adadin da ya ɓace yana da ƙasa sosai (<5%) kuma bazuwar
Asarar bayanai da wakilci
Share shafi
Yawancin ginshiƙi fanko ne (> 60%)
asarar bayanai
Matsakaici/matsakaici cika
Lambobi, bacewar bazuwar
Yana rage bambance-bambance kuma yana karkatar da rarrabawa
Category "wanda ba a sani ba"
Nau'i, bacewar tsari
Yana haifar da ƙarin nau'ikan
Hasashen tare da samfurin
Complex, shafi mai daraja
Hadarin zubewa, rikitarwa
Mahimmin mahimmanci: ƙimar ƙima yakamata a ƙididdige shi daga bayanan horo kawai kuma yakamata a yi amfani da ƙimar iri ɗaya akan bayanan gwajin. Idan kun haɗa da matsakaicin bayanan gwajin, kuna ƙirƙiri ɗigo (Raka'a 10). Matsakaici (matsakaicin ƙimar bayanan yau da kullun) galibi ana fifita su da ma'ana saboda ya fi ƙarfi ga ma'ana fiye da ma'ana.
Outliers: kuskure ko gaske?
Ƙaƙƙarfan abu na iya zama ɗaya daga cikin abubuwa biyu: kuskuren bayanai (999 a cikin shekaru ginshiƙi) ko wani abu na gaske amma ba kasafai ba (odar dala miliyan 2 na abokin ciniki). rikitar da su biyun bala'i ne: share fage na gaskiya kuma ku jefar da mahimman bayanai; Idan kun bar kuskure, matsakaicinku zai sha wahala. Saboda haka, wajibi ne a fara bincika abin da ke waje, ba don share shi ta atomatik ba.
Hanyoyin ganowa na yau da kullun: Hanyar IQR (kewayon tsaka-tsaki; dabi'u waɗanda suka fi sau 1.5 bambanci tsakanin 25% da 75% quntiles na bayanan ana ɗaukar su a waje) da z-score (yawan madaidaicin karkata daga ma'anar ƙimar ita ce; yawanci mafi girma idan ya fi 3). AI ya rubuta lambar don waɗannan ƙididdiga a cikin daƙiƙa; Amma kafin ka ce "share", duba menene waɗannan dabi'u.
Nau'in da tsarin juyawa: tushen kuskuren shiru
Daya daga cikin mafi yawan ciwon kai shine rikicewar nau'in bayanai. Idan an adana ginshiƙin "adadin" azaman rubutu, ba za ku iya ƙarawa ba; Shirin ya yi kuskure ya karanta lambar Turkawa da aka tsara kamar "1,250.50" maimakon "dubu daya da dari biyu da hamsin". Kwanan wata ("01/03/2024" wata-wata ko wata-rana?), Rukunin ("Namiji"/"namiji"/"M" abu ɗaya ne?) da kuma raka'a (TL ko kuruş?) shiru suna haifar da sakamakon da ba daidai ba. Babban sashi na tsaftacewa shine jawo waɗannan rashin daidaituwa cikin ma'auni: kwanan wata zuwa tsari ɗaya, nau'ikan zuwa haruffa guda ɗaya, lambobi zuwa raka'a ɗaya.
uku mini lokuta
Case 1 - Matsakaicin tarko. Ƙungiya ta cika ƙimar 320 da suka ɓace a cikin ginshiƙi na samun kudin shiga tare da matsakaicin ($ 48,500). Amma gazawar sun kasance cikin tsari: waɗannan su ne ɓangaren ƙananan kuɗi waɗanda ba su taɓa bayyana kudin shiga ba. Matsakaicin ciko ya sanya wannan rukunin ya zama mai wadatar wucin gadi kuma ƙirar kiredit ba daidai ba ce. Darasi: tambayi "me yasa babu komai" kafin cika shi.
Case 2 - Outlier wanda bai kamata a share shi ba. Wani manazarcin dillali ya share manyan umarni 4 (1.8 miliyan TL kowanne) a cikin bayanan tallace-tallace, yana tunanin “kurakurai ne”. Koyaya, waɗannan umarni ne na kamfanoni na gaske kuma sun kasance 22% na jimlar juriyar. Samfurin hasashen bayan gogewa ya rasa buƙatar cibiyoyi gaba ɗaya. Darasi: bincika abin da ke fitowa kafin share shi.
Case 3 - Bala'i Tsarin Kwanan wata. A cikin CSV, an gauraya kwanakin zuwa duka "2024-03-01" da "01.03.2024". Lokacin da aka karkatar da lambar da YZ ta rubuta bisa ga tsari na farko, layukan 6,400 sun zama NaT a matsayin "kwanan kwanan wata" kuma an cire su cikin shiru daga bincike. Manazarcin ya lura da hakan ne kawai lokacin da adadin layin ya ragu. Darasi: Koyaushe duba adadin layukan da babu komai bayan tuba.
Samfura huɗu masu kwafi
1) Taswirar ƙima ta ɓace:
Ina da pandas df. Rubuta lambar da ke samar da tebur da ke nuna lamba da kaso na bacewar (NaN) na kowane shafi. Bayan haka, jera ginshiƙan daban daban tare da adadin da ya ɓace sama da 40% da waɗanda ke da ƙarancin ƙimar ƙasa da 5%. Kawai samar da wannan lambar ganewar asali, ba wace dabara kuke ba da shawarar ba; Zan yanke shawara.
2) Duban waje (ba sharewa):
Rubuta lambar cewa GANE (ba sharewa!) keɓaɓɓen shafi na "adadin" ta amfani da hanyar IQR. Sanya layuka na waje a cikin df daban don in gwada su da hannu. Hakanan buga adadin masu fita da rabonsu a cikin duka.
3) Nau'in/tsarin daidaitawa:
Rubuta lambar da ta daidaita ginshiƙai masu zuwa: - "kwanan wata": ana iya zama nau'i mai gauraye ("2024-03-01" da "01.03.2024"); Mai da su duka zuwa kwanan wata, ƙidaya waɗanda ba za a iya fassara su ba kuma ku ba da rahoto (jefa da shiru). - "jinsi": "Namiji"/"namiji"/"M" -> "M", "Mace"/"mace"/"F" -> "K". - "yawan": Rubutun da aka tsara na Turkiyya ("1.250,50") -> lamba goma. Buga layuka nawa ne abin ya shafa bayan kowace juzu'i.
4) Duba kafin / bayan tsaftacewa:
Rubuta lambar da ta kwatanta df.siffa, ƙidayar da ba ta ɓace, da ƙididdiga taƙaice (ma'ana, tsaka-tsaki, min, max) na ginshiƙan da aka zaɓa kafin da bayan matakin tsaftacewa. Manufar: don ganin abin da tsaftacewa ya canza.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rawanin faɗakarwa:
Share wannan bayanan.
"Clear" yana da shubuha; AI bai san abin da ya kamata a share sassan da suka ɓace ba, abin da za a cika, wane shafi don aiwatarwa da kuma ta yaya. Sakamakon: makafi, canje-canje maras canzawa.
Ƙarfi mai ƙarfi:
Matsayinku: mataimakin tsaftace bayanai. df ginshiƙai: abokin ciniki_id (int), rajista_date (rubutun gauraya tsarin), kudaden shiga_tl (rubutu, "1,200.00"), birni (rubutu, rubutun da bai dace ba). Dokoki: - Canza asali df; Yi aiki akan kwafin mai suna df_clean.- Maida kuɗin shiga_tl zuwa lamba, ƙidayar abin da ba za a iya fassara shi ba.- Canja rikodin_date zuwa datetime, bayar da rahoton kuskuren.- Kada ku share kowane layuka ba tare da izini na ba; Nuna 'yan takarar daban. Bayan kowane mataki, buga df_temiz.shape da lambar da ta ɓace.
Anan an kare tushen, ana ƙididdige kowane canji, an bar shi ga ɗan adam.
Kuskuren gama gari
- Cikewa yayi ba tare da tambaya ba "me yasa babu komai?" Cike cikin tsari/mahimman rashi tare da ma'ana yana karkatar da bayanai.
- Share outlier ba tare da bincika shi ba. Yin watsi da ainihin abubuwan da ba a saba gani ba suna lalata mahimman bayanai.
- Ana ƙididdige ƙimar faɗuwa daga duk bayanai. Ciki har da bayanan gwaji yana haifar da zubewa; kawai lissafta daga horo.
- Ba duba adadin layuka/blanks bayan tuba. Layukan da ke shiru NaT/NaN an cire su daga bincike.
- Rubutun bayanan asali. Komawa da haɓakawa sun ɓace.
Tukwici: Gudanar da tsaftacewa tare da kwatanta "kafin-bayan". Buga df.siffa, ƙidayar da ta ɓace, da taƙaitaccen ƙididdiga na ginshiƙai masu mahimmanci bayan kowane mataki. Don haka nan da nan za ku ga cewa mataki ɗaya ba zato ba tsammani ya lalata layuka 6,000.
A takaice
Tsaftacewa shine mafi cin lokaci da yanke shawara-lokaci na kimiyyar bayanai. Kowane canji yana canza bayanan, don haka kowane ɗayan yanke shawara ne mai hankali. Don abubuwan da suka ɓace, tambaya "me yasa babu komai?" Yi bitar duk wasu abubuwan da suka wuce kafin share su; Kawo nau'i da tsari zuwa ma'auni. Yi ƙididdige ƙimar cika daga bayanan horo kawai, kiyaye ainihin, kuma bibiyar tasirin kowane mataki ta ƙirga shi. AI babban mai haɓakawa ne a cikin wannan kasuwancin, amma mutane suna yanke shawarar abin da kuke tsaftacewa da me yasa.
Aikin aikace-aikace
Ɗauki (ko ƙirƙira) ƙaramin tebur kuma da gangan saka matsaloli guda uku a ciki: ƙimar ƙimar da ta ɓace, madaidaici, tsarin kwanan wata gauraye. Nemi ganewar asali da lambar daidaitawa daga AI tare da samfuran sama; kwatanta adadin layuka da blanks kafin/bayan kowane mataki. Yi ƙoƙarin kama aƙalla "rashin shiru" ɗaya kuma lura da yadda kuka lura da shi.
jerin abubuwan dubawa
- [ ] Shin na ajiye ainihin danyen bayanan kuma nayi aiki akan kwafin?
- [ ] Na yi tambayar "me yasa babu komai" ga kowane ginshiƙi da ya ɓace?
- [ ] Na yi bitar abubuwan da suka wuce kafin share su?
- [ ] Na lissafta kimar manne daga bayanan horo kawai?
- [ ] Shin ina duba adadin layukan / blanks bayan kowane mataki da kuma kawar da asarar shiru?