Uru:
- Ikike ịmata ọdịiche dị na ihe kpatara ụkpụrụ efu (random, usoro, bara uru) wee họrọ atụmatụ kwesịrị ekwesị ma gbakọọ uru njuputa site na ọzụzụ naanị.
- Ikike inyocha outliers tupu ihichapụ ha na ịmata ọdịiche dị n'etiti njehie data na ihe omume na-adịghị ahụkebe
- Ikike iji gbochie nkwụsị nkịtị site na nyochaa mmetụta nke nzọụkwụ ọ bụla na ọnụ ọgụgụ nke ahịrị / oghere ebe ị na-ebute ụdị na usoro na-ekwekọghị n'ụkpụrụ.
Ihe dị ka pasent 60-80 nke oge ndị ọkà mmụta sayensị data na-aga ihicha; N'ime ụlọ ọrụ ahụ, a na-akpọ nke a n'ọkara egwuregwu "data wrangling" (data wrangling ma ọ bụ nhicha data). N'ihi na data nke ụwa n'ezie ọ fọrọ nke nta ka ọ bụrụ na ọ dị njikere maka nyocha: ụbọchị dị n'ụdị agwakọta, a na-echekwa ọnụọgụ dị ka ederede, ụfọdụ mkpụrụ ndụ enweghị oghere, onye ahịa na-apụta ugboro atọ n'otu tebụl nwere nsụgharị abụọ dị iche iche. N'ime nkeji a, anyị ga-ekpuchi akụkụ atọ bụ isi nke mkpocha: ụkpụrụ efu, ndị na-apụ apụ, na ntụgharị ụdị/ụdị. Ọgụgụ isi bụ onye inyeaka dị ngwa ngwa n'ọrụ a; Ma ọ bụ gị na-ekpebi ihe ị ga-ehicha na otu esi eme ya, n'ihi na nhọrọ nhicha ọ bụla na-agbanwe nyocha.
Iwu ọla edo nke nhicha: mgbanwe ọ bụla bụ mkpebi
Ihichapụ cell, na-ejuputa uru efu na nkenke, na-ewepụ ihe dịpụrụ adịpụ - ọ dịghị nke ọ bụla n'ime ihe ndị a bụ ọrụ "na-anọpụ iche". Onye ọ bụla na-agbanwe data ma na-emetụta nsonaazụ ya. Yabụ na iwu ọcha nke ọla edo: dee mgbanwe ọ bụla n'ime koodu ahụ, rịba ama ihe kpatara ya, edeghachila data mbụ. AI na-enye gị koodu nhicha ngwa ngwa, mana ọ bụ ọrụ gị ịghọta ihe koodu ahụ na-eme; Agbala ya n'ahụghị ahịrị ole na-apụ mgbe ị na-ekwu "ehichapụ ahịrị efu".
Akpachara anya: agbanwela data raw mbụ. Dee ụdị ehichapụrụ na faịlụ/tebulu dị iche. N'ụzọ dị otú a, ọ bụrụ na ị hụrụ njehie, ị nwere ike ịlaghachi na square otu ma nọgide na-enwe reproducibility.
Ụkpụrụ efu: gịnị kpatara na ọ bụ ihe efu, ihe ị ga-eme
Uru efu (na-apụtakarị dị ka NaN - "Ọ bụghị ọnụọgụ" na pandas) bụ mgbe cell tọgbọ chakoo. Ma ihe kpatara ọdịiche ahụ na-ekpebi ngwọta. Enwere ọnọdụ atọ a na-ahụkarị. Random efu: ihe mmetụta anaghị arụ ọrụ nwa oge; Ọ pụrụ ịbụ ihe ezi uche dị na ya iji dejupụta ya. Sistemụ efu: a na-arịọ ubi ụdị naanị maka ụfọdụ ndị ahịa; Oghere ebe a bụ ozi n'ezie. Ihe dị mkpa na-efu: ọ bụrụ na "ụbọchị nloghachi" bụ oghere, onye ahịa ahụ alaghachighị; Oghere a pụtara 0 ma ọ bụ "ọ dịghị onye", ejupụtaghị ya.
Isi atụmatụ:
Atụmatụ
Olee mgbe o kwesịrị ekwesị?
ihe ize ndụ
Hichapụ ahịrị
Ọnụego efu efu dị obere (<5%) yana enweghị usoro
Ọnwụ nke data na nnọchite anya
Hichapụ kọlụm
Ọtụtụ kọlụm abaghị uru (> 60%)
ọnwụ nke ozi
Nkezi/njupụta nke etiti
Ọnụọgụ, na-efu efu
Ọ na-ebelata ihe dị iche iche ma na-agbagọ nkesa
Otu "amaghị ama"
Nkeji, n'usoro na-efu
Na-emepụta edemede ndị ọzọ
Amụma nwere ihe nlereanya
Mgbagwoju anya, kọlụm dị oké ọnụ ahịa
Ihe ize ndụ dị egwu, mgbagwoju anya
Ihe dị mkpa: a ga-agbakọ ọnụ ahịa nkwuputa naanị site na data ọzụzụ ma tinye otu uru ahụ na data ule. Ọ bụrụ na ị gụnyere nkezi nke data ule, ị na-emepụta ntapu (Ikan 10). A na-ahọrọkarị etiti (ọnụahịa etiti nke data ordinal) ka ọ pụtara n'ihi na ọ na-esi ike karịa ka ọ pụtara.
Outliers: njehie ka ọ bụ n'ezie?
Ihe na-apụ apụ nwere ike ịbụ otu n'ime ihe abụọ: njehie data (999 na kọlụm afọ) ma ọ bụ ihe omume n'ezie ma ọ bụ ihe na-adịghị ahụkebe (iwu $ 2 nke onye ahịa). Ịgbagwoju anya abụọ ahụ dị njọ: hichapụ ezi ihe na-apụ apụ ma tụfuo ozi dị mkpa; Ọ bụrụ na ị hapụ mmejọ, nkezi gị ga-ata ahụhụ. Ya mere, ọ dị mkpa iji nyochaa nke mbụ, ọ bụghị ka ihichapụ ya na-akpaghị aka.
Ụzọ nchọpụta ndị a na-ahụkarị: Usoro IQR (nkewa interquartile; ụkpụrụ nke karịrị ugboro 1.5 ọdịiche dị n'etiti 25% na 75% quintiles nke data a na-ewere dị ka ihe dịpụrụ adịpụ) na z-score (ọnụọgụ nke ọkọlọtọ ọkọlọtọ pụọ na pụtara uru bụ; na-abụkarị ihe na-apụ apụ ma ọ bụrụ na ọ karịrị 3). AI na-ede koodu maka mgbako ndị a na sekọnd; Mana tupu ịsị "ihichapụ", lelee ihe ụkpụrụ ndị ahụ bụ.
Ntugharị ụdị na usoro: isi mperi mperi
Otu n'ime isi ọwụwa bụ ụdị mgbagwoju anya. Ọ bụrụ na echekwara kọlụm "ego" dị ka ederede, ịnweghị ike ịgbakwunye; Ihe omume a na-agụ ezighi ezi nọmba ahazi nke Turkish dị ka "1,250.50" kama "otu puku na narị abụọ na iri ise". Ụbọchị ("01/03/2024" ụbọchị-ọnwa ma ọ bụ ọnwa-ụbọchị?), Atiri ("Nwoke"/"nwoke"/"M" bụ otu ihe ahụ?) na nkeji (TL ma ọ bụ kuruş?) na nzuzo na-arụpụta ezighị ezi. Otu akụkụ dị ukwuu nke nhichapụ bụ ịdọrọ ndị a na-ekwekọghị ekwekọ na ọkọlọtọ: ụbọchị n'ime otu usoro, edemede n'ime otu mkpoputa, ọnụọgụ n'ime otu nkeji.
Obere ikpe atọ
Ikpe 1 - Nkezi ọnyà. Otu otu jupụtara na ụkpụrụ 320 na-efu efu na kọlụm ego na nkezi ($ 48,500). Ma adịghị ike ndị ahụ bụ usoro: ndị a bụ akụkụ nke obere ego nke na-ekwupụtabeghị ego. Nkezi ndochi mere otu a ka ọ baa ọgaranya na ụdị kredit ezighi ezi. Ihe nkuzi: jụọ "ihe kpatara na ọ tọgbọ chakoo" tupu dejupụta ya.
Ikpe 2 - Outlier na-ekwesịghị ihichapụ. Onye nyocha na-ere ahịa ehichapụrụ nnukwu iwu 4 (1.8 nde TL ọ bụla) na data ahịa, na-eche na ha bụ "mmejọ". Agbanyeghị, ndị a bụ ezigbo iwu ụlọ ọrụ ma bụrụ 22% nke ngụkọta ngbanwe. Ụdị amụma amụma ihichapụ ka emechara tụfuru ọchịchọ ụlọ ọrụ kpamkpam. Ihe nkuzi: nyochaa ihe mpụta tupu ihichapụ ya.
Ikpe 3 - ọdachi usoro ụbọchị. Na CSV, agwakọtara ụbọchị ndị ahụ na "2024-03-01" na "01.03.2024". Mgbe a tụgharịrị koodu YZ dere dịka usoro nke mbụ siri dị, ahịrị 6,400 ghọrọ NaT dị ka "ụbọchị na-ezighi ezi" ma wepụ ya na nyocha. Onye nyocha ahụ hụrụ nke a naanị mgbe ọnụọgụ ahịrị belatara. Ihe nkuzi: lelee ọnụọgụ ahịrị na oghere mgbe ntụgharị gasịrị.
Ndebiri anọ enwere ike iṅomi
1) Map uru efu:
Enwere m pandas df. Dee koodu na-emepụta tebụl na-egosi ọnụọgụ na pasent nke efu (NaN) maka kọlụm ọ bụla. Mgbe ahụ, depụta kọlụm iche iche nke nwere ọnụego efu karịrị 40% yana ndị na-efu efu n'okpuru 5%. Naanị mepụta koodu nyocha a, ọ bụghị usoro ị tụrụ aro; M ga-eme mkpebi ahụ.
2) Nleba anya nke ukwuu (ọ bụghị ihichapụ):
Dee koodu na-achọpụta (anaghị ehichapụ!) maka kọlụm "ego" m site na iji usoro IQR. Tinye ahịrị ndị dịpụrụ adịpụ na df dị iche ka m wee jiri aka nyochaa ha. Bipụtakwa ọnụọgụ nke outliers na òkè ha na mkpokọta.
3) Ụdị / nhazi nhazi:
Dee koodu na-ahazi kọlụm ndị a: - "ụbọchị": enwere ike ịmekọrịta ụdị ("2024-03-01" na "01.03.2024"); tụgharịa ha niile ka ọ bụrụ oge ụbọchị, gụọ ndị a na-atụgharịghị ntụgharị wee kọọ akụkọ (tụfuo na nzuzo). - "nwoke": "Nwoke"/"Nwoke"/"M" ->"M", "Nwanyị"/"Nwanyị"/"F" ->"K". - "ego": ederede Turkish ahazibere ("1.250,50") -> ọnụọgụ iri. Bipụta ahịrị ole emetụtara mgbe ntụgharị ọ bụla gachara.
4) Lelee tupu / mgbe ihicha:
Dee koodu na-atụnyere df.shape, ọnụ ọgụgụ efu, yana nchịkọta nchịkọta (pụtara, median, min, max) nke kọlụm ahọpụtara tupu na mgbe usoro nchacha gasịrị. Ebumnuche: ịhụ ihe nhicha na-agbanwe.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike:
Hichapụ data a.
"Clear" bụ ihe mgbagwoju anya; AI amaghị ihe akụkụ ndị na-efu efu kwesịrị ihichapụ, ihe ị ga-emejupụta, nke kọlụm iji hazie na otu. Ihe si na ya pụta: kpuru ìsì, mgbanwe na-apụghị ịgbagha agbagha.
Mgbasa ozi siri ike:
Ọrụ gị: onye enyemaka nhicha data. df kọlụm: customer_id (int), registration_date (agwakọta ederede ederede), revenue_tl (ederede, "1,200.00"), obodo (ederede, na-ekwekọghị ekwekọ mkpoputa). Iwu:- Na-agbanwe df mbụ; Na-arụ ọrụ na oyiri aha ya bụ df_clean.- Tụgharịa ego_tl ka ọ bụrụ nọmba, gụọ ihe a na-apụghị ịtụgharị sụgharịa.- Gbanwee ndekọ_date ruo oge ụbọchị, kọọ njehie ahụ.- Ehichapụla ahịrị ọ bụla na-enweghị nkwado m; Gosi ndị na-aga ime iche iche. Mgbe nzọụkwụ ọ bụla gasịrị, bipụta df_temiz.shape na nọmba efu.
N'ebe a, a na-echebe isi iyi, a na-agụta mgbanwe ọ bụla, ihichapụ na-ahapụ mmadụ.
Mmejọ ndị nkịtị
- Na-ejuputa oghere na-enweghị ịjụ " gịnị kpatara na ọ tọgbọ chakoo?" Na-ejuputa n'usoro / efu efu na ihe pụtara na-agbagọ data ahụ.
- Ihichapụ outlier na-enyochaghị ya. Ịtụfu ihe omume n'ezie ma dị ụkọ na-ebibi ozi dị mkpa.
- Ịgbakọ uru padding sitere na data niile. Gụnyere data ule na-emepụta ntapu; naanị gbakọọ site na ọzụzụ.
- Anaghị elele ọnụọgụ nke ahịrị/ oghere ka ngbanwechara. Ewepụghị ahịrị ndị na-agba nkịtị NaT/NaN na nyocha.
- Na-edegharị data izizi. Nlaghachi na mmeghari furu efu.
NDỤMỌDỤ: Jiri ntụnyere "tupu-mgbe" mee ihe dị ọcha. Bipụta df.ụdị, ọnụ ọgụgụ na-efu efu, yana nchịkọta nchịkọta nke kọlụm dị oke egwu ma usoro nke ọ bụla gasịrị. Ya mere, ị na-ahụ ozugbo na otu nzọụkwụ na-atụghị anya na-ebibi 6,000 ahịrị.
Na nchịkọta
Nchacha bụ oge kachasị na-ewe na mkpebi nke sayensị data. Mgbanwe ọ bụla na-agbanwe data, ya mere, onye ọ bụla bụ mkpebi mara mma. Maka ụkpụrụ efu, jụọ " gịnị kpatara na ọ tọgbọ chakoo?" Nyochaa ihe ọpụpụ ọ bụla tupu ihichapụ ha; Weta ụdị na usoro na ọkọlọtọ. Gbakọọ uru njupụta sitere na data ọzụzụ naanị, debe nke mbụ, wee soro mmetụta nke nzọụkwụ ọ bụla nwere site na ịgụta ya. AI bụ nnukwu ngwa ngwa na azụmahịa a, mana ụmụ mmadụ na-ekpebi ihe ị na-ehicha na ihe kpatara ya.
Ọrụ ngwa
Were (ma ọ bụ mepụta) obere tebụl ma kpachapụrụ anya tinye nsogbu atọ n'ime ya: uru bara uru na-efu efu, ihe ngosi, usoro ụbọchị agwakọta. Rịọ nyocha na koodu nhazi site na AI na ndebiri ndị dị n'elu; tulee ọnụ ọgụgụ ahịrị na oghere tupu/mgbe nzọụkwụ ọ bụla gasịrị. Gbalịa ijide opekata mpe otu "mfu nzuzo" wee rịba ama ka ị siri hụ ya.
ndetu
- [] Edokwaara m data raw mbụ wee rụọ ọrụ na oyiri ahụ?
- [ ] Ajụrụ m ajụjụ a " gịnị kpatara o ji tọgbọ chakoo" maka kọlụm ọ bụla na-efu?
- [ ] Atụlela m ihe ndị dịpụrụ adịpụ tupu ihichapụ ha?
- [ ] A gbakọrọ uru mkpuru ego site na data ọzụzụ naanị?
- [] Ana m elele ọnụọgụ ahịrị/ oghere ka emechara usoro ọ bụla wee wepụ mfu n'obere?