Uru:
- Ikike iji nyochaa nkesa, etiti, gbasaa na anomalies nke mgbanwe na eserese kwesịrị ekwesị (histogram, igbe igbe, ikposa nkata).
- Ikike ịsụgharị njikọ n'ụzọ ziri ezi ma gụọ ya ọnụ na nkesa nkesa, na-enweghị mgbagwoju anya na ihe kpatara ya
- Ikike ịghọta na nchịkọta nchịkọta nwere ike bụrụ ihe na-eduhie eduhie (Nkụzi Anscombe) ma mepụta echiche ndị na-ekpebi ntụziaka nke ịmegharị ihe.
Tupu ịmepụta ihe nlereanya, ọ dị mkpa ịmara data. Dị nnọọ ka dọkịta na-adịghị enye ọgwụ na-enyochaghị onye ọrịa, a data ọkà mmụta sayensị adịghị ewu ihe nlereanya na-enweghị "nyochaa" data. A na-akpọ nyocha a nyocha data nyocha (EDA maka nkenke): ọ bụ akụkụ nke ịchọpụta nkesa, mmekọrịta, ihe ịtụnanya na ọnyà nke data n'anya na eserese. Ebumnuche nke EDA bụ imepụta echiche, jide mperi, ma chọpụta ntụzịaka nhazi. Ọgụgụ isi bụ onye enyemaka dị ike n'oge a: ọ na-egosi eserese nke dabara adaba, dee koodu ya, kọwaa nkesa. Ma mmadụ na-ekpebi, site n'amamihe ubi ya, ma ụkpụrụ ọ na-ahụ ọ bụ ihe dị adị ma ọ bụ na ndaba.
Kedu ihe EDA na-achọ?
EDA na-achọ azịza nye ajụjụ anọ. Nkesa: Kedu ka esi ekesa nke ọ bụla n'ime mgbanwe - ọ bụ ihe atụ, skewed, ma ọ bụ elu abụọ? Ọchịchọ etiti na gbasaa: Gịnị bụ pụtara, etiti, ọkọlọtọ ọkọlọtọ? Mmekọrịta: Kedu ka mgbanwe ndị ahụ si metụta ibe ha? Anomalies: Enwere ụkpụrụ ndị a na-atụghị anya ya, oghere, otu? Ajụjụ anọ a na-ekpebi njirimara ga-arụ ọrụ na ụdị nke kwesịrị ekwesị.
Ka anyị kọwaa ụfọdụ isi echiche. A histogram bụ eserese nke na-ekewa ụkpụrụ nke ọnụọgụ ọnụọgụ n'ime etiti oge ma gosi ole nleba anya dị na nkeji ọ bụla; Ọ bụ ụzọ kachasị ọsọ iji hụ nkesa. Skewness bụ ngbanwe nke nkesa n'otu ntụziaka; A na-atụgharị mgbanwe dị ka ego na-enweta n'aka nri (ọtụtụ dị ala, ole na ole dị elu). Ibé igbe na-egosi etiti, quartiles na outliers na nlele. Ntube ikposa na-egosi njikọ nke ọnụọgụ ọnụọgụ abụọ na igwe ojii nke isi ihe.
Mmekọrịta: enwere mmekọrịta mana kpachara anya
Mmekọrịta - ihe atụ nke ka mgbanwe abụọ na-agakọ ọnụ; ọnụọgụgụ n'etiti -1 na +1 - bụ ngwa EDA kachasị eji na nke a ghọtahiere ya. +1 pụtara mmekọ ọnụ zuru oke, -1 pụtara mmekọrịta ngbanwe zuru oke, 0 pụtara enweghị njikọ ahịrị. Enwere ọnyà abụọ buru ibu. Nke mbụ, iwu a ma ama: mmekọrịta abụghị ihe kpatara ya. Mkpọnwụ ikpe na-abawanye na ire ice cream; ọ bụghị n'ihi na otu na-eduga na nke ọzọ, ma n'ihi na okpomọkụ (nke zoro ezo nke atọ agbanwe) na-akpali ma. Nke abụọ, mmekọrịta naanị na-atụ mmekọrịta linear; Ọ nwere ike igosi njikọ siri ike mana curvilinear dị nso na 0. Ya mere, mgbe ị na-ele anya na mmekọrịta, jide n'aka na ị ga-elebakwa anya n'ichepụta ihe.
Akpachara anya: Mgbe AI na-enye ọnụọgụ njikọ, ọ nwere ike ịbanye n'asụsụ kpatara dị ka "A na-abawanye B." Nke a dị ize ndụ. Mmekọrịta na-egosi naanị mmegharị ọnụ; Naanị ahụmịhe, ihe ọmụma ngalaba, na ntinye nke ọma na-egosi ihe kpatara ya.
Anscombe quartet: gịnị kpatara na ọ bụghị naanị ilele nọmba ahụ
Enwere ihe atụ ama ama na ọnụ ọgụgụ: Anscombe quartet. Usoro data anọ dị iche iche nwere ihe fọrọ nke nta ka ọ bụrụ otu ụzọ, otu ọdịiche, na otu njikọ (0.82); Ma mgbe a na-ese ya, ha na-adị nnọọ iche - otu ahịrị kwụ ọtọ, otu gbagọrọ agbagọ, otu ígwé ojii nke otu onye na-apụ apụ dọpụrụ. Ihe omumu a doro anya: nchịkọta nchịkọta na-eduhie eduhie, ile anya na eserese ahụ bụ ihe kwesịrị ekwesị. AI nwere ike inye gị nkezi na mmekọrịta, mana ịtụkwasị ọnụ ọgụgụ ndị ahụ obi na-enweghị ịhụ eserese na-adaba na ọnyà Anscombe.
Tebụlụ dị n'okpuru na-achịkọta chaatị nke dabara ajụjụ a:
Ajụjụ
adabara eserese
Gịnị na-egosi
Nkesa nke otu mgbanwe
Histogram / KDE
Ọdịdị, skewness, ọnụ ọgụgụ nke vertices
Center na outliers
Ibé igbe
Median, quartile, outliers
Mmekọrịta nke ọnụọgụ abụọ
ikposa eserese
Ntuziaka, ike, curvature
Ntụnyere otu
mmanya chaatị
Ọdịiche dị n'etiti otu
gbanwee ka oge na-aga
eserese ahịrị
Trend, oge oge
Mmekọrịta dị iche iche
Maapụ okpomọkụ njikọ
Matrix mmekọrịta izugbe
Simpson's paradox: nchịkọta data nwere ike ịgha ụgha
Ọnyà sneaky na EDA ka ị mara bụ Simpson's paradox: ụkpụrụ nwere ike igosi otu ntụziaka mgbe a na-enyocha data niile ọnụ, ma tụgharịa mgbe ekewa data ahụ n'ime obere subgroups bara uru. Ọmụmaatụ Omuma: mkpokọta nnabata maka ụmụ nwanyị na-achọ akwụkwọ na mahadum dị ka ọ dị ala karịa maka ụmụ nwoke; Mana mgbe a na-elele ngalaba site na ngalaba, ọnụego nnabata ụmụ nwanyị dị elu karịa ụmụ nwoke n'ọtụtụ ngalaba. Si ebee? Ụmụ nwanyị tinyere akwụkwọ na ngalaba ndị ọzọ asọmpi (ọnụọgụ nnabata dị ala); Ọnụọgụ jikọtara ọnụ na-echekwa mgbanwe a zoro ezo. Ihe mmụta ahụ doro anya: mgbe ị na-elele mkpokọta ma ọ bụ nkezi, jide n'aka na ị ga-elele ma ọnụọgụ ahụ ọ na-akọ otu akụkọ mgbe a na-ekewa n'ime obere obere ndị nwere uru (ngalaba, oge, ọwa). Mgbe AI na-enye gị ọnụọgụ ọnụ, ịjụ "ọ ka dị irè mgbe ị kewara ya" ga-enweta nsonaazụ na-eduhiekarị n'oge.
Obere ikpe atọ
Ikpe 1 - Ugwu abụọ zoro ezo. Otu onye nyocha chọpụtara na nkezi afọ ndị ahịa bụ 41 wee kọọ ya dị ka "ìgwè mmadụ etiti." Ma histogram gosipụtara ọnụ ọgụgụ abụọ: 22-28 na 55-62 afọ. Nkezi 41 anọghị n'ezie onye ọ bụla. Ihe nkuzi: kpapụta nkesa tupu ị tụkwasị n'obi.
Nkeji nke 2 - njikọ dị nro. Otu otu hụrụ njikọ 0.78 n'etiti "ad spending" na "irere" wee mee ka mmefu ego okpukpu abụọ. Otú ọ dị, ihe kpalitere ha abụọ bụ mkpọsa oge; n'ime oge mgbasa ozi, mmekọrịta ahụ gbadara ruo 0.10. Mgbasa ozi 340 puku TL ewepụtaghị nloghachi a tụrụ anya ya. Ihe nkuzi: mmekọ na-ezighi ezi maka ihe kpatara dị oke ọnụ.
Ikpe 3 - Ahịrị nke onye na-emegide naanị ya sere. Nyocha ụlọ ahịa na-egosi mmekọrịta siri ike n'etiti ihe ntanetị na ọnụahịa (r=0.80). Mgbe a na-esepụta ihe mkposa ahụ, ihe fọrọ nke nta ka ọ bụrụ mmekọrịta ahụ dum mere otu ụlọ okomoko nke 12 nde TL; Mgbe ewepụrụ isi ihe ahụ, njikọ ahụ gbadara ruo 0.31. Ihe nkuzi: na-agụ mgbe niile na njikọ ya na nkesa mgbasa ozi.
Ndebiri anọ enwere ike iṅomi
1) Nchịkọta EDA akpaaka:
Enwere m pandas df. Dee koodu na-emepụta: (1) df.info() na df.describe(), (2) histogram maka kọlụm ọnụọgụ ọ bụla, (3) gụọ maka kọlụm categorical ọ bụla. Ekwula okwu, naanị mepụta koodu nchọpụta; Ana m atụgharị ụkpụrụ.
2) Mmekọrịta + visual (ya na ihe kpatara ihe kpatara ya):
Dee koodu nke na-adọta matriks njikọ yana maapụ okpomọkụ maka ogidi ọnụọgụ. Na-esetịpụ ihe mkpofu nke ụzọ abụọ jikọtara ọnụ 3 kachasị elu. Tinye ahịrị ikwu okwu na mmepụta na-echetara gị na mmekọrịta anaghị apụta ihe kpatara ya. Ekwula ihe kpatara ya.
3) Nchọpụta nkesa:
Maka kọlụm "income_tl": dee koodu na-emepụta histogram, igbe igbe, uru skewness na ntụnyere etiti/ pụtara. M ga-akọwa ma nkesa na-agbagọ ma ọ bụ na ọ bụghị; naanị nye koodu.
4) ntụnyere akụkụ:
Tụlee ndị ahịa site na "ọwa" (web/mobile): dee koodu na-emepụta igbe igbe nke nkezi ego, ego etiti, ọnụ ọgụgụ nke iwu, na nkesa ego maka ọwa ọ bụla. Na-atụ aro nke ule kwesịrị ekwesị maka ọnụ ọgụgụ ndekọ aha dị iche n'etiti ọwa abụọ, ma mkpebi dị m n'aka.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike:
Chọta ihe na-adọrọ mmasị na data a.
"Na-adọrọ mmasị" bụ enweghị nkọwa; AI anaghị ahụ data ahụ, ya mere ọ na-eme ya ma ọ bụ na-ekwu okwu n'ozuzu. Enweghị ntụzịaka, enweghị mgbanwe, enweghị ebumnuche.
Mgbasa ozi siri ike:
Ọrụ gị: onye enyemaka EDA. df kọlụm: afọ (int), ego_tl (ese n'elu), obodo (ụdị), ọwa (web/mobile), ego (ese n'elu). Ebumnuche: ịchọpụta ihe ndị na-emetụta "ego". Ọrụ: (1) koodu na-akpa nkata nkesa nke ego, (2) eserese nkesa n'etiti ego na afọ na ego_tl, (3) igbe nke ego na ndakpọ ọwa. Ịmepụta nkwupụta ihe kpatara ya; Naanị mepụta koodu nchọpụta ahụ, m ga-akọwa ụkpụrụ ahụ.
N'ebe a, ebumnuche, mgbanwe na njedebe nke "ịkwado ihe kpatara ya" doro anya.
Mmejọ ndị nkịtị
- Na-adabere naanị na nchịkọta nchịkọta. Dị ka Quartet Anscombe na-egosi, otu pụtara na-ezobe nkesa dị iche iche; lee eserese.
- Mmekọrịta na-ezighi ezi maka ihe kpatara ya. Njikọ aka adịghị egosi na otu na-eduga na nke ọzọ; Kpachara anya maka mgbanwe ndị zoro ezo.
- Na-ele anya na njikọ na-enweghị ihe mkpofu. Otu ihe dịpụrụ adịpụ ma ọ bụ curvilinearity na-eduhie ọnụ ọgụgụ ahụ.
- Na-achịkọta nkesa nwere ọnụ ụzọ abụọ/skewed na ihe pụtara. Nkezi nwere ike ọ gaghị anọchi anya onye ọ bụla.
- Na-amafe EDA ma na-aga ozugbo na ihe nlereanya. Data a na-amataghị pụtara ihe nlereanya kpuru ìsì.
NDỤMỌDỤ: Site na nhazi data ọhụrụ ọ bụla, jiri nkeji 30 mbụ naanị ịse eserese: histogram nke ọnụọgụ ọ bụla, gbasasịa nke ụzọ abụọ dị ịrịba ama, chaatị mmanya nke otu. Nkeji 30 ndị a na-egbochi mperi ime ihe n'ọdịnihu maka ụbọchị ndị na-abịa.
Na nchịkọta
EDA bụ akụkụ nke ịmara data ahụ tupu ịmepụta ihe nlereanya ma chọọ azịza nye ajụjụ anọ: nkesa, mgbasa ozi etiti, mmekọrịta na ihe ọjọọ. Nchịkọta nchịkọta nwere ike iduhie; ilele eserese ahụ bụ ihe (Anscombe lecture). Mmekọrịta bụ ngwá ọrụ dị ike, mana ihe kpatara ya abụghị na ekwesịrị ịgụ ya na njikọ nke ikposa. AI bụ nnukwu ngwa ngwa maka ịtụ aro eserese na koodu ederede; Mana ndị mmadụ na-eji ihe ọmụma ubi ha na-akọwa ma ụkpụrụ ha na-ahụ ọ̀ dị adị ma ọ bụ na ndaba.
Ọrụ ngwa
Họrọ dataset wee mee naanị EDA: wepụta ihe ndekọ akụkọ ihe mere eme nke opekata mpe ọnụọgụ atọ, ihe mkposa nke ụzọ abụọ nke mgbanwe abụọ, yana maapụ okpomọkụ njikọ. Chọta ma ọ dịkarịa ala otu "ihe ijuanya" (dị ka nkesa nwere ọnụ ọnụ abụọ, onye na-achọ maka mmekọrịta dị egwu, mmekọrịta nke otu onye na-emepụta ihe dọtara) ma kọwaa ya n'otu ahịrịokwu. Dee n'ebughị ụzọ kwuo ihe kpatara ya.
ndetu
- [ ] Edeela m nkesa nke ọnụọgụ ọnụọgụgụ ọ bụla?
- [] Ahụrụ m njikọ dị n'etiti ihe mgbasa ahụ?
- [ ] Edobela m ihe kpatara ya na njikọ dị iche?
- [ ] Ọ bụ na ahụghị m ihe nkesa gbagọrọ agbagọ ma ọ bụ ọnụ ụzọ abụọ wee tụkwasa ihe ọ pụtara?
- [] Enwetala m opekata mpe otu akụkụ/echiche n'ichepụta ihe site na nchọpụta EDA m?