Uru:
- Ikike ịmata ụdị data na-efu efu (MCAR / MAR / MNAR), ndị na-apụ apụ, na njehie koodu wee jiri AI na data ziri ezi mepụta koodu nhicha na nyocha.
- Ikike ịhụ ka usoro nhicha ọ bụla (ihichapụ, ọrụ, mgbanwe) nke ọgụgụ isi mmadụ na-atụ aro ga-esi metụta nsonaazụ nyocha wee guzobe usoro ntụgharị na edekọ.
- Idebe na mkpebi nchacha na-adabere na ihe ọmụma nke usoro na-emepụta data, na ọgụgụ isi na-arụ ọrụ bụ onye enyemaka na-ahụ maka nlekọta, ọ bụghị akpaaka kpuru ìsì.
Onye nyocha ọ bụla nwere ahụmahụ maara otu eziokwu: ọtụtụ n'ime oge nke ọrụ dị egwu abụghị ịmegharị ihe, ma ihicha data (ọrụ nke imezi njehie, nkwụsị, na enweghị nkwekọrịta na data na ime ka ọ dị njikere maka nyocha). Dị ka usoro mkpịsị aka siri ike, ihe dịka 70-80% nke oge na-abanye na nghọta, ihicha na ịgbanwe data; naanị 20-30% fọdụrụ maka nyocha n'ezie. Na nkeji a, anyị ga-ahụ nzọụkwụ site nzọụkwụ ka ọgụgụ isi artificial (AI) si eme ka ibu dị arọ dị mfe, mana mkpebi ndị ka kwesịrị ịnọnyere gị yana ihe kpatara ya.
Ka anyị buru ụzọ bute ihe abụọ bụ́ isi. Nke mbụ, mkpebi ihicha na-adabere na ihe ọmụma gị nke usoro na-emepụta data: naanị ị maara ihe kpatara uru na-efu, gịnị kpatara ọnụọgụgụ ji buru ibu. AI anaghị ahụ data, amaghị ihe gbara ya gburugburu; Na-ede koodu, anaghị eme mkpebi. Nke abụọ, nzọụkwụ nhicha ọ bụla nwere ike ịgbanwe nsonaazụ nyocha. Ihichapụ ihe mpụga nwere ike tụgharịa ọnụọgụgụ; Imeju ihe na-efu efu nwere ike ibelata ọdịiche ahụ. Ya mere, mkpocha kwesịrị ịbụ ntụgharị ma dekọọ: emetụla aka data raw, mee nzọụkwụ ọ bụla na koodu, dekọọ mmetụta nke nzọụkwụ ọ bụla.
Usoro nhazi nke nzọụkwụ site na nzọụkwụ
1. Mara data. Buru ụzọ hụ nhazi: ọnụọgụ nke ahịrị (nleba anya) na kọlụm (mgbanwe), ụdị mgbanwe ọ bụla (ọnụọgụ, categorical, ụbọchị), ọnụ ọgụgụ nchịkọta, ọnụọgụ efu. Ị nwere ike ịjụ AI maka koodu "profaịlụ data" a; Mana ị gụrụ mmepụta wee jụọ ajụjụ dịka " gịnị kpatara mgbanwe a ji bịa dị ka ederede?"
2. Ghọta ma kewaa data efu. E kewara data efu ụzọ atọ. MCAR (na-efu efu kpamkpam na random): ihe efu abụghị n'ihi ihe ọ bụla, dịka ọmụmaatụ ihe mmetụta dara ada na-enweghị usoro. MAR (Na-efu efu na Random): efu na-adabere na mgbanwe ndị ọzọ a na-ahụ anya, dịka ọmụmaatụ ndị okenye na-ahapụ ajụjụ efu ugboro ugboro, mana ị maara afọ. MNAR (Na-efu efu Na Random): efu na-adabere na uru a na-ahụghị n'onwe ya, dịka ọmụmaatụ ndị na-akpata ego dị elu anaghị akọpụta ego ha nwetara. Ọdịiche a dị oke egwu n'ihi na ọ na-ekpebi usoro azịza yana AI enweghị ike ikpebi nke a maka gị.
3. Na-emeso erughi eru. Nhọrọ: ihichapụ nke ahaziri ahaziri ahazi, mpụta/mgbasa ozi, ọtụtụ nleba anya dabere na ụdị. Nhichapụ na MCAR adịghị mma mana ọ na-ebelata nha nlele. Ọtụtụ ọrụ kwesịrị ekwesị na MAR. Enweghị usoro dị mfe na-ekwe nkwa enweghị mmasị na MNAR; Ekwesịrị ịkpụzi usoro erughi eru ma ọ bụ opekata mpe, ekwesịrị ime nyocha nke uche. Imeju ihe ọ bụla dị mfe mana ọ dị ize ndụ: ọ na-ebelata esemokwu, na-emebi mmekọrịta, ma na-ezochi ejighị n'aka.
4. Nyochaa outliers. Ihe nleba anya bụ nleba anya nke dị anya n'ebe ndị ọzọ nọ. Kewapụ ajụjụ abụọ a: Nke a ọ bụ njehie (afọ 999 ka edere na ntinye data) ka ọ bụ ezigbo uru ma dị elu (ego nke otu ijeri mmadụ)? Idozi ahụhụ; Ehichapụla ezi ndị na-apụ apụ n'ihi na ha na-anọchi anya data. Ihichapụ outlier "n'ihi na ọ na-enye nsogbu" ị na-atụgharị data ahụ gaa n'ihu.
5. Ndokwa na agbanwe agbanwe. Hazie edemede ("Nwoke", "nwoke", "E" niile n'ime otu koodu), weta ụbọchị n'otu usoro, nkeji n'otu ọnụ ọgụgụ, chọpụta ahịrị oyiri. Nke a bụ usoro kachasị dị ize ndụ ebe AI na-enyere aka kacha mma.
6. Akwụkwọ na ifriizi. Jiri koodu na ahịrị ikwu dekọọ nzọụkwụ ọ bụla, na-edobe data raw na nke dị ọcha iche. Ya mere, mgbe onye ọka ikpe jụrụ "Gịnị kpatara e ji wepụrụ ihe ndị a?" ị nwere azịza gị njikere.
Ịkpachara anya: Emela mkpebi nhicha dabere na nsonaazụ ya. Ihichapụ ahịrị na-ekwu "Mgbe ị na-ehichapụ ahịrị a, ọnụọgụ na-aghọ ihe dị ịrịba ama" bụ ụdị p-hacking kachasị njọ, nke anyị ga-ahụ na nkeji na-esote.
Tebụl atụnyere: ụzọ data efu
Usoro
Olee mgbe o kwesịrị ekwesị?
ihe ize ndụ
Ọrụ AI
Hichapụ ahịrị
MCAR, ọnụ ọgụgụ efu efu
Ihe nlele na-adị ntakịrị, enweghị mmasị na MAR/MNAR
na-ede koodu; ị na-ekpebi
Ọrụ etiti/ọkara
Nyocha mbido ngwa ngwa
Na-ebelata esemokwu, zoo mmekọrịta
Ọ dị mfe mana anaghị akwado ya; kwesịrị ịdọ aka ná ntị
Ọtụtụ ọrụ (MI)
MAR, mgbanwe dị mkpa
Ọ bụrụ na etinyeghị ya nke ọma ọ ga-eduhie eduhie
Na-akwado koodu na ngwugwu (oke)
Nhazi nhazi
MNAR
Mgbagwoju anya, echiche-siri ike
Naanị Draft; achọrọ ọkachamara
Mkpali anọ nwere ike iṅomi
1. Profaịlụ data:
Ọrụ gị: onye enyemaka nhicha data. Anaghị m ekekọrịta data ahụ, achọrọ m koodu R. Enwere m data.frame akpọrọ 'digit'; mgbanwe: id, afọ (ọnụọgụ), ego (ọnụọgụ), agụmakwụkwọ (ụdị), mpaghara (ụdị), ụbọchị (ụbọchị). Ọrụ: dee koodu nke na-emepụta ụdị, nọmba efu na ọnụego maka mgbanwe ọ bụla, nchịkọta nchịkọta maka ọnụọgụgụ, na tebụl ugboro maka ndị categorical. Tinye ahịrị okwu.
2. Nchọpụta data na-efu efu:
Dee koodu na-enyocha ụkpụrụ efu maka data 'ọnụọgụ' dị n'elu: - ọnụego efu nke mgbanwe ọ bụla, - tebụl/graph dị mfe na-egosi mmekọrịta nke efu na mgbanwe ndị ọzọ. M ga-eleba anya na mmepụta nke koodu ahụ wee mee ka MCAR / MAR / MNAR dị iche iche; Naanị mepụta ngwaọrụ nyocha, ekpebila na usoro ọrụ.
3. Nleba anya nke ukwuu (ọ bụghị ihichapụ):
Dee koodu maka 'ego' na-agbanwe agbanwe nke na-enyocha ihe dịpụrụ adịpụ na-enweghị ihichapụ: igbe igbe, oke dabere na IQR, na ndepụta tebụl nleba anya + ụkpụrụ. M ga-ahụ ma ndị a bụ mmejọ ma ọ bụ n'ezie. Tinye nhichapụ akpaaka.
4. Nhazi nhazi koodu:
Na mgbanwe 'agụmakwụkwọ', a na-ede ụkpụrụ ndị a gwakọtara: "Ụlọ akwụkwọ praịmarị", ụlọ akwụkwọ praịmarị", "PRIMARY", ụlọ akwụkwọ sekọndrị", ụlọ akwụkwọ sekọndrị", "University", "univ". Dee koodu R nke na-edegharị ndị a ka ọ bụrụ otu na-agbanwe agbanwe; Gosi tebụl nkewa nke ọma ka m nwee ike kwado mgbanwe ọ bụla. Tọọ uru ị na-amataghị ka ọ bụrụ "amaghị".
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike:
Hichaa data ahụ, mejupụta oghere ndị ahụ, tụfuo ihe ndị ahụ.
Achọ a dị ize ndụ: Ọ na-enye AI ikike kpuru ìsì. Kedu ụdị efu, ụdị njuputa, ihe na-emegiderịta onwe ya - ọ dịghị nke ọ bụla doro anya. Nsonaazụ nwere ike ịbụ ntọala data enweghị isi na nzuzo.
Mgbasa ozi siri ike:
Ọrụ gị: onye inyeaka nhicha, ọ bụghị gị bụ onye na-eme mkpebi. Gaa n'otu n'otu wee dee koodu na-akọ mmetụta nke nzọụkwụ ọ bụla: 1) gosi ụkpụrụ efu (EHIchapụla / dejupụta), 2) depụta ndị na-eme ntuli aka (EHIGHỊ ihichapụ), 3) dozie ụdị ekwekọghị na tebụl eserese. Bipụta ọnụ ọgụgụ ahịrị na nchịkọta akụkọ ka emechara usoro nke ọ bụla ka m nwee ike ịhụ wee kwado mgbanwe ahụ. Ntinye ọrụ/ihichapụ akpaaka.
Ọdịiche ahụ doro anya: ike ga-edobe AI dị ka onye enyemaka a na-ahụ maka ya, na-emepụta usoro ntụgharị na edekọ.
Obere ikpe atọ
Ikpe 1 - Nkezi ọnyà ọrụ. Ihe ndekọ ego otu onye nyocha maka mmadụ 5,000 na-efu 18%. Ọ gwara AI ka ọ "mejupụta oghere"; AI chịkọtara ha niile. Nsonaazụ: mgbanwe dị iche iche nke ego na-ebelata site na 22%, ọnụ ọgụgụ nke mmekọrịta agụmakwụkwọ na ego wee bụrụ nke na-esighị ike karịa ka ọ dị. Ụzọ ziri ezi: ụkọ bụ MAR (n'ihi agụmakwụkwọ), ga-ejupụta na otutu ọrụ (oke). Ihe nkuzi: usoro ndochi dabere na usoro.
Ikpe 2 - Nchacha n'èzí na-atụgharị nchoputa ahụ. Enwere ụlọ ọrụ 3 buru ibu (0.6% nke mkpokọta nyocha) n'otu data siri ike. E kpochapụrụ ihe ndị a site na ntụnye "ihicha" AI; Akụ na ụba nke ọnụọgụ ọnụọgụ tụgharịrị site na nke ọma gaa na-adịghị mma. Otú ọ dị, ụlọ ọrụ 3 ndị ahụ dị adị na akụkụ dị mkpa nke ụlọ ọrụ ahụ. Ụzọ ziri ezi bụ iji ma ntule zuru oke na nke siri ike kọọ akụkọ kama ihichapụ. Ihe nkuzi: ezigbo outliers bụ data, ọ bụghị mkpọtụ.
Ikpe 3 - Njehie nzuzo nzuzo. N'otu panel, mgbanwe ụbọchị bịara n'ụdị abụọ dị iche iche ("2020-03-01" na "01/03/2020"). Mgbe koodu nchikota nke AI meputara duhiere ha maka ụkpụrụ dị iche iche, nleba anya 1,400 adabaghị na ọnụego uto ghọrọ ihe ọchị. Ọ baghị uru ma ọ bụrụ na onye nyocha ahụ eleleghị ọnụ ọgụgụ ahịrị. Ihe nkuzi: ọnụ ọgụgụ nleba anya na nyocha ahụike mgbe usoro ọ bụla gachara.
Mmejọ ndị nkịtị
- Jiri ìsì na-ejuputa oghere ahụ na nkezi. Ọ na-ebelata ndịiche, na-ezochi ejighị n'aka, ma na-emepụta echiche ọjọọ na MAR/MNAR. Buru ụzọ kewaa usoro ahụ.
- Ihichapụ outlier "n'ihi na ọ na-ewute ya". Ezi outliers na-anọchi anya data; ihichapụ na-ehulata nsonaazụ. Dezie ihe na-ezighị ezi, debe ihe dị adị n'ezie.
- Na-emetụ data raw. Ọ dịghị mgbe gbanwetụrụ raw data; Jiri koodu ahụ mee mkpochapụ niile n'ụdị dị iche ka enwere ike ịtụgharị ya na ya.
- Anaghị atụ mmetụta nke nzọụkwụ. Ọ bụrụ na enyochaghị ọnụ ọgụgụ ahịrị na nchịkọta nchịkọta akụkọ ka emechara usoro nke ọ bụla, mperi mpere ga-agbakọta.
- Nhicha n'ihi ya. Echiche nke "Mgbe ị gbakwunye akara a, nsonaazụ ga-aka mma" bụ p-hacking; Ekwesịrị ịhazi nhazi n'ihu na n'adabereghị na nsonaazụ nyocha.
NDỤMỌDỤ: Debe tebụl "tupu / mgbe" nke na-etinye otu ọnụ ọgụgụ isi (pụtara, etiti, ọnụ ọgụgụ nke nleba anya, njikọ ole na ole) n'akụkụ n'akụkụ tupu na mgbe emechara. Mwụli elu na-atụghị anya ya bụ ihe kacha mma nke njehie zoro ezo.
Na nchịkọta
Nhicha data bụ oge kachasị na-ewe ma na-achọ mkpebi nke ọrụ ike. AI bụ onye na-emepụta koodu dị ike na nke a, mana ọ nweghị ike ịkpọ foto ndị ahụ: ị na-ekewa ụdị data efu (MCAR / MAR / MNAR), chọpụta ma ihe na-apụ apụ bụ njehie ma ọ bụ n'ezie, mee ka nzọụkwụ ọ bụla gbanwee ma dekọọ ya. Kama ịnye ikike “doro anya” AI kpuru isi, guzobe usoro usoro nzọụkwụ nke a na-atụle ma kwado ya. Ịlele ọnụọgụ nleba anya na nchịkọta nchịkọta mgbe usoro nke ọ bụla gasịrị bụ ihe ngwọta kachasị mma maka njehie nkịtị.
Ọrụ ngwa
Họrọ ma ọ dịkarịa ala mgbanwe abụọ nwere ndị na-efu efu na ndị na-apụ apụ na nhazi data (data nke gị ma ọ bụ ihe nlele). Rịọ koodu nyocha site na AI site na "nzọụkwụ site na nzọụkwụ, ehichapụla / jupụta" ozugbo n'elu wee mee ya. Hazie ụkọ dị ka MCAR/MAR/MNAR wee dee izi ezi gị n'otu ahịrịokwu. Nyochaa ndị na-emegiderịta onwe ha n'otu n'otu wee kpebie nke bụ ndudue na nke dị adị. N'ikpeazụ, mepụta tebụl "tupu-mgbe" tupu / mgbe ihichachara ma kọọ ma ọ bụrụ na enwere mgbanwe ọ bụla a na-atụghị anya ya.
ndetu
- [ ] E hichara m data raw n'ụdị dị iche na-agbanweghị ya.
- [ ] Ekewara m ụkọ ahụ dị ka MCAR/MAR/MNAR wee họrọ usoro ahụ nke ọma.
- [ ] M na-enyocha ndị na-apụ apụ n'otu n'otu ma hà bụ ihie ụzọ ma ọ bụ na ha dị adị; Anaghị m ehichapụ ya na kpuru ìsì.
- [] Anlere m ọnụọgụ nleba anya na nchịkọta nchịkọta mgbe usoro nhicha ọ bụla gasịrị.
- [] Edere m usoro niile na koodu na ahịrị okwu; mgbanwe.
- [] M dabere na nhicha na ihe ọmụma nke usoro na-emepụta data, ọ bụghị na nsonaazụ nyocha.