Mwepu data na mmụgharị: Ọdachi na ịdọ aka ná ntị

Uru:

• Ikike ịmata ụdị mgbapu data (ebumnobi, oge, nhazi ụzọ, ahịrị agbakọtara) wee jụọ akara 'dị oke mma ịbụ eziokwu' dị ka mkpu.
• Ikike iji gbochie ntapu site na nkewa mbụ nke setịpụ ule, pipeline na nkewa ziri ezi (usoro oge / otu)
• Ikike ime nyocha nke a na-emegharị ya na mkpụrụ osisi edozi, njikwa ụdị na iwepụ usoro ntuziaka

Enwere mmejọ abụọ na-emebi mgbalị kachasị na sayensị data, ma ha abụọ dị aghụghọ n'ihi na ha na-eduga ná ọdachi mgbe ihe niile "yiri ka ọ dị mma." Nke mbụ bụ ntapu data: ihe nlereanya ahụ na-arụ ọrụ nke ọma na nhazi ule mana ọ dara na mmepụta. Nke abụọ bụ irreproducibility: ị na-agba ọsọ nyocha ọnwa isii ka e mesịrị ma nweta nsonaazụ dị iche. Nke a na nkeji raara onwe ya nye ịmara na izere ọnyà abụọ a na omimi. AI nwere ike ịbawanye ihe ize ndụ abụọ ahụ (na-ebute ngwa ngwa, na-atụ aro ntanye zoro ezo, na-eme ka ọ dịrị gị mfe ịme usoro ntuziaka) mana ọ nwekwara ike belata ha ma ọ bụrụ na ejiri ya mee ihe nke ọma. Ihe dị iche bụ na ịdọ aka ná ntị.

Mwepu data: ụdị clairvoyant

Mwepu data bụ mgbe ihe nlereanya ahụ na-ahụ ozi n'oge ọzụzụ na ọ gaghị enwe n'oge amụma n'ezie. Ihe nlereanya a "na-aghọ aghụghọ" na ozi a, na-ele anya nke ọma na nhazi ule, ma na-akụda na mmepụta na-enweghị ozi ahụ. Ihe mgbaàmà nke ntapu na-abụkarị otu: ọ dị oke mma ịbụ eziokwu. Tupu ị na-aṅụrị ọṅụ mgbe ị na-ahụ 99% ziri ezi, ị kwesịrị ị na-achọ leaks.

Ndị isi ụdị ntapu bụ:

1. Mgbapu ihe mgbaru ọsọ: Otu njirimara bụ nsonaazụ nke ebumnuche. Na amụma "akagburu" kọlụm "ụbọchị kagbuo" ma ọ bụ "ego nkwụghachi" bụ nsonaazụ nke ebumnuche; A ga-ejupụta ha naanị mgbe nsonaazụ doro anya.

2. Oge ntapu: Na-ebute ozi n'ọdịnihu na oge gara aga. Mgbe ị na-agbakọ "nkezi ụbọchị 30 ikpeazụ", gụnyere ụbọchị gachara ụbọchị amụma, ma ọ bụ kewaa usoro oge na-enweghị usoro.

3. Ntugharị tupu nhazi: Mgbanwe mmụta dị ka scaling, ndochi, nzuzo site na data niile tupu nkebi ọzụzụ / ule. Nkezi nke data ule na-egbochi ọzụzụ.

4. Ntupu ahiri oyiri/gbakọtara: Ahịrị nke otu onye nọ na ọzụzụ na nnwale (nleta abụọ nke otu onye ọrịa n'ụdị dị iche iche). Ihe nlereanya na-eburu onye ahụ n'isi.

Ụdị ntapu

Kedu ka esi mụọ

Otu esi egbochi

lekwasịrị anya

Ogidi nke bụ nsonaazụ nke ebumnuche

"Enwere m ya n'oge amụma" ule

oge ntapu

Na-ebute ọdịnihu n'oge gara aga

Nkewa oge, njikwa windo

Na-ahazi ntanye

Ntughari ekewaburu ụzọ

Pipeline, dabara naanị site na ọzụzụ

Mgbapụta ahịrị agbakọtara

Otu nkeji na nhazi abụọ

Kewara site na otu (GroupKFold)

Naanị ịdọ aka ná ntị iji gbochie ntapu

Ngwọta a na-ahụkarị maka ụdị ntapu niile na-agbada ruo n'otu ahịrịokwu: Wepụ ihe nlele ahụ ozugbo enwere ike iji ṅomie ọdịnihu n'ezie, ma 'na-akụzi' ya ihe ọ bụla. Na omume, nke a pụtara: buru ụzọ kewaa, wee mụta mgbanwe niile naanị site na ọzụzụ ma tinye ha na pipeline (ihe owuwu nke na-anakọta nzọụkwụ niile n'otu agbụ). Maka njirimara ọ bụla, jụọ ajụjụ a "m nwere ozi a n'oge amụma?" Ọ bụrụ na e nwere oge, kewaa ya n'usoro oge; Ọ bụrụ na otu unit ahụ na-emegharị ugboro ugboro, kewaa site na otu.

Akpachara anya: Akụkụ kacha dị ize ndụ nke ntapu bụ na ọ na-egosi onwe ya dị ka ihe ịga nke ọma. Ihe nlereanya ọjọọ ga-apụta ìhè na-arụpụta ihe na-adịghị mma ma a ga-ahụ ya; Ihe nlere anya na-arụ ọrụ nke ukwuu, na-amasị onye ọ bụla, ma tinye ya na mmepụta - nke ahụ bụ ebe ọdịda ahụ na-amalite. Ọ bụ ya mere nsonaazụ "ezigbo mma" ji bụrụ ihe na-akpata mkpu, ọ bụghị ememe.

Reproducibility: nweta otu nsonaazụ ugboro abụọ

Ntugharị bụ ikike ị nweta otu nsonaazụ ahụ mgbe ị na-eme nyocha ọzọ n'oge ọzọ, na igwe ọzọ. Enweghị nke a, nyocha gị bụ ihe mberede, ọ bụghị sayensị. Isi ihe na-akpata na ihe ngwọta na-emebi mmepụtagharị:

Nzọụkwụ aka: Iji aka na-agbanwe cell na Excel, na-eji aka na-edezi eserese. Ngwọta: nwee nzọụkwụ ọ bụla na koodu.

Ọdịiche edoghị anya: Ọzụzụ ụdị, nlele, nkewa gụnyere enweghị usoro. Ngwọta: dozie mkpụrụ na-enweghị usoro (uru mbụ nke generator random) (random_state=42).

Ụdị mgbanwe: Nsonaazụ nwere ike ịgbanwe mgbe ụdị ọba akwụkwọ gbanwere. Ngwọta: dozie ndabere (requirements.txt, faịlụ gburugburu).

Enweghị idekọ ndekọ: Amabeghị nke data, koodu, nke oke ejiri. Ngwọta: njikwa ụdị (Git - sistemụ na-echekwa ụdị koodu niile) yana ụdị data.

"Ọ na-arụ ọrụ naanị na igwe m": Ngwọta: detuo gburugburu ebe obibi, jiri arịa (Docker) ma ọ bụrụ na ọ ga-ekwe omume.

Obere ikpe atọ

Ikpe 1 - ihichapụ ebumnuche. Nyocha ahụike gosipụtara kọlụm "ọgwụ ịpụ apụ" na ịkọ "ma a ga-anabata onye ọrịa ọzọ." Ejuputara kọlụm a naanị mgbe ahapụchara onye ọrịa ahụ. Ụdị ahụ nyere 96%, na mmepụta 61%. Ọrụ izu asatọ bụ ihe mkpofu. Ihe nkuzi: jụọ atụmatụ ọ bụla "ọ nọ n'oge amụma?"

Ikpe 2 - Precessing ntapu. Otu otu tụbara data niile wee kewaa ya. Ọnụ ọgụgụ nke data nnwale ahụ gụnyere n'ịkọba. CV akara 89%, n'ezie mmepụta 76%. Ihe ịga nke ọma adịgboroja ahụ kwụsịrị mgbe m kwagara Pipeline ma mụta maka mgbanwe naanị site na ọzụzụ. Ihe nkuzi: kesaa ụzọ, gbanwee ma emechaa.

Ikpe 3 - Ọdịda imepụtagharị. Onye nyocha chọrọ imelite eserese ọ gosipụtara na njikwa ọnwa atọ ka e mesịrị mana ọ nweghị ike icheta ka o si mepụta ya; ejiri aka mee ọtụtụ usoro na Excel. Nsonaazụ arụpụtaghị ntụkwasị obi wee maa jijiji. Ihe nkuzi: enweghị usoro ntuziaka, ihe niile dị na koodu na Git.

Ndebiri anọ enwere ike iṅomi

1) Nlele ntapu:

Ọrụ gị: onye nyocha leak. Ebumnuche: "churn" (0/1), ụbọchị ntụaka amụma: record_date. M ga-enye gị ndepụta atụmatụ a. Maka atụmatụ ọ bụla: (a) ọ bụ nsonaazụ nke ebumnuche ahụ, (b) ọ dị m n'oge amụma, (c) windo oge na-agụnye ọdịnihu? Kaa ya akara dị ka "adịghị ize ndụ/na-enyo enyo / leak" wee dee ihe kpatara ya. atụmatụ: [ndepụta]

2) pipeline na-adịghị akwụ ụgwọ:

Tọlite ​​Pipeline sklearn: nke mbụ kewara ụgbọ oloko/ule (stratified, seed=42), wee dabaa ihe niile preprocessing (impute, scale, encode) n'ime pipeline site na ọzụzụ naanị. Kọwaa ihe kpatara koodu ahụ enweghị nhịahụ, nke amụtara ebe.

3) Koodu ndetu ndeghari mmeghari:

Achọrọ m ime ka nyocha m gbanwee. Tụnye koodu/nhazi nke na-agbakwunye: (1) mkpụrụ siri ike maka enweghị usoro niile, (2) ụdị ọba akwụkwọ ejiri, (3) mkpado ụbọchị/ụdị maka data na mmepụta. Nyekwa m ndepụta nyocha iji hụ na enweghị usoro ntuziaka.

4) Nkebi agbakọtara (otu nkeji ntapu):

Na data otu client_id dị n'ọtụtụ ahịrị. Mee nkewa (GroupKFold orGroupShuffleSplit, otu = client_id) nke na-egbochi otu onye ahịa ịnọ na ọzụzụ na ule. Tinye koodu iji nyochaa na ọ nweghị ndị ahịa nọ na stịpụ abụọ ahụ ma kewara.

Ngwa ngwa adịghị ike / Ike siri ike

Ngwa ngwa adịghị ike:

Ihe nlereanya m weghachiri ezi 98% nke ọma, ọ bụ na ọ bụghị nnukwu? Bulite koodu ahụ.

Ememme 98% na-ezochi ihicha ahụ. Tupu ịkwalite, ekwesịrị ịjụ ma akara a ọ dị adị ma ọ bụ na ọ bụghị.

Mgbasa ozi siri ike:

Ọrụ gị: onye nyocha leak. Ihe nlereanya m na-eweghachite izi ezi 98% na nhazi ule, nke na-ada "dị mma nke ukwuu ịbụ eziokwu" nye m. Lelee: (1) bụ atụmatụ ọ bụla sitere na ebumnuche ahụ, (2) bụ ntụgharị emere tupu kewaa, (3) bụ otu nkeji na nhazi abụọ, (4) enwere oge ọ bụla. Depụta ihe ọ bụla na-enyo enyo; Lekwasị anya n'ịchọta oghere ahụ, ọ bụghị idozi akara ahụ.

N'ebe a, a na-ewere akara dị elu dị ka ihe ịrịba ama a ga-ajụ ajụjụ, ọ bụghị ime ememe.

Mmejọ ndị nkịtị

• Na-eme mmemme "ezigbo mma". Akara dị oke mma na-abụ eziokwu bụ mgbakasị anya, ọ bụghị mmezu.
• Ịmụta mgbanwe site na data niile tupu nkewa. Ihe ntapu kachasị; Were pipeline kewaa nke mbụ.
• Na-ekewa usoro oge na-enweghị usoro. Ihe nlereanya ahụ na-ahụ ọdịnihu; Nkewa oge oge dị mkpa.
• Hapụ otu unit ahụ na nhazi abụọ. Ihe nlereanya na-eburu onye ahụ n'isi; Kewaa site na otu.
• Ejighị aka na-abanye na-ede na koodu. Nyocha ahụ na-aghọ nke na-enweghị ike imepụtaghachi; ihe niile kwesịrị ịdị na koodu na Git.

NDỤMỌDỤ: Dee ahịrịokwu abụọ "nkwenye nsọpụrụ" na mmalite nke ọrụ gị: "Enweghị m aka n'ule e debere n'ụzọ ọ bụla tupu m ahụ ya na mmepụta. Nzọụkwụ ọ bụla dị na koodu ahụ, a na-edozikwa mkpụrụ ahụ." Ọ bụrụ na ịnweghị ike ibinye aka n'ahịrịokwu abụọ a n'eziokwu, nsonaazụ gị abụghị nke a pụrụ ịdabere na ya.

Na nchịkọta

Mwepu data na enweghị mpụtagharị bụ njehie abụọ kachasị ọnụ ọnụ na sayensị data. Leakage bụ ihe nlereanya nke ọhụụ nke ọdịnihu na-egosi onwe ya dị ka ụgha ịga nke ọma; Ihe ngwọta bụ ikewa ule ahụ n'oge, mụta mgbanwe naanị site na ọzụzụ (paịpụ), jụọ njirimara ọ bụla ajụjụ a "Enwere m ya n'oge amụma" ma mee nkewa ziri ezi (usoro oge / otu). Mmeghari na-enwe ike nweta otu nsonaazụ ugboro abụọ; Ihe ngwọta ya bụ iji aka wepụ nzọụkwụ, pinye mkpụrụ osisi, ifriizi nsụgharị, ma debe ihe niile na Git. AI nwere ike ịbawanye ma ọ bụ belata ihe egwu ndị a; Ọ bụ ịdọ aka ná ntị gị na-ekpebi.

Ọrụ ngwa

Were ndepụta njirimara nke ihe nlereanya ị wuru (ma ọ bụ nke echiche) wee jụọ atụmatụ nke ọ bụla ajụjụ a "Enwere m ozi a n'oge amụma?" na ederede; Chọta opekata mpe otu onye na-achọ ịgbapụta. Wee dejupụta ndepụta nlele iji mee ka nyocha gị nwee ike imepụtaghachi: a na-edozi mkpụrụ ahụ, enwere usoro ntuziaka, enwere ụdị edebanyere aha, ọ dị na Git. Dozie adịghị ike.

ndetu

• [ ] Ajụrụ m akara "dị mma nke ukwuu ịbụ eziokwu" dị ka njiri anya?
• [ ] Amụtara m mgbanwe niile mgbe nkewa gasịrị, naanị site na ọzụzụ?
• [ ] Ekewala m dịka usoro oge/otu (usoro oge/GroupKFold) siri dị?
• [ ] Have I made all randomness repeatable with fixed seed?
• [ ] Ewepụrụ m usoro ntuziaka wee dowe ihe niile na njikwa koodu na njikwa ụdị?