Uru:
- Ikike iji wepụta njiri mara bara uru na ihe ọmụma ngalaba wee tinye usoro nhazi n'ụdị dabara adaba (otu ọkụ, akara, ebumnuche)
- Ikike iji tụọ ọnụọgụ ọnụọgụ dị ka ụdị ụdị (ọkọlọtọ, normalization) ma zere mkpacha na-enweghị isi ma ọ bụ ezughị ezu.
- Ikike ịzenarị ntanye njirimara site n'ịmụ mgbanwe niile mgbe ọzụzụ / ule kewara na naanị site na ọzụzụ
Enwere okwu ochie n'ịmụ igwe: "Mmụta igwe etinyere bụ n'ezie injinia njirimara." N'ihi na ihe ịga nke ọma nke ihe nlereanya na-abịakarị site na ntinye ị na-enye ihe nlereanya, karịa nke algọridim ị na-ahọrọ. Injinia njiri mara bụ nka nke iwepụta akara bara uru sitere na data raw nke ihe nlereanya ahụ nwere ike ịmụta na ya. Ọgụgụ isi bụ isi mmalite nke echiche n'oge a: mgbe ị jụrụ "ihe njirimara nwere ike ịmepụta site na data a", ọ depụtara ọtụtụ aro. Ma ụfọdụ n'ime aro ndị a nwere ike ịba uru, ụfọdụ nwere ike ghara ịba uru, na ụfọdụ nwere ike ịdị ize ndụ (leak). Ọ bụ ọrụ gị ịhazi ya.
Gịnị mere e ji mara engineering
Raw data adịkarịghị abịa na ihe nlereanya n'ụdị ya kacha mma. Ọ bụ ezie na kọlụm "Ụbọchị ọmụmụ" naanị enweghị isi, uru "afọ" sitere na ya bụ mgbama siri ike. Ị nwere ike wepụ àgwà ndị dị ka "ụbọchị izu", "ụbọchị/abali", "ọ bụ ezumike" na "ịhazi timestamp". Ị nwere ike ijikọ kọlụm abụọ iji mepụta oke ("ụkpụrụ ụgwọ/ụgwọ ego"). N'ebe a, injinia njirimara na-atụgharị ihe ọmụma ngalaba ka ọ bụrụ akara mgbakọ na mwepụ; Ma nke ahụ bụ kpọmkwem ihe kpatara na ọ bụ ọkwa nke chọrọ ọgụgụ isi mmadụ.
Na-atụgharị mgbanwe categorical ka ọ bụrụ ọnụọgụ: nzuzo
Ụdị n'ozuzu na-arụ ọrụ na nọmba, ọ bụghị ederede. Ịtụgharị categorical variables (dị ka obodo, agba, ụdị ngwaahịa) n'ime nọmba ka a na-akpọ encoding. Ụzọ atọ nkịtị:
Otu koodu na-ekpo ọkụ: Mepee kọlụm dị iche nwere uru 0/1 maka otu ọ bụla. Maka "obodo", Istanbul, Ankara, Izmir ogidi ndị e guzobere; Ọ bụrụ na onye ahịa si Istanbul, naanị kọlụm ahụ ga-abụ 1. Ezigbo mgbe ọnụ ọgụgụ nke edemede dị ntakịrị; Ọ bụrụ na e nwere ọtụtụ edemede ọ na-emepụta ọtụtụ narị ogidi (nke a na-akpọ "size mgbawa").
Ndokwa akara: Na-enye ọnụọgụ n'ụdị nke ọ bụla (Istanbul=0, Ankara=1). Ọ dị mfe, ma ọ nwere ike na-akụziri ihe nlereanya na mberede usoro (dị ka Ankara> Istanbul); ya mere a na-eji nlezianya mee ya n'usoro n'usoro.
Ndokwa ebumnuche: Dochie udi otu ọ bụla na nkezi nke agbanwe agbanwe n'ụdị ahụ. Ọ dị ike nke ukwuu, mana isi iyi kachasị dị ize ndụ: ọ bụrụ na ị na-eburu n'uche ebumnuche nke data ule, ihe nlereanya ahụ na-ahụ ọdịnihu. Ekwesịrị ịgbakọ ya naanị site na data ọzụzụ na nke ọma (n'ime nkwenye obe).
Scaling: ọnụ ọgụgụ buru ibu anaghị emetụta ihe nlereanya ahụ
Ụfọdụ ụdị (ndị dabere na anya, ụdị ahịrị, netwọkụ akwara) na-enwe mmetụta maka nha nke mgbanwe. Ọ bụrụ na "ego" (0-500,000) na "afọ" (0-100) dabara n'otu ụkpụrụ ahụ, ego nwere ike na-achịkwa nanị n'ihi na ọ ka ukwuu. Scaling na-edozi nke a. Ụzọ abụọ a na-ahụkarị: ọkọlọtọ (na-atụgharị uru ọ bụla ka ọ bụrụ "ụkpụrụ ọkọlọtọ ole na-apụ na nke pụtara") na normalization (min-max normalization - na-atụgharị ụkpụrụ n'ime oke 0-1). Ụdị ndị dabeere na osisi (osisi mkpebi, oke ọhịa na-enweghị ihe ọ bụla) bụ ihe na-enweghị mmetụta, ha anaghị achọ nhazi.
Kpachara anya: A ga-agbakọ usoro nyocha na ntinye koodu (pụtara, ndapụta ọkọlọtọ, eserese-pụtara maapụ) naanị site na data ọzụzụ, wee tinye otu ihe ahụ na data nnwale. Gụnyere data nnwale bụ ntapu ma mee ka ihe nlereanya gị yie ka ọ dị mma karịa ka ọ dị n'ezie.
Obi nke ntapu na atụmatụ injinia
Ọgbọ atụmatụ bụ ebe nhapu data na-esitekarị. Mmejọ abụọ a na-ahụkarị: ntapu oge - imepụta atụmatụ gụnyere ozi ga-eme n'ọdịnihu (gụnyere ụbọchị mgbe ụbọchị amụma gachara mgbe ị na-agbakọ “nkezi ụbọchị 30 ikpeazụ”). Ọnụọgụ ọnụ ọgụgụ - ịgbakọ njirimara (nchịkọta ọnụ ọgụgụ, uru nzuzo ebumnuche) site na data niile tupu kewaa ọzụzụ/ule. Iwu: mụta mgbanwe ọ bụla mgbe ịmechara ụgbọ oloko/ule nkewa mbụ na naanị site na data ọzụzụ. Ụzọ kachasị mma isi mee nke a mgbe niile bụ iji pipeline - ihe nhazi nke na-anakọta mgbanwe niile n'otu yinye ma tinye ha mgbe ọ kewasịrị.
Usoro
maka gini
Ihe ize ndụ nke ntapu
ndetu
Otu-ọkụ ngbanwe
Na-agbanwe agbanwe na nkeji ole na ole
ala
Na-agbawa nha n'ọtụtụ edemede
Ntinye akara
Ụdị ahaziri
ala
Apụghị n'usoro na-akụzi usoro na-ezighi ezi
ngbanwe ebumnuche
Otutu otutu, mgbama siri ike
nke ukwuu
Naanị site na agụmakwụkwọ, na CV
Standardization
Ụdị ahịrị / anya
ọkara
Parameter dabere naanị na agụmakwụkwọ
Njirimara mpio oge
usoro oge
elu
Tinye ọdịnihu
Obere ikpe atọ
Ikpe 1 - Ihe onwunwe bara uru. Otu otu kredit mepụtara atụmatụ “ụgwọ-ụgwọ-ụgwọ ego” sitere na kọlụm “ego kwa ọnwa” na kọlụm “ụgwọ ụgwọ ọnwa kwa ọnwa”. Otu njirimara ewepụtara abawanyela izi ezi ihe nlereanya site na 71% ruo 79%; n'ihi na ọ bụ ọnụ ọgụgụ, ọ bụghị ego zuru oke, bụ nke kpebiri n'ezie ihe ize ndụ ahụ. Nkuzi: oke ewepụtara site na ihe ọmụma ngalaba bụ akara siri ike.
Ikpe 2 - Mgbapụta ndochi anya ebumnuche. Otu otu tụgharịrị “zipu koodu” ka ọ bụrụ ọnụọgụ nwere ngbanwe ebumnuche (nkezi ọnụego churn na mpaghara ahụ), mana mere ya site na data niile tupu ikewa. Ihe nlereanya ahụ nyere 94% na nhazi ule, na-agbada na 68% na mmepụta. 6 izu mgbalị efu. Ihe nkuzi: A na-eme koodu ebumnuche nke ọma, naanị n'ime ọzụzụ.
Ikpe 3 - Ichefu echefu. Otu onye nyocha nyere ego ha nwetara (0-400,000) na afọ ndị ahịa (18-75) n'ụdị dabere n'ebe dị anya na-enweghị mkpali. Ihe nlereanya ahụ na-ele anya ihe fọrọ nke nta ka ọ bụrụ naanị ego, na-akụda mmetụta afọ. Mgbe agbakwunyere scaling, nkewa ghọrọ ihe bara uru. Ihe nkuzi: A naghị eleghara ihe nrịbama anya na ụdị anya/linear.
Ndebiri anọ enwere ike iṅomi
1) Ọgbọ echiche atụmatụ (mwepụ dịịrị gị):
Ọrụ gị: onye enyemaka injinia. Kọlụm df m: ụbọchị ọmụmụ, Order_time (timestamp), ego_tl, ụgwọ_tl, obodo, ngwaahịa_category. Ebumnuche: "a ga-akwụghachi ego ahụ" (0/1). Tụnye atụmatụ 15 enwere ike ịmepụta site na kọlụm ndị a; kọwaa ihe ize ndụ nke ntapu (ala / ọkara / elu) maka nke ọ bụla. Kanye akara nke ọma ndị nwere ozi n'ọdịnihu.
2) Ndozi nzuzo (nkewachara):
Dee koodu nke otu-ọkụ na-etinye koodu "obodo" na "ụdị_ngwaahịa". DỊ MKPA: dabara na koodu ntinye naanị na data ọzụzụ, wee gbanwee data nnwale (na sklearn OneHotEncoder). Kọwaa otu i si ejikwa ngalaba anaghị ahụ anya (handle_unknown) na agụmakwụkwọ.
3) Ntugharị na-enweghị nkwụsị na Pipeline:
Tọlite Pipeline sklearn: tinye StandardScaler na kọlụm ọnụọgụgụ, OneHotEncoder na kọlụm categorical, tinye ọkwa ọkwa na njedebe. Na-ekwe nkwa mgbanwe niile ka a na-amụta mgbe ụgbọ oloko/ule kewara na naanị site na ọzụzụ. Kọwaa koodu ahụ na ihe kpatara na ọ bụ n'efu.
4) Njirimara mpio oge (njikwa ntapu):
Mepụta njirimara "ọnụọgụ nke iwu n'ime ụbọchị 30 gara aga" maka onye ahịa ọ bụla, mana etinyela data mgbe ụbọchị amụma gachara. Kọwaa ahịrị n'ahịrị na koodu ahụ anaghị eleba anya n'ọdịnihu. M ga-enye kọlụm ụbọchị ntụaka.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike:
Tinye ezigbo akụrụngwa na data a.
"Ọ dị mma" enweghị nkọwa, ebumnuche amabeghị, enweghị njikwa mgbapu. AI na-ewepụta atụmatụ enweghị usoro, ikekwe leaky.
Mgbasa ozi siri ike:
Ọrụ gị: engineer atụmatụ. Ebumnuche: "churn n'ime ụbọchị 30" (0/1), ụbọchị ntụaka echere: save_date. Enwere akụkọ azụmahịa na df.Task: Mepụta atụmatụ 8, zaa ajụjụ a "Enwere m ozi a n'oge amụma" maka onye ọ bụla. Na-agbakwụnye ụbọchị ka ụbọchị ntụaka gachara na atụmatụ mpio oge. Dee koodu ahụ n'ụzọ dakọtara na pipeline ga-egbu ma mpaghara ụgbọ oloko/nnwale gachara.
N'ebe a, a na-akọwapụta ebumnuche, oge ntụaka na njikwa ntanye site na mmalite.
Mmejọ ndị nkịtị
- Ịmụta mgbanwe site na data niile tupu nkewa. Ọ bụrụ na oke nchacha/ngbanwe na-ahụ data nnwale ahụ, ntapu na-apụta.
- Ojiji nke itinye koodu n'akpachapụghị anya. Ọ bụ usoro kachasị ike mana nke kachasị dị nro; dị nnọọ site na ọzụzụ, na cross nkwado.
- Na-agbakwunye ọdịnihu na njirimara windo oge. Ọ bụrụ na abanyela ngụkọ "ụbọchị 30 ikpeazụ" mgbe ụbọchị amụma gasịrị, ihe nlereanya ahụ na-ahụ ọdịnihu.
- Ntucha na-enweghị isi na ụdị osisi na ihe na-ezughị ezu na nhazi nke linear. A na-eme mkpebi nlegharị anya dịka ụdị ụdị.
- Na-agbakwụnye atụmatụ atụmatụ AI ọ bụla na-enweghị ajụjụ. Aro nwere ike ịgụnye atụmatụ na-abaghị uru na nke na-agbapụta.
Ndụmọdụ: Dee otu ajụjụ maka njirimara ọ bụla ị mepụtara: "Enwere m ike ịgbakọ uru a site na ozi m nwere n'oge m na-ebu amụma?" Ọ bụrụ na azịza ya abụghị nke doro anya "ee", ejila njirimara ahụ. Otu ọzụzụ a na-ewepụ ọtụtụ ntapu metụtara atụmatụ.
Na nchịkọta
Injinia njiri mara bụ nka nke imepụta akara bara uru sitere na data raw na-ekpebikarị ihe ịga nke ọma nke ihe nlereanya karịa algọridim. Ederede categoricals (otu-ekpo ọkụ, labelụ, ebumnuche), ọnụọgụ ọnụọgụ (ọkọlọtọ, normalization) na imepụta njiri mara nke nwere ihe ọmụma ngalaba bụ ngwaọrụ ndị bụ isi. Mana usoro a bụkwa obi nke ntapu: a ga-amụta mgbanwe niile mgbe ọzụzụ / ule kewara na naanị site na data ọzụzụ. AI na-emepụta ọtụtụ echiche; Ọ bụ ikpe mmadụ na-ekewa ihe bara uru na nke dị ize ndụ.
Ọrụ ngwa
Họrọ mgbanwe ebumnuche wee chepụta opekata mpe atụmatụ ise sitere na kọlụm ị nwere. Maka onye ọ bụla n'ime ha, zaa ajụjụ a "m dị n'oge amụma" na ederede ma kpochapụ ma ọ dịkarịa ala otu dị ka "oke ihe ize ndụ nke ntapu". Wee tinye akara njirimara echekwara na pipeline nke a ga-emejuputa ya mgbe nkebi gachara.
ndetu
- [] Etinyere m mgbanwe niile ka ụgbọ oloko/ule kewara?
- [] Amụtara m naanị scaling/encoding paramita site na ọzụzụ?
- [ ] Azala m ajụjụ a "enwere m ya n'oge amụma" maka njirimara ọ bụla?
- [] Enweela m nlekọta nke ọma site na ụzọ ndị nwere nnukwu ihe ize ndụ dị ka itinye koodu ebumnuche?
- [] Ekpebila m itule nke ọma maka ụdị ụdị (osisi/linear)?