Uru:
- Ikike ịhọrọ metric kwesịrị ekwesị maka ụdị nsogbu yana ọnọdụ azụmahịa (PR-AUC / cheta na data na-ezighi ezi, MAE/RMSE na nlọghachi azụ) ma ghọta n'elu / n'okpuru mmụta.
- Ikike ịtụgharị metric ọ bụla megide usoro ntọala wee tụọ mgbakasị na ikewapụ mkpọtụ site na agamnihu site na nkwado obe
- Ikike ịkọ nsonaazụ enweghị nchekwube site na ijikwa hyperparameters na ntọala nkwado yana iji setịpụ ule naanị na njedebe.
Ọzụzụ ihe nlere anya (ọzụzụ: usoro mmụta usoro sitere na data) bụ nke a na-ahụ anya mana nke kachasị na-eduhie eduhie nke injinịa ML. Ọ na-apụta n'ihi na ọ na-emepụta nọmba na-eju afọ dị ka "ezigbo 95%". Na-eduhie eduhie n'ihi na ọnụ ọgụgụ ahụ na-abụkarị azịza ziri ezi maka ajụjụ na-ezighi ezi. N'ime nkeji a, a na-atụle agụmakwụkwọ na nyocha na ọzụzụ injinia; Anyị na-eji ọgụgụ isi arụ ọrụ dịka onye mmekọ na nhazi nnwale ma dabere na mkpebi ahụ na nha.
Echiche nke okirikiri ọzụzụ
Ihe nlereanya na-amụta ụkpụrụ dị na data ahụ site na ibelata ọrụ mfu: ọrụ na-eji ọnụọgụ nke na-atụ njehie ihe nlereanya ahụ. Algọridim njikarịcha (dịka mgbada gradient) na-ebelata mfu ahụ site n'ịgbanwe usoro n'usoro site na nzọụkwụ. Ebumnuche abụghị iburu data ọzụzụ ahụ n'isi, kama iji chịkọta ya na data a na-enwetụbeghị ụdị ya.
Ihe egwu abụọ bụ isi:
- Ngosipụta oke: Ihe nlereanya ahụ na-eburu data ọzụzụ n'isi wee daa na data ọhụrụ. Ọganihu ọzụzụ dị elu, ihe ịga nke ọma nkwenye dị ala.
- Ịdị mma: Ụdị enweghị ike ijide ụkpụrụ; Ma ọzụzụ na nkwado nkwado dị ala.
Ịchọta nguzozi bụ nkà mmụta. Ntọala nkwado dị ebe ahụ iji nyochaa nguzozi a: ọ bụrụ na ọganihu nkwado amalite ibelata mgbe ọganihu ọzụzụ na-abawanye, mmụta amalitela.
NDỤMỌDỤ: Kpebie ọzụzụ na nkwado nkwado ọnụ na nzọụkwụ ọ bụla. Isi ebe akụkụ abụọ ahụ na-amalite ịgbawa bụ ebe mmụta na-amalite ma bụrụ oge kwesịrị ekwesị iji "kwụsị mmalite".
Nhọrọ metric: mkpebi kacha mkpa
Metric na-ezighị ezi na-eme ka ihe nlereanya dị mma na-eme ka ọ dị njọ na ihe nlereanya na-adịghị mma. Nsogbu a na-ekpebi metric:
- Nkewa na-ezighi ezi (otu klaasị dị ụkọ, dịka aghụghọ): izi ezi na-eduhie eduhie. Ihe nlereanya nke na-ekwu "kpọọ ihe niile nkịtị" ga-enweta 99% ziri ezi mana ọ gaghị enweta otu wayo. Kama, nkenke ( ole n'ime ihe m jidere dị mma), cheta ( ole n'ime ihe m jidere bụ eziokwu dị mma) yana nguzozi F1 ma ọ bụ PR-AUC na-eji.
- Nhazi ziri ezi: izi ezi na ROC-AUC nwere ike dabara adaba.
- Ntughari (ntụle ọnụọgụ): MAE (pụtara njehie zuru oke), RMSE (na-ata ahụhụ nnukwu njehie), MAPE (njehie pasent).
- Ọkwa/nkwanye: NDCG, MRR, Cheta @K.
Ma nkenke ma ọ bụ icheta dị mkpa dabere na ọnọdụ azụmahịa. Cheta (anaghị efu ndị ọrịa ọ bụla) bụ ihe kacha mkpa na nyocha ọrịa kansa; Izi ezi na nzacha spam (anaghị eziga ozi-e dị mkpa na spam) dị mkpa. Nke a bụ mkpebi azụmahịa, ọ bụghị teknụzụ, nke injinia na onye nwe ya mere ọnụ.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike: "Tulee arụmọrụ ihe nlereanya m, izi ezi 0.97."
Ike ngwa ngwa: "Enwere m ụdị nchọpụta aghụghọ; ọnụ ọgụgụ dị mma nke klas bụ 1.5% nke ziri ezi ka a na-akọ dị ka 0.97. Kọwaa ihe mere metric a nwere ike isi na-eduhie eduhie, gwa m nke metrics (nkenke, cheta, PR-AUC) M kwesịrị ịhọrọ na ihe kpatara ya. Gbakọọkwa otú ziri ezi 'na-akpọ ihe ọ bụla na-adịghị mma' baseline nlereanya ga-enweta na nke a n'ezie na data, gbakwunyere na nke a data.
Ọdịiche: ike ngwa ngwa na-enye oke klaasị na ọnọdụ azụmahịa; ọ na-ajụkwa maka ntụnyere ụkpụrụ ntọala - nke a bụ arịlịka kacha mkpa maka ma metrik ọ bara uru.
Baseline: metric enweghị ntụnyere enweghị isi
Otu metrik adịghị mma ma ọ bụ ihe ọjọọ n'onwe ya; Ọ dị mma ma ọ bụ ihe ọjọọ dị ka ihe nlereanya bụ isi. Ihe nlereanya bụ isi bụ ngwọta kachasị mfe nke na-abata n'uche: "na-agwa ọtụtụ ndị klas mgbe niile", "kwughachi uru nke izu gara aga", "chee ihe ọ pụtara". Ọ bụrụ na ihe nlereanya gị enweghị ike ịgafe ngwọta a dị mfe n'ụzọ doro anya, mgbagwoju anya niile bụ ihe efu.
Kpachara anya: Ahịrịokwu ahụ "Ihe nlereanya m bụ 85% ziri ezi" n'onwe ya anaghị ekwu ihe ọ bụla. Ọ bụrụ na isi ihe nlereanya enwetala 84%, ihe nlereanya gị fọrọ nke nta ka ọ bụrụ ihe efu; Ọ bụrụ na ụdị isi na-enweta 50%, ihe nlereanya gị zuru oke. Na-ekwu okwu mgbe niile na usoro nke isi ihe nlereanya.
Nkwenye na ntụkwasị obi
Otu ọzụzụ / ule nkewa nwere ike ịbụ n'ihi ohere. Cross-validation: ikewa data n'ime akụkụ k na ịnwale akụkụ nke ọ bụla n'usoro na-egosi ka arụmọrụ si kwụsie ike. Na 5-fold cross nkwado ị na-enweta ise dị iche iche akara; Ngbanwe ha pụtara na ọkọlọtọ dị mkpa. Ọ bụrụ na nkezi bụ 80% mana ndịiche bụ ± 12%, ihe nlereanya gị anaghị akwụsi ike - ọ nwere ike na-akpa àgwà dị iche iche na-esote ogbe data.
Nke a dịkwa oke egwu maka "atụnyere ihe atụ abụọ". Ọ bụrụ na Model A nwetara 81% na Model B nwetara 82%, B ọ ka mma n'ezie? Ọ bụrụ na ntụgharị ahụ bụ ± 3%, ọdịiche a nwere ike ịbụ mkpọtụ. Tụlee ma ọdịiche ahụ ọ dị mkpa tupu ị kpebie.
Nlegharị anya hyperparameter: na nkwado, ọ bụghị nnwale
Hyperparameters (nhazi ejiri aka kpebisie ike tupu ọzụzụ-ọnụego mmụta, omimi osisi, wdg) na ntọala nkwado. A na-eji ihe nlele ule naanị na njedebe, otu ugboro. Ọ bụrụ na ị họrọ hyperparameters site na ilele ule ule, a ga-emerụ ihe nlele ahụ na arụmọrụ ị na-akọ ga-enwe nchekwube nke na-abụghị eziokwu.
Ọgụgụ isi bụ ezigbo onye inyeaka n'ịmepụta oghere ọchụchọ hyperparameter na ide koodu ọchụchọ (nchọgharị grid, ọchụchọ random, njikarịcha Bayesian). Mana ị ka na-ekpebi "nke metrik anyị ga-ebuli elu?"
Obere ikpe atọ
Ikpe 1 - Ọnyà ziri ezi. Ndị otu ahụike nwere mpako maka ihe atụ nke chọpụtara ọrịa na-adịghị ahụkebe: 98% ziri ezi. Mgbe e mere ntụnyere ihe atụ bụ isi, eziokwu pụtara: ebe ọ bụ na ọnụ ọgụgụ ọrịa ahụ bụ 2%, ihe nlereanya nke kwuru na "kpọọ onye ọ bụla nwere ahụike" nwetakwara 98%. Ncheta ihe nlereanya ahụ bụ naanị 11% - na-efu ọtụtụ ndị ọrịa. Ozugbo metric gbanwere ka ọ bụrụ PR-AUC, a tụrụ arụmọrụ ya n'ezie ma megharịa ihe nlereanya ahụ.
Ikpe 2 - mkpọtụ na-ezighi ezi maka ọganihu. Otu otu nọrọ ọnwa na-emeziwanye ihe nlereanya site na 86.2% ruo 86.9%. Cross-validation gosiri na nhụsianya ahụ bụ ± 1.4% - ya mere 0.7 isi "mmeziwanye" bụ mkpọtụ ndekọ ọnụ ọgụgụ. Ndị otu a egbuola izu atọ maka ego ha nwetara n'ezie. Ihe nkuzi: ekwuputala mmeri na-egosighi na ọganihu dị ukwuu karịa ntụgharị.
Ikpe 3 - Mmetọ nke setịpụrụ ule. Onye injinia lere anya ugboro ugboro n'ule ule ka ịhọrọ hyperparameters kacha mma. 91% ọ kọrọ gbadara ruo 83% na mmepụta. Ihe kpatara ya: n'amaghị ama ahọrọla ihe nlereanya ahụ site n'ileba anya na nlele ule ugboro ugboro (ịmụ ihe na nhazi ule). Akọkọrọ na arụmọrụ n'ezie kpuchiri mgbe ejiri ntọala nkwado dị iche.
Ụdị ndebiri nwere ike iṅomi
Nyere m aka ịhọrọ metrik ziri ezi maka nsogbu nhazi ọkwa a. Nsogbu: [ihe e buru amụma] Nkesa klaasị: [ọnụego dị mma
Nyochaa ntụnyere nke ụdị abụọ ndị a. Nlereanya A cross-validation: [ndepụta nke akara]Model B cross-validation: [ndepụta nke akara] Gbakọọ ihe pụtara na ọkọlọtọ. Ọdịiche ahụ ọ pụtara na ọnụ ọgụgụ ka ọ bụ naanị mkpọtụ n'ime ngbanwe ahụ? Kedu nke ị ga-akwado ka m họrọ na gịnị kpatara?
Lelee koodu ọzụzụ a maka ihe ndị a: 1) A na-ahọrọ hyperparameters na nhazi ule ma ọ bụ nkwenye?2) A na-enyocha nkwụsị mmalite site na nhazi ziri ezi?
Kedu n'ime MAE, RMSE na MAPE ka m ga-akọ maka nsogbu nlọghachi azụ a? Ọnụ ọgụgụ nke mgbanwe ebumnuche: [oke] Ọ bụ nnukwu njehie na-adịghị mma (RMSE), ma ọ bụ ha niile hà nhata (MAE)? Enwere ụkpụrụ dị nso na efu (ha na-agbagọ MAPE)? Nye ndụmọdụ na nkenke.
Tebụl nhọrọ metric
Ụdị nsogbu
metrik dabara adaba
A ga-ezere
Ntak
Nkewa na-ezighi ezi
PR-AUC, F1, cheta
izi ezi
Ọtụtụ klaasị na-ebuli metric
Nhazi ziri ezi
Nke ziri ezi, ROC-AUC
-
Kwesịrị ntụkwasị obi na data ziri ezi
Ndaghachi azụ (mpụta ihe dị mkpa)
RMSE
MAPE (ọ bụrụ efu)
Na-ata mmejọ ndị ukwu ahụhụ
Ntughari (nha nha nha)
MAE
-
Ọ dị mfe ịtụgharị uche
Ịnye ọkwa/nkwanye
NDCG, Cheta @K
izi ezi
Usoro dị mkpa
Mmejọ ndị nkịtị
- Iji izi ezi na data enweghị nha nha. Njehie metrik kacha adịkarị.
- Anaghị atụnyere ihe nlereanya ntọala. Ọ na-eme ka metrik tụfuo ihe ọ pụtara.
- Na-ele anya n'usoro ule maka hyperparameters. Enwere nchekwube, nsonaazụ enweghị ezi uche.
- Na-adabere n'otu ọnụ ụlọ. Na-enweghị nkwado ndabere, ị gaghị ahụ mkparị ahụ.
- Mkpọtụ na-ezighi ezi maka ọganihu. Obere "mmelite" site na mgbagha na-abụkarị chioma.
- Na-eleghara ọnọdụ azụmahịa anya. Ntụziaka ziri ezi / ncheta bụ mkpebi azụmahịa.
Na nchịkọta
Ezi nkà na ọzụzụ nlereanya abụghị ịmepụta ọnụ ọgụgụ dị elu, kama ịmara ihe ọnụọgụ ahụ pụtara. Nsogbu na ọnọdụ azụmahịa na-ekpebi metric ziri ezi; kọwapụta metric ọ bụla dị ka usoro ntọala si dị; tụọ ihe nhụsianya site na nkwenye gafere ma echekwala mkpọtụ maka ọganihu; Jiri setịpụ ule naanị na njedebe, otu oge. AI bụ onye mmekọ gị na nhazi nnwale, mana mkpebi nke "dị mma" dịịrị gị na nke gị.
Ọrụ ngwa
Maka ụdị nhazi ọkwa: (1) dee nkesa klaasị, (2) wuo ụkpụrụ ntọala kwesịrị ekwesị wee tụọ akara ya, (3) nyochaa ihe nlereanya gị site na nkwenye okpukpu 5 ma kọọ ihe ọ pụtara na ọkọlọtọ, (4) gbakọọ metric kwesịrị ekwesị na nsogbu ahụ (dịka PR-AUC) kama izi ezi. Dee ma ihe nlere gị ọ̀ meriri ihe nlereanya ntọala site n'oke oke na-enweghị nhụsianya.
ndetu
- [ ] M họọrọ metrik dabere na ụdị nsogbu na ọnọdụ azụmahịa.
- [] M wuru ihe nlereanya ntọala ma jiri ya tụnyere ya.
- [ ] Eji m nkweta kọọ ihe ọ pụtara na mgbagha.
- [] Ekwenyere m na mmelite ahụ dị ukwuu karịa ntụgharị.
- [] Ejiri m ntọala nkwado họrọ hyperparameters.
- [ ] Naanị otu ugboro ka m ji ule setịpụ, n'ikpeazụ.