Uru:
- Ikike ịhọrọ na ịkọwa nhazi na metrics regression (matrix mgbagwoju anya, nkenke / cheta / F1, MAE / RMSE / R²) dịka ebumnuche nke ọrụ ahụ siri dị.
- Ikike ịchọpụta nlegharị anya site n'ịtụle ọzụzụ na nyocha ule wee nweta arụmọrụ a pụrụ ịdabere na ya na nkwado cross-validation
- Ikike iji nyochaa ma ihe nlereanya ọ bụla na-agbakwunye ezigbo uru site na iji ya tụnyere ntọala
Ọ dị mfe ịtọ ihe nlereanya; O siri ike iji eziokwu tụọ ma ọ na-arụ ọrụ n'ezie. Isiokwu nke otu a bụ nka kacha dị oke egwu nke ndị sayensị data: iji igwe metrik ziri ezi na-enyocha ihe nlereanya ahụ, nweta arụmọrụ amụma a pụrụ ịdabere na ya, na ijide ọnyà kachasị aghụghọ: mmụta (n'isi). AI na-agbakọ, na-atụgharị ma na-atụnyere metrik; mana ọ dịịrị mmadụ ikpebi nke metric dị mma maka azụmahịa gị yana ma ihe nlereanya ọ “dị mma”. Otu ndị na-elele metrik na-ezighi ezi nwere ike imehie ihe nlereanya ọjọọ ruo ọtụtụ ọnwa dị ka “ihe ịga nke ọma.”
Gịnị kpatara izi ezi ezughị: matrix mgbagwoju anya
metric mbụ na-abata n'uche na nhazi ọkwa bụ izi ezi (nkenke - mkpokọta amụma ziri ezi). Mana dịka anyị hụrụ na nkeji 6, izi ezi na-eduhie site na data enweghị nha nha. Mmalite kachasị mma bụ matrix mgbagwoju anya - tebụl nke na-ekewa amụma n'ime bins anọ:
- True positive (TP): Anyị kpọrọ adịgboroja ihe bụ adịgboroja n'ezie. (mma)
- Ezi adịghị mma (TN): Anyị kwuru na ọ dị ọcha. (mma)
- Fase positive (FP): Anyị na-ehie ụzọ kwuru na nke dị ọcha bụ adịgboroja. (Oti mkpu ụgha)
- Ihe na-adịghị mma (FN): Agbaghara anyị adịgboroja wee kpọọ ya dị ọcha. (egwu efu efu)
Metiriks igodo abụọ na-enweta site na igbe anọ a. Nkenkenke: "Ole n'ime ihe m na-akpọ adịgboroja bụ adịgboroja n'ezie?" - dị mkpa ma ọ bụrụ na ụgwọ mkpu ụgha ụgha dị elu. Mmetụta (cheta na bekee): "Ezigbo adịgboroja ole ka m nwetara?" - ihe dị mkpa mgbe efu ihe iyi egwu dị oke ọnụ. Ha abụọ na-enwekarị esemokwu n'etiti ibe ha: ọ bụrụ na i wetuo ọnụ ụzọ wee kwuo "adịgboroja" karịa, cheta mmụba mana nkenke na-ebelata. Akara F1 bụ nkezi ziri ezi (n'ụzọ kwekọrọ) nke abụọ a.
Ntị: Azịza nke ajụjụ a "Olee metric dị mkpa" bụ mkpebi azụmahịa, ọ bụghị nke teknụzụ. Ịchọta ikpe (ihe ncheta dị ala) na nyocha ọrịa cancer bụ ọdachi; Ọ na-ewe iwe izipu ozi dị mkpa na spam (nkenke dị ala) na nzacha spam. Ọnụ ego na-ekpebi metric.
Metrịk ndọghachi azụ
Ọ bụrụ na nsonaazụ ahụ bụ ọnụọgụ, a na-eji metrik dị iche iche. MAE (Ezigbo Mgbochi pụtara): ole atụmatụ na-esi na nkezi n'ezie, n'otu nkeji (dịka "anyị ezighi ezi site na 4,200 TL na nkezi"). RMSE (Mkpọrọgwụ Mgbochi pụtara Squared Error): na-ata mmejọ ndị dị mkpa nke ukwuu ma na-enwe mmetụta maka ndị na-apụ apụ. R² (R-squared - ọnụọgụ nke mkpebi siri ike): ole n'ime mgbanwe dị na ebumnuche nke ihe nlereanya ahụ na-akọwa (nso 1 dị mma, 0 dị njọ dị ka ịkọ ihe ọ pụtara, adịghị mma ka njọ).
Ọnyà kacha dị aghụghọ: ịmụ ihe
Ịfefe oke - ebe ihe nlereanya na-eburu data ọzụzụ n'isi mana ọ daa na data ọhụrụ - bụ mmejọ kachasị na sayensị data. Ihe mgbaàmà doro anya: ihe nlereanya ahụ dị mma na nhazi ọzụzụ (98%), ọjọọ na ule ule (72%). Ihe nlereanya ahụ eburula mkpọtụ nke ihe nlele ahụ n'isi, ọ bụghị usoro n'ezie na data ahụ. E nwekwara ihe dị iche: underfitting-ihe nlereanya ahụ dị njọ na ma ọzụzụ na ule n'ihi na ọ dị mfe ijide ụkpụrụ ahụ.
Ụzọ iji luso mmụta ọgụ: ime ka ihe nlereanya dị mfe, data ndị ọzọ, nhazigharị - breeki mgbakọ na mwepụ nke na-eme ka ihe nlereanya ahụ ghara ịdị mgbagwoju anya - na nke kachasị mkpa, nkwenye.
Cross-validation: atụkwasịla otu pane
Otu pọọlụ ọzụzụ/ule nwere ike bụrụ chioma ma ọ bụ enweghị isi; Ị nwere ike nweta akara dị elu maka nhazi ule naanị n'ihi na nlele ahụ dị mfe. Cross-validation (CV maka mkpụmkpụ) na-edozi nke a. Ụdị a na-ahụkarị bụ k-fold CV: kewara data na akụkụ k (dịka 5); Na agba nke ọ bụla, otu akụkụ na-anwale ma ndị ọzọ na-azụ; Nke a na-apụta ugboro 5 na akara 5 bụ nkezi. Yabụ ị ga-ahụ na arụmọrụ dabere na nkezi nke ọtụtụ nkewa, ọ bụghị otu kewaa kechioma. Nkesa nke akara bụkwa ihe ọmụma: ọnụ ọgụgụ na-agbanwe agbanwe (85% n'otu ala, 62% n'akụkụ nke ọzọ) na-egosi na ihe nlereanya ahụ ejighị n'aka.
A naghị eji k-fold nkịtị eme ihe n'usoro oge (na-agbapụta ọdịnihu); Kama nke ahụ, ị na-eme "n'ịkọwa n'ihu" (usoro oge nkewa): na-azụ mgbe niile na ihe gara aga na ịnwale ọdịnihu.
metrik
Ụdị nsogbu
Kedu mgbe ọ dị mkpa?
izi ezi
Nhazi
Ọ bụrụ na klaasị nwere nha nha
Nkenkenke
Nhazi
Oti mkpu ụgha dị oke ọnụ
Mmetụta (cheta)
Nhazi
Ọ bụrụ na ọ dị oke ọnụ ịtufu
F1
Nhazi
Ọ bụrụ na achọrọ nguzozi
MAE
nlọghachi azụ
Njehie enwere ike ịkọwa
RMSE
nlọghachi azụ
Ọ bụrụ na nnukwu mmejọ dị oke egwu
R²
nlọghachi azụ
ike nkọwa
Obere ikpe atọ
Ikpe 1 - The nro nke elu ziri ezi. Otu ụdị aghụghọ gosipụtara izi ezi 99.2% na ndị otu ahụ mere ememe. N'ileghachi anya na matrix mgbagwoju anya, nke bụ eziokwu: ọnụego adịgboroja na data bụ 0.8%; ihe nlereanya ahụ jidere ọ fọrọ nke nta ka ọ bụrụ fakes, naanị na-ekwu "ihe niile doro anya". Ncheta bụ 6%. Ihe nkuzi: lelee metrik, ọ bụghị izi ezi.
Ikpe 2 - Nlegharị anya n'amaghị ama. Otu otu weputara ma kwalite XGBoost na 97% na nhazi ọzụzụ. Nlele ule ahụ bụ 69%, mana ọ nweghị onye lere anya. Ụdị ahụ dara na mmepụta. Ọ bụrụ na emerela nkwenye gafere, nnukwu ọdịiche dị n'etiti mpịakọta (nlegharị anya) gaara ahụ ya site na mmalite. Ihe nkuzi: tụkwasị obi CV na akara ule, ọ bụghị akara mmụta.
Ikpe 3 - Kewaa kechioma. Otu onye nyocha nwere obi ụtọ ịnweta 88% n'otu nkewa. Mgbe onye ọrụ ibe ya mere CV ugboro ise, akara ya bụ 88%, 71%, 83%, 64%, 79% - nkezi bụ 77%, mana ọ na-agbanwe agbanwe. Ihe nlereanya ahụ ejighị n'aka; Otu ọnụ ụlọ ahụ na-eduhie eduhie. Ihe nkuzi: lelee CV pụtara na nkesa, ọ bụghị biini nke onwe.
Ndebiri anọ enwere ike iṅomi
1) Akụkọ nhazi ọkwa zuru oke:
Azụla m ihe nlereanya na setịpụ ule. Mepụta: matriks mgbagwoju anya, nkenke, ncheta, F1 (maka klaasị ọ bụla) yana ọnụ ọgụgụ nkwado. Ana m atụgharị, mana ọ dịịrị m: Aga m agwa gị nke metric dị mkpa. Rịba ama na izi ezi nwere ike iduhie site na data enweghị nha nha.
2) njikwa mmụta:
Bipụta akara ihe nlere m na ma ọzụzụ ọzụzụ na ule n'akụkụ n'akụkụ. Gbakọọ ọdịiche dị n'etiti ha wee dọọ aka ná ntị ka nnukwu ọdịiche bụ ihe ịrịba ama nke mmụta. Ọ bụrụ na ọdịiche ahụ buru ibu, tụọ aro ịmegharị ma ọ bụ dị mfe.
3) Nkwado gafere:
Mee nkwenye n'ofe 5 ugboro (maka stratified, nhazi ọkwa). Bipụta akara, ọpụrụiche na ọkọlọtọ nke mpempe akwụkwọ ọ bụla. Ọ bụrụ na akara ndị ahụ na-agbanwe agbanwe (high std), gosi na ihe nlereanya ahụ anaghị akwụsi ike. Jiri pipeline wee mụta mgbanwe naanị site na mpempe ọzụzụ na oyi akwa ọ bụla.
4) ntụnyere ntọala:
Tinye metric ihe nlereanya m n'akụkụ ya na usoro DummyClassifier. Ihe nlereanya a ọ na-emeri ihe ndabere nke ọma? Ọ bụrụ na ọ gaghị agafe, mee ka o doo anya na ihe nlereanya ahụ anaghị agbakwunye ezigbo uru.
Ngwa ngwa adịghị ike / Ike siri ike
Ngwa ngwa adịghị ike:
Nlereanya m ọ dị mma?
"Ezigbo" enweghị nkọwa; O dochaghị anya nke metric, nke ọnụ ụzọ, nke ntọala. AI nwere ike inye otu nọmba ziri ezi wee duhie ya.
Mgbasa ozi siri ike:
Ọrụ gị: onye enyemaka nyocha. Nkewa, data enweghị nha (12% nti). Ihe kacha mkpa: cheta (anaghị efu ihe dị mma). Ọrụ: (1) matrix mgbagwoju anya, (2) nkenke/icheta/F1, (3) 5-fold stratified CV mean and std, (4) DummyClassifier baseline ntụnyere. Lekwasị anya na icheta na icheta ihe ndabere, ọ bụghị izi ezi. Kwuo okwu, mana m na-eme mkpebi ikpeazụ.
N'ebe a, metrik mkpa, CV na ọnọdụ ntọala doro anya.
Mmejọ ndị nkịtị
- Ịtụkwasị obi ziri ezi na data enweghị nha nha. 99% izi ezi nwere ike ọ gaghị ejide klaasị pere mpe; Lelee matriks mgbagwoju anya.
- Naanị ilele akara mmụta gị. Agụmakwụkwọ dị elu, akara ule dị ala bụ mmụta; Tulee akara abụọ mgbe niile.
- Na-adabere n'otu ọnụ ụlọ. Nkewa nke ọma na-eduhie eduhie; Lelee ihe ọ pụtara na nkesa ya na nkwado cross-validation.
- Adịghị atụnyere na ntọala. Ị nweghị ike ịsị "ezigbo" n'amaghị ma ihe nlereanya ahụ na-eti onye amụma nzuzu.
- Iji k-fold nkịtị na usoro oge. Ọ na-agbapụta ọdịnihu; achọrọ nkewa usoro oge.
NDỤMỌDỤ: Dee nọmba atọ n'akụkụ ụdị nke ọ bụla: akara ọzụzụ, nkezi nkwenye, na akara akara. Nke atọ a na-ekpughe na nlegharị anya nlegharị anya (ọzụzụ >> CV) na enweghị ọnụ ahịa (CV ≈ baseline).
Na nchịkọta
Ịmepụta ihe nlereanya dị mfe, ma ịtụle ya n'eziokwu siri ike. Na nhazi ọkwa, matrix mgbagwoju anya, nkenke, na ncheta na-enye ihe ọmụma karịa izi ezi; Ọnụ ego nke ọrụ na-ekpebi nke dị mkpa. A na-eji MAE, RMSE na R² mee ihe na nlọghachi azụ. Ọnyà kachasị njọ bụ ịmụ ihe: tulee ọzụzụ mgbe niile na akara ule. Dabere na pụtara na nkesa nke cross-validation, ọ bụghị otu nkewa; Tulee ihe niile na ntọala ntọala. AI na-agbakọ ihe ndị a niile, mana ọ dịịrị mmadụ ikpebi metrik ọ ga-eji.
Ọrụ ngwa
Wepụ matriks mgbagwoju anya, nkenke, ncheta na F1 maka ụdị nhazi ọkwa; Wee mee nkwenye nke ugboro ise ugboro ise wee lelee nkesa akara n'ofe mpịaji. N'ikpeazụ, dee akara ọzụzụ, nkezi CV, na akara akara n'akụkụ n'akụkụ. Kwuo okwu n'otu ahịrịokwu ma ihe nlereanya gị ọ na-amụta ma na-agafe usoro ntọala.
ndetu
- [] Ahụrụla m metric n'ezie nke ọrụ ahụ (nkenke / ncheta / F1 wdg) kama izi ezi?
- [] enyochala m matriks mgbagwoju anya?
- [ ] Enwere m atụnyere ọzụzụ na akara ule wee lelee maka mmụta karịa?
- [ ] Ahụrụ m ihe ọ pụtara na nkesa ya na nkwenye gafere?
- [ ] Enwere m atụnyere ihe nlereanya na ntọala ntọala?