Awọn anfani:
- Agbara lati yan metiriki ti o yẹ si iru iṣoro ati ipo iṣowo (PR-AUC / ranti ni data aipin, MAE / RMSE ni ipadasẹhin) ati mọ lori / labẹ ikẹkọ
- Agbara lati tumọ metiriki kọọkan lodi si ipilẹ kan ati wiwọn iyapa ati ariwo lọtọ lati ilọsiwaju pẹlu afọwọsi agbelebu
- Agbara lati jabo awọn abajade ti ko ni ireti nipa yiyi awọn hyperparameters pẹlu eto afọwọsi ati lilo eto idanwo nikan ni ipari
Ikẹkọ awoṣe (ikẹkọ: ilana ti awọn ilana ikẹkọ lati data) jẹ eyiti o han julọ ṣugbọn igbesẹ sinilona julọ ti imọ-ẹrọ ML. O han nitori pe o ṣe agbejade nọmba itelorun bi “ipeye 95%”. Sinilona nitori pe nọmba naa nigbagbogbo jẹ idahun ti o tọ si ibeere ti ko tọ. Ninu ẹyọ yii, eto-ẹkọ ati igbelewọn ni a jiroro pẹlu ibawi imọ-ẹrọ; A lo itetisi atọwọda bi alabaṣepọ ni apẹrẹ idanwo ati ipilẹ ipinnu lori wiwọn.
Kannaa ti awọn ikẹkọ ọmọ
Awoṣe kan kọ ẹkọ apẹrẹ ninu data nipa didinku iṣẹ ipadanu: iṣẹ kan ti o ṣe iwọn aṣiṣe awoṣe ni nọmba. Algorithm ti o dara ju (fun apẹẹrẹ isosile gradient) dinku isonu naa nipa ṣiṣatunṣe awọn ipele ni igbese nipa igbese. Ero naa kii ṣe lati ṣe akori data ikẹkọ, ṣugbọn lati ṣe gbogbogbo rẹ si data airotẹlẹ.
Awọn ewu akọkọ meji:
- Overfitting: Awoṣe ṣe akori data ikẹkọ ati kuna lori data tuntun. Aṣeyọri ikẹkọ jẹ giga, aṣeyọri idaniloju jẹ kekere.
- Underfitting: Awọn awoṣe ko le Yaworan awọn Àpẹẹrẹ; Mejeeji ikẹkọ ati aṣeyọri afọwọsi jẹ kekere.
Wiwa iwọntunwọnsi jẹ aworan ti ẹkọ. Eto afọwọsi wa nibẹ lati ṣe atẹle iwọntunwọnsi yii: ti aṣeyọri afọwọsi bẹrẹ lati dinku lakoko ti aṣeyọri ikẹkọ pọ si, ikẹkọ ti bẹrẹ.
Imọran: Idite ikẹkọ ati pipadanu afọwọsi papọ ni igbesẹ kọọkan. Ojuami ninu eyiti awọn iyipo meji bẹrẹ lati yapa ni ibi ti ikẹkọ bẹrẹ ati pe o jẹ akoko ti o tọ lati “duro ni kutukutu”.
Aṣayan metiriki: ipinnu to ṣe pataki julọ
Metiriki ti ko tọ jẹ ki awoṣe to dara dabi buburu ati awoṣe buburu dara dara. Iṣoro naa pinnu metric:
- Iyasọtọ ti ko ni iwọntunwọnsi (kilasi kan ṣọwọn pupọ, fun apẹẹrẹ jegudujera): Yiye jẹ ṣinilọna. Awoṣe ti o sọ pe “pe ohun gbogbo ni deede” yoo gba deede 99% ṣugbọn kii yoo gba ẹtan kan. Dipo, konge (iye ti ohun ti Mo mu jẹ otitọ ni idaniloju), ranti (bii ohun ti Mo mu jẹ otitọ rere) ati iwọntunwọnsi wọn F1 tabi PR-AUC ti lo.
- Isọdi iwọntunwọnsi: Yiye ati ROC-AUC le jẹ deede.
- Padasẹyin (iṣiro nọmba): MAE (tumọ si aṣiṣe pipe), RMSE (ṣe ijiya awọn aṣiṣe nla), MAPE (aṣiṣe ogorun).
- Ipo / iṣeduro: NDCG, MRR, ÌRÁNTÍ @ K.
Boya konge tabi iranti jẹ pataki da lori ipo iṣowo. ÌRÁNTÍ (ko sonu eyikeyi alaisan) ni ayo ni akàn waworan; Itọkasi ni àwúrúju àwúrúju (kii ṣe fifiranṣẹ awọn i-meeli pataki si àwúrúju) jẹ pataki. Eyi jẹ ipinnu iṣowo, kii ṣe imọ-ẹrọ, ati pe a ṣe papọ nipasẹ ẹlẹrọ ati oniwun.
Ailagbara kiakia / Alagbara kiakia
Ilọsiwaju ailagbara: "Ṣiyẹwo iṣẹ ṣiṣe awoṣe mi, deede 0.97."
Itọkasi agbara: "Mo ni awoṣe wiwa jegudujera; oṣuwọn kilasi rere jẹ 1.5% Itọkasi ni ijabọ bi 0.97. Ṣe alaye idi ti metiriki yii le jẹ ṣinilọna, sọ fun mi kini awọn metiriki (itọkasi, iranti, PR-AUC) Mo yẹ ki o fẹ ati idi. Tun ṣe iṣiro bii deede “ipe ohun gbogbo odi” awoṣe ipilẹ ti MO le gba lori data yii, nitorinaa fi kun iye gidi.
Iyatọ: kiakia ti o lagbara yoo fun ipin kilasi ati ipo iṣowo; o tun beere fun lafiwe awoṣe ipilẹ - eyi ni oran pataki julọ fun boya metric kan ni itumọ.
Ipilẹ: metric laisi lafiwe jẹ asan
Metiriki ko dara tabi buburu funrararẹ; O dara tabi buburu ni ibamu si awoṣe ipilẹ kan. Awoṣe ipilẹ jẹ ojutu ti o rọrun julọ ti o wa si ọkan: “nigbagbogbo sọ fun kilasi pupọ julọ”, “tun ṣe iye ti ọsẹ to kọja”, “roro tumọ si”. Ti awoṣe rẹ ko ba le ṣe afihan ojutu ti o rọrun yii, gbogbo idiju jẹ fun ohunkohun.
Išọra: Awọn gbolohun ọrọ "Awoṣe mi jẹ deede 85%" funrararẹ ko sọ ohunkohun. Ti awoṣe ipilẹ ba ti gba 84% tẹlẹ, awoṣe rẹ jẹ asan; Ti awoṣe ipilẹ ba gba 50%, awoṣe rẹ jẹ pipe. Nigbagbogbo sọrọ ni awọn ofin ti awọn ipilẹ awoṣe.
Cross-afọwọsi ati igbekele
Ikẹkọ kan / pipin idanwo le jẹ nitori aye. Ifọwọsi-agbelebu: pinpin data si awọn apakan k ati idanwo apakan kọọkan ni atẹlera fihan bi iṣẹ naa ṣe jẹ iduroṣinṣin. Ni 5-agbo agbelebu afọwọsi o gba marun ti o yatọ ikun; Itumọ wọn ati iyatọ boṣewa jẹ pataki. Ti aropin ba jẹ 80% ṣugbọn iyapa jẹ ± 12%, awoṣe rẹ jẹ riru - o le huwa ni iyatọ pupọ ni ipele atẹle ti data.
Eyi tun ṣe pataki fun “lafiwe awoṣe meji”. Ti Awoṣe A ba ni 81% ati awoṣe B ni 82%, ṣe B dara julọ? Ti iyapa ba jẹ ± 3%, iyatọ yii le jẹ ariwo. Wo boya iyatọ jẹ pataki ṣaaju ṣiṣe ipinnu.
Atunse Hyperparameter: pẹlu afọwọsi, kii ṣe idanwo
Hyperparameters (awọn eto ti a pinnu pẹlu ọwọ ṣaaju ikẹkọ-oṣuwọn ẹkọ, ijinle igi, ati bẹbẹ lọ) ti ṣeto pẹlu eto afọwọsi. Eto idanwo naa lo nikan ni ipari, lẹẹkan. Ti o ba yan awọn hyperparameters nipa wiwo eto idanwo naa, eto idanwo naa yoo doti ati iṣẹ ti o jabo yoo jẹ ireti eyiti kii ṣe ọran ni otitọ.
Imọran atọwọda jẹ oluranlọwọ to dara ni sisọ aaye wiwa hyperparameter ati kikọ koodu wiwa (wiwa grid, wiwa laileto, iṣapeye Bayesian). Ṣugbọn o tun pinnu "metiriki wo ni a yoo mu dara si?"
mẹta mini igba
Ọran 1 - Pakute deede. Ẹgbẹ iṣoogun kan ni igberaga fun awoṣe ti o rii arun to ṣọwọn: 98% deede. Nigbati a ṣe afiwe awoṣe ipilẹ, otitọ farahan: niwọn igba ti oṣuwọn arun na jẹ 2%, awoṣe ti o sọ “pe gbogbo eniyan ni ilera” tun gba 98%. Iranti awoṣe jẹ 11% nikan - sonu ọpọlọpọ awọn alaisan. Ni kete ti metiriki naa ti yipada si PR-AUC, iṣẹ ṣiṣe gangan jẹ iwọn ati pe awoṣe ti tun ṣe.
Ọran 2 - Ariwo aṣiṣe fun ilọsiwaju. Ẹgbẹ kan lo awọn oṣu imudarasi awoṣe lati 86.2% si 86.9%. Iṣeduro-agbelebu fihan pe irẹjẹ jẹ ± 1.4% - nitorina aaye 0.7 "imudara" jẹ ariwo iṣiro. Ẹgbẹ naa ti padanu ọsẹ mẹta lori awọn dukia ti ko daju. Ẹkọ: maṣe kede iṣẹgun laisi idaniloju pe ilọsiwaju naa tobi ju iyapa lọ.
Ọran 3 - Kontaminesonu ti ṣeto igbeyewo. Ẹnjinia leralera wo eto idanwo lati yan awọn hyperparameters ti o dara julọ. 91% ti o royin lọ silẹ si 83% ni iṣelọpọ. Kilode: o ti yan awoṣe ni aimọ ni ibamu nipa wiwo eto idanwo leralera (ni ikẹkọ lori eto idanwo). Ijabọ ati iṣẹ ṣiṣe gangan ni agbekọja nigbati o ti lo eto ijẹrisi lọtọ.
Awọn awoṣe idakọ
Ran mi lọwọ lati yan metiriki to tọ fun iṣoro isọri yii. Isoro: [kini a sọtẹlẹ] pinpin kilasi: [oṣuwọn rere
Ṣe iṣiro lafiwe ti awọn awoṣe meji wọnyi. Awoṣe Afọwọsi-agbelebu: [akojọ awọn ikun] Awoṣe B agbelebu-afọwọsi: [akojọ awọn ikun] Ṣe iṣiro iwọn ilawọn ati iyatọ. Ṣe iyatọ ṣe pataki ni iṣiro tabi o kan ariwo laarin iyapa? Ewo ni iwọ yoo ṣeduro Mo yan ati kilode?
Ṣayẹwo koodu ikẹkọ yii fun atẹle naa: 1) Njẹ awọn hyperparameters ti yan pẹlu eto idanwo tabi afọwọsi?2) Ṣe abojuto idaduro ni kutukutu pẹlu eto to tọ?
Ewo ninu MAE, RMSE, ati MAPE ni MO yẹ ki n ṣe ijabọ fun iṣoro ipadasẹhin yii? Iwọn ti iyipada ibi-afẹde: [ibiti o] Ṣe awọn aṣiṣe nla jẹ buburu (RMSE), tabi gbogbo wọn jẹ dọgba (MAE)? Ṣe awọn iye wa nitosi odo (ṣe wọn yi MAPE pada)? daba pẹlu idalare kukuru.
Metric aṣayan tabili
Iru isoro
Metiriki ti o yẹ
Lati yago fun
Kí nìdí
Isọdi ti ko ni iwọntunwọnsi
PR-AUC, F1, ranti
Yiye
Pupọ kilasi inflates awọn metric
Isọdi iwọntunwọnsi
Yiye, ROC-AUC
-
Gbẹkẹle ni data iwontunwonsi
Padasẹyin (ijade pataki)
RMSE
MAPE (ti o ba jẹ odo)
Ṣe ijiya awọn aṣiṣe pataki
Ipadasẹhin (iwuwo dogba)
MAE
-
Rọrun lati tumọ
Ipele / iṣeduro
NDCG, ÌRÁNTÍ @ K
Yiye
Ibere jẹ pataki
Awọn aṣiṣe ti o wọpọ
- Lilo deede lori data aipin. Aṣiṣe metiriki ti o wọpọ julọ.
- Ko ṣe awọn afiwe awoṣe ipilẹ. O jẹ ki metric padanu itumọ rẹ.
- Wiwo eto idanwo fun hyperparameters. Ireti, abajade ti ko daju.
- Gbigbe ara lori kan nikan kompaktimenti. Laisi ijẹrisi-agbelebu iwọ kii yoo rii ojuṣaaju naa.
- Ariwo aṣiṣe fun ilọsiwaju. Kekere "awọn ilọsiwaju" lati iyapa jẹ okeene orire.
- Fojusi ipo iṣowo. Iwọntunwọnsi deede / iranti jẹ ipinnu iṣowo kan.
Ni akojọpọ
Imọye gidi ni ikẹkọ awoṣe kii ṣe lati gbe nọmba giga kan, ṣugbọn lati mọ kini nọmba yẹn tumọ si. Iṣoro naa ati ipo iṣowo pinnu metric to tọ; tumọ metiriki kọọkan ni ibamu si awoṣe ipilẹ; wiwọn irẹjẹ pẹlu ijẹrisi-agbelebu ati maṣe ṣe aṣiṣe ariwo fun ilọsiwaju; Lo eto idanwo nikan ni ipari, akoko kan. AI jẹ alabaṣepọ rẹ ni apẹrẹ idanwo, ṣugbọn ipinnu ti "dara to" jẹ fun ọ ati tirẹ.
Ohun elo iṣẹ-ṣiṣe
Fun awoṣe isọdi: (1) kọ pinpin kilasi, (2) kọ awoṣe ipilẹ ti o yẹ ki o wọn Dimegilio rẹ, (3) ṣe iṣiro awoṣe rẹ pẹlu afọwọsi agbelebu 5-agbo ati jabo iwọn ilawọn ati iyatọ, (4) iṣiro metric yẹ si iṣoro naa (fun apẹẹrẹ PR-AUC) dipo deede. Kọ boya awoṣe rẹ lu awoṣe ipilẹṣẹ nipasẹ ala ti o tobi laisi irẹjẹ.
akojọ ayẹwo
- [] Mo yan metiriki naa da lori iru iṣoro ati ipo iṣowo.
- [] Mo ti kọ a mimọ awoṣe ati akawe lodi si o.
- [] Mo ti jabo awọn tumosi ati iyapa pẹlu agbelebu-afọwọsi.
- [] Mo jẹrisi pe ilọsiwaju naa tobi ju iyapa lọ.
- [] Mo ti yan awọn hyperparameters pẹlu afọwọsi ṣeto.
- [] Mo lo eto idanwo ni ẹẹkan, ni ipari pupọ.