Awọn anfani:
- Agbara lati yan ati itumọ ipinya ati awọn metiriki ipadasẹhin (matrix rudurudu, konge / iranti/F1, MAE/RMSE/R²) ni ibamu si idi iṣẹ naa
- Agbara lati ṣawari ikẹkọ ikẹkọ nipa ifiwera ikẹkọ ati awọn iṣiro idanwo ati gba iṣẹ ṣiṣe ti o gbẹkẹle pẹlu ijẹrisi-agbelebu
- Agbara lati ṣe iṣiro boya awoṣe kọọkan ṣe afikun iye gidi nipa ifiwera pẹlu ipilẹ
O rọrun lati ṣeto awoṣe; O soro lati ni otitọ wiwọn boya o ṣiṣẹ gangan. Koko-ọrọ ti ẹyọ yii jẹ imọ-jinlẹ to ṣe pataki julọ ti onimọ-jinlẹ data: iṣiro awoṣe pẹlu awọn metiriki ti o tọ, iyọrisi iṣẹ isọtẹlẹ ti o gbẹkẹle, ati mimu pakute alainidi pupọ julọ: ikẹkọ (akọsilẹ). AI ṣe iṣiro, tumọ ati ṣe afiwe awọn metiriki; ṣugbọn o wa si ọdọ eniyan lati pinnu iru metiriki ti o tọ fun iṣowo rẹ ati boya awoṣe “dara to”. Ẹgbẹ kan ti n wo metric ti ko tọ le ṣe aṣiṣe awoṣe buburu fun awọn oṣu bi “aṣeyọri.”
Idi ti deede ko to: matrix iporuru
Metiriki akọkọ ti o wa si ọkan ni isọdi jẹ deede (ipeye — ipin lapapọ ti awọn asọtẹlẹ to pe). Ṣugbọn gẹgẹ bi a ti rii ni Ẹka 6, deede jẹ ṣinilọna pẹlu data aipin. Ibẹrẹ ti o dara julọ ni matrix iporuru - tabili ti o pin awọn asọtẹlẹ si awọn apoti mẹrin:
- Otitọ rere (TP): A pe iro ni ohun ti o jẹ iro gaan. (O dara)
- Otitọ odi (TN): A wi gan mọ. (O dara)
- Eke rere (FP): A ṣe aṣiṣe sọ pe eyi ti o mọ jẹ iro. (Itaniji eke)
- Odi eke (FN): A padanu iro ati pe a pe ni mimọ. (Irokeke ti o padanu)
Awọn metiriki bọtini meji wa lati awọn apoti mẹrin wọnyi. Itọkasi: "Elo ninu ohun ti mo pe iro ni iro gangan?" - pataki ti awọn idiyele itaniji eke ba ga. Ifamọ (ranti ni ede Gẹẹsi): "Awọn iro gidi melo ni mo mu?" - pataki nigba ti sonu a irokeke ewu jẹ gbowolori. Awọn mejeeji nigbagbogbo wa ni ilodisi pẹlu ara wọn: ti o ba lọ silẹ ẹnu-ọna ati sọ “iro” diẹ sii, ranti awọn ilọsiwaju ṣugbọn konge dinku. Dimegilio F1 jẹ aropin iwọntunwọnsi (itumọ ti irẹpọ) ti awọn meji wọnyi.
Ifarabalẹ: Idahun si ibeere naa "Ewo ni metric ṣe pataki" jẹ ipinnu iṣowo, kii ṣe imọ-ẹrọ. Ti o padanu ọran kan (iranti kekere) ni ibojuwo alakan jẹ ajalu; O jẹ didanubi lati fi imeeli pataki ranṣẹ si àwúrúju (itọka kekere) ni àwúrúju àwúrúju. Iye owo pinnu metric.
Awọn metiriki padasẹyin
Ti abajade ba jẹ awọn nọmba, awọn metiriki oriṣiriṣi lo. MAE (Itumọsi Aṣiṣe pipe): melo ni awọn iṣiro yapa si apapọ gangan, ni ẹyọkan kanna (fun apẹẹrẹ “a ṣe aṣiṣe nipasẹ 4,200 TL ni apapọ”). RMSE (Aṣiṣe Itumọ Gbongbo Squared): ṣe ijiya awọn aṣiṣe pataki diẹ sii ati pe o ni itara si awọn ti o jade. R² (R-squared — olùsọdipúpọ ti ipinnu): melo ni iyipada ninu ibi-afẹde ti awoṣe ṣe alaye (sunmọ 1 dara, 0 jẹ buburu bi asọtẹlẹ itumọ, odi paapaa buru).
Awọn julọ insidious pakute: overlearning
Overfitting - nibiti awoṣe ti ṣe akori data ikẹkọ ṣugbọn kuna lori data tuntun - jẹ aṣiṣe ti o wọpọ julọ ni imọ-jinlẹ data. Awọn aami aisan jẹ kedere: awoṣe jẹ nla lori eto ikẹkọ (98%), buburu lori eto idanwo (72%). Awoṣe naa ti ṣe akori ariwo ti apẹẹrẹ kan pato, kii ṣe apẹrẹ gangan ninu data naa. O tun wa ni idakeji: underfitting-apẹẹrẹ jẹ buburu ni ikẹkọ mejeeji ati idanwo nitori pe o rọrun ju lati mu apẹẹrẹ naa.
Awọn ọna lati koju ikẹkọ ikẹkọ: irọrun awoṣe, data diẹ sii, isọdọtun - idaduro mathematiki ti o tọju awoṣe lati di idiju pupọ - ati ni pataki julọ, ijẹrisi-agbelebu.
Ifọwọsi-agbelebu: maṣe gbẹkẹle pane ẹyọkan
A nikan ikẹkọ / igbeyewo podu le jẹ orire tabi lailoriire; O le gba awọn aami giga fun ṣeto idanwo nitori pe ayẹwo jẹ rọrun. Cross-afọwọsi (CV fun kukuru) solves yi. Fọọmu ti o wọpọ julọ ni k-fold CV: data ti pin si awọn apakan k (fun apẹẹrẹ 5); Ni iyipo kọọkan, apakan kan jẹ idanwo ati iyokù jẹ ikẹkọ; yi yipo 5 igba ati 5 ikun ti wa ni apapọ. Nitorinaa iwọ yoo rii pe iṣẹ ṣiṣe da lori apapọ ti awọn pipin pupọ, kii ṣe pipin orire kan. Pipin awọn ikun tun jẹ alaye: awọn ikun iyipada pupọ (85% lori ilẹ kan, 62% lori ekeji) tọka pe awoṣe jẹ riru.
K-agbo deede ko lo ni akoko jara (n jo ojo iwaju); Dipo, o ṣe “pipa siwaju” (pinpin akoko): ikẹkọ nigbagbogbo pẹlu ohun ti o kọja ati idanwo ọjọ iwaju.
metric
Iru isoro
Nigbawo ni o ṣe pataki?
Yiye
Iyasọtọ
Ti awọn kilasi ba jẹ iwọntunwọnsi
Itọkasi
Iyasọtọ
Itaniji eke jẹ gbowolori
Ifamọ (iranti)
Iyasọtọ
Ti o ba jẹ gbowolori lati padanu
F1
Iyasọtọ
Ti o ba nilo iwọntunwọnsi
MAE
ifaseyin
Aṣiṣe itumọ
RMSE
ifaseyin
Ti awọn aṣiṣe nla ba jẹ pataki
R²
ifaseyin
agbara alaye
mẹta mini igba
Case 1 - Awọn iruju ti ga yiye. Awoṣe ẹtan kan fihan deede 99.2% ati pe ẹgbẹ naa ṣe ayẹyẹ. Wiwo matrix iporuru, gidi: oṣuwọn iro ninu data jẹ 0.8%; awoṣe mu fere ko si iro, o kan wipe "gbogbo ko o". ÌRÁNTÍ wà 6%. Ẹkọ: wo awọn metiriki, kii ṣe deede.
Ọran 2 - Latent overlearning. Ẹgbẹ kan ti jiṣẹ ati igbelaruge XGBoost si 97% lori ṣeto ikẹkọ. Eto idanwo naa jẹ 69%, ṣugbọn ko si ẹnikan ti o wo. Awoṣe naa ṣubu ni iṣelọpọ. Ti o ba jẹ pe afọwọsi-agbelebu ti ṣe, iyatọ nla laarin awọn agbo (apapọ) yoo ti han lati ibẹrẹ. Ẹkọ: gbẹkẹle CV ati Dimegilio idanwo, kii ṣe Dimegilio eto-ẹkọ.
Case 3 - Lucky pipin. Inu oluyanju kan dun lati gba 88% ni pipin ẹyọkan. Nigbati ẹlẹgbẹ rẹ ṣe CV 5-agbo, awọn ikun jẹ 88%, 71%, 83%, 64%, 79% - apapọ jẹ 77%, ṣugbọn o jẹ iyipada pupọ. Awọn awoṣe wà riru; Awọn nikan kompaktimenti wà sinilona. Ẹkọ: wo itumọ CV ati pinpin, kii ṣe bin ẹni kọọkan.
Mẹrin daakọ awọn awoṣe
1) Iroyin ipin ni kikun:
Mo ti oṣiṣẹ awoṣe ati igbeyewo ṣeto. Ṣe ina: matrix iporuru, konge, ranti, F1 (fun kilasi kọọkan) ati awọn iṣiro atilẹyin. Mo ni inferring, sugbon o jẹ soke si mi: Emi yoo so fun o eyi ti metric jẹ pataki. Ṣe akiyesi pe deede le jẹ ṣina pẹlu data aipin.
2) Iṣakoso ikẹkọ:
Ṣe atẹjade awọn ikun awoṣe mi ni mejeeji ẸKẸNI ati idanwo idanwo ni ẹgbẹ ni ẹgbẹ. Ṣe iṣiro iyatọ laarin wọn ki o kilo bi iyatọ nla jẹ ami ti ikẹkọ. Ti iyatọ ba tobi, daba deede tabi simplification.
3) Ifọwọsi agbelebu:
Ṣe 5-agbo agbelebu-afọwọsi (fun stratified, classification). Sita awọn Dimegilio, tumosi ati boṣewa iyapa ti kọọkan agbo. Ti awọn ikun ba jẹ iyipada pupọ (std giga), tọka pe awoṣe jẹ riru. Lo awọn opo gigun ti epo ki awọn iyipada jẹ ẹkọ nikan lati nkan ikẹkọ ni ipele kọọkan.
4) Ifiwera ipilẹ:
Fi metiriki awoṣe mi si ẹgbẹ si ẹgbẹ pẹlu ipilẹ DummyClassifier kan. Ṣe awoṣe naa ni pataki lu ipilẹ? Ti ko ba kọja, jẹ ki o ye wa pe awoṣe ko ṣafikun eyikeyi iye gidi.
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Ṣe awoṣe mi dara?
"O dara" jẹ aisọye; Ko ṣe afihan kini metiriki, kini ala, kini ipilẹṣẹ. AI le fun nọmba deede kan ati ṣina.
Ibere ti o lagbara:
Ipa rẹ: oluranlọwọ ayẹwo. Pipin, data aipin (12% rere). Ni ayo: ranti (ko padanu awọn rere). Iṣẹ-ṣiṣe: (1) matrix iporuru, (2) konge / ÌRÁNTÍ / F1, (3) 5-agbo stratified CV tumosi ati std, (4) DummyClassifier ipetele lafiwe. Fojusi lori iranti ati iyatọ ipilẹ, kii ṣe deede. Ọrọìwòye, ṣugbọn Mo ṣe ipinnu ikẹhin.
Nibi, pataki metiriki, CV ati ipo ipilẹ jẹ kedere.
Awọn aṣiṣe ti o wọpọ
- Igbẹkẹle deede ni data aipin. 99% išedede le ma gba kilasi kekere rara; Wo ni iporuru matrix.
- O kan n wo Dimegilio eto-ẹkọ rẹ. Ẹkọ giga, Dimegilio idanwo kekere jẹ ikẹkọ; Ṣe afiwe awọn ikun meji nigbagbogbo.
- Gbigbe ara lori kan nikan kompaktimenti. Lucky pipin ti wa ni sinilona; Wo ni itumo ati pinpin pẹlu agbelebu-afọwọsi.
- Ko ṣe afiwe pẹlu ipilẹṣẹ. O ko le sọ “dara” laisi mimọ boya awoṣe lu asọtẹlẹ aṣiwere kan.
- Lilo k-agbo deede lori jara akoko. O jo ojo iwaju; akoko jara pipin wa ni ti beere.
Imọran: Kọ awọn nọmba mẹta lẹgbẹẹ awoṣe kọọkan: Dimegilio ikẹkọ, aropin-afọwọsi agbelebu, ati Dimegilio ipilẹ. Ẹẹta mẹtẹta yii ṣafihan ni ikẹkọ iwoyewo (ikẹkọ >> CV) ati aibikita (CV ≈ ipilẹṣẹ).
Ni akojọpọ
Ṣiṣeto awoṣe jẹ rọrun, ṣugbọn ṣiṣe ayẹwo ni otitọ jẹ nira. Ni classification, iporuru matrix, konge, ati ÌRÁNTÍ ni o wa Elo siwaju sii ti alaye ju išedede; Iye owo iṣẹ naa pinnu eyi ti o ṣe pataki. MAE, RMSE ati R² ni a lo ni ipadasẹhin. Pakute ti o buruju julọ jẹ ikẹkọ ikẹkọ: nigbagbogbo ṣe afiwe ikẹkọ ati Dimegilio idanwo. Gbẹkẹle itumọ ati pinpin ti ijẹrisi-agbelebu, kii ṣe pipin kan; Ṣe afiwe ohun gbogbo si ipilẹ kan. AI ṣe iṣiro gbogbo iwọnyi, ṣugbọn o wa si ọdọ eniyan lati pinnu iru metiriki lati lo.
Ohun elo iṣẹ-ṣiṣe
Jade iruju matrix, konge, ÌRÁNTÍ ati F1 fun a classification awoṣe; Lẹhinna ṣe ijẹrisi-agbelebu 5-agbo ati wo pinpin Dimegilio kọja awọn agbo. Lakotan, kọ Dimegilio ikẹkọ, aropin CV, ati Dimegilio ipilẹ kan ni ẹgbẹ ni ẹgbẹ. Ọrọìwòye ninu gbolohun kan boya awoṣe rẹ n kọ ẹkọ ati pe o kọja ipilẹ.
akojọ ayẹwo
- [] Njẹ Mo ti wo metiriki gangan ti iṣẹ naa (konge / iranti / F1 ati bẹbẹ lọ) dipo deede?
- [] Njẹ Mo ti ṣayẹwo matrix iporuru naa?
- [] Njẹ Mo ti ṣe afiwe ikẹkọ ati Dimegilio idanwo ati ṣayẹwo fun ikẹkọ apọju?
- [] Njẹ Mo ti wo itumọ ati pinpin pẹlu ijẹrisi-agbelebu?
- [] Njẹ Mo ti ṣe afiwe awoṣe si ipilẹ kan?