Qligħ:
- Kapaċità li tagħżel u tinterpreta metriċi ta' klassifikazzjoni u rigressjoni (matriċi ta' konfużjoni, preċiżjoni/recall/F1, MAE/RMSE/R²) skont l-iskop tax-xogħol
- Kapaċità li tiskopri tagħlim żejjed billi tqabbel il-punteġġi tat-taħriġ u tat-test u tikseb prestazzjoni affidabbli b'validazzjoni inkroċjata
- Kapaċità li tevalwa jekk kull mudell iżidx valur reali billi tqabbel ma' linja bażi
Huwa faċli li twaqqaf mudell; Huwa diffiċli li tkejjel b'mod onest jekk fil-fatt taħdem. Is-suġġett ta 'din l-unità huwa l-aktar ħila kritika ta' xjenzat tad-dejta: evalwazzjoni tal-mudell bil-metriċi t-tajba, kisba ta 'prestazzjoni ta' tbassir affidabbli, u jaqbad l-aktar nassa insidjuża: tagħlim żejjed (memorizzazzjoni). AI tikkalkula, tinterpreta u tqabbel il-metriċi; iżda huwa f'idejn il-bniedem li jiddeċiedi liema metrika hija tajba għan-negozju tiegħek u jekk mudell huwiex "tajjeb biżżejjed". Tim li jħares lejn il-metrika żbaljata jista' jiżbalja mudell ħażin għal xhur bħala "suċċess."
Għaliex l-eżattezza mhix biżżejjed: matriċi ta 'konfużjoni
L-ewwel metrika li tiġi f'moħħna fil-klassifikazzjoni hija l-eżattezza (eżattezza — il-proporzjon totali ta 'previżjonijiet korretti). Iżda kif rajna f'Unità 6, l-eżattezza hija qarrieqa b'dejta żbilanċjata. Bidu aħjar huwa l-matriċi ta 'konfużjoni - tabella li taqsam il-previżjonijiet f'erba' bins:
- Veru pożittiv (TP): Sejħilna falz dak li hu verament falz. (Tajjeb)
- Veru negattiv (TN): għidna tassew nadif. (Tajjeb)
- Pożittiv falz (FP): Żball għidna li dak nadif kien falz. (Allarm falz)
- Negattiv falz (FN): Tlifna l-fake u sejjaħlu nadif. (Theddida mitlufa)
Żewġ metriċi ewlenin joħorġu minn dawn l-erba 'kaxxi. Preċiżjoni: "Kemm minn dak li nsejjaħ falz huwa fil-fatt falz?" — importanti jekk l-ispejjeż ta' allarm falz huma għoljin. Sensittività (recall bl-Ingliż): "Kemm kemm qbadt foloz reali?" — importanti meta titlef theddida tkun għalja. It-tnejn spiss ikunu f'kontradizzjoni ma 'xulxin: jekk tnaqqas il-limitu u tgħid "falz" aktar, ir-recall tiżdied iżda l-preċiżjoni tonqos. Il-punteġġ F1 huwa l-medja bilanċjata (medja armonika) ta 'dawn it-tnejn.
Attenzjoni: It-tweġiba għall-mistoqsija "Liema metrika hija importanti" hija deċiżjoni kummerċjali, mhux teknika. In-nuqqas ta' każ (recall baxx) fl-iskrinjar tal-kanċer huwa diżastruż; Huwa tedjanti li tibgħat email importanti lill-ispam (preċiżjoni baxxa) fil-filtru tal-ispam. L-ispiża tiddetermina l-metrika.
Metriċi ta' rigressjoni
Jekk l-output huwa numri, jintużaw metriċi differenti. MAE (Mean Assolute Error): kemm l-istimi jiddevjaw mill-medja attwali, fl-istess unità (eż. "aħna żbaljati b'4,200 TL bħala medja"). RMSE (Root Mean Squared Error): jippenalizza żbalji kbar b'mod aktar sever u huwa sensittiv għal outliers. R² (R-squared — koeffiċjent ta' determinazzjoni): kemm mill-varjabbiltà fil-mira jispjega l-mudell (qrib 1 hija tajba, 0 hija ħażina daqs li tbassar il-medja, negattiv huwa saħansitra agħar).
L-aktar nassa insidjuża: it-tagħlim żejjed
It-twaħħil żejjed - fejn il-mudell jimmemorizza d-dejta tat-taħriġ iżda jfalli fuq dejta ġdida - huwa l-iżball l-aktar komuni fix-xjenza tad-dejta. Is-sintomu huwa ċar: il-mudell huwa kbir fuq is-sett tat-taħriġ (98%), ħażin fuq is-sett tat-test (72%). Il-mudell memorizzat l-istorbju ta 'dak il-kampjun partikolari, mhux il-mudell attwali fid-dejta. Hemm ukoll l-oppost: underfitting—il-mudell huwa ħażin kemm fit-taħriġ kif ukoll fl-ittestjar għax huwa sempliċi wisq biex jinqabad il-mudell.
Modi biex jiġi miġġieled it-tagħlim żejjed: is-simplifikazzjoni tal-mudell, aktar dejta, ir-regolarizzazzjoni — il-brejk matematiku li jżomm il-mudell milli jsir wisq kumpless — u l-aktar importanti, cross-validation.
Cross-validation: ma tafdax ħġieġa waħda
Pod ta 'taħriġ/test wieħed jista' jkun xortik tajba jew sfortunat; Tista 'tikseb marki għoljin għas-sett tat-test sempliċement għax dak il-kampjun huwa faċli. Il-validazzjoni inkroċjata (CV fil-qosor) issolvi dan. L-aktar forma komuni hija k-fold CV: id-dejta hija maqsuma f'k partijiet (eż. 5); F'kull rawnd, parti waħda qed tittestja u l-bqija hija t-taħriġ; dan jirrollja 5 darbiet u l-5 punteġġi huma medja. Allura se tara li l-prestazzjoni hija bbażata fuq il-medja ta 'qasmiet multipli, mhux qasma xortik tajba waħda. Id-distribuzzjoni tal-punteġġi hija wkoll informattiva: punteġġi volatili ħafna (85% fuq sular wieħed, 62% fuq l-oħra) jindikaw li l-mudell huwa instabbli.
Il-k-fold normali ma jintużax f'serje ta 'żmien (tnixxi l-futur); Minflok, tagħmel "forward chaining" (qasma ta 'serje ta' ħin): dejjem tħarreġ mal-passat u tittestja l-futur.
metrika
Tip ta' problema
Meta jimpurtah?
Eżattezza
Klassifikazzjoni
Jekk il-klassijiet huma bilanċjati
Preċiżjoni
Klassifikazzjoni
Allarm falz jiswa ħafna flus
Sensittività (recall)
Klassifikazzjoni
Jekk huwa għali li titlef
F1
Klassifikazzjoni
Jekk ikun meħtieġ bilanċ
MAE
rigressjoni
Żball interpretabbli
RMSE
rigressjoni
Jekk żbalji kbar huma kritiċi
R²
rigressjoni
setgħa spjegattiva
tliet każijiet żgħar
Każ 1 — L-illużjoni ta 'preċiżjoni għolja. Mudell wieħed ta’ frodi wera preċiżjoni ta’ 99.2% u t-tim iċċelebra. Meta wieħed iħares lejn il-matriċi tal-konfużjoni, ir-rata reali: foloz fid-dejta kienet 0.8%; il-mudell maqbuda kważi l-ebda foloz, biss qal "kollha ċara". Recall kien 6%. Lezzjoni: ħares lejn il-metriċi, mhux l-eżattezza.
Każ 2 — Tagħlim eċċessiv latenti. Tim wieħed wassal u saħħaħ XGBoost għal 97% fuq is-sett tat-taħriġ. Is-sett tat-test kien 69%, iżda ħadd ma kien ħares. Il-mudell waqa 'fil-produzzjoni. Kieku saret il-validazzjoni inkroċjata, id-differenza kbira bejn it-tinji (tagħlim żejjed) kienet tkun viżibbli mill-bidu. Lezzjoni: fiduċja CV u punteġġ tat-test, mhux punteġġ tal-edukazzjoni.
Każ 3 — Qasam xortik tajba. Analista wieħed kien kuntent li kiseb 88% f'qasma waħda. Meta l-kollega tiegħu għamel CV ta '5 darbiet, il-punteġġi kienu 88%, 71%, 83%, 64%, 79% — il-medja hija 77%, iżda hija volatili ħafna. Il-mudell kien instabbli; Il-kompartiment wieħed kien qarrieqi. Lezzjoni: ħares lejn il-medja tas-CV u d-distribuzzjoni, mhux il-bin individwali.
Erba' mudelli li jistgħu jiġu kkupjati
1) Rapport sħiħ tal-klassifikazzjoni:
Għandi mħarrġa mudell u sett tat-test. Iġġenera: matriċi ta 'konfużjoni, preċiżjoni, recall, F1 (għal kull klassi) u għadd ta' appoġġ. Qed niddeduċi, imma tiddependi minni: ngħidlek liema metrika hija importanti. Innota li l-eżattezza tista' tkun qarrieqa b'dejta żbilanċjata.
2) Kontroll ta 'tagħlim żejjed:
Ipprintja l-punteġġi tal-mudell tiegħi kemm fis-settijiet TA’ TAĦRIĠ kif ukoll tat-TEST ħdejn xulxin. Ikkalkula d-differenza bejniethom u twissi peress li differenza kbira hija sinjal ta’ tagħlim żejjed. Jekk id-differenza hija kbira, tissuġġerixxi regolarizzazzjoni jew simplifikazzjoni.
3) Cross validation:
Wettaq validazzjoni inkroċjata ta '5 darbiet (għal stratifikat, klassifikazzjoni). Stampa l-punteġġ, il-medja u d-devjazzjoni standard ta 'kull tinja. Jekk il-punteġġi huma volatili ħafna (std għoli), indika li l-mudell huwa instabbli. Uża pipelines sabiex it-trasformazzjonijiet jitgħallmu biss mill-biċċa tat-taħriġ f'kull saff.
4) Paragun tal-linja bażi:
Poġġi l-metrika tal-mudell tiegħi ħdejn xulxin ma 'linja bażi DummyClassifier. Il-mudell jegħleb il-linja bażi b'mod sinifikanti? Jekk ma jgħaddix, għamilha ċara li l-mudell ma jżid l-ebda valur reali.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Il-mudell tiegħi huwa tajjeb?
"Tajjeb" mhix definita; Mhuwiex ċar liema metrika, liema limitu, liema linja bażi. AI tista 'tagħti numru ta' preċiżjoni wieħed u tqarraq.
Pront qawwi:
Ir-rwol tiegħek: assistent tal-valutazzjoni. Klassifikazzjoni, data żbilanċjata (12% pożittiv). Prijorità: sejħa lura (li ma titlifx il-pożittivi). Kompitu: (1) matriċi ta 'konfużjoni, (2) preċiżjoni/recall/F1, (3) CV medja stratifikata b'5 darbiet u std, (4) paragun tal-linja bażi DummyClassifier. Iffoka fuq l-irtirar u d-differenza fil-linja bażi, mhux l-eżattezza. Ikkummenta, imma jien nieħu d-deċiżjoni finali.
Hawnhekk, il-prijorità metrika, is-CV u l-kundizzjoni tal-linja bażi huma ċari.
Żbalji komuni
- Preċiżjoni ta 'fiduċja f'dejta żbilanċjata. Preċiżjoni ta '99% tista' ma taqbadx il-klassi tal-minoranza xejn; Ħares lejn il-matriċi tal-konfużjoni.
- Ħares biss lejn il-punteġġ tal-edukazzjoni tiegħek. Edukazzjoni għolja, punteġġ baxx tat-test huwa overlearning; Dejjem qabbel żewġ punteġġi.
- Jiddependi fuq kompartiment wieħed. Diviżjoni xxurtjata hija qarrieqa; Ħares lejn il-medja u d-distribuzzjoni b'validazzjoni inkroċjata.
- Mhux tqabbel mal-linja bażi. Ma tistax tgħid "tajjeb" mingħajr ma tkun taf jekk il-mudell jegħlebx tbassir stupid.
- Bl-użu normali k-fold fuq serje tal-ħin. Tnixxi l-futur; qasma tas-serje tal-ħin hija meħtieġa.
Tip: Ikteb tliet numri ħdejn kull mudell: punteġġ ta 'taħriġ, medja ta' validazzjoni inkroċjata, u punteġġ tal-linja bażi. Dan it-trio jiżvela f'daqqa t'għajn tagħlim żejjed (taħriġ >> CV) u sottovalutazzjoni (CV ≈ linja bażi).
Fil-qosor
Il-bini ta' mudell huwa faċli, iżda l-evalwazzjoni tiegħu onestament hija diffiċli. Fil-klassifikazzjoni, il-matriċi tal-konfużjoni, il-preċiżjoni u l-irtirar huma ħafna aktar informattivi mill-eżattezza; L-ispiża tax-xogħol tiddetermina liema waħda hija importanti. MAE, RMSE u R² jintużaw fir-rigressjoni. L-aktar nassa insidjuża hija t-tagħlim żejjed: dejjem qabbel it-taħriġ u l-punteġġ tat-test. Tistrieħ fuq il-medja u d-distribuzzjoni tal-validazzjoni inkroċjata, mhux qasma waħda; Qabbel kollox ma 'linja bażi. L-AI tikkalkula dawn kollha, iżda huwa f'idejn il-bniedem li jiddeċiedi liema metrika tuża.
Kompitu ta' applikazzjoni
Oħroġ matriċi ta' konfużjoni, preċiżjoni, recall u F1 għal mudell ta' klassifikazzjoni; Imbagħad agħmel cross-validation b'5 darbiet u ħares lejn id-distribuzzjoni tal-punteġġ bejn it-tinji. Fl-aħħarnett, ikteb il-punteġġ tat-taħriġ, il-medja tas-CV, u punteġġ tal-linja bażi ħdejn xulxin. Ikkummenta f'sentenza waħda jekk il-mudell tiegħek huwiex qed jitgħallem iżżejjed u jgħaddix il-linja bażi.
lista ta' kontroll
- [ ] Ħarist lejn il-metrika attwali tax-xogħol (preċiżjoni/recall/F1 eċċ.) minflok preċiżjoni?
- [ ] Eżaminajt il-matriċi tal-konfużjoni?
- [ ] Qabbilt it-taħriġ u l-punteġġ tat-test u ċċekkjajt għal tagħlim żejjed?
- [ ] Ħarist lejn il-medja u d-distribuzzjoni b'validazzjoni inkroċjata?
- [ ] Qabbilt il-mudell ma' linja bażi?