Qligħ:
- Kapaċità li tagħżel il-metrika xierqa għat-tip ta' problema u l-kuntest tan-negozju (PR-AUC/recall f'dejta żbilanċjata, MAE/RMSE fir-rigressjoni) u tirrikonoxxi tagħlim żejjed/sottovalutat
- Kapaċità li tinterpreta kull metrika kontra linja bażi u tkejjel id-devjazzjoni u tissepara l-istorbju mill-progress b'validazzjoni inkroċjata
- Kapaċità li tirrapporta riżultati mhux ottimisti billi tirfina l-iperparametri bis-sett ta’ validazzjoni u tuża s-sett tat-test biss fl-aħħar
Taħriġ tal-mudell (taħriġ: il-proċess ta 'mudelli ta' tagħlim mid-dejta) huwa l-aktar pass viżibbli iżda l-aktar qarrieqi tal-inġinerija ML. Jidher għax jipproduċi numru sodisfaċenti bħal "preċiżjoni 95%". Jqarraq għax dak in-numru ħafna drabi huwa t-tweġiba t-tajba għall-mistoqsija żbaljata. F'din l-unità, l-edukazzjoni u l-evalwazzjoni huma diskussi mad-dixxiplina tal-inġinerija; Aħna nużaw intelliġenza artifiċjali bħala sieħeb fid-disinn sperimentali u nibbażaw id-deċiżjoni fuq il-kejl.
Loġika taċ-ċiklu tat-taħriġ
Mudell jitgħallem il-mudell fid-dejta billi jimminimizza funzjoni ta 'telf: funzjoni li tkejjel numerikament l-iżball tal-mudell. L-algoritmu ta 'ottimizzazzjoni (eż. inżul gradjent) inaqqas it-telf billi jaġġusta l-parametri pass pass. L-għan mhuwiex li tiġi mmemorizzata d-dejta tat-taħriġ, iżda li tiġi ġeneralizzata għal dejta bla preċedent.
Żewġ perikli ewlenin:
- Żejjed: Il-mudell jimmemorizza d-dejta tat-taħriġ u jfalli fuq dejta ġdida. Is-suċċess tat-taħriġ huwa għoli, is-suċċess tal-verifika huwa baxx.
- Underfitting: Il-mudell ma jistax jaqbad il-mudell; Kemm it-taħriġ kif ukoll is-suċċess tal-validazzjoni huma baxxi.
Li ssib il-bilanċ hija l-arti tal-edukazzjoni. Is-sett tal-validazzjoni qiegħed hemm biex jimmonitorja dan il-bilanċ: jekk is-suċċess tal-validazzjoni jibda jonqos waqt li jiżdied is-suċċess tat-taħriġ, ikun beda t-tagħlim żejjed.
Tip: Iplottja t-taħriġ u t-telf tal-validazzjoni flimkien f'kull pass. Il-punt li fih iż-żewġ kurvi jibdew jiddiverġu huwa fejn jibda t-tagħlim żejjed u huwa l-mument it-tajjeb biex "tieqaf kmieni".
Għażla metrika: l-iktar deċiżjoni kritika
Il-metrika ħażina tagħmel mudell tajjeb jidher ħażin u mudell ħażin jidher tajjeb. Il-problema tiddetermina l-metrika:
- Klassifikazzjoni żbilanċjata (klassi waħda hija rari ħafna, eż. frodi): L-eżattezza hija qarrieqa. Mudell li jgħid "sejħa kollox normali" se tikseb preċiżjoni ta '99% iżda mhux se jaqbad frodi waħda. Minflok, jintużaw il-preċiżjoni (kemm dak li qbadt huwa fil-fatt pożittiv), ir-recall (kemm dak li qbadt huwa tassew pożittiv) u l-bilanċ tagħhom F1 jew PR-AUC.
- Klassifikazzjoni bilanċjata: Preċiżjoni u ROC-AUC jistgħu jkunu xierqa.
- Rigressjoni (stima tan-numru): MAE (żball assolut medju), RMSE (jippenalizza żbalji kbar), MAPE (iżball perċentwali).
- Klassifikazzjoni/rakkomandazzjoni: NDCG, MRR, Recall@K.
Jekk il-preċiżjoni jew l-irtirar huwiex importanti jiddependi fuq il-kuntest tan-negozju. Ir-recall (li ma jitlef l-ebda pazjent) huwa prijorità fl-iskrining tal-kanċer; Il-preċiżjoni fil-filtru tal-ispam (li ma tibgħatx e-mails importanti lill-ispam) hija importanti. Din hija deċiżjoni kummerċjali, mhux teknika, u ssir flimkien mill-inġinier u s-sid.
Pront dgħajjef / Pront qawwi
Pront dgħajjef: "Evalwa l-prestazzjoni tal-mudell tiegħi, preċiżjoni 0.97."
Prompt qawwi: "Għandi mudell ta' skoperta ta' frodi; ir-rata ta' klassi pożittiva hija 1.5%. L-eżattezza hija rrappurtata bħala 0.97. Spjega għaliex din il-metrika tista' tkun qarrieqa, għidli liema metriċi (preċiżjoni, recall, PR-AUC) għandi nippreferi u għaliex. Ikkalkula wkoll kemm mudell ta' linja bażi 'sejħa kollox negattiv' sejjer nikseb fuq din id-dejta reali. "
Differenza: pront qawwija tagħti proporzjon tal-klassi u kuntest tan-negozju; jitlob ukoll paragun ta' mudell ta' bażi — dan huwa l-aktar ankra importanti għal jekk metrika hijiex sinifikanti.
Linja bażi: metrika mingħajr paragun hija bla sens
Metrika mhix tajba jew ħażina waħedha; Huwa tajjeb jew ħażin skond mudell bażiku. Il-mudell bażiku huwa l-aktar soluzzjoni sempliċi li tiġi f'moħħna: "dejjem għid lill-klassi tal-maġġoranza", "irrepeti l-valur tal-ġimgħa li għaddiet", "aqta l-medja". Jekk il-mudell tiegħek ma jistax jgħaddi b'mod ċar din is-soluzzjoni sempliċi, il-kumplessità kollha hija għal xejn.
Attenzjoni: Is-sentenza "Il-mudell tiegħi huwa 85% preċiż" waħedha ma tgħid xejn. Jekk il-mudell bażi diġà jikseb 84%, il-mudell tiegħek huwa kważi għal xejn; Jekk il-mudell bażi jikseb 50%, il-mudell tiegħek huwa perfett. Dejjem tkellem f'termini tal-mudell bażiku.
Cross-validation u fiduċja
Qasam wieħed ta' taħriġ/ittestjar jista' jkun minħabba ċans. Validazzjoni inkroċjata: id-diviżjoni tad-dejta f'k partijiet u l-ittestjar ta 'kull parti b'mod sekwenzjali juri kemm hija stabbli l-prestazzjoni. Fil-validazzjoni inkroċjata 5 darbiet ikollok ħames punteġġi differenti; Il-medja u d-devjazzjoni standard tagħhom huma importanti. Jekk il-medja hija 80% iżda d-devjazzjoni hija ± 12%, il-mudell tiegħek huwa instabbli - jista 'jġib ruħu b'mod differenti ħafna fil-lott ta' dejta li jmiss.
Dan huwa wkoll kritiku għat-"tqabbil ta' żewġ mudelli". Jekk il-Mudell A kiseb 81% u l-Mudell B kiseb 82%, B huwa verament aħjar? Jekk id-devjazzjoni hija ± 3%, din id-differenza tista 'tkun ħoss. Ikkunsidra jekk id-differenza hijiex sinifikanti qabel ma tiddeċiedi.
Irfinar tal-iperparametri: b'validazzjoni, mhux ittestjar
Iperparametri (settings determinati manwalment qabel it-taħriġ—rata ta 'tagħlim, fond tas-siġra, eċċ.) huma ssettjati mas-sett ta' validazzjoni. Is-sett tat-test jintuża biss fl-aħħar, darba. Jekk tagħżel iperparametri billi tħares lejn is-sett tat-test, is-sett tat-test ikun ikkontaminat u l-prestazzjoni li tirrapporta tkun ottimista li mhux il-każ fir-realtà.
L-intelliġenza artifiċjali hija helper tajjeb fit-tfassil tal-ispazju tat-tiftix tal-iperparametri u l-kitba tal-kodiċi tat-tfittxija (tfittxija tal-grilja, tfittxija każwali, ottimizzazzjoni Bayesjana). Imma xorta tiddeċiedi "liema metrika se nottimizzaw?"
tliet każijiet żgħar
Każ 1 - Nassa tal-preċiżjoni. Tim mediku kien kburi b'mudell li skopra marda rari: preċiżjoni ta '98%. Meta sar il-paragun tal-mudell bażiku, ħarġet il-verità: peress li r-rata tal-mard kienet ta '2%, il-mudell li qal "sejħ lil kulħadd b'saħħtu" irċieva wkoll 98%. L-irtirar tal-mudell kien biss 11% - nieqes ħafna mill-pazjenti. Ladarba l-metrika ġiet konvertita għal PR-AUC, il-prestazzjoni attwali ġiet imkejla u l-mudell ġie ddisinjat mill-ġdid.
Każ 2 - Ħsejjes bi żball bi progress. Tim qatta' xhur itejjeb il-mudell minn 86.2% għal 86.9%. Il-validazzjoni inkroċjata wriet li l-preġudizzju kien ± 1.4% - għalhekk it-"titjib" ta '0.7 punt kien storbju statistiku. It-tim kien ħela tliet ġimgħat fuq qligħ mhux reali. Lezzjoni: ma tiddikjarax rebħa mingħajr ma tivverifika li t-titjib huwa akbar mid-devjazzjoni.
Każ 3 - Kontaminazzjoni tas-sett tat-test. Inġinier ripetutament ħares lejn is-sett tat-test biex jagħżel l-aħjar iperparametri. Il-91% li rrapporta niżel għal 83% fil-produzzjoni. Għaliex: bla ma kien jaf għażel il-mudell kif xieraq billi ħares lejn is-sett tat-test għal darb'oħra (tagħlim żejjed fuq is-sett tat-test). Il-prestazzjoni rrapportata u dik attwali kienu jikkoinċidu meta ntuża sett ta' validazzjoni separat.
Mudelli kopjabbli
Għinni nagħżel il-metrika t-tajba għal din il-problema ta' klassifikazzjoni. Problema: [dak li hu previst] Distribuzzjoni tal-klassi: [rata pożittiva
Evalwa t-tqabbil taż-żewġ mudelli li ġejjin.Mudell A cross-validation: [lista ta’ punteġġi]Mudell B cross-validation: [lista ta’ punteġġi]Ikkalkula l-medja u d-devjazzjoni standard. Id-differenza hija statistikament sinifikanti jew hija biss ħoss fi ħdan id-devjazzjoni? Liema waħda tirrakkomanda li nagħżel u għaliex?
Iċċekkja dan il-kodiċi tat-taħriġ għal dan li ġej:1) L-iperparametri jintgħażlu bis-sett tat-test jew is-sett ta' validazzjoni?2) Il-waqfien kmieni huwa mmonitorjat bis-sett korrett?3) Hemm xi sinjali ta' tagħlim żejjed (differenza fit-telf ta' taħriġ/validazzjoni)?Kodiċi: [kodiċi]
Liema mill-MAE, RMSE, u MAPE għandi nirrapporta għal din il-problema ta' rigressjoni?Skala tal-varjabbli fil-mira: [firxa]Żbalji kbar huma ħżiena b'mod sproporzjonat (RMSE), jew huma kollha ugwali (MAE)?Hemm valuri qrib iż-żero (jgħawġu lill-MAPE)?Suġġerixxi b'ġustifikazzjoni qasira.
Tabella tal-għażla metrika
Tip ta' problema
Metrika xierqa
Biex jiġi evitat
Għaliex
Klassifikazzjoni żbilanċjata
PR-AUC, F1, recall
Eżattezza
Il-klassi tal-maġġoranza tgħolli l-metrika
Klassifikazzjoni bilanċjata
Eżattezza, ROC-AUC
—
Affidabbli f'dejta bilanċjata
Rigressjoni (outlier sinifikanti)
RMSE
MAPE (jekk żero)
Jikkastiga żbalji kbar
Rigressjoni (piż ugwali)
MAE
—
Faċli biex tinterpreta
Klassifikazzjoni/rakkomandazzjoni
NDCG, Recall@K
Eżattezza
L-ordni hija importanti
Żbalji komuni
- Użu ta 'preċiżjoni fuq data żbilanċjata. L-iżball metriku l-aktar komuni.
- Li ma jagħmlux paraguni tal-mudell bażi. Jagħmel il-metrika titlef it-tifsira tagħha.
- Ħarsa lejn is-sett tat-test għall-iperparametri. Riżultat ottimist, mhux realistiku.
- Jiddependi fuq kompartiment wieħed. Mingħajr cross-validation ma tarax il-preġudizzju.
- Jiżbalja l-istorbju għall-progress. "Titjib" żgħir mid-devjazzjoni huwa l-aktar xortih.
- Injora l-kuntest tan-negozju. Il-bilanċ ta' preċiżjoni/irtirar huwa deċiżjoni kummerċjali.
Fil-qosor
Il-ħila reali fit-taħriġ tal-mudell mhijiex li tipproduċi numru għoli, iżda li tkun taf xi jfisser dak in-numru. Il-problema u l-kuntest tan-negozju jiddeterminaw il-metrika t-tajba; tinterpreta kull metrika skont mudell bażi; kejjel il-preġudizzju b'validazzjoni inkroċjata u tiżbaljax l-istorbju għall-progress; Uża s-sett tat-test biss fl-aħħar, darba waħda. L-AI hija s-sieħba tiegħek fid-disinn tal-esperimenti, iżda d-deċiżjoni ta '"tajjeb biżżejjed" hija f'idejk u tiegħek.
Kompitu ta' applikazzjoni
Għal mudell ta’ klassifikazzjoni: (1) ikteb id-distribuzzjoni tal-klassi, (2) ibni mudell bażi xieraq u kejjel il-punteġġ tiegħu, (3) evalwa l-mudell tiegħek b’validazzjoni inkroċjata ta’ 5 darbiet u rrapporta l-medja u d-devjazzjoni standard, (4) ikkalkula l-metrika xierqa għall-problema (eż. PR-AUC) minflok l-eżattezza. Ikteb jekk il-mudell tiegħek jegħlbux il-mudell tal-linja bażi b'marġni kbir mingħajr preġudizzju.
lista ta' kontroll
- [ ] Għażilt il-metrika bbażata fuq it-tip ta' problema u l-kuntest tan-negozju.
- [ ] Bnejt mudell bażi u qabbilt miegħu.
- [ ] Irrapportajt il-medja u d-devjazzjoni b'validazzjoni inkroċjata.
- [ ] Ikkonfermajt li t-titjib huwa akbar mid-devjazzjoni.
- [ ] Għażilt l-iperparametri bis-sett ta' validazzjoni.
- [ ] Użajt is-sett tat-test darba biss, fl-aħħar nett.