Kasu:
- Võimalus valida probleemi tüübile ja ärikontekstile sobiv mõõdik (PR-AUC / tagasikutsumine tasakaalustamata andmete korral, MAE / RMSE regressioonis) ja tuvastada üle/alaõppe
- Võimalus tõlgendada iga mõõdikut baasjoone alusel ja mõõta kõrvalekallet ning eraldada müra edenemisest ristvalideerimisega
- Võimalus teatada mitteoptimistlikest tulemustest, häälestades hüperparameetreid valideerimiskomplektiga ja kasutades testikomplekti ainult lõpus
Mudelitreening (koolitus: andmetest mustrite õppimise protsess) on ML-tehnoloogia kõige nähtavam, kuid kõige eksitavam samm. See näib, kuna see annab rahuldava arvu, näiteks "täpsus 95%. Eksitav, sest see arv on sageli õige vastus valele küsimusele. Selles üksuses arutatakse haridust ja hindamist koos inseneridistsipliiniga; Kasutame eksperimentaaldisaini partnerina tehisintellekti ja lähtume otsuse tegemisel mõõtmisest.
Treeningtsükli loogika
Mudel õpib andmetes mustrit ära, minimeerides kadufunktsiooni: funktsioon, mis mõõdab numbriliselt mudeli viga. Optimeerimisalgoritm (nt gradiendi laskumine) vähendab kadu, kohandades parameetreid samm-sammult. Eesmärk ei ole treeninguandmeid pähe õppida, vaid üldistada need enneolematuteks andmeteks.
Kaks peamist ohtu:
- Ülesobitamine: mudel jätab treeninguandmed meelde ja ebaõnnestub uute andmete puhul. Koolituse edukus on kõrge, kontrollimise edukus on madal.
- Alasobitus: mudel ei saa mustrit jäädvustada; Nii koolituse kui ka valideerimise edukus on madal.
Tasakaalu leidmine on kasvatuskunst. Valideerimiskomplekt on selle tasakaalu jälgimiseks: kui valideerimise edukus hakkab vähenema, samal ajal kui treeningu edukus kasvab, on üleõppimine alanud.
Näpunäide. Joonistage koolituse ja valideerimise kaotus igas etapis koos. Punkt, kus need kaks kõverat hakkavad lahknema, on koht, kus algab üleõppimine ja see on õige hetk "varaseks peatumiseks".
Mõõdiku valik: kõige kriitilisem otsus
Vale mõõdik muudab hea mudeli halva ja halva mudeli hea välja. Probleem määrab mõõdiku:
- Tasakaalustamata klassifikatsioon (üks klass on väga haruldane, nt pettus): täpsus on eksitav. Mudel, mis ütleb "kutsuge kõike normaalseks", saavutab 99% täpsuse, kuid ei taba ühtegi pettust. Selle asemel kasutatakse täpsust (kui suur osa sellest, mida ma püüdsin, on tegelikult positiivne), meeldetuletust (kui suur osa sellest, mida ma püüdsin, on tõeliselt positiivne) ja nende saldo F1 või PR-AUC.
- Tasakaalustatud klassifikatsioon: täpsus ja ROC-AUC võivad olla asjakohased.
- Regressioon (arvu hindamine): MAE (keskmine absoluutne viga), RMSE (karistab suuri vigu), MAPE (protsentuaalne viga).
- Edetabel/soovitus: NDCG, MRR, Recall@K.
See, kas täpsus või meeldejätmine on oluline, sõltub ärikontekstist. Vähktõve sõeluuringul on esmatähtis tagasi kutsumine (mitte ühtegi patsienti ilma jätta); Rämpspostifiltri täpsus (oluliste e-kirjade mitte rämpsposti saatmine) on oluline. See on äriline, mitte tehniline otsus ning selle teevad insener ja omanik koos.
Nõrk viip / Tugev viip
Nõrk viip: "Hinda minu mudeli jõudlust, täpsus 0,97."
Võimas viip: "Mul on pettuste tuvastamise mudel; positiivse klassi määr on 1,5%. Täpsus on esitatud kui 0,97. Selgitage, miks see mõõdik võib olla eksitav, öelge mulle, milliseid mõõdikuid (täpsus, tagasikutsumine, PR-AUC) peaksin eelistama ja miks. Samuti arvutage välja, kui täpseks saaksin nendele andmetele tõelise lisaväärtuse "kutsuge kõike negatiivseks" baasmudelil."
Erinevus: võimas viip annab klassi suhte ja ärikonteksti; see nõuab ka baasmudeli võrdlust – see on kõige olulisem ankur selle kohta, kas mõõdik on mõttekas.
Lähtejoon: mõõdik ilma võrdluseta on mõttetu
Mõõdik ei ole iseenesest hea ega halb; Põhimudeli järgi on see hea või halb. Põhimudel on kõige lihtsam lahendus, mis pähe tuleb: "öelge alati enamusklassile", "korrake eelmise nädala väärtust", "arvake ära keskmine". Kui teie mudel ei suuda seda lihtsat lahendust selgelt läbida, on kogu keerukus asjata.
Ettevaatust: lause "Minu mudel on 85% täpne" iseenesest ei ütle midagi. Kui baasmudel saab juba 84%, on teie mudel peaaegu väärtusetu; Kui baasmudel saab 50%, on teie mudel täiuslik. Rääkige alati põhimudelist.
Ristvalideerimine ja usaldus
Üks koolituse/testimise jaotus võib olla tingitud juhusest. Ristvalideerimine: andmete jagamine k osaks ja iga osa järjestikuline testimine näitab, kui stabiilne on jõudlus. 5-kordsel ristvalideerimisel saate viis erinevat tulemust; Nende keskmine ja standardhälve on olulised. Kui keskmine on 80%, kuid kõrvalekalle on ±12%, on teie mudel ebastabiilne – see võib järgmises andmekogus käituda väga erinevalt.
See on kriitiline ka "kahe mudeli võrdluse" jaoks. Kui mudel A sai 81% ja mudel B 82%, kas B on tõesti parem? Kui kõrvalekalle on ±3%, võib see erinevus olla müra. Enne otsustamist mõelge, kas erinevus on märkimisväärne.
Hüperparameetrite häälestamine: valideerimisega, mitte testimisega
Hüperparameetrid (enne treeningut käsitsi määratud sätted – õppimiskiirus, puu sügavus jne) määratakse valideerimiskomplektiga. Testikomplekti kasutatakse ainult lõpus, üks kord. Kui valite hüperparameetrid katsekomplekti vaadates, on testikomplekt saastunud ja teie raporteeritud jõudlus on optimistlik, mis tegelikkuses nii ei ole.
Tehisintellekt on hea abimees hüperparameetrite otsinguruumi kujundamisel ja otsingukoodi kirjutamisel (ruuduotsing, juhuslik otsing, Bayesi optimeerimine). Kuid ikkagi otsustate, "millist mõõdikut optimeerime?"
kolm minikarpi
Juhtum 1 – täpsuslõks. Meditsiinimeeskond oli uhke mudeli üle, mis tuvastas haruldase haiguse: 98% täpsus. Kui tehti põhimudelite võrdlus, selgus tõde: kuna haigestumuse määr oli 2%, siis mudel, mis ütles, et "kutsu kõik terveks", sai samuti 98%. Modelli tagasikutsumine oli vaid 11% - enamik patsiente puudus. Kui mõõdik muudeti PR-AUC-ks, mõõdeti tegelikku jõudlust ja mudel kujundati ümber.
Juhtum 2 – müra segi ajamine edenemisega. Meeskond veetis mitu kuud mudeli täiustamiseks 86,2%-lt 86,9%-le. Ristvalideerimine näitas, et kallutatus oli ±1,4% - seega oli 0,7-punktiline "parandus" statistiline müra. Meeskond oli raisanud kolm nädalat ebareaalsele tulule. Õppetund: ärge kuulutage võitu ilma, et oleksite kontrollinud, et paranemine on suurem kui kõrvalekalle.
3. juhtum – katsekomplekti saastumine. Insener vaatas testikomplekti korduvalt, et valida parimad hüperparameetrid. Sellest teatatud 91% vähenes tootmises 83%ni. Miks: ta oli teadmatult valinud mudeli vastavalt, vaadates katsekomplekti ikka ja jälle (testikomplektil üleõppides). Eraldi valideerimiskomplekti kasutamisel kattusid teatatud ja tegelik toimivus.
Kopeeritavad mallid
Aidake mul valida selle liigitusprobleemi jaoks õige mõõdik. Probleem: [mida ennustatakse] Klasside jaotus: [positiivne määr
Hinnake kahe jrgmise mudeli vrdlust.Mudel A ristvalideerimine: [skooride loend]Mudel B ristvalideerimine: [skooride loend]Arvutage keskmine ja standardhälve. Kas erinevus on statistiliselt oluline või on see lihtsalt hälbe sees müra? Millist neist soovitaksite valida ja miks?
Kontrollige sellest koolituskoodist järgmist:1) Kas hüperparameetrid on valitud testikomplekti või valideerimiskomplektiga?2) Kas varajast peatumist jälgitakse õige komplektiga?3) Kas on mingeid märke üleõppimisest (treeningu/valideerimise kaotuse erinevus)?Kood: [kood]
Millist MAE, RMSE ja MAPE väärtust peaksin selle regressiooniprobleemi puhul teatama?Sihtmuutuja skaala: [vahemik]Kas suured vead on ebaproportsionaalselt halvad (RMSE) või on need kõik võrdsed (MAE)?Kas on nullilähedased väärtused (kas need moonutavad MAPE-i)?Soovitage lühikese põhjendusega.
Mõõdikute valiku tabel
Probleemi tüüp
Sobiv mõõdik
Vältida
Miks
Tasakaalustamata klassifikatsioon
PR-AUC, F1, tagasivõtmine
Täpsus
Enamusklass paisutab mõõdiku
Tasakaalustatud klassifikatsioon
Täpsus, ROC-AUC
—
Usaldusväärne tasakaalustatud andmetega
Regressioon (oluline kõrvalekalle)
RMSE
MAPE (kui null)
Karistab suuremate vigade eest
Regressioon (võrdne kaal)
MAE
—
Lihtne tõlgendada
Edetabel/soovitus
NDCG, Recall@K
Täpsus
Kord on oluline
Levinud vead
- Täpsuse kasutamine tasakaalustamata andmete puhul. Kõige tavalisem meetriline viga.
- Ei tee baasmudelite võrdlusi. See kaotab mõõdiku tähenduse.
- Vaadates hüperparameetrite testikomplekti. Optimistlik, ebareaalne tulemus.
- Tuginedes ühele sektsioonile. Ilma ristvalideerimiseta te eelarvamusi ei näe.
- Segades müra edusammudega. Väikesed "täiustused" kõrvalekaldumisest on enamasti õnneks.
- Ärikonteksti ignoreerimine. Täpsus/tagasikutsumise tasakaal on äriline otsus.
Kokkuvõttes
Mudelitreeningu tegelik oskus ei ole kõrge numbri tootmine, vaid teadmine, mida see number tähendab. Probleem ja ärikontekst määravad õige mõõdiku; tõlgendada iga mõõdikut vastavalt baasmudelile; mõõta kallutatust ristvalideerimisega ja mitte segi müra edenemisega; Kasutage testikomplekti ainult lõpus, üks kord. AI on teie partner eksperimentide kujundamisel, kuid otsus "piisavalt hea" on teie ja teie enda teha.
Rakenduse ülesanne
Klassifitseerimismudeli jaoks: (1) kirjutage klassijaotus, (2) koostage sobiv baasmudel ja mõõtke selle skoor, (3) hinnake oma mudelit 5-kordse ristvalideerimisega ning teatage keskmine ja standardhälve, (4) arvutage täpsuse asemel probleemile sobiv mõõdik (nt PR-AUC). Kirjutage üles, kas teie mudel ületab põhimudelit suure varuga ilma erapoolikuta.
kontrollnimekiri
- [ ] Valisin mõõdiku probleemi tüübi ja ärikonteksti alusel.
- [ ] Ehitasin baasmudeli ja võrdlesin seda.
- [ ] Esitasin keskmise ja hälbe ristvalideerimisega.
- [ ] Kinnitasin, et paranemine on suurem kui hälve.
- [ ] Valisin hüperparameetrid valideerimiskomplektiga.
- [ ] Kasutasin testikomplekti vaid korra, päris lõpus.