Kasu:
- Oskus valida ja tõlgendada klassifitseerimis- ja regressioonimõõdikuid (segadusmaatriks, täpsus/tagasikutsumine/F1, MAE/RMSE/R²) vastavalt töö eesmärgile
- Võimalus tuvastada üleõppimist, võrreldes koolituse ja testide tulemusi ning saavutada ristvalideerimisega usaldusväärne jõudlus
- Võimalus hinnata, kas iga mudel lisab tegelikku väärtust, võrreldes seda algtasemega
Mudelit on lihtne üles seada; Raske on ausalt mõõta, kas see ka tegelikult töötab. Selle üksuse teemaks on andmeteadlase kõige kriitilisem oskus: mudeli hindamine õigete mõõdikutega, usaldusväärse ennustatava jõudluse saavutamine ja kõige salakavalama lõksu tabamine: üleõppimine (päheõppimine). AI arvutab, tõlgendab ja võrdleb mõõdikuid; kuid see on inimese otsustada, milline mõõdik on teie ettevõtte jaoks õige ja kas mudel on "piisavalt hea". Meeskond, kes vaatab valet mõõdikut, võib kuude kaupa halba mudelit ekslikult pidada eduks.
Miks täpsusest ei piisa: segadusmaatriks
Esimene mõõdik, mis klassifikatsioonis meelde tuleb, on täpsus (täpsus — õigete prognooside kogusuhe). Kuid nagu nägime 6. üksuses, on täpsus tasakaalustamata andmete korral eksitav. Parem algus on segaduste maatriks – tabel, mis jagab ennustused nelja lahtrisse:
- Tõeline positiivne (TP): me nimetasime võltsiks seda, mis on tõesti võlts. (Hea)
- Tõeline negatiivne (TN): me ütlesime, et tõesti puhas. (Hea)
- Valepositiivne (FP): ütlesime ekslikult, et puhas oli võlts. (Valehäire)
- Valenegatiivne (FN): jätsime võltsile vahele ja nimetasime selle puhtaks. (Ära jäetud ähvardus)
Nendest neljast kastist tulenevad kaks peamist mõõdikut. Täpsus: "Kui suur osa sellest, mida ma nimetan võltsiks, on tegelikult võlts?" — oluline, kui valehäire kulud on suured. Tundlikkus (meenuta inglise keeles): "Kui palju tõelisi võltsinguid ma tabasin?" — oluline, kui ohust ilmajäämine on kallis. Need kaks on sageli üksteisega vastuolus: kui alandate läve ja ütlete rohkem "võlts", siis meeldetuletus suureneb, kuid täpsus väheneb. F1 skoor on nende kahe tasakaalustatud keskmine (harmooniline keskmine).
Tähelepanu: vastus küsimusele "Milline mõõdik on oluline" on äriline, mitte tehniline otsus. Vähktõve sõeluuringul juhtumi puudumine (madal meeldetuletus) on katastroofiline; Rämpspostifiltris rämpsposti (madala täpsusega) tähtsa kirja saatmine on tüütu. Maksumus määrab mõõdiku.
Regressioonimõõdikud
Kui väljundiks on numbrid, kasutatakse erinevaid mõõdikuid. MAE (Mean Absolute Error): kui palju erinevad hinnangud tegelikust keskmisest, samas ühikus (nt "me eksime keskmiselt 4200 TL võrra"). RMSE (Root Mean Squared Error): karistab suuremaid vigu rangemalt ja on tundlik kõrvalekallete suhtes. R² (R-ruut — määramiskoefitsient): kui suurt osa sihtmärgi varieeruvusest mudel seletab (lähedane 1-le on hea, 0 on sama halb kui keskmise ennustamine, negatiivne on veelgi hullem).
Kõige salakavalam lõks: üleõppimine
Andmeteaduse kõige levinum viga on ülepaigutamine – kus mudel jätab treeningandmed meelde, kuid ei suuda uute andmetega saada. Sümptom on selge: mudel on treeningkomplektil suurepärane (98%), testikomplektis halb (72%). Mudel on jätnud meelde selle konkreetse proovi müra, mitte andmete tegelikku mustrit. On ka vastupidist: alasobitamine – mudel on halb nii treeningul kui ka testimisel, sest mustri tabamine on liiga lihtne.
Üleõppimise vastu võitlemise viisid: mudeli lihtsustamine, rohkem andmeid, regulaarsus – matemaatiline pidur, mis hoiab mudelil liiga keeruliseks muutumast – ja mis kõige tähtsam, ristvalideerimine.
Ristvalideerimine: ärge usaldage ühte paani
Üksik treening-/testimispult võib olla õnnelik või ebaõnnelik; Saate testikomplekti eest kõrgeid hindeid saada lihtsalt sellepärast, et see proov on lihtne. Ristvalideerimine (lühidalt CV) lahendab selle. Levinuim vorm on k-kordne CV: andmed on jaotatud k osaks (nt 5); Igas voorus on üks osa testimine ja ülejäänu treening; see veereb 5 korda ja 5 punkti keskmistatakse. Nii näete, et toimivus põhineb mitme jaotuse keskmisel, mitte ühel õnnelikul jaotusel. Informatiivne on ka hinnete jaotus: väga kõikuvad hinded (ühel korrusel 85%, teisel 62%) näitavad, et mudel on ebastabiilne.
Tavalist k-korda aegridades ei kasutata (lekib tulevikku); Selle asemel teete "edasiahelat" (ajaridade poolitamine): treenite alati minevikuga ja katsetate tulevikku.
meetriline
Probleemi tüüp
Millal see oluline on?
Täpsus
Klassifikatsioon
Kui klassid on tasakaalus
Täpsus
Klassifikatsioon
Valehäire on kallis
Tundlikkus (meenutus)
Klassifikatsioon
Kui vahele jätmine on kallis
F1
Klassifikatsioon
Kui on vaja tasakaalu
MAE
regressioon
Tõlgendatav viga
RMSE
regressioon
Kui suured vead on kriitilised
R²
regressioon
selgitav jõud
kolm minikarpi
Juhtum 1 – illusioon suurest täpsusest. Üks petumodell näitas 99,2% täpsust ja meeskond pidutses. Vaadates segaduste maatriksit, siis tegelik: võltsimismäär andmetes oli 0,8%; modell ei tabanud peaaegu ühtegi võltsi, öeldes lihtsalt "kõik selge". Tagasivõtmine oli 6%. Õppetund: vaadake mõõdikuid, mitte täpsust.
2. juhtum – varjatud üleõppimine. Üks meeskond andis ja tõstis XGBoosti treeningkomplektis 97%-ni. Testikomplekt oli 69%, kuid keegi polnud vaadanud. Mudel kukkus tootmises kokku. Kui oleks tehtud ristvalideerimist, oleks suur erinevus voltide vahel (üleõppimine) olnud algusest peale näha. Õppetund: usaldage CV-d ja testitulemusi, mitte haridusskoori.
Juhtum 3 – õnnelik lahkuminek. Ühel analüütikul oli hea meel, et sai ühe jaotusega 88%. Kui tema kolleeg tegi 5-kordse CV, olid hinded 88%, 71%, 83%, 64%, 79% — keskmine on 77%, kuid see on väga muutlik. Mudel oli ebastabiilne; Üksik sektsioon oli eksitav. Õppetund: vaadake CV keskmist ja jaotust, mitte individuaalset prügikasti.
Neli kopeeritavat malli
1) Täielik klassifitseerimisaruanne:
Olen koolitanud mudeli ja testikomplekti. Looge: segadusmaatriks, täpsus, tagasikutsumine, F1 (iga klassi jaoks) ja tugiarvestus. Ma järeldan, aga see on minu otsustada: ma ütlen teile, milline mõõdik on oluline. Pange tähele, et tasakaalustamata andmete korral võib täpsus olla eksitav.
2) Üleõppe juhtimine:
Printige minu modelli hinded kõrvuti nii komplekti TREENING kui ka TEST. Arvutage nendevaheline erinevus ja hoiatage, sest suur erinevus on üleõppimise märk. Kui erinevus on suur, soovitage korrigeerimist või lihtsustamist.
3) Ristkinnitus:
Tehke 5-kordne ristvalideerimine (kihistamiseks, klassifitseerimiseks). Printige iga voldi skoor, keskmine ja standardhälve. Kui hinded on väga kõikuvad (kõrge std), osutage, et mudel on ebastabiilne. Kasutage torujuhtmeid nii, et teisendusi õpitaks ainult iga kihi õppetükist.
4) Algtaseme võrdlus:
Asetage minu mudeli mõõdik kõrvuti DummyClassifieri baasjoonega. Kas mudel ületab oluliselt baasjoont? Kui see läbi ei lähe, tehke selgeks, et mudel ei lisa tegelikku väärtust.
Nõrk viip / Tugev viip
Nõrk viip:
Kas mu mudel on hea?
"Hea" on määratlemata; Ei ole selge, milline mõõdik, milline lävi, milline lähtetase. AI võib anda ühe täpsusnumbri ja eksitada.
Võimas viip:
Sinu roll: hindamisassistent. Klassifikatsioon, tasakaalustamata andmed (12% positiivsed). Prioriteet: meelde tuletamine (positiivseid külgi ei jää vahele). Ülesanne: (1) segadusmaatriks, (2) täpsus/tagasikutsumine/F1, (3) 5-kordne stratifitseeritud CV keskmine ja std, (4) DummyClassifier baasjoone võrdlus. Keskenduge meeldetuletamisele ja algtaseme erinevusele, mitte täpsusele. Kommenteerige, aga lõpliku otsuse teen mina.
Siin on mõõdiku prioriteet, CV ja lähteseisund selged.
Levinud vead
- Tasakaalustamata andmete täpsuse usaldamine. 99% täpsus ei pruugi sugugi tabada vähemusklassi; Vaadake segaduse maatriksit.
- Lihtsalt vaadates oma haridusskoori. Kõrgharidus, madal testiskoor on üleõppiv; Võrrelge alati kahte tulemust.
- Tuginedes ühele sektsioonile. Õnnelik jaotus on eksitav; Vaadake keskmist ja jaotust ristvalideerimisega.
- Ei võrrelda algtasemega. Sa ei saa öelda "hea", kui ei tea, kas mudel ületab rumalat ennustajat.
- Tavalise k-kordse kasutamine aegridades. See lekib tulevikku; aegridade jagamine on nõutav.
Näpunäide. Kirjutage iga mudeli kõrvale kolm numbrit: treeningu skoor, ristvalideerimise keskmine ja algtaseme skoor. See kolmik näitab lühidalt üleõppimist (koolitus >> CV) ja alahindamist (CV ≈ lähtetase).
Kokkuvõttes
Mudeli koostamine on lihtne, kuid selle aus hindamine on keeruline. Klassifitseerimisel on segadusmaatriks, täpsus ja meeldetuletus palju informatiivsemad kui täpsus; Töö maksumus määrab, milline neist on oluline. Regressioonis kasutatakse MAE, RMSE ja R². Kõige salakavalam lõks on üleõppimine: võrrelge alati treeningut ja testi tulemust. Tuginege ristvalideerimise keskmisele ja jaotusele, mitte ühele jaotusele; Võrrelge kõike algtasemega. Tehisintellekt arvutab need kõik välja, kuid inimese otsustada, millist mõõdikut kasutada.
Rakenduse ülesanne
Klassifitseerimismudeli segadusmaatriksi, täpsuse, tagasikutsumise ja F1 ekstraheerimine; Seejärel tehke 5-kordne ristvalideerimine ja vaadake punktide jaotust voltide vahel. Lõpuks kirjutage kõrvuti üles koolituse skoor, CV keskmine ja baasskoor. Kommenteerige ühe lausega, kas teie mudel õpib üle ja ületab baasjoone.
kontrollnimekiri
- [ ] Kas olen vaadanud täpsuse asemel töö tegelikku mõõdikut (täpsus/tagasikutsumine/F1 jne)?
- [ ] Kas ma olen segadusmaatriksit uurinud?
- [ ] Kas olen võrrelnud koolituse ja testi tulemust ning kontrollinud üleõppimist?
- [ ] Kas olen vaadanud keskmist ja jaotust ristvalideerimisega?
- [ ] Kas ma olen võrrelnud mudelit lähtetasemega?