Girdeji:
- Işiň maksadyna görä klassifikasiýa we regressiýa ölçeglerini (bulaşyklyk matrisasy, takyklyk / ýatlamak / F1, MAE / RMSE / R²) saýlamak we düşündirmek ukyby
- Okuw we synag ballaryny deňeşdirip, çakdanaşa kesgitlemek bilen ygtybarly öndürijilik gazanmak
- Her modeliň esasy bilen deňeşdirip hakyky bahany goşýandygyna baha bermek ukyby
Model gurmak aňsat; Aslynda işleýändigini ýa-da ýokdugyny dogruçyl ölçemek kyn. Bu bölümiň mowzugy maglumat alymynyň iň möhüm ussatlygy: modeli dogry ölçegler bilen bahalandyrmak, ygtybarly çaklamany ýerine ýetirmek we iň mekir duzagy tutmak: aşa düşmek (ýatlamak). AI ölçegleri hasaplaýar, düşündirýär we deňeşdirýär; ýöne haýsy ölçegiň siziň işiňiz üçin dogrydygyny we bir modeliň “ýeterlikdigini” kesgitlemek adamyň özüne bagly. Nädogry ölçege seredýän topar, “üstünlik” hökmünde birnäçe aýlap erbet modeli ýalňyşyp biler.
Näme üçin takyklyk ýeterlik däl: bulaşyklyk matrisasy
Klassifikasiýada kellä gelen ilkinji ölçeg takyklykdyr (takyklyk - dogry çaklamalaryň umumy gatnaşygy). Emma 6-njy bölümde görşümiz ýaly, takyklyk deňagramsyz maglumatlar bilen ýalňyşdyr. Has gowy başlangyç, bulaşyklyk matrisasy - çaklamalary dört banka bölýän tablisa:
- Hakyky polo positiveitel (TP): Hakykatdanam ýasama zady ýasama diýip atlandyrdyk. (Gowy)
- Hakyky negatiw (TN): Hakykatdanam arassa diýdik. (Gowy)
- Sealňyş polo positiveitel (FP): Arassa biriniň galpdygyny ýalňyşlyk bilen aýtdyk. (Sealňyş duýduryş)
- Sealňyş negatiw (FN): galplygy sypdyrdyk we arassa diýdik. (Editirilen howp)
Iki esasy ölçeg bu dört gutudan gelip çykýar. Takyklyk: "Galp diýýän zadymyň näçesi galp?" - ýalan duýduryş çykdajylary köp bolsa möhümdir. Duýgurlyk (Iňlis dilinde ýatlaň): "Näçe hakyky galp tutdum?" - howp abananda möhüm. Ikisi köplenç biri-biri bilen gapma-garşy gelýär: bosagany peseldip, has köp "galp" diýseňiz, ýadyňyza düşýär, ýöne takyklyk azalýar. F1 bal, bu ikisiniň deňagramly ortaça (garmoniki ortaça).
Üns beriň: "Haýsy ölçeg möhüm" diýen soraga jogap, tehniki karar däl-de, iş karary. Rak barlagynda bir hadysany ýitirmek (pes ýatlamak) zyýanlydyr; Spam süzgüçinde spama (pes takyklyk) möhüm e-poçta ibermek bizar edýär. Bahasy ölçegi kesgitleýär.
Regressiýa ölçegleri
Çykyş san bolsa, dürli ölçegler ulanylýar. MAE (ortaça mutlak säwlik): çaklamalar hakyky birlikden näçeräk gyşarýar, şol bir bölümde (meselem: "ortaça 4200 TL ýalňyşýarys"). RMSE (Kök ortaça kwadrat ýalňyşlyk): esasy ýalňyşlyklary has berk jezalandyrýar we çykyş edýänlere duýgur. R².
Iň mekir duzak: aşa düşmek
Artykmaçlyk - model okuw maglumatlaryny ýatda saklaýar, ýöne täze maglumatlarda şowsuz bolýar - maglumat ylmynda iň köp ýaýran ýalňyşlyk. Alamat düşnüklidir: model okuw toplumynda ajaýyp (98%), synag toplumynda erbet (72%). Model, maglumatlardaky hakyky nagşy däl-de, belli bir nusganyň sesini ýatda saklady. Munuň tersi hem bar: laýyk däl - model okuwda we synagda erbet, sebäbi nagşy ele almak gaty ýönekeý.
Artykmaçlyga garşy göreşmegiň ýollary: modeli ýönekeýleşdirmek, has köp maglumat, kadalaşdyrmak - modeli gaty çylşyrymly saklamazlyk üçin matematiki tormoz - iň esasysy bolsa kross-tassyklama.
Çekişme: ýekeje pane ynanmaň
Trainingekeje okuw / synag podwody şowly ýa-da şowsuz bolup biler; Synag nusgasy üçin diňe şol nusganyň aňsatdygy üçin ýokary bahalar alyp bilersiňiz. Kesgitleme (gysgaça CV) muny çözýär. Iň ýaýran görnüş k-gat CV: maglumatlar k böleklere bölünýär (meselem 5); Her tapgyrda bir bölegi synag, galan bölegi okuw; bu 5 gezek aýlanýar we 5 bal ortaça. Şeýlelik bilen, öndürijiligiň ýekeje bagtly bölünişige däl-de, ortaça köp bölünişige esaslanýandygyny görersiňiz. Ballaryň paýlanyşy hem maglumat beriji: gaty üýtgäp durýan ballar (bir gatda 85%, beýleki gatda 62%) modeliň durnuksyzdygyny görkezýär.
Adaty k-fold wagt seriýasynda ulanylmaýar (geljegi syzýar); Munuň ýerine "öňe zynjyr" edýärsiňiz (wagt seriýasy bölünýär): hemişe geçmiş bilen türgenleşiň we geljegi synap görüň.
metrik
Meseläniň görnüşi
Haçan möhüm?
Takyklyk
Klassifikasiýa
Sapaklar deňagramly bolsa
Takyklyk
Klassifikasiýa
Sealňyş duýduryş gymmat
Duýgurlyk (ýatlamak)
Klassifikasiýa
Eger sypdyrmak gymmat bolsa
F1
Klassifikasiýa
Deňagramlylyk zerur bolsa
MAE
regressiýa
Düşündirilýän säwlik
RMSE
regressiýa
Uly ýalňyşlyklar möhüm bolsa
R²
regressiýa
düşündiriş güýji
üç sany kiçi halat
1-nji hadysa - ýokary takyklygyň illýuziýasy. Bir galplyk modeli 99.2% takyklygy görkezdi we topar bellendi. Bulaşyklyk matrisasyna seretseň, hakyky: maglumatlardaky galplyk 0.8% boldy; model diňe "hemmesi düşnükli" diýip, galplyk tapmady. 6atlamak 6% boldy. Sapak: takyklyga däl-de, ölçeglere serediň.
2-nji hadysa - Gizlin örtük. Bir topar okuw toplumynda XGBoost-y 97% -e ýetirdi we ýokarlandyrdy. Synag toplumy 69% boldy, ýöne hiç kim seretmedi. Model önümçilikde ýykyldy. Eger-de biri-biri bilen tassyklanan bolsa, epleriň arasyndaky uly tapawut başyndan görünerdi. Sapak: bilim baly däl-de, CV we synag balyna ynan.
3-nji waka - Bagtyýar bölünmek. Bir analitik, bir bölünişikde 88% almagy begendi. Kärdeşi 5 esse CV edeninde ballar 88%, 71%, 83%, 64%, 79% boldy - ortaça 77%, ýöne gaty üýtgewsiz. Model durnuksyzdy; Bir bölüm ýalňyşdy. Sapak: CV-e serediň, aýratyn gapda däl-de, paýlanyşynda.
Göçürip boljak dört şablon
1) Dolandyryşyň doly hasabaty:
Model we synag toplumyny taýýarladym. Dörediň: bulaşyklyk matrisasy, takyklyk, ýatlamak, F1 (her synp üçin) we goldaw sanlary. Men pikir edýärin, ýöne bu maňa bagly: Haýsy ölçegiň möhümdigini aýdaryn. Deňagramsyz maglumatlar bilen takyklygyň ýalňyş bolup biljekdigine üns beriň.
2) Artykmaç gözegçilik:
Modelimiň ballaryny TRAINING we TEST toplumlarynda çap ediň. Olaryň arasyndaky tapawudy hasaplaň we uly tapawut artykmaçlygyň alamaty hökmünde duýduryş beriň. Tapawut uly bolsa, kadalaşdyrmagy ýa-da ýönekeýleşdirmegi teklip ediň.
3) Haç tassyklamasy:
5 esse kesiş barlagyny ýerine ýetiriň (gatlaklaşdyrylan, klassifikasiýa üçin). Her bukjanyň balyny, ortaça we adaty gyşarmagyny çap ediň. Ballar gaty üýtgewsiz bolsa (ýokary derejeli), modeliň durnuksyzdygyny görkeziň. Turbageçirijileri ulanyň, şonuň üçin üýtgeşmeler diňe her gatlakdaky okuw bölüminden öwreniler.
4) Esasy deňeşdirme:
DummyClassifier esasy bilen modelimiň ölçeglerini gapdala goýuň. Model esasy derejäni ep-esli derejede ýeňýärmi? Geçmese, modeliň hakyky baha goşmaýandygyny aýdyňlaşdyryň.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Meniň modelim gowymy?
"Gowy" kesgitlenmedi; Haýsy ölçeg, haýsy çäk, haýsy esas. AI ýekeje takyklyk belgisini berip, ýalňyşyp biler.
Güýçli haýyş:
Siziň roluňyz: baha bermek boýunça kömekçi. Klassifikasiýa, deňagramsyz maglumatlar (12% oňyn). Üstünlik: ýatlamak (oňyn taraplary ýitirmezlik). Wezipe: (1) bulaşyklyk matrisasy, (2) takyklyk / ýatlamak / F1, (3) 5 esse gatlakly CV ortaça we std, (4) DummyClassifier esasy deňeşdirme. Takyklyga däl-de, ýatlamaga we esasy tapawuda üns beriň. Düşündiriş beriň, ýöne iň soňky karary berýärin.
Bu ýerde ölçeg ähmiýeti, CV we esasy ýagdaý düşnüklidir.
Adaty ýalňyşlyklar
- Deňagramsyz maglumatlarda takyklyga ynanmak. 99% takyklyk azlyk synpyny asla ele alyp bilmez; Bulaşyklyk matrisasyna serediň.
- Diňe bilim balyňyza seredýärin. Educationokary bilim, pes synag ballary artykmaç; Elmydama iki baly deňeşdiriň.
- Bir bölüme bil baglamak. Bagtly bölünişik ýalňyşdyr; Çekişme bilen ortaça we paýlanyşa serediň.
- Esasy bilen deňeşdirenok. Modeliň samsyk çaklaýjyny urýandygyny ýa-da ýokdugyny bilmän "gowy" diýip bilmersiň.
- Wagt seriýasynda adaty k-esse ulanmak. Geljegi syzýar; wagt seriýasyny bölmek zerur.
Maslahat: Her modeliň gapdalynda üç sany san ýazyň: okuw baly, kross-tassyklama ortaça we esasy bal. Bu üçlük, bir seredişde (okuw >> CV) we baha bermeýän (CV ≈ esasy) açýar.
Gysgaça
Model gurmak aňsat, ýöne oňa dogruçyl baha bermek kyn. Klassifikasiýa, bulaşyklyk matrisasy, takyklyk we ýatlamak takyklykdan has köp maglumat berýär; Işiň bahasy haýsynyň möhümdigini kesgitleýär. MAE, RMSE we R² regressiýada ulanylýar. Iň mekir duzak aşa düşýär: okuwy we synag balyny hemişe deňeşdiriň. Crossekeje bölünişik däl-de, kesiş barlagynyň ortaça we paýlanyşyna bil baglaň; Hemme zady esasy bilen deňeşdiriň. AI bularyň hemmesini hasaplaýar, ýöne haýsy ölçegi ulanmalydygyny adamyň özi kesgitleýär.
Programma meselesi
Klassifikasiýa modeli üçin bulaşyklyk matrisasy, takyklyk, ýatlamak we F1 çykarmak; Soňra 5 esse kesiş barlagyny geçiriň we ballaryň paýlanyşyna serediň. Ahyrynda, okuw balyny, CV ortaça we esasy ballary bilelikde ýazyň. Modeliňiziň artykmaçdygyny ýa-da esasy setirden geçýändigini bir sözlemde düşündiriň.
gözegçilik sanawy
- [] Işiň hakyky ölçeglerine (takyklygy / yzyna gaýtarmak / F1 we ş.m.) göz aýladymmy?
- [] Bulaşyklyk matrisasyny gözden geçirdimmi?
- [] Okuw we synag balyny deňeşdirip, artykmaçlygy barladymmy?
- [] Çekişme bilen ortaça we paýlanyşyna seredip gördümmi?
- [] Men modeli esasy bilen deňeşdirdimmi?