Girdeji:
- Meseläniň görnüşine we iş kontekstine laýyk gelýän ölçegi saýlamak (PR-AUC / deňagramsyz maglumatlary ýatlamak, regressiýada MAE / RMSE) we öwrenişiň aşagynda / tanamak ukyby;
- Her ölçegi esasy bazada düşündirmek we gyşarmany ölçemek we sesiň kesişmegi bilen ösüşden aýyrmak
- Giperparametrleri tassyklama toplumy bilen sazlamak we synag toplumyny diňe ahyrynda ulanmak arkaly optimizm däl netijeleri habar bermek ukyby
Model okuwy (okuw: maglumatlardan öwreniş usullary) ML in engineeringenerçiliginiň iň görünýän, ýöne iň ýalňyş ädimidir. "Takyklygy 95%" ýaly kanagatlanarly san öndürýändigi sebäpli ýüze çykýar. Lealňyşýan, sebäbi bu san köplenç nädogry soraga dogry jogap bolup durýar. Bu bölümde in engineeringenerçilik dersi bilen bilim we baha bermek ara alnyp maslahatlaşylýar; Emeli intellekti tejribe dizaýnynda hyzmatdaş hökmünde ulanýarys we karary ölçemeklige esaslaýarys.
Okuw sikliniň logikasy
Bir model, ýitgi funksiýasyny azaltmak arkaly maglumatlardaky nagşy öwrenýär: modeliň ýalňyşlygyny san taýdan ölçän funksiýa. Optimizasiýa algoritmi (meselem, gradient aşak düşmegi) parametrleri ädimme-ädim sazlamak arkaly ýitgini azaldar. Maksat okuw maglumatlaryny ýatda saklamak däl-de, görlüp-eşidilmedik maglumatlara umumylaşdyrmak.
Iki esasy howp:
- Artykmaçlyk: Model okuw maglumatlaryny ýatda saklaýar we täze maglumatlarda şowsuz bolýar. Okuw üstünlikleri ýokary, barlamak üstünligi pes.
- Gabat gelmeýän: Model nagşy alyp bilmeýär; Okuwyň we tassyklamagyň üstünlikleri hem pes.
Deňagramlylygy tapmak bilim sungatydyr. Barlag toplumy bu deňagramlylygy gözegçilikde saklamak üçin bar: eger okuw üstünlikleri ýokarlananda tassyklama üstünligi peselip başlasa, artykmaç öwreniş başlandy.
Maslahat: Her ädimde okuwy we tassyklama ýitgisini bilelikde meýilleşdiriň. Iki egriniň bölünip başlaýan nokady, çakdanaşa başlaýan we "ir durmak" üçin dogry pursat.
Metrik saýlamak: iň möhüm karar
Nädogry ölçeg gowy modeli erbet we erbet modeli gowy görkezýär. Mesele ölçegi kesgitleýär:
- Deňagramsyz klassifikasiýa (bir synp gaty seýrek, meselem galplyk): Takyklyk ýalňyşdyr. "Hemme zady adaty diýiň" diýlen model 99% takyklyga eýe bolar, ýöne ýekeje galplyk hem bolmaz. Munuň ýerine takyklyk (tutan zatlarymyň näçesi hakykatdanam polo isitel), ýadyňyza salyň (tutan zatlarymyň näçesi hakyky polo isitel) we olaryň balansy F1 ýa-da PR-AUC ulanylýar.
- Deňagramly klassifikasiýa: Takyklyk we ROC-AUC ýerlikli bolup biler.
- Regressiýa (sanlara baha bermek): MAE (mutlak ýalňyşlygy aňladýar), RMSE (uly ýalňyşlary jezalandyrýar), MAPE (göterim ýalňyşlygy).
- Reýting / maslahat: NDCG, MRR, @ K.
Takyklygyň ýa-da yzyna çagyrmagyň möhümdigi, iş şertlerine baglydyr. Canceradyňyzda saklaň (näsaglary ýitirmezlik) rak keselini barlamakda ileri tutulýan ugurdyr; Spam süzgüçinde takyklyk (möhüm e-poçta spama ibermezlik) möhümdir. Bu tehniki karar däl-de, iş karary we inerener we eýesi tarapyndan bilelikde kabul edilýär.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş: "Modelimiň öndürijiligine, takyklygyna 0.97 baha beriň."
Güýçli haýyş: "Mende galplygy ýüze çykarmak modeli bar; polo positiveitel synp derejesi 1,5%. Takyklyk 0.97 hökmünde habar berilýär. Bu ölçegiň nädogry bolup biljekdigini düşündiriň, haýsy ölçegleri (takyklygy, ýatlamagy, PR-AUC) saýlamalydygymy we näme üçin gerekdigini aýdyň. Şeýle hem," goşulan hemme zady negatiw "başlangyç modeliň bu maglumatlara näderejede takyk boljakdygyny hasaplaň, şonuň üçin hakyky goşulan bahany görüp bilerin."
Tapawut: güýçli isleg synp gatnaşygyny we iş mazmunyny berýär; esasy model deňeşdirmesini hem soraýar - bu metrikanyň manylydygy üçin iň möhüm labyr.
Esasy: deňeşdirilmezden ölçeg manysyz
Ölçegiň özi gowy ýa-da erbet däl; Esasy modele görä gowy ýa-da erbet. Esasy model, kellä gelýän iň ýönekeý çözgüt: "hemişe köplük synpyna aýdyň", "geçen hepdäniň bahasyny gaýtalaň", "ortaça çaklaň". Modeliňiz bu ýönekeý çözgüdi aç-açan geçirip bilmese, ähli çylşyrymlylyk biderek.
Üns beriň: "Meniň modelim 85% takyk" sözlemi hiç zat diýmeýär. Esasy model eýýäm 84% alsa, siziň modeliňiz biderek diýen ýaly; Esasy model 50% alsa, modeliňiz ajaýyp. Elmydama esasy model nukdaýnazaryndan gürläň.
Çekişme we ynam
Trainingekeje okuw / synag bölünişi tötänlik sebäpli bolup biler. Çekişme: maglumatlary k böleklere bölmek we her bölegini yzygiderli barlamak öndürijiligiň näderejede durnuklydygyny görkezýär. 5 esse haç tassyklamasynda bäş dürli bal alarsyňyz; Olaryň ortaça we adaty gyşarmagy möhümdir. Ortaça 80% bolsa, gyşarmak ± 12% bolsa, modeliňiz durnuksyz - maglumatlaryň indiki toparynda gaty üýtgeşik hereket edip biler.
Bu, "iki modeli deňeşdirmek" üçin hem möhümdir. A Model 81%, B Model 82% alan bolsa, B hakykatdanam gowumy? Eger gyşarma ± 3% bolsa, bu tapawut ses bolup biler. Karar bermezden ozal tapawudyň möhümdigine göz aýlaň.
Giperparametri düzmek: synag däl-de, tassyklamak bilen
Giperparametrler (okuwdan ozal el bilen kesgitlenýän sazlamalar - okuw tizligi, agaç çuňlugy we ş.m.) tassyklama toplumy bilen kesgitlenýär. Synag toplumy diňe ahyrynda, bir gezek ulanylýar. Synag toplumyna seredip giperparametrleri saýlasaňyz, synag toplumy hapalanar we hasabat berişiňiz optimizm bolar, aslynda beýle däl.
Emeli intellekt giperparametr gözleg meýdançasyny düzmekde we gözleg koduny ýazmakda (gözenegiň gözlegi, tötänleýin gözleg, Baýziýanyň optimizasiýasy) gowy kömekçi. Stillöne şonda-da "haýsy ölçegi optimizirläris?"
üç sany kiçi halat
1-nji waka - Takyklyk duzagy. Lukmançylyk topary seýrek keseli ýüze çykaran model bilen buýsanýardy: takyklygy 98%. Esasy model deňeşdirme geçirilende hakykat ýüze çykdy: keseliň derejesi 2% bolansoň, "hemmelere sagdyn diýiň" diýlen model hem 98% aldy. Modeliň ýatlamasy bary-ýogy 11% boldy - hassalaryň köpüsini ýitirdi. Metrik PR-AUC-a öwrülensoň, hakyky öndürijilik ölçeldi we model täzeden düzüldi.
2-nji waka - Ösüş üçin ýalňyş ses. Topar modeli 86,2% -den 86,9% -e çenli gowulaşdyrmak üçin birnäçe aý sarp etdi. Çekişme, taraplaryň ± 1,4% bolandygyny görkezdi - şonuň üçin 0.7 bal "gowulaşmak" statistik ses boldy. Topar hakyky bolmadyk gazanç üçin üç hepde biderek sarp etdi. Sapak: gowulaşmagyň gyşarmakdan has uludygyny barlamazdan ýeňiş yglan etmäň.
3-nji hadysa - Synag toplumynyň hapalanmagy. Bir inerener iň oňat giperparametrleri saýlamak üçin synag toplumyna birnäçe gezek göz aýlady. Habar berlen 91% önümçilikde 83% -e çenli azaldy. Näme üçin: synag toplumyna gaýta-gaýta seredip (synag toplumyna göz aýlamak) şoňa görä modeli bilmän saýlady. Aýry-aýry tassyklama toplumy ulanylanda habar berlen we hakyky öndürijilik biri-birine gabat gelýär.
Göçürip boljak galyplar
Bu klassifikasiýa meselesi üçin dogry ölçeg saýlamaga kömek ediň. Mesele: [çak edilýän zat] Synp paýlanyşy: [polo positiveitel dereje
Aşakdaky iki modeliň deňeşdirmesine baha beriň. Model Kross-tassyklama: [ballaryň sanawy] Model B kross-tassyklama: [ballaryň sanawy] Orta we standart gyşarmany hasaplaň. Tapawut statistik taýdan möhümmi ýa-da diňe gyşarmanyň içinde sesmi? Haýsyny saýlamagy maslahat berersiňiz we näme üçin?
Şu okuw koduny aşakdakylar üçin barlaň: 1) Synag toplumy ýa-da tassyklama toplumy bilen giperparametrler saýlanylýarmy? 2) Irki duralga dogry toplum bilen gözegçilik edilýärmi? 3) Öwrenmegiň alamatlary barmy (okuw / tassyklama ýitgisi tapawudy)? Kod: [kod]
Bu regressiýa meselesi üçin MAE, RMSE we MAPE haýsysyny habar bermeli? Maksatly üýtgeýjiniň masştaby:
Metrik saýlama tablisasy
Meseläniň görnüşi
Degişli ölçeg
Munuň öňüni almak
Näme üçin
Deňagramsyz klassifikasiýa
PR-AUC, F1, ýatlaň
Takyklyk
Köplük synpy ölçegi ýokarlandyrýar
Deňagramly klassifikasiýa
Takyklyk, ROC-AUC
-
Deňagramly maglumatlarda ygtybarly
Regressiýa (ähmiýetli daşarky)
RMSE
Karta (nol bolsa)
Esasy ýalňyşlyklary jezalandyrýar
Regressiýa (deň agram)
MAE
-
Düşündirmek aňsat
Reýting / maslahat
NDCG, @ K.
Takyklyk
Sargyt möhümdir
Adaty ýalňyşlyklar
- Deňagramsyz maglumatlarda takyklygy ulanmak. Iň ýaýran ölçeg ýalňyşlygy.
- Esasy model deňeşdirmelerini etmezlik. Metrik manysyny ýitirýär.
- Giperparametrler üçin synag toplumyna seredýärin. Optimistik, real däl netije.
- Bir bölüme bil baglamak. Çekişme bolmasa, ikitaraplaýynlygy görmersiňiz.
- Ösüş üçin ýalňyş ses. Gyşarmakdan ownuk "gowulaşmalar" esasan şowlulykdyr.
- Iş mazmunyna ähmiýet bermezlik. Takyklyk / yzyna gaýtarmak balansy iş kararydyr.
Gysgaça
Model okuwynda hakyky ussatlyk köp mukdarda öndürmek däl-de, bu sanyň nämäni aňladýandygyny bilmekdir. Mesele we iş konteksti dogry ölçegi kesgitleýär; her ölçegi esasy model boýunça düşündiriň; gapma-garşylyk bilen ikitaraplaýynlygy ölçäň we ösüş üçin ses ýalňyşmaň; Synag toplumyny diňe ahyrynda, bir gezek ulanyň. AI synag dizaýnynda hyzmatdaşyňyz, ýöne “ýeterlik derejede gowy” karary size we size bagly.
Programma meselesi
Klassifikasiýa modeli üçin: (1) synp paýlanyşyny ýazyň, (2) degişli esasy modeli guruň we balyny ölçäň, (3) 5 esse haç tassyklamasy bilen modeliňize baha beriň we ortaça we standart gyşarmany habar beriň, (4) takyklygyň ýerine meselä laýyk gelýän ölçegi hasaplaň (meselem PR-AUC). Modeliňiziň esasy modelini ikitaraplaýyn uly margin bilen ýeňýändigini ýa-da ýokdugyny ýazyň.
gözegçilik sanawy
- [] Meseläniň görnüşine we iş mazmunyna görä ölçegi saýladym.
- [] Esasy model gurdum we onuň bilen deňeşdirdim.
- [] Çekişme bilen ortaça we gyşarmany habar berdim.
- [] Gowulaşmagyň gyşarmakdan has uludygyny tassykladym.
- [] Barlag toplumy bilen giperparametrleri saýladym.
- [] Synag toplumyny diňe bir gezek, iň soňunda ulandym.