Girdeji:
- Maglumatlaryň syzmagynyň görnüşlerini (maksat, wagt, öňünden işlemek, toparlanan hatar) tanamak we duýduryş hökmünde 'gaty dogry' balyny soramak;
- Synag toplumynyň, turbageçirijiniň we dogry bölünişigiň (hronologiki / toparlaýyn) ir bölünmegi bilen syzmagyň öňüni almak ukyby;
- Analizi durnukly tohumlar bilen köpeltmek, wersiýa gözegçilik we el bilen ädimleri aýyrmak
Maglumat ylmynda iň köp güýji sarp edýän iki ýalňyşlyk bar we ikisi hem mekir, sebäbi hemme zat "gowy ýaly" bolanda betbagtçylyga eltýär. Birinjisi maglumatlaryň syzmagy: model synag toplumynda gaty gowy işleýär, ýöne önümçilikde çökýär. Ikinjisi öndürijiliksizlik: alty aýdan soň derňew geçirip, düýbünden başga netije alarsyňyz. Bu bölüm bu iki çukury çuňňur bilmek we ondan gaça durmak üçin bagyşlanýar. AI iki töwekgelçiligi hem artdyryp biler (çalt döredýär, gizlin syzdyrmalary teklip edýär, el bilen ädim ätmegi aňsatlaşdyrýar), ýöne dogry ulanylsa olary azaldyp biler. Tapawut tertip-düzgünde.
Maglumatlaryň syzmagy: aç-açan model
Maglumatlaryň syzmagy, model hakyky çaklama wagtynda bolmazlygy üçin okuw wagtynda maglumatlary görende. Model bu maglumatlar bilen "aldaýar", synag toplumyna gaty gowy görünýär, ýöne bu maglumat bolmasa önümçilikde çökýär. Syzdyrmagyň alamaty hemişe diýen ýaly birmeňzeş: dogry bolmaz ýaly gaty gowy. 99% takyklygy göreniňde begenmezden ozal, syzdyrmalary gözlemeli.
Syzdyrmagyň esasy görnüşleri:
1. Maksadyň syzmagy: Bir aýratynlyk, maksadyň netijesidir. "Wasatyrylan" çaklamada "ýatyrylan senesi" ýa-da "yzyna gaýtarylýan mukdar" sütünleri nyşanyň netijesidir; Diňe netije aýdyň bolanda doldurylar.
2. Wagtyň syzmagy: Geljekdäki maglumatlary geçmişe getirmek. "Soňky 30 günüň ortaça" hasaplanylanda, çak edilýän günden soňky günleri goşuň ýa-da wagt seriýasyny tötänleýin bölüň.
3. Öňünden syzmak: Okuw / synag bölüminden öň ähli maglumatlardan masştablamak, doldurmak, kodlamak ýaly üýtgeşmeler. Synag maglumatlarynyň ortaça okuwy päsgel berýär.
4. Dublikat / toparlaýyn hatar syzmak: Bir adama degişli hatarlar okuwda we synagda (şol bir hassany dürli toplumda iki gezek görmek) bar. Model adamy ýatda saklaýar.
Syzdyryjy görnüş
Nädip doguldy
Nädip öňüni almaly
nyşana syzmak
Maksadyň netijesi bolan sütün
"Çaklama wagtynda mende barmy" synagy
wagt syzmagy
Geljegi geçmişe getirmek
Hronologiki bölünişik, penjire dolandyryşy
Öňünden syzmak
Bölünmezden ozal öwürmek
Turbageçiriji, diňe okuwdan laýyk
Toparlaýyn syzmak
Iki toplumda birmeňzeş birlik
Topar boýunça bölüň (GroupKFold)
Syzmagynyň öňüni alýan ýeke-täk düzgün
Syzdyrmagyň ähli görnüşleri üçin umumy çözgüt bir sözleme gaýdýar: Hakyky geljegi takyklamak üçin synag toplumyny mümkin boldugyça ir goýuň we oňa hiç zat "öwretmäň". Iş ýüzünde munuň manysy: ilki bölüň, soňra ähli üýtgeşmeleri diňe okuwdan öwreniň we turbageçirijide ulanyň (ähli ädimleri bir zynjyrda jemleýän gurluş). Her aýratynlyk üçin "çaklama wagtynda bu maglumat barmy?" Diýen soragy beriň. Wagt bar bolsa, ony hronologiki taýdan bölüň; Şol bir birlik gaýtalanýan bolsa, toparlara bölüň.
Üns beriň: Syzdyrmagyň iň howply tarapy, özüni üstünlik hökmünde görkezýär. Erbet model, elbetde, erbet netijeleri berer we üns berler; Syzdyrylan model ajaýyp işleýär, hemmeleriň göwnünden turýar we önümçilige çykarylýar - ýykylmak başlaýar. Şonuň üçin "gaty gowy" netije baýramçylyga däl-de, howsala sebäp bolýar.
Köpeltmek: şol bir netijäni iki gezek almak
Köpeltmek, başga bir wagtda, başga bir enjamda gaýtadan analiz edeniňizde şol bir netijäni almak ukybydyr. Bu bolmasa, derňewiňiz tötänleýin däl, ylmy däl. Köpelmegine zyýan berýän esasy sebäpler we çözgütler:
El bilen ädimler: Excel-de öýjügi el bilen üýtgetmek, diagrammany el bilen redaktirlemek. Çözgüdi: kodda her ädim bolmaly.
Düzedilmedik tötänlik: Model okuwy, nusga almak, bölmek tötänleýinligi öz içine alýar. Çözgüdi: tötänleýin tohumy düzediň (tötänleýin generatoryň başlangyç bahasy) (random_state = 42).
Wersiýa çalşygy: Kitaphananyň wersiýasy üýtgese, netije üýtgäp biler. Çözgüt: baglylyklary düzediň (talaplar.txt, daşky gurşaw faýly).
Recordazgylar ýok: Haýsy maglumatlaryň, haýsy koduň, haýsy parametriň ulanylandygy belli däl. Çözgüdi: wersiýa gözegçilik (Git - koduň ähli wersiýalaryny tygşytlaýan ulgam) we maglumat wersiýasy.
"Diňe meniň enjamymda işleýär": Çözgüt: daşky gurşawy resminama ediň, mümkin bolsa konteýnerleri (Docker) ulanyň.
üç sany kiçi halat
1-nji hadysa - Maksatlaýyn syzmak. Saglyk seljermesinde "näsagyň gaýtadan kabul edilip-edilmejekdigini" çaklamak üçin "boşadylandan soňky dermanlar" sütüni görkezildi. Bu sütün diňe näsag boşadylandan soň dolduryldy. Model 96%, önümçilikde 61% berdi. 8 hepdelik taslama zibil boldy. Sapak: her aýratynlygy soraň "çaklama wagtynda barmy?"
2-nji hadysa - Öňünden syzmak. Bir topar ähli maglumatlary ulaltdy, soň bolsa böldi. Synag maglumatlarynyň manysy ulalmak bilen baglanyşyklydy. CV bal 89%, hakyky önümçilik 76%. Galp üstünlik Turbageçirijä göçüp, üýtgeşmeler hakda diňe okuwdan öwrenenimde ýitdi. Sapak: ilki bölüň, soň üýtgediň.
3-nji hadysa - köpeltmezlik. Analitik üç aýdan soň dolandyryşa hödürlän diagrammasyny täzelemek isledi, ýöne nädip öndürendigini ýadyna salyp bilmedi; Excel-de el bilen köp ädim edildi. Netije netije bermedi we ynam sarsdy. Sapak: el bilen ädim ýok, hemme zat kodda we Gitde.
Göçürip boljak dört şablon
1) Syzdyrma barlagy:
Siziň roluňyz: syzdyryjy inspektor. Maksat: "çurn" (0/1), çaklanylýan salgy senesi: ýazgy_ senesi. Bu aýratynlyklaryň sanawyny size bererin. Her aýratynlyk üçin: (a) maksadyň netijesimi, (b) çaklama wagtynda maňa elýeterlimi, (c) wagt penjiresi geljegi öz içine alýarmy? "Howpsuz / şübheli / syzmak" diýip belläň we sebäbini ýazyň. Aýratynlyklary: [sanaw]
2) Syzdyryjy turbageçiriji:
Sklearn turbageçirijisini guruň: ilki bölünen otly / synag (gatlak, tohum = 42), Ondan soň diňe deslapky okuwdan başlap ähli işleýiş (impute, masştab, kodlamak) turba geçirijisine laýyk gelýär. Kodyň näme üçin syzdyrylmaýandygyny, haýsy ädimiň nirede öwrenilendigini düşündiriň.
3) Köpeltmek barlag sanawynyň kody:
Derňewimi köpeltmek isleýärin. Goşýan kod / gurluşy teklip ediň: (1) ähli tötänlik üçin gaty tohum, (2) ulanylýan kitaphananyň wersiýalaryny çap etmek, (3) maglumat we çykyş üçin senesi / wersiýa belligi. Şeýle hem el bilen ädimleriň ýokdugyna göz ýetirmek üçin sanaw sanawyny beriň.
4) Toparlaýyn bölüniş (şol birligiň syzmagy):
Maglumatlarda şol bir müşderi_id birnäçe hatarda bar. Şol bir müşderiniň okuwda we synagda bolmagynyň öňüni alýan bölünişik dörediň (GroupKFold orGroupShuffleSplit, group = customer_id). Bölünenden soň hiç bir müşderiniň iki toplumda däldigini barlamak üçin kod goşuň.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Modelim 98% takyklygy yzyna gaýtardy, şeýle dälmi? Kody optimizirläň.
98% bellemek syzdyrmagy gizleýär. Optimizirlemezden ozal bu balyň hakykydygy ýa-da däldigi barada sorag edilmeli.
Güýçli haýyş:
Siziň roluňyz: syzdyryjy inspektor. Modelim, synag toplumynda 98% takyklygy yzyna gaýtaryp berýär, bu maňa "gaty dogry" ýaly görünýär. Barlaň: (1) nyşanyň netijesi bolan islendik aýratynlyk, (2) bölünmezden ozal edilen öwrülişikler, (3) iki toplumda şol bir birlik, (4) islendik wagt syzmak barmy. Şübheli nokatlary sanaň; Hasaby düzetmän, syzdyrmany tapmaga üns beriň.
Bu ýerde ýokary bal bellenilmeli däl-de, sorag edilmeli alamat hökmünde kabul edilýär.
Adaty ýalňyşlyklar
- "Örän gowy" netijäni bellemek. Örän gowy-dogry hasap, üstünlik däl-de, syzmak duýduryşydyr.
- Bölünmezden ozal ähli maglumatlardan üýtgemegi öwrenmek. Iň ýaýran syzmak; Ilki bilen turbageçiriji bilen bölüň.
- Wagt seriýasyny tötänleýin bölmek. Model geljegi görýär; Hronologiki bölünişik hökmanydyr.
- Şol birligi iki toplumda goýmak. Model adamy ýatda saklaýar; Toparlara bölüň.
- El bilen ädim ätmezlik we koda ýazmak. Derňew netijesiz bolýar; hemme zat kodda we Gitde bolmaly.
Maslahat: Taslamanyňyzyň başynda iki sözlemli "Hormat girewi" ýazyň: "Synagda önümçilige görmezden ozal hiç hili degmedim. Her ädim kodda we tohum kesgitlenýär." Bu iki sözleme dogruçyl gol çekip bilmeseňiz, netijäňiz entek ygtybarly däl.
Gysgaça
Maglumatlaryň syzmagy we köpelmezligi maglumat ylmynyň iň gymmat iki sessiz ýalňyşlygydyr. Syzmak, modeliň geljege bolan garaýşydyr we özüni ýalan üstünlik hökmünde görkezýär; Çözüw, synag toplumyny ir bölmek, üýtgeşmeleri diňe okuwdan (turbageçirijiden) öwrenmek, her aýratynlyga "Çaklanylýan wagtym barmy" diýen soragy bermek we dogry bölmek (hronologiki / toparlaýyn). Köpeltmek birmeňzeş netijäni iki gezek alyp bilýär; çözgüdi ädimleri el bilen aýyrmak, tohumy gysmak, wersiýalaryny doňdurmak we hemme zady Gitde saklamak. AI bu töwekgelçilikleri artdyryp ýa-da azaldyp biler; Siziň tertip-düzgüniňiz kesgitleýär.
Programma meselesi
Gurlan modeliňiziň (ýa-da gipotetiki) aýratynlyk sanawyny alyň we her aýratynlyga "çaklama wagtynda bu maglumat barmy?" Diýen soragy beriň. ýazmaça görnüşde; Iň bolmanda bir syzdyryjy kandidaty tapyň. Soňra derňewiňizi köpeltmek üçin gözegçilik sanawyny dolduryň: tohum durnuklymy, el bilen ädimler barmy, hasaba alnan wersiýalary barmy, Gitde. Kemçilikleri düzediň.
gözegçilik sanawy
- [] Syzdyryjy duýduryş hökmünde "gaty dogry" balyny soradymmy?
- [] Bölünmeden soňky ähli üýtgeşmeleri diňe okuwdan öwrendimmi?
- [] Wagt / topar gurluşyna (hronologik / GroupKFold) görä böldümmi?
- [] Kesgitlenen tohum bilen ähli tötänleýinligi gaýtaladymmy?
- [] El bilen ädimleri aýyrdym we hemme zady kodda we wersiýa gözegçilikde sakladymmy?