Girdeji:
- Domen bilimleri bilen manyly emele gelen aýratynlyklary öndürmek we degişli usullar bilen kategoriki kategoriýalary kodlamak (bir gyzgyn, bellik, maksat)
- San üýtgeýjilerini model görnüşine (standartlaşdyrma, kadalaşdyrmak) görä ölçemek we gereksiz ýa-da doly däl masştabdan gaça durmak;
- Okuw / synagdan soň we diňe okuwdan soň ähli üýtgeşmeleri öwrenip, aýratynlyklaryň syzmagyndan gaça durmak ukyby
Maşyn öwrenmekde köne söz bar: "Amaly maşyn öwrenmek esasan in engineeringenerçilikdir." Sebäbi bir modeliň üstünligi köplenç haýsy algoritmi saýlaýandygyňyzdan däl-de, modele beren girişleriňizden gelýär. Aýratynlyk in engineeringenerligi, modeliň öwrenip biljek çig maglumatlaryndan manyly signallary öndürmek sungatydyr. Emeli intellekt bu döwürde pikirleriň baý çeşmesidir: "bu maglumatlardan haýsy aýratynlyklary öndürip boljakdygyny" sorasaňyz, onlarça teklip görkezilýär. Emma bu teklipleriň käbiri gymmatly bolup biler, käbiri peýdasyz bolup biler, käbirleri howply bolup biler. Ony tertiplemek siziň işiňiz.
Näme üçin in engineeringenerçilik aýratynlygy
Çig maglumatlar iň oňat görnüşde modele seýrek gelýär. Diňe "doglan senesi" sütüniniň manysy ýok bolsa-da, ondan emele gelen "ýaş" bahasy güýçli signaldyr. "Hepdäniň güni", "gije / gije", "dynç alyşmy" ýaly häsiýetleri "sargyt möhletinden" alyp bilersiňiz. Gatnaşyk öndürmek üçin iki sütüni birleşdirip bilersiňiz ("karz / girdeji gatnaşygy"). Bu ýerde aýratynlyk in engineeringenerligi domen bilimlerini matematiki signallara terjime edýär; Ine, şonuň üçinem iň akyl talap edýän basgançak.
Kategoriki üýtgeýjileri sanlara öwürmek: kodlaşdyrmak
Modeller, adatça, tekst däl-de, sanlar bilen işleýär. Kategoriki üýtgeýjileri (şäher, reňk, önümiň görnüşi) sanlara öwürmek kodlamak diýilýär. Üç umumy usul:
Bir gyzgyn kodlamak: Her kategoriýa üçin 0/1 bahasy bolan aýratyn sütün açýar. "Şäher" üçin Stambul, Ankara, Izmir sütünleri emele gelýär; Müşderi Stambuldan bolsa, diňe şol sütün 1 bolar. Kategoriýalaryň sany az bolanda ideal; Kategoriýalar gaty köp bolsa, ýüzlerçe sütün öndürýär (bu "ululykdaky partlama" diýilýär).
Etiketkany kodlamak: Her kategoriýa san berýär (Stambul = 0, Ankara = 1). Bu ýönekeý, ýöne tötänleýin modeli yzygiderliligi öwredip biler (Ankara> Stambul ýaly); şonuň üçin tertipsiz kategoriýalarda seresaplylyk bilen ulanylýar.
Maksatly kodlamak: Her kategoriýany şol kategoriýadaky maksat üýtgeýjisiniň ortaça ýerine çalyşýar. Örän güýçli, ýöne syzmagyň iň howply çeşmesi: synag maglumatlarynyň nyşanyny göz öňünde tutsaňyz, model geljegi görýär. Diňe okuw maglumatlaryndan we seresaplylyk bilen hasaplanmalydyr (kross-tassyklamanyň içinde).
Ölçeg: köp sanly modeli basyp almaýar
Käbir modeller (aralyk esasly modeller, çyzykly modeller, nerw ulgamlary) üýtgeýänleriň masştabyna duýgur. "Girdeji" (0-500,000) we "ýaş" (0-100) birmeňzeş ýagdaýa düşse, girdeji has uly bolany üçin agdyklyk edip biler. Masştab muny düzedýär. Iki umumy usul: standartlaşdyrmak (her bir bahany "ortaça näçe gyşarma" öwürýär) we kadalaşdyrmak (min-max normalizasiýa - bahalary 0-1 aralygynda gysýar). Agaç esasly modeller (karar agaçlary, tötänleýin tokaý) göwrümli duýgur däl, ulalmagy talap etmeýär.
Üns beriň: Ölçeg we kodlaşdyrmagyň parametrleri (ortaça, standart gyşarmak, kategoriýa ortaça kartalaşdyrmak) diňe okuw maglumatlaryndan hasaplanmalydyr, soňra synag maglumatlarynda hem edil şonuň ýaly ulanylmalydyr. Synag maglumatlaryny goşmak bilen syzmak we modeliňizi aslynda has gowy görkezýär.
Aýratynlyk in engineeringenerçiliginde syzmagyň ýüregi
Aýratynlyklaryň döredilmegi, köplenç maglumatlaryň syzmagynyň döreýän ýeri. Iki adaty ýalňyşlyk: Wagtyň syzmagy - geljekki maglumatlary öz içine alýan aýratynlyk öndürmek (“soňky 30 gün ortaça” hasaplanylanda çaklama gününden birnäçe gün soň). Statistikanyň syzmagy - okuw / synag bölünmezden ozal ähli maglumatlardan bir aýratynlygy (ortaça ulalmak, kodlamagyň bahasy) hasaplamak. Düzgün: otly / synag bölünenden soň her öwrülişigi ilki bilen we diňe okuw maglumatlaryndan öwreniň. Muny yzygiderli amala aşyrmagyň iň ygtybarly usuly, ähli üýtgeşmeleri bir zynjyrda ýygnaýan we bölünenden soň ulanýan turbageçirijini ulanmakdyr.
Usul
näme üçin
Syzmak töwekgelçiligi
bellik
Bir gyzgyn kodlamak
Az kategoriýa bilen üýtgeýän
pes
Ululygyny birnäçe kategoriýada partlaýar
Etiketkany kodlamak
Kategoriýa
pes
Sargytdan nädogry tertibi öwredýär
maksatly kodlamak
Köp kategoriýaly, güýçli signal
gaty beýik
Diňe bilimden, CV-de
standartlaşdyrmak
Çyzykly / aralyk modeller
orta
Parametr diňe bilime bagly
Wagt penjiresiniň aýratynlygy
wagt seriýasy
beýik
Geljegi goş
üç sany kiçi halat
1-nji waka - Gymmat emläk. Karz topary çig “aýlyk girdeji” we “aýlyk karz tölegi” sütünlerinden “karz-girdeji gatnaşygy” aýratynlygyny döretdi. Bu ýeke-täk aýratynlyk, modeliň takyklygyny 71% -den 79% -e çenli ýokarlandyrdy; sebäbi töwekgelçiligi hakykatdanam kesgitleýän mutlak girdeji däl-de, nyrhdy. Sapak: domen bilimlerinden emele gelen gatnaşyklar güýçli signallardyr.
2-nji hadysa - Maksatly kodlamagyň syzmagy. Bir topar “poçta indeksini” maksatly kodlamak (şol sebitdäki ortaça tizlik) bilen sana öwürdi, ýöne bölünmezden ozal ähli maglumatlardan şeýle etdi. Model synag toplumynda 94% berdi, önümçilikde 68% -e çenli azaldy. 6 hepde synanyşyk biderek boldy. Sapak: maksatly kodlaşdyrmak seresaplylyk bilen ýerine ýetirilýär, diňe okuwyň dowamynda.
3-nji waka - Öçürmek. Bir analitik girdejini (0-400,000) we müşderiniň ýaşyny (18-75) ulaltmazdan uzak aralyk modeline iýmitlendirdi. Model, ýaş effektini basyp, diňe girdejä seredýärdi. Ölçeg goşulanda segmentasiýa manyly boldy. Sapak: aralyk / çyzykly modellerde masştablaşdyrylmaýar.
Göçürip boljak dört şablon
1) Aýratynlyk ideýasyny döretmek (ýok etmek size bagly):
Siziň roluňyz: in engineeringener kömekçisi. Df sütünlerim: doglan senesi, sargyt_ wagt (wagt belgisi), girdeji_tl, bergi_tl, şäher, önüm_ kategoriýa. Maksat: "karz yzyna gaýtarylarmy" (0/1). Bu sütünlerden döredilip bilinjek 15 aýratynlygy teklip ediň; syzmak howpuny kesgitläň (pes / orta / ýokary). Geljekki maglumatlary öz içine alýanlary anyk belläň.
2) Howpsuz kodlaşdyrma (bölünişikden soň):
Bir şäherli "şäher" we "önüm_ kategoriýa" kodlaýan kod ýazyň. Möhüm: kodlamagy diňe okuw maglumatlaryna gabat getiriň, soňra synag maglumatlaryny üýtgediň (sklearn OneHotEncoder bilen). Bilimde görünmeýän kategoriýany (handle_unknown) nähili alyp barýandygyňyzy düşündiriň.
3) Turbageçiriji bilen erkin öwrülişik:
Sklearn turbageçirijisini guruň: StandardScaler-i san sütünlerine, OneHotEncoder-i kategoriýa sütünlerine ulanyň, ahyrynda klassifikator goşuň. Transformhli üýtgeşmeleriň otly / synagdan bölünenden soň we diňe okuwdan öwrenilendigine kepil geçiň. Kody we näme üçin syzmaýandygyny düşündiriň.
4) Wagt penjiresiniň aýratynlygy (syzyş gözegçiligi):
Her bir müşderi üçin "soňky 30 günde sargyt sanyny" dörediň, ýöne çaklama gününden soň Hiç haçan maglumatlary goşmaň. Koduň geljege seretmeýändigini setir boýunça düşündiriň. Salgy senesi sütünini bererin.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Bu maglumatlara gowy häsiýetler goşuň.
“Gowy” kesgitlenmedi, maksat düşnüksiz, syzmak gözegçiligi ýok. AI tötänleýin, belki syzýan aýratynlyklary döredýär.
Güýçli haýyş:
Siziň roluňyz: in engineener. Maksat: "30 günde çurn" (0/1), çak edilýän salgy senesi: save_date. Df.Task-da geleşik taryhy bar: 8 aýratynlyk dörediň, her bir adam üçin "çaklama wagtynda bu maglumat barmy" soragyna jogap beriň. Wagt penjiresiniň aýratynlyklarynda salgylanma senesinden soň senäni goşmak. Kody otly / synag bölüminden soň ýerine ýetiriljek turba geçiriji görnüşde ýazyň.
Bu ýerde maksat, salgylanma wagty we syzmak gözegçiligi başyndan kesgitlenýär.
Adaty ýalňyşlyklar
- Bölünmezden ozal ähli maglumatlardan üýtgemegi öwrenmek. Ölçeg / kodlaýyş parametri synag maglumatlaryny görse, syzmak ýüze çykýar.
- Maksatly kodlamagy biperwaý ulanmak. Iň güýçli, ýöne iň syzýan usul; diňe okuwdan, haç tassyklamasynda.
- Wagt penjire aýratynlygy bilen geljegi goşmak. "Soňky 30 gün" hasaplamasy, çak edilýän günden soň girizilse, model geljegi görýär.
- Agaç modelinde gereksiz masştab we çyzykly modelde doly däl masştab. Masştablaşdyrmak kararlary modeliň görnüşine görä kabul edilýär.
- AI-iň her aýratynlyk teklibini soragsyz goşmak. Teklipler peýdasyz we syzýan aýratynlyklary öz içine alyp biler.
Maslahat: Döredýän her aýratynlygyňyz üçin ýekeje sorag ýazyň: "Bu bahany çaklaýan wagtymdaky maglumatlar bilen hasaplap bilerinmi?" Jogap aýdyň "hawa" bolmasa, aýratynlygy ulanmaň. Bu ýeke-täk düzgün, aýratynlyk bilen baglanyşykly syzdyrmalary ýok edýär.
Gysgaça
Aýratynlyk in engineeringenerligi, çig maglumatlardan manyly signallary döretmek sungatydyr we köplenç modeliň üstünligini algoritmden has köp kesgitleýär. Kategoriýalary kodlamak (bir gyzgyn, bellik, maksat), sanlary ulaltmak (standartlaşdyrmak, kadalaşdyrmak) we domen bilimi bilen emele gelen aýratynlyklary öndürmek esasy gurallardyr. Thisöne bu etap syzmagyň özenidir: ähli üýtgeşmeler okuw / synag bölünenden soň we diňe okuw maglumatlaryndan öwrenilmelidir. AI köp pikir döredýär; Adamyň hökümi gymmatlylary howplylardan tapawutlandyrýar.
Programma meselesi
Maksatly üýtgeýjini saýlaň we özüňizdäki sütünlerden azyndan bäş sany öndürijilik aýratynlygyny düzüň. Olaryň her biri üçin "çaklanylýan wagtym barmy" diýen soraga ýazmaça jogap beriň we iň bolmanda birini "syzmak howpy" hökmünde ýok ediň. Soňra bölümden soň amala aşyryljak turbadaky ygtybarly aýratynlyklary kodlaň.
gözegçilik sanawy
- [] Otly / synag bölünenden soň ähli üýtgeşmeleri ulandymmy?
- [] Diňe masştablamak / kodlamak parametrlerini okuwdan öwrendimmi?
- [] Her aýratynlyk üçin "çaklanylýan wagtym barmy" soragyna jogap berdimmi?
- [] Maksatly kodlamak ýaly ýokary töwekgelçilikli usullar bilen goşmaça alada etdimmi?
- [] Modeliň görnüşi (agaç / çyzykly) üçin laýyk ölçemek kararyna geldimmi?