Girdeji:
- Missingitirilen maglumatlaryň görnüşlerini (MCAR / MAR / MNAR), çykaryjylary we kodlaşdyrma ýalňyşlyklaryny tanamak we arassalaýyş kody we diagnostika öndürmek üçin AI-ni dogry maglumatlar bilen ulanmak;
- Emeli intellekt tarapyndan teklip edilen her arassalaýyş ädiminiň (öçürmek, bellemek, üýtgetmek) derňew netijesine nähili täsir etjekdigini we tersine we resminamalaşdyrylan iş prosesini döredjekdigini görmek ukyby
- Arassalaýyş kararlarynyň maglumatlary döredýän prosesi bilmeklige esaslanýandygyny we emeli intellektiň kör awtomat däl-de, gözegçilik edilýän kömekçidigini tassyklamak;
Her tejribeli analitik bir hakykaty bilýär: empirik taslamanyň köpüsi modellemek däl-de, maglumatlary arassalamak (maglumatlardaky ýalňyşlyklary, ýalňyşlyklary we gapma-garşylyklary düzetmek we derňew üçin taýýarlamak). Gödek düzgün hökmünde wagtyň takmynan 70-80% maglumatlary düşünmek, arassalamak we üýtgetmek bilen meşgullanýar; hakyky derňew üçin diňe 20-30% galdy. Bu bölümde emeli intellektiň (AI) bu agyr ýüki nädip ýeňilleşdirýändigini, ýöne haýsy kararlaryň henizem siziň bilen galmalydygyny we näme üçin sebäbini göreris.
Ilki bilen iki sany esasy fakt goýalyň. Ilki bilen, arassalamak kararlary maglumatlary öndürýän prosesi bilýänligiňize esaslanýar: diňe bir bahanyň näme üçin ýitýändigini, sanyň aşa köpdügini diňe bilýärsiňiz. AI maglumatlary görenok, kontekstini bilenok; Kod ýazýar, karar bermeýär. Ikinjiden, her arassalaýyş ädimi derňew netijesini üýtgedip biler. Çykaryjyny pozmak koeffisiýenti üýtgedip biler; Missingitirilenleri ortaça doldurmak, emeli usulda azaldyp biler. Şonuň üçin arassalamak tersine we resminamalaşdyrylmaly: hiç haçan çig mallara degmäň, her ädim kody ýerine ýetiriň, her ädimiň täsirini ýazga alyň.
Stepdimme-ädim arassalamak
1. Maglumatlary biliň. Ilki bilen gurluşy görüň: hatarlaryň sany (synlar) we sütünler (üýtgeýjiler), her üýtgeýäniň görnüşi (san, kategoriýa, sene), jemleýji statistika, ýitenleriň sany. AI-den bu "maglumat tertibi" kody sorap bilersiňiz; Outputöne çykyşy okaýarsyňyz we "näme üçin bu üýtgeýji tekst hökmünde geldi?" Questionsaly soraglar berýärsiňiz.
2. missingitirilen maglumatlary düşüniň we toparlara bölüň. Ingitirilen maglumatlar üç görnüşe bölünýär. MCAR (Tötänleýin ýitirim bolýar): ýitirim bolan zat hiç zat bilen baglanyşykly däl, mysal üçin datçik tötänleýin şowsuz boldy. MAR. MNAR (Tötänleýin ýitirim däl): ýitirim bolmak, gözegçilik edilmedik bahanyň özüne bagly, mysal üçin ýokary girdeji gazanýanlar girdeji barada hasabat bermeýärler. Bu tapawut möhümdir, sebäbi çözgüt usulyny kesgitleýär we AI muny siziň üçin çözüp bilmeýär.
3. theetmezçilik bilen iş salyşyň. Görnüşler: sanaw boýunça öçürmek, ortaça / ortaça hasaplama, model esasly köp hasaplama. MCAR-da öçürmek birneme ygtybarly, ýöne nusganyň ululygyny azaldar. Birnäçe tabşyryk MAR-da has ýerliklidir. Hiç bir ýönekeý usul MNAR-da bitaraplygy kepillendirmeýär; .Etmezçilik mehanizmi modellenmeli ýa-da iň bolmanda duýgurlyk derňewi geçirilmeli. Orta doldurmak aňsat, ýöne howply: tapawudy azaldýar, gatnaşyklary gowşadýar we näbelliligi gizleýär.
4. Çykyşlary gözden geçiriň. Çykyş, beýlekilerden gaty uzakda ýerleşýän syn. Iki soragy aýryň: Bu ýalňyşlykmy (999 ýaşy maglumat ýazgysynda ýazyldy) ýa-da hakyky, ýöne daşarky bahasy (milliarderiň girdejisi)? Näsazlyklary düzediň; Hakyky çykyşlary pozmaň, sebäbi olar maglumatlary görkezýärler. Çykaryjyny "biynjalyk edýändigi sebäpli" pozmak, maglumatlary netijä tarap süýşürýärsiňiz.
5. Kodlaşdyrmak we yzygiderlilik. Kategoriýalary standartlaşdyryň ("Erkek", "erkek", "E" hemmesini bir koda), seneleri bir formata, bir ölçegde birliklere getiriň, iki hatar tapyň. AI iň gowy kömek edýän iň az töwekgelçilikli döwür.
6. Resminama we doňdurma. Çig we arassalanan maglumatlary aýratyn saklap, her ädimiňizi kod we düşündiriş setiri bilen ýazga alyň. Şeýlelikde, bir emin "näme üçin bu gözegçilikler ýatyryldy?" jogabyňyz taýýar
Üns beriň: Netijelere esaslanyp arassalama karar bermäň. "Bu setiri pozanyňyzda koeffisiýent ähmiýetli bolýar" diýen setiri pozmak, indiki bölümde görjek p-hakeriň iň mekir görnüşidir.
Deňeşdirme tablisasy: maglumatlaryň ýoklugy
Usul
Haçan ýerlikli?
töwekgelçiligi
AI-iň roly
Bir hatary poz
MCAR, pes ýitgisi
Mysal kiçelýär, MAR / MNAR-da ikitaraplaýyn
Kod ýazýar; karar berersiň
Orta / orta ýumuş
Çalt deslapky derňew
Tapawutlylygy peseldýär, gatnaşyklary gizleýär
Bu aňsat, ýöne maslahat bermeýär; duýduryş bermelidir
Birnäçe tabşyryk (MI)
MAR, möhüm üýtgeýjiler
Dogry gurulmasa, ýalňyş bolar
Kod we bukjany (syçanlar) maslahat berýär
Mehanizm modelleri
MNAR
Çylşyrymly, çaklamany köp talap edýän
Diňe garalama; hünärmen talap edilýär
Göçürip boljak dört teklip
1. Maglumatlaryň tertibi:
Siziň roluňyz: maglumatlary arassalaýjy kömekçi. Maglumatlary paýlaşamok, R koduny isleýärin. Mende 'digit' diýilýän data.frame bar; üýtgeýjiler: id, ýaş (san), girdeji (san), bilim (kategoriýa), sebit (kategoriýa), senesi (senesi). Wezipe: her üýtgeýän üçin görnüşi, ýitirilen san we nyrh öndürýän kod, sanlar üçin gysgaça statistika we kategoriýalar üçin ýygylyk tablisasyny ýazýan kod ýazyň. Teswir setirini goşuň.
2. dataitirilen maglumatlar diagnozy:
Aboveokardaky “san” maglumatlary üçin ýiten nagşy gözden geçirýän kod ýazyň: - her üýtgeýjiniň ýitip barýan tizligi, - ýoklugyň beýleki üýtgeýänler bilen baglanyşygyny görkezýän ýönekeý tablisa / grafika. Kodyň çykyşyna serederin we MCAR / MAR / MNAR tapawudyny ederin; Diňe anyklaýyş guralyny öndürýärsiňiz, tabşyryş usuly barada karar bermäň.
3. Daşarky gözden geçirmek (öçürmek däl):
Üýtgeýän 'girdeji' üçin kod ýazyň, ÖÇÜRMEK BOLANOK: gutujyk, IQR esasly çäkler we daşarky synlamalar + bahalar sanawy. Bularyň ýalňyşdygyny ýa-da hakykydygyny görerin. Awtomatiki pozmagy goşuň.
4. Kodlaşdyrmagyň standartlaşdyrylmagy:
"Bilim" üýtgeýjisinde gymmatlyklar garyşyk ýazylýar: "Başlangyç mekdep", "başlangyç mekdep", "başlangyç", "orta mekdep", "orta mekdep", "uniwersitet", "univ". Bulary yzygiderli kategoriýalara ýazýan R koduny ýazyň; Her öwrülişigi tassyklap bilerin diýip, kartalaşdyryş tablisasyny aýdyň görkeziň. Tanamaýan bahaňyzy "UNKNOWN" diýip belläň.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Maglumatlary arassalaň, boşluklary dolduryň, çykýanlary taşlaň.
Bu isleg howply: AI-e kör ygtyýar berýär. Haýsy ýitirim, haýsy doldurgyç, haýsy gapma-garşylykly hakykat - bularyň hiç biri-de düşnükli däl. Netije gizlin taraplaýyn maglumatlar toplumy bolup biler.
Güýçli haýyş:
Siziň roluňyz: arassalaýjy kömekçi, siz karar berýän dälsiňiz. Stepdimme-ädim gidiň we her ädimiň täsirini habar berýän kod ýazyň: 1) ýiten nagşy görkeziň (Öçürmäň / doldurmaň), 2) daşarky dalaşgärleri sanawlaň (Öçürmäň), 3) karta tablisasy bilen kategoriýa laýyk gelmezlikleri düzediň. Üýtgeşmäni görüp we tassyklap bilerin diýip, her ädimden soň hatar sanlaryny we jemleýji statistikany çap ediň. Awtomatiki tabşyryş / öçürmek.
Tapawut düşnüklidir: tersine AI resminamalaşdyrylan we resminamalaşdyrylan ädimleri öndürip, gözegçilik edilýän kömekçi hökmünde ýerleşdirer.
üç sany kiçi halat
1-nji hadysa - Ortaça tabşyryk duzagy. Bir analitigiň 5000 adam üçin girdeji maglumatlary 18% ýitdi. AI-e "boşluklary doldurmaly" diýdi; AI olaryň hemmesini ortaça aldy. Netije: girdejiniň tapawudy 22% azaldy we bilim-girdeji gatnaşyklarynyň koeffisiýenti öňküsinden has gowşak boldy. Dogry ýol: ýetmezçilik MAR boldy (bilim sebäpli), köp tabşyryk (syçanlar) bilen doldurylmalydy. Sapak: doldurmak usuly mehanizme baglydyr.
2-nji hadysa - Daşarky arassalamak tapyndylary tersine edýär. Bir firma maglumatlarynda 3 sany uly firma (umumy gözegçilikiň 0,6%) bardy. Bular AI-iň "arassalamak" teklibi bilen pozuldy; Masştab koeffisiýentiniň ykdysadyýetleri polo positiveitelden otrisatel ýagdaýa öwrüldi. Şeýle-de bolsa, bu 3 kompaniýa hakyky we pudagyň möhüm bölegi boldy. Dogry ýol, pozmagyň ýerine doly we ygtybarly baha bermek bilen hasabat bermekdi. Sapak: hakyky çykyşlar ses däl-de, maglumatlardyr.
3-nji hadysa - Ümsüm kodlaşdyrma säwligi. Bir panelde sene üýtgeýjisi iki dürli formatda geldi ("2020-03-01" we "01/03/2020"). AI tarapyndan öndürilen kombinasiýa kody dürli gymmatlyklar üçin ýalňyşanda, 1400 synlama gabat gelmedi we ösüş depgini gülkünç boldy. Analitik hatar sanyny barlamasa möhüm bolmaz. Sapak: her ädimden soň gözegçilik sanlary we saglyk barlaglary hökmanydyr.
Adaty ýalňyşlyklar
- Boşlugy ortaça kör bilen doldurmak. Tapawutlylygy peseldýär, näbelliligi gizleýär we MAR / MNAR-da ikitaraplaýyn pikir döredýär. Ilki bilen mehanizmi klassifikasiýa ediň.
- Çykaryjyny pozmak "biynjalyk bolany üçin". Hakyky çykyş edýänler maglumatlary görkezýärler; pozmak netijäni egýär. Nädogry zady düzediň, hakyky zady saklaň.
- Çig maglumatlary tapmak. Hiç haçan çig maglumatlary üýtgetmäň; Codehli arassalamalary yzyna gaýtaryp bolar ýaly kod bilen aýratyn nusgada ýerine ýetiriň.
- Stepsdimleriň täsirini ölçemezlik. Her ädimden soň hatar sanamak we jemleýji statistika barlanmasa, sessiz ýalňyşlyklar ýygnanar.
- Netijede arassalanmak. "Bu setiri goşsaňyz, netije has gowulaşýar" logikasy p-haker; Arassalamak derňewiň netijesinden öň we garaşsyz meýilleşdirilmelidir.
Maslahat: Arassalanmazdan ozal we soň şol bir esasy statistikany (ortaça, synlaryň sany, birnäçe baglanyşyk) goýýan “öň / soň” tablisasyny saklaň. Garaşylmadyk bökmek, gizlin ýalňyşlygyň iň gowy habarçysydyr.
Gysgaça
Maglumatlary arassalamak, empirik işiň iň köp wagt talap edýän we karar talap edýän tapgyry. AI munuň üçin güýçli kod generatory, ýöne atyşlara jaň edip bilmeýär: ýiten maglumat görnüşini (MCAR / MAR / MNAR) klassifikasiýa edýärsiňiz, çykaryjynyň ýalňyşdygyny ýa-da hakykydygyny kesgitleýärsiňiz, her ädimiňizi tersine we resminamalaşdyryň. AI kör “aýdyň” ygtyýar bermegiň ýerine, täsiri ölçelýän we tassyklanan ädimme-ädim iş prosesini dörediň. Her ädimden soň synlamalaryň we jemleýji statistikalaryň sanyny barlamak, sessiz ýalňyşlyklara iň oňat garşylykdyr.
Programma meselesi
Maglumat toplumynda (öz maglumatlaryňyz ýa-da nusga toplumyňyz) iň azyndan iki üýtgeýjini saýlaň. AI-den anyklaýyş kody soraň, ýokardaky "ädimme-ädim, pozmaň / doldurmaň" buýrugy arkaly işlediň. .Etmezçiligi MCAR / MAR / MNAR diýip klassifikasiýa ediň we deliliňizi bir sözlemde ýazyň. Garşydaş dalaşgärleri birin-birin gözden geçiriň we haýsysynyň ýalňyşdygyny, haýsysynyň hakykydygyny kesgitläň. Ahyrynda, arassalanmazdan ozal / soň "öňünden" tablisany öndüriň we garaşylmadyk üýtgeşmeleriň bardygyny habar beriň.
gözegçilik sanawy
- [] Çig maglumatlary üýtgetmän aýratyn nusgada arassaladym.
- [] Theetmezçiligi MCAR / MAR / MNAR diýip kesgitledim we şoňa görä usuly saýladym.
- [] Çykyş edenleriň ýalňyşdygyny ýa-da hakykydygyny birin-birin gözden geçirdim; Men ony kör görmedim.
- [] Her arassalaýyş ädiminden soň synlaryň sanyny we jemleýji statistikasyny barladym.
- [] Thehli ädimleri kod we düşündiriş setiri bilen dokumentleşdirdim; tersine.
- [] Arassalamany derňewiň netijesine däl-de, maglumatlary öndürýän prosesiň bilimine esasladym.