Girdeji:
- Missingitirilen gymmatlyklaryň sebäbini (tötänleýin, yzygiderli, manyly) tapawutlandyrmak we degişli strategiýany saýlamak we doldurmagyň bahasyny diňe okuwdan hasaplamak ukyby
- Çykýanlary pozmazdan ozal barlamak we maglumat ýalňyşlygy bilen hakyky seýrek hadysany tapawutlandyrmak ukyby
- Her ädimiň setirleriň / boş ýerleriň sanyna edýän täsirine gözegçilik edip, ümsüm ýitginiň öňüni almak ukyby;
Maglumat alymynyň wagtynyň takmynan 60-80 göterimi arassalanmaga gidýär; Senagatda bu ýarym degişme bilen "maglumatlar dawasy" (maglumatlary dawa etmek ýa-da maglumatlary arassalamak) diýilýär. Hakyky dünýädäki maglumatlar hiç haçan derňew üçin taýyn bolmaýandygy sebäpli: seneler garyşyk formatda, sanlar tekst görnüşinde saklanýar, käbir öýjükler boş, bir müşderi iki dürli harp bilen bir tablisada üç gezek peýda bolýar. Bu bölümde arassalamagyň üç esasy tarapyny öz içine alarys: ýiten gymmatlyklar, çykaryjylar we görnüşi / formaty öwürmek. Emeli intellekt bu işde adatdan daşary çalt kömekçi; Whatöne nämäni arassalamalydygyny we nädip çözmelidigini özüňiz çözýärsiňiz, sebäbi her arassalaýyş saýlawy derňewi üýtgedýär.
Arassalamagyň altyn düzgüni: her üýtgeşiklik karar
Bir öýjügi pozmak, ýiten bahany ortaça doldurmak, daşky görnüşini kesmek - bularyň hiç biri-de "bitarap" amal däl. Her biri maglumatlary üýtgedýär we netijä täsir edýär. Şeýlelik bilen arassalamagyň altyn düzgüni: her üýtgeşmäni koda ýazyň, esaslara üns beriň, asyl maglumatlary hiç haçan ýazmaň. AI size çalt arassalaýyş kody berýär, ýöne şol koduň näme edýändigine düşünmek siziň jogapkärçiligiňizdir; "Boş setirleri poz" diýlende näçe setiriň gidendigini görmän işletmäň.
Üns beriň: Asyl çig maglumatlary hiç wagt üýtgetmäň. Arassalanan wersiýany aýratyn faýl / tablisa ýazyň. Şeýlelik bilen, ýalňyşlygy görseňiz, birinji kwadrata gaýdyp, köpelişini saklap bilersiňiz.
Ingitirilen gymmatlyklar: näme üçin boş, näme etmeli
Aitirilen baha (köplenç NaN görnüşinde peýda bolýar - pandalarda "San däl") öýjük boş bolanda. Emma boşlugyň sebäbi çözgüdi kesgitleýär. Üç adaty ýagdaý bar. Tötänleýin ýitirim: sensor bir salym işlemedi; Ony doldurmak ýerlikli bolup biler. Ulgamlaýyn ýitmek: forma meýdançasy diňe belli müşderiler üçin soralýar; Bu ýerdäki boşluk hakykatdanam maglumat. Möhüm ýitirim: "gaýdyp gelmek senesi" boş bolsa, müşderi gaýdyp gelmedi; Bu boşluk 0 ýa-da "ýok" diýmekdir, doldurylmandyr.
Esasy strategiýalar:
Strategiýa
Haçan ýerlikli?
töwekgelçiligi
Setiri poz
Ingitirim derejesi gaty pes (<5%) we tötänleýin
Maglumatlaryň we wekilçiligiň ýitmegi
Sütüni pozuň
Sütüniň köpüsi boş (> 60%)
maglumat ýitirilmegi
Ortaça / ortaça doldurma
San, tötänleýin ýitirim
Tapawutlylygy peseldýär we paýlanyşyny ýoýýar
Kategoriýa "näbelli"
Kategoriki, yzygiderli ýitirim
Goşmaça kategoriýalar döredýär
Model bilen çaklama
Çylşyrymly, gymmatly sütün
Syzmak töwekgelçiligi, çylşyrymlylyk
Möhüm nokat: hasaplama bahasy diňe okuw maglumatlaryndan hasaplanmalydyr we synag maglumatlaryna şol bir baha ulanylmalydyr. Synag maglumatlarynyň ortaça mukdaryny goşsaňyz, syzmak döredýärsiňiz (10-njy bölüm). Ortaça (tertipli maglumatlaryň orta bahasy) köplenç ortaça saýlanýar, sebäbi ortaça garanyňda has ygtybarly.
Çykyş edenler: ýalňyşlykmy ýa-da hakyky?
Çykaryjy iki zadyň biri bolup biler: maglumat ýalňyşlygy (ýaş sütünindäki 999) ýa-da hakyky, ýöne seýrek hadysa (müşderiniň 2 million dollarlyk sargyt). Ikisini bulaşdyrmak zyýanly: hakyky çykaryjyny pozuň we möhüm maglumatlary taşlaýarsyňyz; Aalňyşlyk goýberseň, ortaça zyýan çeker. Şonuň üçin ilki bilen awtomatiki usulda pozmazlyk üçin daşarky enjamy gözden geçirmeli.
Umumy kesgitleme usullary: IQR usuly (ikitaraplaýyn aralyk; maglumatlaryň 25% bilen 75% kwintiliniň arasyndaky tapawudyň 1,5 essesinden köp bolan bahalar çykaryjy hasaplanýar) we z-ball (ortaça bahadan standart gyşarmalaryň sany; adatça 3-den uly bolsa daşarky). AI bu hasaplamalaryň koduny sekuntda ýazýar; "Öne" poz "diýmezden ozal, şol gymmatlyklaryň nämedigini barlaň.
Görnüşi we formaty öwürmek: sessiz ýalňyşlyk çeşmesi
Iň kelle agyrylaryndan biri maglumat görnüşindäki bulaşyklykdyr. "Mukdar" sütüni tekst görnüşinde saklansa, goşup bilmersiňiz; Programma, "bir müň iki ýüz elli" ýerine "1,250.50" ýaly türk formatlanan belgini nädogry okaýar. Seneler ("01/03/2024" gün-aý ýa-da aý-gün?), Kategoriýalar ("Erkek" / "erkek" / "M" bir zatmy?) We bölümler (TL ýa-da kuruş?) Dymmak bilen nädogry netijeleri berýär. Arassalamagyň uly bölegi bu gapma-garşylyklary standartlara çekýär: seneleri bir formata, kategoriýalary bir harplara, sanlary bir birlige.
üç sany kiçi halat
1-nji waka - Orta duzak. Topar girdeji sütüninde ortaça (48,500 dollar) ýiten 320 bahany doldurdy. Theöne kemçilikler yzygiderli boldy: bular hiç haçan girdeji yglan etmedik pes girdejili segmentdi. Ortaça doldurma bu topary emeli usulda baýlaşdyrdy we karz modeli nädogrydy. Sapak: doldurmazdan ozal “näme üçin boş” diýip soraň.
2-nji hadysa - Öçürilmeli däl. Bölekleýin analitik, "ýalňyş" diýip pikir edip, satuw maglumatlarynda 4 sany uly sargyt (hersi 1.8 million TL) pozdy. Şeýle-de bolsa, bular hakyky kärhana sargytlarydy we umumy haryt dolanyşygynyň 22% -ini düzdi. Öçürilenden soňky çaklama modeli institusional islegi düýbünden sypdyrdy. Sapak: öçürmezden ozal çykaryjyny gözden geçiriň.
3-nji hadysa - Sene formatyndaky betbagtçylyk. CSV-de seneler "2024-03-01" we "01.03.2024" ikisine garyldy. YZ tarapyndan ýazylan kod birinji formata görä derňelende, 6400 setir NaT "nädogry senä" öwrüldi we ýuwaşlyk bilen derňewden aýryldy. Analitik muny diňe setirleriň sany azalanda gördi. Sapak: öwrülden soň elmydama setirleriň we boş ýerleriň sanyny barlaň.
Göçürip boljak dört şablon
1) valueitirilen baha kartasy:
Panda df bar. Her sütün üçin ýitenleriň sanyny we göterimini görkezýän tablisany döredýän kod ýazyň. Soňra, ýitirilen derejesi 40% -den ýokary bolan sütünleri we 5% -den pes bolan sütünleri aýratyn sanawlaň. Diňe haýsy strategiýany teklip edýändigiňizi däl-de, bu diagnoz koduny dörediň; Men karar bererin.
2) Daşarky gözden geçirmek (öçürmek däl):
IQR usuly bilen "mukdar" sütünim üçin DETECTS (öçürilmeýär!) Kod ýazyň. Daşarky hatarlary aýratyn df-e goýuň, men olary el bilen barlap bilerin. Şeýle hem, çykyş edenleriň sanyny we jemi paýyny çap ediň.
3) görnüşi / formaty standartlaşdyrmak:
Aşakdaky sütünleri standartlaşdyrýan kod ýazyň: - "senesi": garyşyk formatlar bolup biler ("2024-03-01" we "01.03.2024"); hemmesini wagt möhletine öwüriň, terjime edip bolmaýanlary hasaplaň we hasabat beriň (sessiz zyňyň). - "jyns": "Erkek" / "erkek" / "M" -> "M", "Aýal" / "aýal" / "F" -> "K". - "mukdar": Türk formatlanan tekst ("1.250,50") -> onluk san. Her öwrülişikden soň näçe hatara täsir edilendigini çap ediň.
4) Arassalanmazdan ozal / soň barlaň:
Arassalama ädiminden öň we soň saýlanan sütünleriň df.shape, ýitirilen sanlary we jemlenen statistikalary (ortaça, ortaça, min, max) deňeşdirýän kod ýazyň. Maksady: arassalamagyň nähili üýtgeýändigini görmek.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Bu maglumatlary arassalaň.
"Arassa" düşnüksiz; AI haýsy bölekleriň ýok edilmelidigini, nämäni doldurmalydygyny, haýsy sütüni gaýtadan işlemelidigini we nädip edilýändigini bilenok. Netije: kör, yzyna gaýtaryp bolmajak üýtgeşmeler.
Güýçli haýyş:
Siziň roluňyz: maglumatlary arassalaýjy kömekçi. df sütünleri: müşderi_id (int), hasaba alyş senesi (garyşyk formatdaky tekst), girdeji_tl (tekst, "1200.00"), şäher (tekst, gabat gelmeýän ýazuw). Düzgünler: - Asyl df üýtgetmek; Df_clean atly göçürmäniň üstünde işläň.- Girdejini_tl-i sana öwüriň, terjime edip bolmaýan zady hasaplaň. Dalaşgärleri aýratyn görkeziň. Her ädimden soň df_temiz.shape we ýiten belgini çap ediň.
Bu ýerde çeşme goralýar, her bir üýtgeşiklik hasaplanýar, öçürmek adama galýar.
Adaty ýalňyşlyklar
- "Näme üçin boş?" Diýip soraman boşluklary doldurmak. Ortaça yzygiderli / möhüm ýitgini doldurmak maglumatlary ýoýýar.
- Daşky görnüşini barlamazdan pozmak. Hakyky, ýöne seýrek hadysalary taşlamak möhüm maglumatlary ýok edýär.
- Datahli maglumatlardan padding bahasyny hasaplamak. Synag maglumatlaryny goşmak bilen syzmak döredýär; diňe okuwdan hasaplaň.
- Öwrülenden soň hatarlaryň / boş ýerleriň sanyny barlamazlyk. Ümsüm NaT / NaN bolan hatarlar derňewden aýrylýar.
- Asyl maglumatlaryň üstünden ýazmak. Yza gaýdyp gelmek we köpelmek ýitýär.
Maslahat: Arassalanmagy "öňünden" deňeşdirmek bilen işlediň. Her ädimden soň df.shape, ýitirilen sanlary we möhüm sütünleriň gysgaça statistikasyny çap ediň. Şeýlelik bilen bir ädimiň garaşylmadyk ýagdaýda 6000 hatary ýok edýändigini derrew görýärsiňiz.
Gysgaça
Arassalamak, maglumat ylmynyň iň köp wagt talap edýän we karar talap edýän tapgyry. Her üýtgeşme maglumatlary üýtgedýär, şonuň üçin hersi aňly karar. Valuesitirilen gymmatlyklar üçin "näme üçin boş?" Diýip soraň. Öçürmezden ozal islendik synçylary gözden geçiriň; Görnüşi we formaty standartlara getiriň. Diňe okuw maglumatlaryndan doldurma bahasyny hasaplaň, asyl nusgasyny saklaň we her ädimiň täsirini sanap yzarlaň. AI bu işde ägirt uly tizlendiriji, ýöne adamlar näme arassalaýandygyňyzy we näme üçin sebäbini çözýärler.
Programma meselesi
Kiçijik stol alyň (ýa-da dörediň) we bilgeşleýin üç meseläni goýuň: ýiten bahanyň bahasy, daşarky, garyşyk senäniň formaty. Aboveokardaky galyplar bilen AI-den diagnoz we standartlaşdyryş koduny soraň; her ädimden öň / soň hatarlaryň we boş ýerleriň sanyny deňeşdiriň. Iň bolmanda bir "sessiz ýitgini" tutmaga synanyşyň we muny nädip görendigiňize üns beriň.
gözegçilik sanawy
- [] Asyl çig maglumatlary sakladym we nusgasynyň üstünde işledimmi?
- [] Her ýiten sütün üçin "näme üçin boş" diýen soragy berdimmi?
- [] Olary pozmazdan ozal gözden geçirdimmi?
- [] Padding bahasyny diňe okuw maglumatlaryndan hasapladymmy?
- [] Her ädimden soň setirleriň / boş ýerleriň sanyny barlaýaryn we sessiz ýitgini ýok edýärinmi?