Qligħ:
- Kapaċità li tiddistingwi l-kawża tal-valuri neqsin (każwali, sistematiċi, sinifikanti) u tagħżel l-istrateġija xierqa u tikkalkula l-valur tal-mili mit-taħriġ biss
- Kapaċità li teżamina l-outliers qabel ma tħassarhom u tiddistingwi bejn żball fid-dejta u avveniment rari veru
- Kapaċità li tipprevjeni telf siekta billi timmonitorja l-impatt ta 'kull pass fuq in-numru ta' linji/vojt filwaqt li ġġib inkonsistenzi tat-tip u tal-format għall-istandard
Madwar 60-80 fil-mija tal-ħin ta 'xjenzat tad-dejta jmur għat-tindif; Fl-industrija, dan huwa nofs jokingly imsejjaħ "data wrangling" (data wrangling jew data cleaning). Minħabba li d-dejta tad-dinja reali kważi qatt ma tiġi lesta għall-analiżi: id-dati huma f'formati mħallta, in-numri huma maħżuna bħala test, xi ċelloli huma vojta, klijent jidher tliet darbiet fl-istess tabella b'żewġ ortografiji differenti. F'din l-unità se nkopru tliet aspetti bażiċi tat-tindif: valuri neqsin, outliers, u konverżjoni tat-tip/format. L-intelliġenza artifiċjali hija assistent veloċi straordinarjament f'dan ix-xogħol; Imma int li tiddeċiedi x'tnaddaf u kif, għax kull għażla ta 'tindif tbiddel l-analiżi.
Ir-regola tad-deheb tat-tindif: kull bidla hija deċiżjoni
It-tħassir ta 'ċellula, il-mili ta' valur nieqes bil-medja, it-tirqim ta 'outlier—l-ebda waħda minn dawn m'hi operazzjonijiet "newtrali". Kull wieħed ibiddel id-dejta u jaffettwa r-riżultat. Allura r-regola tad-deheb tat-tindif: ikteb kull bidla fil-kodiċi, innota r-raġunament, qatt ma tissostitwixxi d-dejta oriġinali. L-AI tagħtik kodiċi ta 'tindif ta' malajr, iżda hija r-responsabbiltà tiegħek li tifhem x'jagħmel dak il-kodiċi; Tħaddimhiex mingħajr ma tara kemm linji spiċċaw meta tgħid "Ħassar linji vojta".
Attenzjoni: Qatt ma timmodifika d-dejta mhux ipproċessata oriġinali. Ikteb il-verżjoni mnaddfa f'fajl/tabella separata. Dan il-mod, jekk tinnota żball, tista 'tmur lura għall-kwadru wieħed u żżomm ir-riproduċibilità.
Valuri neqsin: għaliex huwa vojt, x'għandek tagħmel
Valur nieqes (normalment jidher bħala NaN — "Mhux Numru" fil-pandas) huwa meta ċellola tkun vojta. Iżda l-kawża tad-distakk tiddetermina s-soluzzjoni. Hemm tliet sitwazzjonijiet tipiċi. Nieqes bl-addoċċ: is-sensor ma ħadimx għal mument; Jista 'jkun raġonevoli li timtela. Sistematiku nieqes: qasam tal-formola huwa mitlub biss għal ċerti klijenti; Id-distakk hawnhekk huwa fil-fatt informazzjoni. Nieqsa sinifikanti: jekk "data tar-ritorn" hija vojta, il-klijent ma rritornax; Dan l-ispazju jfisser 0 jew "xejn", mhuwiex mimli.
Strateġiji ewlenin:
Strateġija
Meta huwa xieraq?
riskju
Ħassar ringiela
Ir-rata nieqsa hija baxxa ħafna (<5%) u każwali
Telf ta' data u rappreżentazzjoni
Ħassar kolonna
Ħafna mill-kolonna hija vojta (>60%)
telf ta’ informazzjoni
Mili medja/medjan
Numeriku, nieqes bl-addoċċ
Tnaqqas il-varjanza u tgħawweġ id-distribuzzjoni
Kategorija "mhux magħrufa"
Kategorika, sistematika nieqsa
Jiġġenera kategoriji addizzjonali
Tbassir bil-mudell
Kumpless, kolonna prezzjuża
Riskju ta 'tnixxija, kumplessità
Punt kritiku: il-valur tal-imputazzjoni għandu jiġi kkalkulat biss mid-dejta tat-taħriġ u l-istess valur għandu jiġi applikat għad-dejta tat-test. Jekk tinkludi l-medja tad-dejta tat-test, toħloq tnixxija (Unità 10). Il-medjan (il-valur tan-nofs tad-dejta ordinali) ħafna drabi huwa preferut għall-medja minħabba li huwa aktar robust għall-outliers mill-medja.
Outliers: żball jew reali?
An outlier jista 'jkun wieħed minn żewġ affarijiet: żball ta' data (999 fil-kolonna ta 'l-età) jew avveniment reali iżda rari (ordni ta' $2 miljun ta 'klijent). Li tħawwad it-tnejn hija diżastruża: ħassar outlier veru u tarmi informazzjoni importanti; Jekk tħalli żball, il-medji tiegħek ibatu. Għalhekk, huwa meħtieġ li l-ewwel jiġi eżaminat l-outlier, mhux li titħassar awtomatikament.
Metodi ta' sejbien komuni: Metodu IQR (firxa interkwartili; valuri li huma aktar minn 1.5 darbiet id-differenza bejn il-25% u 75% tal-kwintili tad-dejta huma kkunsidrati bħala outliers) u z-score (in-numru ta 'devjazzjonijiet standard 'il bogħod mill-medja ta' valur huwa; ġeneralment outlier jekk ikun akbar minn 3). AI jikteb il-kodiċi għal dawn il-kalkoli f'sekondi; Imma qabel ma tgħid "Ħassar", iċċekkja x'inhuma dawk il-valuri.
Konverżjoni tat-tip u l-format: sors ta 'żball siekta
Waħda mill-aktar uġigħ ta 'ras hija l-konfużjoni tat-tip tad-dejta. Jekk kolonna "ammont" tinħażen bħala test, ma tistax iżżid; Il-programm jaqra ħażin numru ifformattjat Tork bħal "1,250.50" minflok "elf mitejn u ħamsin". Dati ("01/03/2024" jum-xahar jew xahar-jum?), kategoriji ("Male"/"mask"/"M" huma l-istess ħaġa?) u unitajiet (TL jew kuruş?) fis-skiet jipproduċu riżultati żbaljati. Parti kbira mit-tindif qed tiġbed dawn l-inkonsistenzi fl-istandard: dati f'format wieħed, kategoriji f'ortografija waħda, numri f'unità waħda.
tliet każijiet żgħar
Każ 1 — In-nassa medja. Tim imla t-320 valuri nieqsa fil-kolonna tad-dħul bil-medja ($48,500). Iżda n-nuqqasijiet kienu sistematiċi: dawn kienu s-segment bi dħul baxx li qatt ma kien iddikjara dħul. Il-mili medju għamel dan il-grupp għani artifiċjalment u l-mudell tal-kreditu kien żbaljat. Lezzjoni: staqsi "għaliex hija vojta" qabel timla.
Każ 2 — Outlier li m'għandux jitħassar. Analista tal-bejgħ bl-imnut ħassar 4 ordnijiet enormi (1.8 miljun TL kull wieħed) fid-dejta tal-bejgħ, billi ħaseb li kienu "żbalji". Madankollu, dawn kienu ordnijiet korporattivi reali u kienu 22 % tal-fatturat totali. Il-mudell tat-tbassir ta 'wara t-tħassir tilef għal kollox id-domanda istituzzjonali. Lezzjoni: eżamina l-outlier qabel ma tħassarha.
Każ 3 — Diżastru fil-format tad-data. F'CSV, id-dati tħalltu kemm f'"2024-03-01" kif ukoll f'"01.03.2024". Meta l-kodiċi miktub minn YZ ġie analizzat skont l-ewwel format, 6,400 linja saru NaT bħala "data invalida" u ġew esklużi skiet mill-analiżi. L-analista ndunat dan biss meta n-numru ta 'linji naqas. Lezzjoni: dejjem iċċekkja n-numru ta 'linji u vojt wara l-konverżjoni.
Erba' mudelli li jistgħu jiġu kkupjati
1) Mappa tal-valur nieqsa:
Għandi pandas df. Ikteb kodiċi li tipproduċi tabella li turi n-numru u l-perċentwal ta 'nieqes (NaN) għal kull kolonna. Imbagħad, elenka separatament il-kolonni b'rata nieqsa li taqbeż l-40% u dawk b'rata nieqsa taħt il-5%. Iġġenera biss dan il-kodiċi tad-dijanjosi, mhux liema strateġija tissuġġerixxi; Jien se nieħu d-deċiżjoni.
2) Spezzjoni outlier (mhux tħassir):
Ikteb il-kodiċi li JISKAX (mhux iħassar!) Outliers għall-kolonna "ammont" tiegħi billi tuża l-metodu IQR. Poġġi r-ringieli 'l barra f'df separat sabiex inkun nista' neżaminahom manwalment. Istampa wkoll in-numru ta 'outliers u s-sehem tagħhom fit-total.
3) Standardizzazzjoni tat-tip/format:
Ikteb kodiċi li tistandardizza l-kolonni li ġejjin:- "data": jistgħu jkunu formati mħallta ("2024-03-01" u "01.03.2024"); jikkonvertuhom kollha għal datetime, għodd dawk li ma jistgħux jiġu tradotti u rrapporta (armi skiet). - "ġeneru": "Raġel"/"raġel"/"M" -> "M", "Female"/"mara"/"F" -> "K". - "ammont": test ifformattjat Tork ("1.250,50") -> numru deċimali. Stampa kemm ringieli huma affettwati wara kull konverżjoni.
4) Iċċekkja qabel/wara t-tindif:
Ikteb kodiċi li jqabbel df.shape, għadd nieqes, u statistika fil-qosor (medja, medjan, min, max) ta 'kolonni magħżula qabel u wara pass ta' tindif. Għan: biex tara liema tindif jinbidel.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Ċara din id-dejta.
"Ċar" hija ambigwa; AI ma tafx liema partijiet neqsin għandhom jitħassru, x'għandu jimla, liema kolonna tipproċessa u kif. Ir-riżultat: bidliet għomja, irriversibbli.
Pront qawwi:
Ir-rwol tiegħek: assistent għat-tindif tad-dejta. kolonni df: customer_id (int), registration_date (test b'format imħallat), revenue_tl (test, "1,200.00"), belt (test, ortografija inkonsistenti). Regoli:- Nibdlu df oriġinali; Aħdem fuq il-kopja bl-isem df_clean.- Ikkonverti income_tl għal numru, għodd dak li ma jistax jiġi tradott.- Bidla record_date għal datetime, irrapporta l-iżball.- Tħassarx xi ringieli mingħajr l-approvazzjoni tiegħi; Uri l-kandidati separatament. Wara kull pass, ipprintja df_temiz.shape u n-numru nieqes.
Hawnhekk is-sors huwa protett, kull trasformazzjoni tingħadd, it-tħassir jitħalla f'idejn il-bniedem.
Żbalji komuni
- Imla l-vojt mingħajr ma tistaqsi "għaliex huwa vojt?" Li timla n-nuqqas sistematiku/sinifikanti bil-medja tgħawweġ id-dejta.
- Tħassar l-outlier mingħajr ma teżaminah. Ir-rimi ta' avvenimenti reali iżda rari jeqred informazzjoni importanti.
- Il-kalkolu tal-valur tal-ikkuttunar mid-dejta kollha. L-inklużjoni tad-dejta tat-test toħloq tnixxija; ikkalkula biss mit-taħriġ.
- Mhux jiċċekkja n-numru ta 'ringieli/vojt wara l-konverżjoni. Ringieli li huma skiet NaT/NaN huma esklużi mill-analiżi.
- Tikteb fuqu d-dejta oriġinali. Ir-ritorn u r-riproduċibilità jintilfu.
Tip: Mexxi t-tindif b'paragun "qabel wara". Stampa df.shape, għadd nieqes, u statistika fil-qosor tal-kolonni kritiċi wara kull pass. Allura immedjatament tara li pass wieħed jeqred b'mod mhux mistenni 6,000 ringieli.
Fil-qosor
It-tindif huwa l-aktar fażi tax-xjenza tad-dejta li tieħu ħafna ħin u li teħtieġ deċiżjonijiet. Kull bidla tbiddel id-dejta, għalhekk kull waħda hija deċiżjoni konxja. Għal valuri neqsin, staqsi "għaliex huwa vojt?" Irrevedi kwalunkwe outliers qabel tħassarhom; Ġib it-tip u l-format għall-istandard. Ikkalkula l-valur tal-mili mid-dejta tat-taħriġ biss, żomm l-oriġinal, u ssegwi l-impatt ta 'kull pass billi tgħoddha. L-AI hija aċċeleratur tremend f'dan in-negozju, iżda l-bnedmin jiddeċiedu dak li tnaddaf u għaliex.
Kompitu ta' applikazzjoni
Ħu (jew oħloq) tabella żgħira u deliberatament daħħal tliet problemi fiha: tuple ta 'valur nieqes, outlier, format ta' data mħallat. Itlob il-kodiċi tad-dijanjosi u l-istandardizzazzjoni mill-AI bil-mudelli ta 'hawn fuq; qabbel in-numru ta 'ringieli u vojt qabel/wara kull pass. Ipprova taqbad mill-inqas "telfa siekta" u nnota kif innotajt.
lista ta' kontroll
- [ ] Żammejt id-dejta mhux ipproċessata oriġinali u ħdimt fuq il-kopja?
- [ ] Staqsejt il-mistoqsija "għaliex hija vojta" għal kull kolonna nieqsa?
- [ ] Irrevedi l-outliers qabel ma ħassarhom?
- [ ] Ikkalkulajt il-valur tal-ikkuttunar mid-dejta tat-taħriġ biss?
- [ ] Qed niċċekkja n-numru ta' linji/vojt wara kull pass u nelimina t-telf tas-silenzju?