Qligħ:
- Kapaċità li tirrikonoxxi tipi ta’ data nieqsa (MCAR/MAR/MNAR), outliers, u żbalji ta’ kodifikazzjoni u tuża AI bid-dejta korretta biex tipproduċi kodiċi ta’ tindif u dijanjostiċi
- Kapaċità li tara kif kull pass tat-tindif (tħassir, assenjazzjoni, trasformazzjoni) issuġġerit mill-intelliġenza artifiċjali se jaffettwa r-riżultat tal-analiżi u jistabbilixxi fluss tax-xogħol riversibbli u dokumentat
- Iż-żamma li d-deċiżjonijiet tat-tindif huma bbażati fuq l-għarfien tal-proċess li jiġġenera d-dejta, u li l-intelliġenza artifiċjali hija assistent sorveljat, mhux awtomat għomja
Kull analista b'esperjenza jaf verità waħda: il-biċċa l-kbira tal-ħin ta 'proġett empiriku mhuwiex immudellar, iżda tindif tad-dejta (il-ħidma li tikkoreġi żbalji, ommissjonijiet u inkonsistenzi fid-dejta u tagħmilha lesta għall-analiżi). Bħala regola approssimattiva, madwar 70-80% tal-ħin imur għall-fehim, it-tindif u t-trasformazzjoni tad-data; 20-30% biss jitħalla għall-analiżi attwali. F'din l-unità, se naraw pass pass kif l-intelliġenza artifiċjali (AI) ittaffi dan il-piż tqil, iżda liema deċiżjonijiet għandhom jibqgħu miegħek u għaliex.
Ejja npoġġu żewġ fatti bażiċi l-ewwel. L-ewwel, id-deċiżjonijiet tat-tindif huma bbażati fuq l-għarfien tiegħek tal-proċess li jipproduċi d-dejta: int biss taf għaliex valur huwa nieqes, għaliex numru huwa kbir żżejjed. AI ma tarax id-dejta, ma tafx il-kuntest; Jikteb kodiċi, ma jieħux deċiżjonijiet. It-tieni, kull pass tat-tindif jista 'jbiddel ir-riżultat tal-analiżi. It-tħassir ta 'outlier jista' jaqleb il-koeffiċjent; Il-mili tal-nieqes bil-medja jista' jnaqqas il-varjanza b'mod artifiċjali. Allura t-tindif għandu jkun riversibbli u dokumentat: qatt ma tmiss id-dejta mhux ipproċessata, agħmel kull pass fil-kodiċi, irreġistra l-impatt ta 'kull pass.
Fluss tax-xogħol tat-tindif pass pass
1. Kun af id-data. L-ewwel ara l-istruttura: numru ta 'ringieli (osservazzjonijiet) u kolonni (varjabbli), tip ta' kull varjabbli (numeriku, kategoriku, data), statistika fil-qosor, numru ta 'nieqes. Tista' titlob lill-AI għal dan il-kodiċi tal-"profil tad-dejta"; Imma taqra l-output u tistaqsi mistoqsijiet bħal "għaliex din il-varjabbli ġiet bħala test?"
2. Ifhem u kklassifika data nieqsa. Id-dejta nieqsa hija maqsuma fi tliet tipi. MCAR (Missing Completely At Random): in-nieqes mhu dovut għal xejn, pereżempju sensor falla b'mod każwali. MAR (Missing At Random): in-nuqqas jiddependi fuq varjabbli oħra osservati, pereżempju nies anzjani jħallu mistoqsija vojta aktar spiss, imma taf l-età. MNAR (Missing Not Random): in-nuqqas jiddependi fuq il-valur mhux osservat innifsu, pereżempju dawk li jaqilgħu għoli ma jirrappurtawx id-dħul tagħhom. Din id-distinzjoni hija kritika għaliex tiddetermina l-metodu tas-soluzzjoni u l-AI ma tistax tiddeċiedi dan għalik.
3. Ittratta n-nuqqas. Għażliet: tħassir bil-lista, imputazzjoni medja/medjan, imputazzjoni multipla bbażata fuq mudell. It-tħassir fl-MCAR huwa relattivament sikur iżda jnaqqas id-daqs tal-kampjun. Assenjazzjoni multipla hija aktar xierqa f'MAR. L-ebda metodu sempliċi ma jiggarantixxi l-imparzjalità fl-MNAR; Il-mekkaniżmu tad-defiċjenza għandu jiġi mmudellat jew tal-inqas għandha titwettaq analiżi tas-sensittività. Il-mili medju huwa faċli iżda perikoluż: inaqqas il-varjanza, idgħajjef ir-relazzjonijiet, u jaħbi l-inċertezza.
4. Eżamina l-outliers. An outlier hija osservazzjoni li tinsab 'il bogħod ħafna mill-oħrajn. Separa ż-żewġ mistoqsijiet: Dan huwa żball (l-età 999 kienet miktuba fid-dħul tad-dejta) jew huwa valur reali iżda barrani (dħul ta 'biljunarju)? Waħħal bugs; Tħassarx l-outliers veri għaliex jirrappreżentaw data. It-tħassir tal-outlier "għax iddejjaq" qed ixxekkel id-dejta lejn ir-riżultat.
5. Kodifikazzjoni u konsistenza. Istandardizza l-kategoriji ("Maskili", "irġiel", "E" kollha f'kodiċi wieħed), iġib id-dati f'format wieħed, unitajiet fi skala waħda, skopri ringieli duplikati. Din hija l-fażi l-inqas riskjuża fejn l-AI tgħin l-aħjar.
6. Iddokumenta u tiffriża. Irreġistra kull pass b'kodiċi u linja ta 'kumment, billi żżomm id-dejta mhux ipproċessata u mnaddfa separata. Allura meta referee jistaqsi "għaliex twaqqgħu dawn l-osservazzjonijiet?" għandek it-tweġiba tiegħek lesta.
Attenzjoni: M'għandekx tieħu deċiżjonijiet ta 'tindif ibbażati fuq ir-riżultati. It-tħassir ta 'linja li tgħid "Meta tħassar din il-linja, il-koeffiċjent isir sinifikanti" hija l-aktar forma insidjuża ta' p-hacking, li se naraw fl-unità li jmiss.
Tabella ta' tqabbil: metodi ta' data nieqsa
Metodu
Meta huwa xieraq?
riskju
Rwol tal-AI
Ħassar ringiela
MCAR, rata baxxa nieqsa
Il-kampjun isir iżgħar, preġudizzju f'MAR/MNAR
Jikteb il-kodiċi; inti tiddeċiedi
Assenjazzjoni medja/medjan
Analiżi preliminari malajr
Inaqqas il-varjanza, jaħbi r-relazzjoni
Huwa faċli iżda ma jirrakkomandahx; għandha twissi
Assenjazzjoni multipla (MI)
MAR, varjabbli importanti
Jekk ma jkunx installat b'mod korrett ikun qarrieqi
Jirrakkomanda kodiċi u pakkett (ġrieden)
Immudellar tal-mekkaniżmu
MNAR
Kumpless, assunzjoni intensiva
Abbozz biss; huwa meħtieġ espert
Erba' prompts ikkupjabbli
1. Profil tad-dejta:
Ir-rwol tiegħek: assistent għat-tindif tad-dejta. Ma naqsamx id-dejta, irrid il-kodiċi R. Għandi data.frame imsejjaħ 'digit'; varjabbli: id, età (numerika), dħul (numeriku), edukazzjoni (kategoriku), reġjun (kategoriku), data (data). Kompitu: ikteb kodiċi li jipproduċi t-tip, in-numru u r-rata nieqsa għal kull varjabbli, statistika fil-qosor għal dawk numeriċi, u tabella tal-frekwenza għal dawk kategoriċi. Żid il-linja tal-kumment.
2. Dijanjosi tad-dejta nieqsa:
Ikteb kodiċi li teżamina l-mudell nieqes għad-dejta 'ċifra' hawn fuq: - ir-rata nieqsa ta' kull varjabbli, - tabella/graff sempliċi li turi r-relazzjoni tan-nuqqas ma' varjabbli oħra. Se nħares lejn l-output tal-kodiċi u nagħmel id-distinzjoni MCAR/MAR/MNAR; Inti biss tipproduċi l-għodda dijanjostika, TIDDIEĊIDX dwar il-metodu ta 'assenjazzjoni.
3. Spezzjoni outlier (mhux tħassir):
Ikteb il-kodiċi għal 'dħul' varjabbli li jeżamina outliers MINGĦAJR Tħassir: boxplot, limiti bbażati fuq IQR, u tabella li telenka osservazzjonijiet outlier + valuri. Se nara jekk dawn humiex żbalji jew reali. Żid tħassir awtomatiku.
4. Standardizzazzjoni tal-kodifikazzjoni:
Fil-varjabbli 'edukazzjoni', il-valuri jinkitbu mħallta: "Skola primarja","skola primarja","PRIMARIA","Skola għolja","skola għolja","Università","univ". Ikteb kodiċi R li jirrikodifika dawn f'kategoriji konsistenti; Uri t-tabella tal-mapping b'mod ċar sabiex inkun nista' nikkonferma kull konverżjoni. Issettja l-valur li ma tagħrafx għal "MHUX MAGĦRUF".
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Naddaf id-dejta, imla l-vojt, armi l-outliers.
Din id-domanda hija perikoluża: Tagħti awtorità għomja lill-AI. X'tip ta 'nieqes, x'tip ta' mili, liema verità kontradittorja - xejn ma huwa ċar. Ir-riżultat jista' jkun sett ta' data preġudikata segretament.
Pront qawwi:
Ir-rwol tiegħek: assistent tat-tindif, m'intix dak li jieħu d-deċiżjonijiet. Mur pass pass u ikteb il-kodiċi li jirrapporta l-impatt ta 'KULL pass: 1) uri l-mudell nieqes (TĦASSIR/IMLA), 2) Elenka kandidati outlier (MA tħassarx), 3) tiffissa l-inkonsistenzi tal-kategorija mat-tabella tal-mapping. Stampa l-għadd ta' ringieli u l-istatistika fil-qosor wara kull pass sabiex inkun nista' nara u nikkonferma l-bidla. Assenjazzjoni awtomatika/inserzjoni ta' tħassir.
Id-differenza hija ċara: rieda qawwija tpoġġi lill-AI bħala assistent sorveljat, li tipproduċi passi riversibbli u dokumentati.
tliet każijiet żgħar
Każ 1 — Nassa ta' assenjazzjoni medja. Id-dejta tad-dħul ta’ analista wieħed għal 5,000 persuna kienet nieqsa 18%. Huwa qal lill-AI biex "timla l-lakuni"; AI medja minnhom kollha. Riżultat: il-varjanza tad-dħul naqset bi 22%, u l-koeffiċjent tar-relazzjoni bejn l-edukazzjoni u d-dħul irriżulta li kien aktar dgħajjef milli kien. Mod korrett: id-defiċjenza kienet MAR (minħabba l-edukazzjoni), kellha timtela b'assenjazzjoni multipla (ġrieden). Lezzjoni: il-metodu tal-mili jiddependi fuq il-mekkaniżmu.
Każ 2 — It-tindif tal-outlier ibiddel is-sejba. Kien hemm 3 ditti kbar ħafna (0.6% tal-osservazzjoni totali) f'dejta ta' ditta waħda. Dawn tħassru bis-suġġeriment ta' "tindif" tal-AI; Il-koeffiċjent tal-ekonomiji tal-iskala daru minn pożittiv għal negattiv. Madankollu, dawk it-3 kumpaniji kienu reali u parti importanti mill-industrija. Il-mod korrett kien li tirrapporta kemm b'stima sħiħa kif ukoll b'saħħitha minflok ma titħassar. Lezzjoni: l-outliers reali huma data, mhux storbju.
Każ 3 — Żball ta' kodifikazzjoni siekta. F'panel wieħed, il-varjabbli tad-data ġiet f'żewġ formati differenti ("2020-03-01" u "01/03/2020"). Meta l-kodiċi ta 'kombinazzjoni prodott mill-AI ħalibhom għal valuri differenti, 1,400 osservazzjoni ma kinux jaqblu u r-rati ta' tkabbir saru redikoli. Ma jimpurtax jekk l-analista ma jiċċekkjax l-għadd tar-ringieli. Lezzjoni: għadd ta' osservazzjoni u kontrolli tas-sanità wara kull pass huma essenzjali.
Żbalji komuni
- Blindly timla l-vojt bil-medja. Inaqqas il-varjanza, jaħbi l-inċertezza, u joħloq preġudizzju f'MAR/MNAR. L-ewwel ikklassifikat il-mekkaniżmu.
- Tħassar l-outlier "għax iddejjaq". L-outliers veri jirrappreżentaw id-dejta; it-tħassir qed tgħawweġ ir-riżultat. Ikkoreġi dak li hu ħażin, żomm dak li hu reali.
- Tapping tad-data mhux ipproċessata. Qatt ma timmodifika data mhux ipproċessata; Agħmel it-tindif kollu bil-kodiċi f'kopja separata sabiex ikun jista' jerġa' lura għalih.
- Mhux tkejjel l-impatt tal-passi. Jekk l-għadd tar-ringieli u l-istatistika fil-qosor ma jiġux iċċekkjati wara kull pass, se jakkumulaw żbalji siekta.
- Tindif bħala riżultat. Il-loġika ta '"Meta żżid din il-linja, ir-riżultat isir aħjar" hija p-hacking; It-tindif għandu jkun ippjanat qabel u indipendentement mir-riżultat tal-analiżi.
Tip: Żomm tabella "qabel/wara" li tpoġġi l-istess statistika bażika (medja, medjan, numru ta 'osservazzjonijiet, ftit korrelazzjonijiet) ħdejn xulxin qabel u wara t-tindif. Qabża mhux mistennija hija l-aħjar presbizzjoni ta 'żball moħbi.
Fil-qosor
It-tindif tad-dejta huwa l-aktar fażi tax-xogħol empiriku li tieħu ħafna ħin u li teħtieġ deċiżjonijiet. L-AI hija ġeneratur tal-kodiċi b'saħħtu f'dan, iżda ma tistax issejjaħ l-isparaturi: tikklassifika t-tip ta 'dejta nieqsa (MCAR/MAR/MNAR), tiddetermina jekk l-outlier huwiex żball jew reali, iżżomm kull pass riversibbli u dokumentat. Minflok ma tagħti lill-AI awtorità "ċara" għomja, stabbilixxi fluss tax-xogħol pass pass li l-impatt tiegħu jitkejjel u jiġi vvalidat. Il-kontroll tan-numru ta' osservazzjonijiet u statistika fil-qosor wara kull pass huwa l-aħjar antidotu għall-iżbalji siekta.
Kompitu ta' applikazzjoni
Agħżel mill-inqas żewġ varjabbli li fihom nieqsa u outliers f'sett tad-dejta (id-dejta tiegħek stess jew sett ta' kampjuni). Itlob kodiċi dijanjostiku mill-AI permezz tal-pront "pass pass, ma tħassarx/imla" hawn fuq u ħaddem. Ikklassifika n-nuqqas bħala MCAR/MAR/MNAR u ikteb il-ġustifikazzjoni tiegħek f’sentenza waħda. Eżamina l-kandidati kontradittorji wieħed wieħed u jiddeċiedi liema wieħed huwa żball u liema wieħed huwa reali. Fl-aħħarnett, ipproduċi tabella "qabel wara" qabel/wara t-tindif u rrapporta jekk ikunx hemm xi tibdil mhux mistenni.
lista ta' kontroll
- [ ] Naddaf id-dejta mhux ipproċessata f'kopja separata mingħajr ma bdiltha.
- [ ] Ikklassifikat in-nuqqas bħala MCAR/MAR/MNAR u għażilt il-metodu kif xieraq.
- [ ] Eżaminajt l-outliers wieħed wieħed kemm jekk kienu żbalji jew reali; Jien ma ħassarha bl-addoċċ.
- [ ] Iċċekkja n-numru ta' osservazzjonijiet u statistika fil-qosor wara kull pass tat-tindif.
- [ ] Iddokumentajt il-passi kollha b'kodiċi u linja ta 'kumment; riversibbli.
- [ ] Ibbażajt it-tindif fuq l-għarfien tal-proċess li jipproduċi d-dejta, mhux fuq ir-riżultat tal-analiżi.