Hagnaður:
- Geta til að bera kennsl á vantar gagnagerðir (MCAR/MAR/MNAR), útvikur og kóðavillur og nota gervigreind með réttum gögnum til að framleiða hreinsunarkóða og greiningu
- Geta til að sjá hvernig hvert hreinsunarskref (eyðing, úthlutun, umbreyting) sem gervigreind leggur til mun hafa áhrif á niðurstöðu greiningar og koma á afturkræfu og skjalfestu verkflæði
- Að halda því fram að hreinsunarákvarðanir séu byggðar á þekkingu á ferlinu sem býr til gögn og að gervigreind sé aðstoðarmaður undir eftirliti, ekki blindur sjálfvirkur
Sérhver reyndur sérfræðingur veit einn sannleika: Mest af tímanum í reynsluverkefni er ekki líkanagerð, heldur gagnahreinsun (vinnan við að leiðrétta villur, aðgerðaleysi og ósamræmi í gögnunum og gera þau tilbúin til greiningar). Sem gróf þumalputtaregla fer um 70-80% af tímanum í að skilja, þrífa og umbreyta gögnum; aðeins 20-30% eru eftir fyrir raunverulega greiningu. Í þessari einingu munum við sjá skref fyrir skref hvernig gervigreind (AI) léttir þessa þungu byrði, en hvaða ákvarðanir ættu samt að vera hjá þér og hvers vegna.
Við skulum setja tvær grundvallar staðreyndir fyrst. Í fyrsta lagi eru hreinsunarákvarðanir byggðar á þekkingu þinni á ferlinu sem framleiðir gögnin: aðeins þú veist hvers vegna gildi vantar, hvers vegna tala er of stór. AI sér ekki gögnin, þekkir ekki samhengið; Skrifar kóða, tekur ekki ákvarðanir. Í öðru lagi getur hvert hreinsunarskref breytt niðurstöðu greiningar. Með því að eyða útviku geturðu snúið við stuðlinum; Að fylla út það sem vantar með meðaltalinu getur dregið úr dreifingunni tilbúnar. Svo hreinsun ætti að vera afturkræf og skjalfest: aldrei snerta hrá gögnin, gerðu hvert skref í kóðanum, skráðu áhrif hvers skrefs.
Skref fyrir skref vinnuflæði fyrir hreinsun
1. Þekkja gögnin. Sjáðu fyrst uppbygginguna: Fjöldi lína (athuganir) og dálka (breytur), gerð hverrar breytu (töluleg, flokkuð, dagsetning), yfirlitstölfræði, fjöldi sem vantar. Þú getur beðið gervigreindina um þennan „gagnaprófíl“ kóða; En þú lest úttakið og spyrð spurninga eins og "af hverju kom þessi breyta sem texti?"
2. Skilja og flokka gögn sem vantar. Gögn sem vantar er skipt í þrjár tegundir. MCAR (Missing Completely At Random): það sem vantar er ekki vegna neins, til dæmis bilaði skynjari af handahófi. MAR (missing at random): missing fer eftir öðrum athuguðum breytum, til dæmis skilur eldra fólk eftir spurningu auðu oftar, en þú veist aldur. MNAR (Missing Not At Random): missing fer eftir verðmætinu sjálfu sem ekki er athugað, til dæmis gefa hátekjumenn ekki upp tekjur sínar. Þessi greinarmunur er mikilvægur vegna þess að hann ákvarðar lausnaraðferðina og gervigreind getur ekki ákveðið þetta fyrir þig.
3. Taktu á við skortinn. Valmöguleikar: eyðing á lista, meðaltal/miðgildi álagningar, líkanabundið margfeldi. Eyðing í MCAR er tiltölulega örugg en minnkar úrtakið. Margþætt verkefni á betur við í MAR. Engin einföld aðferð tryggir hlutleysi í MNAR; Skortur fyrirkomulag ætti að vera fyrirmynd eða að minnsta kosti ætti að framkvæma næmisgreiningu. Að fylla meðaltal er auðvelt en hættulegt: það dregur úr dreifni, veikir sambönd og felur óvissu.
4. Skoðaðu frávik. Frávik er athugun sem stendur mjög langt frá hinum. Aðskilja þessar tvær spurningar: Er þetta villa (aldur 999 var skrifaður í gagnafærslunni) eða er þetta raunverulegt en óviðjafnanlegt gildi (tekjur milljarðamæringa)? Lagfæra villur; Ekki eyða sönnum frávikum vegna þess að þær tákna gögn. Með því að eyða frávikinu „af því að það truflar“ er verið að skekkja gögnunum í átt að niðurstöðunni.
5. Kóðun og samræmi. Staðlaðu flokka ("karlkyns", "karlkyns", "E" allt í einn kóða), færðu dagsetningar í eitt snið, einingar í einn kvarða, greindu tvíteknar línur. Þetta er áhættuminnsti áfanginn þar sem gervigreind hjálpar best.
6. Skjalaðu og frystu. Skráðu hvert skref með kóða og athugasemdarlínu, haltu hráum og hreinsuðum gögnum aðskildum. Svo þegar dómari spyr "af hverju voru þessar athuganir látnar falla?" þú hefur svarið þitt tilbúið.
Varúð: Taktu ekki hreinsunarákvarðanir byggðar á niðurstöðum. Að eyða línu sem segir „Þegar þú eyðir þessari línu verður stuðullinn marktækur“ er skaðlegasta form p-hakka, sem við munum sjá í næstu einingu.
Samanburðartafla: gagnaaðferðir vantar
Aðferð
Hvenær er það viðeigandi?
áhættu
Hlutverk gervigreindar
Eyða línu
MCAR, lágt vantunarhlutfall
Sýnið verður minna, hlutdrægni í MAR/MNAR
Skrifar kóðann; þú ræður
Meðaltal/miðgildi
Fljótleg bráðabirgðagreining
Dregur úr dreifni, felur samband
Það er auðvelt en mælir ekki með því; ætti að vara við
Mörg verkefni (MI)
MAR, mikilvægar breytur
Ef það er ekki sett upp rétt mun það vera villandi
Mælir með kóða og pakka (mýs)
Mechanism líkan
MNAR
Flókið, forsendufrekt
Aðeins drög; sérfræðings er krafist
Fjórar afritanlegar leiðbeiningar
1. Gagnasnið:
Hlutverk þitt: Aðstoðarmaður við gagnahreinsun. Ég deili ekki gögnunum, ég vil R kóðann. Ég er með data.frame sem heitir 'digit'; breytur: auðkenni, aldur (töluleg), tekjur (töluleg), menntun (afdráttarlaus), svæði (flokkaleg), dagsetning (dagsetning). Verkefni: skrifa kóða sem framleiðir gerð, tölu sem vantar og hlutfall fyrir hverja breytu, yfirlitstölfræði fyrir tölulegar og tíðnitöflu fyrir flokkaðar. Bæta við athugasemdarlínu.
2. Greining gagna sem vantar:
Skrifaðu kóða sem skoðar mynstur sem vantar fyrir „stafa“ gögnin hér að ofan: - hlutfall sem vantar fyrir hverja breytu, - einfalda töflu/graf sem sýnir tengsl vantar við aðrar breytur. Ég mun skoða úttak kóðans og gera MCAR/MAR/MNAR greinarmun; Þú framleiðir bara greiningartækið, EKKI ákveða úthlutunaraðferðina.
3. Fráleit skoðun (ekki brottfall):
Skrifaðu kóða fyrir breytuna 'tekjur' sem skoðar frávik ÁN AÐ EYJA: boxplot, IQR-byggð mörk og töflu sem sýnir fráviksathuganir + gildi. Ég mun sjá hvort þetta eru mistök eða raunveruleg. Bættu við sjálfvirkri eyðingu.
4. Kóðunarstöðlun:
Í breytunni 'menntun' eru gildin skrifuð blönduð: "Grunnskóli","Grunnskóli","BARMI","Menntaskóli","Menntaskóli","Háskóli","Univ". Skrifaðu R kóða sem endurkóðar þetta í samræmda flokka; Sýndu kortlagningartöfluna greinilega svo ég geti staðfest hverja umbreytingu. Stilltu gildið sem þú þekkir ekki á "ÓKNOWN".
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Hreinsaðu upp gögnin, fylltu í eyðurnar, fargaðu frávikunum.
Þessi krafa er hættuleg: Hún gefur blindu vald til gervigreindar. Hvers konar vantaði, hvers konar fylling, hvaða misvísandi sannleikur - ekkert af því er ljóst. Niðurstaðan gæti verið leynilega hlutdræg gagnamengi.
Öflug tilvitnun:
Hlutverk þitt: aðstoðarmaður við ræstingar, þú ert ekki ákvörðunaraðili. Farðu skref fyrir skref og skrifaðu kóða sem greinir frá áhrifum HVERT skrefs: 1) sýndu mynstrið sem vantar (EKKI eyða/fylla), 2) skrá frambjóðendur sem eru útlægir (EKKI eyða), 3) laga ósamræmi í flokka við kortlagningartöfluna. Prentaðu línufjölda og yfirlitstölfræði eftir hvert skref svo ég geti séð og staðfest breytinguna. Sjálfvirk úthlutun/eyðingarinnsetning.
Munurinn er augljós: sterkur vilji staðsetur gervigreindina sem aðstoðarmann undir eftirliti, framleiðir afturkræf og skjalfest skref.
þrjú smámál
Tilvik 1 - Meðalúthlutunargildra. Það vantaði 18% í tekjuupplýsingar eins greiningaraðila fyrir 5.000 manns. Hann sagði AI að "fylla í eyðurnar"; AI var meðaltal þeirra allra. Niðurstaða: tekjudreifni minnkaði um 22% og stuðull menntunar-tekjusambands reyndist veikari en hann var. Rétt leið: skortur var MAR (vegna menntunar), þurfti að fylla með mörgum verkefnum (mýs). Lexía: fyllingaraðferðin fer eftir vélbúnaðinum.
Tilfelli 2 — Útlagshreinsun snýr niðurstöðunni við. Það voru 3 mjög stór fyrirtæki (0,6% af heildarathugun) í einu fyrirtækisgögnum. Þessum var eytt með "hreinsun" tillögu gervigreindar; Stærðarhagkvæmni stuðullinn breyttist úr jákvæðu í neikvætt. Hins vegar voru þessi 3 fyrirtæki raunveruleg og mikilvægur hluti af greininni. Rétta leiðin var að tilkynna með bæði fullu og traustu mati í stað þess að eyða. Lexía: Raunverulegar útlínur eru gögn, ekki hávaði.
Tilfelli 3 — Þögul kóðunarvilla. Í einu spjaldi kom dagsetningarbreytan á tveimur mismunandi sniðum ("2020-03-01" og "01/03/2020"). Þegar samsetningarkóðinn framleiddur af gervigreindinni misskildi þá fyrir mismunandi gildum, voru 1.400 athuganir ósamræmdar og vaxtarhraðinn varð fáránlegur. Það myndi ekki skipta máli ef sérfræðingur athugaði ekki röðina. Lærdómur: Athugunartölur og geðheilsueftirlit eftir hvert skref eru nauðsynleg.
Algeng mistök
- Að fylla skarðið í blindni með meðaltalinu. Það dregur úr dreifni, felur óvissu og skapar hlutdrægni í MAR/MNAR. Flokkaðu fyrst vélbúnaðinn.
- Eyða útlínunni "af því að það truflar". Raunverulegir útlægir tákna gögnin; að eyða er að beygja niðurstöðuna. Leiðréttu það sem er rangt, haltu því sem er raunverulegt.
- Að slá á hrá gögn. Aldrei breyta hráum gögnum; Gerðu alla hreinsunina með kóðanum í sérstöku eintaki svo hægt sé að snúa honum aftur í.
- Ekki mæla áhrif skrefa. Ef raðatalning og samantektartölfræði er ekki könnuð eftir hvert skref munu þöglar villur safnast upp.
- Hreinsun í kjölfarið. Rökfræðin við "Þegar þú bætir þessari línu við verður útkoman betri" er p-hakka; Hreinsun ætti að skipuleggja fyrir og óháð niðurstöðu greiningar.
Ábending: Haltu „fyrir/eftir“ töflu sem setur sömu grunntölfræði (meðaltal, miðgildi, fjölda athugana, nokkrar fylgnir) hlið við hlið fyrir og eftir hreinsunina. Óvænt stökk er besti fyrirboði falinnar villu.
Í stuttu máli
Gagnahreinsun er tímafrekasti og mest ákvarðanaþáttur reynsluvinnunnar. Gervigreindin er öflugur kóðarafallari í þessu, en hann getur ekki kallað á skotin: þú flokkar gagnategundina sem vantar (MCAR/MAR/MNAR), ákvarðar hvort frávikið sé villa eða raunverulegt, heldur hverju skrefi afturkræft og skjalfest. Í stað þess að gefa gervigreindinni „skýrt“ vald skaltu koma á skref-fyrir-skref vinnuflæði þar sem áhrifin eru mæld og staðfest. Að athuga fjölda athugana og yfirlitstölfræði eftir hvert skref er besta mótefnið við þöglum villum.
Umsóknarverkefni
Veldu að minnsta kosti tvær breytur sem innihalda vantar og frávik í gagnasafni (þín eigin gögn eða sýnishorn). Biðjið um greiningarkóða frá gervigreindinni í gegnum „skref fyrir skref, ekki eyða/fylltu út“ fyrir ofan og keyrðu hann. Flokkaðu skortinn sem MCAR/MAR/MNAR og skrifaðu rökstuðning þinn í einni setningu. Skoðaðu mótsagnakennda frambjóðendurna einn af öðrum og ákváðu hver þeirra er mistök og hver er raunveruleg. Að lokum skaltu búa til "fyrir-eftir" töflu fyrir/eftir hreinsun og tilkynna ef einhverjar óvæntar breytingar verða.
gátlisti
- [ ] Ég hreinsaði hrá gögnin í sérstöku eintaki án þess að breyta þeim.
- [ ] Ég flokkaði skortinn sem MCAR/MAR/MNAR og valdi aðferðina í samræmi við það.
- [ ] Ég skoðaði útlínurnar einn af öðrum hvort þær væru villur eða raunverulegar; Ég eyddi því ekki í blindni.
- [ ] Ég athugaði fjölda athugana og yfirlitstölfræði eftir hvert hreinsunarskref.
- [ ] Ég skráði öll skrefin með kóða og athugasemdarlínu; afturkræf.
- [ ] Ég byggði hreinsunina á þekkingu á ferlinu sem framleiðir gögnin, ekki á niðurstöðu greiningar.