Awọn anfani:
- Agbara lati ṣe idanimọ awọn iru data ti o padanu (MCAR/MAR/MNAR), awọn ita gbangba, ati awọn aṣiṣe ifaminsi ati lo AI pẹlu data to pe lati ṣe agbekalẹ koodu afọmọ ati awọn iwadii aisan
- Agbara lati rii bii igbesẹ mimọ kọọkan (piparẹ, iṣẹ iyansilẹ, iyipada) daba nipasẹ itetisi atọwọda yoo ni ipa lori abajade itupalẹ ati ṣe agbekalẹ ipadasẹhin ati ṣiṣiṣẹ iwe-ipamọ
- Mimu pe awọn ipinnu afọmọ da lori imọ ti ilana ti o ṣe ipilẹṣẹ data, ati pe oye atọwọda jẹ oluranlọwọ abojuto, kii ṣe adaṣe afọju
Gbogbo oluyanju ti o ni iriri mọ otitọ kan: pupọ julọ akoko ti iṣẹ akanṣe kan kii ṣe awoṣe, ṣugbọn mimọ data (iṣẹ ti atunṣe awọn aṣiṣe, awọn aiṣedeede, ati awọn aiṣedeede ninu data ati ṣiṣe ni imurasilẹ fun itupalẹ). Gẹgẹbi ofin ti o ni inira ti atanpako, nipa 70-80% ti akoko naa lọ sinu oye, mimọ ati iyipada data; nikan 20-30% ti wa ni osi fun gangan onínọmbà. Ninu ẹyọ yii, a yoo rii ni igbese nipa igbese bii oye atọwọda (AI) ṣe irọrun ẹru iwuwo yii, ṣugbọn awọn ipinnu wo ni o yẹ ki o tun wa pẹlu rẹ ati idi.
Jẹ ki a fi awọn otitọ ipilẹ meji akọkọ. Ni akọkọ, awọn ipinnu mimọ da lori imọ rẹ ti ilana ti o ṣe agbejade data: iwọ nikan ni o mọ idi ti iye kan ti nsọnu, kilode ti nọmba kan tobi pupọju. AI ko rii data naa, ko mọ ọrọ-ọrọ; Kọ koodu, ko ṣe awọn ipinnu. Ni ẹẹkeji, igbesẹ mimọ kọọkan le yi abajade itupalẹ pada. Piparẹ olutaja kan le yi iye-iye pada; Àgbáye ni sonu pẹlu awọn tumosi le artificially din iyatọ. Nitorina afọmọ yẹ ki o jẹ iyipada ati akọsilẹ: maṣe fi ọwọ kan data aise, ṣe igbesẹ kọọkan ni koodu, ṣe igbasilẹ ipa ti igbesẹ kọọkan.
Igbese-nipasẹ-Igbese ninu bisesenlo
1. Mọ awọn data. Ni akọkọ wo eto naa: nọmba awọn ori ila (awọn akiyesi) ati awọn ọwọn (awọn oniyipada), iru oniyipada kọọkan (nọmba, ẹka, ọjọ), awọn iṣiro akopọ, nọmba ti nsọnu. O le beere AI fun koodu “profaili data” yii; Ṣugbọn o ka iṣẹjade ati beere awọn ibeere bii “kilode ti oniyipada yii wa bi ọrọ?”
2. Loye ati lẹtọ sonu data. Awọn data ti o padanu ti pin si awọn oriṣi mẹta. MCAR (Sonu Patapata Ni ID): sonu kii ṣe nitori ohunkohun, fun apẹẹrẹ sensọ kuna laileto. MAR (Sonu Ni ID): aisi da lori awọn oniyipada miiran ti a ṣe akiyesi, fun apẹẹrẹ awọn agbalagba fi ibeere kan silẹ ni ofifo nigbagbogbo, ṣugbọn o mọ ọjọ ori. MNAR (Sonu Ko Ni Laileto): pipadanu da lori iye ti a ko ṣe akiyesi funrararẹ, fun apẹẹrẹ awọn ti n gba owo giga ko ṣe ijabọ owo-wiwọle wọn. Iyatọ yii ṣe pataki nitori pe o pinnu ọna ojutu ati AI ko le pinnu eyi fun ọ.
3. Wo pẹlu aipe. Awọn aṣayan: piparẹ tito lẹsẹsẹ, arosọ/agbedemeji imputation, da lori awoṣe ọpọ imputation. Piparẹ ni MCAR jẹ ailewu jo ṣugbọn o dinku iwọn ayẹwo. Ọpọ iyansilẹ jẹ diẹ yẹ ni MAR. Ko si ọna ti o rọrun ti o ṣe iṣeduro aiṣedeede ni MNAR; Ilana aipe yẹ ki o ṣe apẹrẹ tabi o kere ju onínọmbà ifamọ yẹ ki o ṣe. Itumọ kikun jẹ rọrun ṣugbọn o lewu: o dinku iyatọ, dinku awọn ibatan, ati tọju aidaniloju.
4. Ayewo outliers. Atọjade jẹ akiyesi ti o duro jina si awọn miiran. Yatọ awọn ibeere meji: Ṣe eyi jẹ aṣiṣe (ọjọ-ori 999 ni a kọ sinu titẹ data) tabi o jẹ gidi ṣugbọn iye ti o ga julọ (owo oya ti billionaire)? Ṣe atunṣe awọn idun; Ma ṣe paarẹ awọn itusilẹ otitọ nitori wọn ṣe aṣoju data. Pipaarẹ itujade “nitori pe o yọ ọ lẹnu” o n yi data naa pada si abajade.
5. Ifaminsi ati aitasera. Ṣe deede awọn ẹka ("Ọkunrin", "akọ", "E" gbogbo wọn sinu koodu kan), mu awọn ọjọ wa si ọna kika kan, awọn sipo sinu iwọn kan, ṣawari awọn ori ila ẹda. Eyi ni ipele eewu ti o kere julọ nibiti AI ṣe iranlọwọ dara julọ.
6. Iwe ati ki o di. Ṣe igbasilẹ igbesẹ kọọkan pẹlu koodu ati laini asọye, titọju aise ati data mimọ lọtọ. Nitorinaa nigbati agbẹjọro kan beere “kilode ti awọn akiyesi wọnyi fi silẹ?” o ti ṣetan idahun rẹ.
Išọra: Maṣe ṣe awọn ipinnu mimọ ti o da lori awọn abajade. Piparẹ laini kan ti o sọ pe “Nigbati o ba paarẹ laini yii, olùsọdipúpọ di pataki” jẹ ọna aibikita julọ ti p-sasaka, eyiti a yoo rii ni ẹyọ ti n bọ.
Lafiwe tabili: sonu data awọn ọna
Ọna
Nigbawo ni o yẹ?
ewu
Ipa ti AI
Pa kana
MCAR, kekere sonu oṣuwọn
Ayẹwo di kere, irẹjẹ ni MAR/MNAR
Kọ koodu; o pinnu
Itumọ / agbedemeji iṣẹ iyansilẹ
Awọn ọna alakoko onínọmbà
Din iyatọ, tọju ibatan
O rọrun ṣugbọn ko ṣeduro rẹ; yẹ ki o kilo
Ọpọ iṣẹ iyansilẹ (MI)
MAR, pataki oniyipada
Ti ko ba fi sii ni deede yoo jẹ ṣina
Ṣe iṣeduro koodu ati idii (eku)
Mechanism modeli
MNAR
Eka, arosinu-lekoko
Akọpamọ nikan; amoye wa ni ti beere
Mẹrin daakọ ta
1. Iṣalaye data:
Rẹ ipa: data ṣiṣe itọju arannilọwọ. Emi ko pin data, Mo fẹ koodu R. Mo ni data.fireemu ti a npe ni 'nọmba'; awọn oniyipada: id, ọjọ ori (nọmba), owo oya (nọmba), ẹkọ (titorika), agbegbe (ẹka), ọjọ (ọjọ). Iṣẹ-ṣiṣe: kọ koodu ti o ṣe iru, nọmba ti o padanu ati oṣuwọn fun oniyipada kọọkan, awọn iṣiro akopọ fun awọn nọmba, ati tabili igbohunsafẹfẹ fun awọn isori. Fi ila asọye.
2. Ayẹwo data ti o padanu:
Kọ koodu ti o ṣe ayẹwo apẹrẹ ti o padanu fun data 'nọmba' loke: - oṣuwọn ti o padanu ti oniyipada kọọkan, - tabili ti o rọrun / aworan ti nfihan ibasepọ ti sonu si awọn oniyipada miiran. Emi yoo wo abajade ti koodu naa ati ṣe iyatọ MCAR / MAR / MNAR; O kan gbejade irinṣẹ iwadii aisan, MAA ṢE pinnu lori ọna iyansilẹ.
3. Ayẹwo ti o jade (kii ṣe piparẹ):
Kọ koodu fun oniyipada 'owo oya' ti o ṣe ayẹwo awọn olutaja LAYI Piparẹ: apoti apoti, awọn aala ti o da lori IQR, ati atokọ tabili awọn akiyesi ita gbangba + awọn iye. Emi yoo rii boya iwọnyi jẹ awọn aṣiṣe tabi gidi. Ṣafikun piparẹ aifọwọyi.
4. Iṣatunṣe ifaminsi:
Ninu oniyipada 'ẹkọ', awọn iye ti wa ni kikọ adalu: "Ile-iwe alakọbẹrẹ", "ile-iwe alakọbẹrẹ", "Ile-iwe giga", "ile-iwe giga", "Ile-iwe giga" "univ". Kọ R koodu ti o recodes wọnyi sinu dédé isori; Ṣe afihan tabili iyaworan ni kedere ki MO le jẹrisi iyipada kọọkan. Ṣeto iye ti o ko da si "Aimọ".
Ailagbara kiakia / Alagbara kiakia
Ibere ailagbara:
Nu soke awọn data, fọwọsi ni awọn ela, jabọ awọn outliers.
Ibeere yii lewu: O fun ni aṣẹ afọju si AI. Iru iru sonu, kini iru kikun, kini otitọ ti o lodi - ko si ọkan ti o han gbangba. Abajade le jẹ eto aiṣedeede data ni ikoko.
Ibere ti o lagbara:
Ipa rẹ: oluranlọwọ mimọ, iwọ kii ṣe oluṣe ipinnu. Lọ ni igbese nipa igbese ki o kọ koodu ti o ṣe ijabọ ipa ti igbesẹ kọọkan: 1) ṣafihan ilana ti o padanu (MAA ṢE paarẹ / kun), 2) atokọ awọn oludije ti o jade (MAA ṢE paarẹ), 3) ṣatunṣe awọn aiṣedeede ẹka pẹlu tabili aworan agbaye. Tẹjade kika kana ati iṣiro akopọ lẹhin igbesẹ kọọkan ki MO le rii ati jẹrisi iyipada naa. Fi sii iṣẹ iyansilẹ / piparẹ.
Iyatọ naa jẹ kedere: agbara yoo gbe AI si ipo bi oluranlọwọ abojuto, ti n ṣe agbejade iyipada ati awọn igbesẹ ti o ni akọsilẹ.
mẹta mini igba
Ọran 1 - Apapọ pakute iyansilẹ. Alaye owo ti oluyanju kan fun eniyan 5,000 ti nsọnu 18%. O sọ fun AI lati "kun awọn ela"; AI ṣe aropin gbogbo wọn. Abajade: iyatọ ti owo-wiwọle ti dinku nipasẹ 22%, ati olusọdipúpọ ti ibatan-owo oya eto-ẹkọ ti jade lati jẹ alailagbara ju ti o lọ. Ọna ti o tọ: aipe jẹ MAR (nitori ẹkọ), ni lati kun nipasẹ iṣẹ iyansilẹ pupọ (eku). Ẹkọ: ọna kikun da lori ẹrọ naa.
Irú 2 - Outlier ninu reverses awọn wIwA. Awọn ile-iṣẹ 3 ti o tobi pupọ wa (0.6% ti akiyesi lapapọ) ni data iduroṣinṣin kan. Awọn wọnyi ni a paarẹ nipasẹ imọran “ninu” AI; Awọn ọrọ-aje ti olusọdipúpọ iwọn yipada lati rere si odi. Sibẹsibẹ, awọn ile-iṣẹ 3 yẹn jẹ gidi ati apakan pataki ti ile-iṣẹ naa. Ọna ti o pe ni lati jabo pẹlu iṣiro kikun ati logan dipo piparẹ. Ẹkọ: gidi outliers jẹ data, kii ṣe ariwo.
Ọran 3 - Aṣiṣe ifaminsi ipalọlọ. Ninu igbimọ kan, oniyipada ọjọ wa ni awọn ọna kika oriṣiriṣi meji ("2020-03-01" ati "01/03/2020"). Nigbati koodu apapo ti a ṣe nipasẹ AI ṣe aṣiṣe wọn fun awọn iye oriṣiriṣi, awọn akiyesi 1,400 ko ni ibamu ati pe awọn oṣuwọn idagba di ẹgàn. Kii yoo ṣe pataki ti oluyanju naa ko ba ṣayẹwo kika kana. Ẹkọ: awọn iṣiro akiyesi ati awọn sọwedowo mimọ lẹhin igbesẹ kọọkan jẹ dandan.
Awọn aṣiṣe ti o wọpọ
- Afọju àgbáye aafo pẹlu apapọ. O dinku iyatọ, tọju aidaniloju, ati ṣẹda ojuṣaaju ni MAR/MNAR. Ni akọkọ lẹtọ awọn siseto.
- Piparẹ itujade "nitori pe o nyọ". Otitọ outliers soju fun awọn data; piparẹ ti wa ni atunse esi. Ṣe atunṣe ohun ti ko tọ, tọju ohun ti o jẹ otitọ.
- Titẹ data aise. Maṣe ṣe atunṣe data aise; Ṣe gbogbo afọmọ pẹlu koodu ni ẹda ọtọtọ ki o le tun pada si.
- Ko wiwọn ipa ti awọn igbesẹ. Ti kika ila ati awọn iṣiro akopọ ko ba ṣayẹwo lẹhin igbesẹ kọọkan, awọn aṣiṣe ipalọlọ yoo kojọpọ.
- Ninu bi abajade. Imọye ti “Nigbati o ba ṣafikun laini yii, abajade yoo dara julọ” jẹ p-sapa; Ninu yẹ ki o gbero ṣaaju ati ni ominira ti abajade onínọmbà.
Imọran: Tọju tabili “ṣaaju / lẹhin” ti o fi awọn iṣiro ipilẹ kanna (itumọ si, agbedemeji, nọmba awọn akiyesi, awọn ibamu diẹ) ni ẹgbẹ ni ẹgbẹ ṣaaju ati lẹhin isọdi. Fofo airotẹlẹ jẹ harbinger ti o dara julọ ti aṣiṣe ti o farapamọ.
Ni akojọpọ
Mimu data jẹ akoko ti n gba pupọ julọ ati ipinnu-nbeere ipele ti iṣẹ agbara. AI jẹ olupilẹṣẹ koodu ti o lagbara ni eyi, ṣugbọn ko le pe awọn Asokagba: o ṣe iyatọ iru data ti o padanu (MCAR/MAR/MNAR), pinnu boya itusilẹ jẹ aṣiṣe tabi gidi, jẹ ki igbesẹ kọọkan yi pada ati ṣe akọsilẹ. Dipo fifun ni aṣẹ “ko o” afọju AI, ṣe agbekalẹ iṣan-iṣẹ igbese-nipasẹ-igbesẹ eyiti ipa rẹ jẹ iwọn ati ifọwọsi. Ṣiṣayẹwo nọmba awọn akiyesi ati awọn iṣiro akopọ lẹhin igbesẹ kọọkan jẹ arosọ to dara julọ si awọn aṣiṣe ipalọlọ.
Ohun elo iṣẹ-ṣiṣe
Yan o kere ju awọn oniyipada meji ti o ni sonu ati awọn itusilẹ ninu eto data (data tirẹ tabi ṣeto apẹẹrẹ). Beere koodu iwadii kan lati AI nipasẹ “igbesẹ nipasẹ igbese, ma ṣe paarẹ / fọwọsi” tọ loke ki o ṣiṣẹ. Sọtọ aipe naa bi MCAR/MAR/MNAR ki o kọ idalare rẹ ni gbolohun kan. Ṣayẹwo awọn oludije ti o tako ni ọkọọkan ki o pinnu eyi ti o jẹ aṣiṣe ati eyi ti o jẹ gidi. Nikẹhin, gbejade tabili “ṣaaju-lẹhin” ṣaaju / lẹhin mimọ ati jabo ti awọn ayipada airotẹlẹ eyikeyi ba wa.
akojọ ayẹwo
- [] Mo ti nu awọn aise data ni lọtọ daakọ lai yi pada.
- [] Mo ti pin aipe naa bi MCAR/MAR/MNAR mo si yan ọna naa ni ibamu.
- [] Mo ṣe ayẹwo awọn ti o jade lọkọọkan boya wọn jẹ aṣiṣe tabi gidi; Emi ko parẹ ni afọju.
- [] Mo ṣayẹwo nọmba awọn akiyesi ati awọn iṣiro akopọ lẹhin igbesẹ mimọ kọọkan.
- [] Mo ṣe akọsilẹ gbogbo awọn igbesẹ pẹlu koodu ati laini asọye; iparọ.
- [] Mo da lori mimọ lori imọ ti ilana ti o gbejade data, kii ṣe lori abajade itupalẹ.