Пайдалар:
- Дайындардын жетишпеген түрлөрүн (MCAR/MAR/MNAR), четтөөлөрдү жана коддоо каталарын таануу жана тазалоо кодун жана диагностикасын чыгаруу үчүн туура маалыматтар менен AI колдонуу мүмкүнчүлүгү
- Жасалма интеллект тарабынан сунушталган ар бир тазалоо кадамы (жок кылуу, дайындоо, трансформация) анализдин натыйжасына кандай таасир этээрин жана кайра кайтарылуучу жана документтештирилген иш агымын түзөрүн көрүү мүмкүнчүлүгү
- Тазалоо чечимдери маалыматтарды жаратуучу процесс жөнүндө билимге негизделгенин жана жасалма интеллект сокур автомат эмес, көзөмөлдөнүүчү жардамчы экенин сактоо
Ар бир тажрыйбалуу аналитик бир чындыкты билет: эмпирикалык долбоордун көпчүлүк убактысы моделдөө эмес, маалыматтарды тазалоо (маалыматтардагы каталарды, кемчиликтерди жана карама-каршылыктарды оңдоо жана аны талдоо үчүн даярдоо иши). Эреже катары, убакыттын 70-80% түшүнүүгө, тазалоого жана маалыматтарды өзгөртүүгө кетет; чыныгы талдоо үчүн 20-30% гана калды. Бул бөлүмдө биз кадам сайын жасалма интеллект (AI) бул оор жүктү кантип жеңилдеткенин, бирок кайсы чечимдер дагы эле сизде жана эмне үчүн болушу керек экенин көрөбүз.
Алгач эки негизги фактыны келтирели. Биринчиден, тазалоо чечимдери маалыматтарды чыгарган процесс тууралуу билимиңизге негизделет: эмне үчүн маани жок болуп жатканын, эмне үчүн сан өтө чоң экенин сиз гана билесиз. AI маалыматтарды көрбөйт, контекстти билбейт; Код жазат, чечим кабыл албайт. Экинчиден, ар бир тазалоо кадамы талдоо натыйжасын өзгөртө алат. Ашыкча көрсөткүчтү жок кылуу коэффициентти инвертирлей алат; Жетишпегенди орто менен толтуруу дисперсияны жасалма түрдө азайтат. Ошентип, тазалоо кайра кайтарылып, документтештирилиши керек: чийки маалыматтарга эч качан тийбеңиз, ар бир кадамды код менен жасаңыз, ар бир кадамдын таасирин жазыңыз.
Этап-этабы менен тазалоо иш процесси
1. Маалыматтарды билүү. Алгач структураны караңыз: саптардын (байкоолордун) жана мамычалардын (өзгөрмөлөрдүн) саны, ар бир өзгөрмөнүн түрү (сандык, категориялык, дата), кыскача статистика, жок болгондордун саны. Бул "маалымат профили" кодун AIдан сурасаңыз болот; Бирок сиз жыйынтыкты окуп, "эмне үчүн бул өзгөрмө текст катары келди?"
2. Жетишпеген маалыматтарды түшүнүү жана классификациялоо. Жетишпеген маалыматтар үч түргө бөлүнөт. MCAR (Missing Completely At Random): жок нерсе эч нерсеге байланыштуу эмес, мисалы сенсор туш келди иштебей калган. MAR (Missing At Random): жок болуу башка байкалган өзгөрмөлөргө көз каранды, мисалы, улгайган адамдар суроону бош калтырышат, бирок сиз жашыңызды билесиз. MNAR (Missing Not At Random): жок болуу байкалбаган нарктын өзүнөн көз каранды, мисалы, көп киреше алгандар кирешелерин билдиришпейт. Бул айырмачылык маанилүү, анткени ал чечүү ыкмасын аныктайт жана AI сиз үчүн муну чече албайт.
3. Кемчилик менен күрөшүү. Параметрлер: тизме боюнча өчүрүү, орточо/медиандык импутация, моделге негизделген бир нече импутация. MCARда жок кылуу салыштырмалуу коопсуз, бирок үлгү көлөмүн азайтат. MARда бир нече тапшырма көбүрөөк ылайыктуу. Эч бир жөнөкөй ыкма MNARдагы калыстыкка кепилдик бербейт; Жетишсиздик механизмин моделдөө керек же жок дегенде сезгичтикти талдоо жүргүзүү керек. Орточо толтуруу оңой, бирок коркунучтуу: дисперсияны азайтат, мамилелерди алсыратат жана белгисиздикти жашырат.
4. Чектөөлөрдү текшериңиз. Сырткы көрсөткүч - бул башкалардан өтө алыс жайгашкан байкоо. Эки суроону бөлүңүз: Бул катабы (маалыматтарды киргизүүдө 999 жаш жазылган) же бул реалдуу, бирок ашкере мааниби (миллиардердин кирешеси)? Мүчүлүштүктөрдү оңдоо; Чыныгы четтөөлөрдү жок кылбаңыз, анткени алар дайындарды билдирет. "Тынчсыздандыргандыктан" четтөөлөрдү жок кылуу, сиз маалыматтарды жыйынтыкка буруп жатасыз.
5. Коддоо жана ырааттуулук. Категорияларды стандартташтырыңыз ("Эркек", "эркек", "E" бардыгы бир кодго), даталарды бир форматка, бирдиктерди бир шкалага алып келиңиз, кайталанган катарларды аныктаңыз. Бул AI эң жакшы жардам берген эң аз кооптуу фаза.
6. Документтеңиз жана тоңдуруңуз. Ар бир кадамды код жана комментарий сызыгы менен жазыңыз, чийки жана тазаланган маалыматтарды өзүнчө сактаңыз. Демек, калыс "эмне үчүн бул байкоолор алынып салынды?" жообуңуз даяр.
Эскертүү: натыйжаларга таянып тазалоо чечимдерин кабыл албаңыз. "Бул сапты өчүргөндө, коэффициент маанилүү болуп калат" деген сапты өчүрүү - бул p-hackingдин эң тымызын түрү, биз аны кийинки бөлүмдө көрөбүз.
Салыштыруу таблицасы: жок маалымат ыкмалары
Метод
Качан ылайыктуу?
тобокелдик
AI ролу
Сапты жок кылуу
MCAR, төмөн жетишпеген көрсөткүч
Үлгү кичирейип, MAR/MNARда бир жактуу болот
Код жазат; сен чеч
Орточо/орточо дайындоо
Тез алдын ала талдоо
Дисперсияны азайтат, мамилени жашырат
Бул оңой, бирок аны сунуш кылбайт; эскертиши керек
Бир нече тапшырма (MI)
MAR, маанилүү өзгөрмөлөр
Эгер туура орнотпосо, ал жаңылыштык болот
Кодду жана пакетти сунуштайт (чычкандар)
Механизмди моделдөө
MNAR
Татаал, болжолдоону талап кылган
Долбоор гана; эксперт талап кылынат
Төрт көчүрүүгө болот
1. Маалыматтарды профилдөө:
Сиздин ролуңуз: маалыматтарды тазалоо боюнча жардамчы. Мен дайындарды бөлүшпөйм, мен R кодун каалайм. Менде 'digit' деп аталган data.frame бар; өзгөрмөлөр: id, жашы (сан), киреше (сан), билими (категориялык), аймак (категориялык), датасы (датасы). Тапшырма: түрүн чыгарган кодду, ар бир өзгөрмө үчүн жетишпеген санды жана ылдамдыкты, сандык үчүн кыскача статистиканы жана категориялык үчүн жыштык таблицасын жазыңыз. Комментарий сабын кошуу.
2. Дайынсыз диагноз:
Жогорудагы "сан" маалыматтары үчүн жетишпеген үлгүнү изилдеген кодду жазыңыз: - ар бир өзгөрмөнүн жетишпеген көрсөткүчү, - башка өзгөрмөлөр менен жетишсиздиктин байланышын көрсөткөн жөнөкөй таблица/график. Мен коддун чыгышын карап, MCAR/MAR/MNAR айырмасын жасайм; Сиз жөн гана диагностикалык куралды чыгарасыз, дайындоо ыкмасын чечбеңиз.
3. Четинен текшерүү (жок кылуу эмес):
Чыккан көрсөткүчтөрдү ЖОК КЫЛБАЙ текшерген өзгөрүлмө "киреше" үчүн код жазыңыз: кутуча, IQR негизиндеги чектер жана таблица листингинен тышкары байкоолор + маанилер. Бул каталарбы же чынбы, көрөм. Автоматтык жок кылууну кошуу.
4. Коддоштуруу стандартташтыруу:
"Билим" өзгөрмөсүндө баалуулуктар аралаш жазылган: "Башталгыч мектеп", "Башталгыч мектеп", "БАШТАЛГЫЧ", "Жогорку мектеп", "Жогорку мектеп", "Университет", "Univ". Буларды ырааттуу категорияларга кайра коддогон R кодун жаз; Карталоо таблицасын так көрсөтүңүз, ошондуктан мен ар бир конверсияны ырастайм. Сиз тааныбаган маанини "БЕЛГИЛсиз" деп коюңуз.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Маалыматтарды тазалаңыз, боштуктарды толтуруңуз, четтөөлөрдү таштаңыз.
Бул талап кооптуу: AI үчүн сокур бийликти берет. Кайсы түрү жок, кандай толтуруу, кандай карама-каршы чындык - мунун эч бири так эмес. Натыйжада жашыруун бир тараптуу маалыматтар топтому болушу мүмкүн.
Күчтүү билдирүү:
Сиздин ролуңуз: тазалоочу жардамчы, сиз чечим кабыл алуучу эмессиз. Кадам-кадам басып, АР БИР кадамдын таасирин билдирген кодду жазыңыз: 1) жок үлгүнү көрсөтүңүз (ЖОК/ТОЛТПОЙТ), 2) ашкере талапкерлердин тизмесин түзүңүз (ЖОК КЫЛБАЙТ), 3) категориядагы карама-каршылыктарды карта таблицасы менен оңдоңуз. Мен өзгөртүүнү көрүп жана ырастоо үчүн ар бир кадамдан кийин саптардын санын жана жыйынтык статистикасын басып чыгарыңыз. Автоматтык дайындоо/жок кылуу киргизүү.
Айырма айкын: күчтүү эрк AIны кайтарымсыз жана документтештирилген кадамдарды жасап, көзөмөлдөнгөн жардамчы катары көрсөтөт.
үч мини учурлар
1-жагдай — Орточо тапшырма тузагы. Бир аналитиктин 5000 адамдын кирешеси боюнча маалыматында 18% жок болгон. Ал AI-га "кемчиликтерди толтурууну" айтты; AI алардын баарын ортого салды. Натыйжа: кирешелердин дисперсиясы 22%га азайган, ал эми билим менен кирешенин өз ара байланышынын коэффициенти мурдагыдан начар болуп чыкты. Туура жол: жетишсиздик MAR (билимге байланыштуу), бир нече тапшырма менен толтурулушу керек болчу (чычкандар). Сабак: толтуруу ыкмасы механизмине жараша болот.
2-жагдай - Сырткы тазалоо табылганы жокко чыгарат. Бир фирма маалыматында 3 абдан чоң фирма (жалпы байкоолордун 0,6%) болгон. Булар AIнын "тазалоо" сунушу менен жок кылынган; Масштабдык коэффиценттин экономикасы оңдон терске бурулду. Бирок, ошол 3 компания реалдуу жана өнөр жайдын маанилүү бөлүгү болгон. Туура жол жок кылуунун ордуна толук жана ишенимдүү баа берүү менен отчет берүү болчу. Сабак: ызы-чуу эмес, чыныгы чектер маалыматтар.
3-жагдай — Унчукпай коддоо катасы. Бир панелде дата өзгөрмөсү эки башка форматта ("2020-03-01" жана "01/03/2020") келген. AI тарабынан өндүрүлгөн айкалыштыруу коду аларды ар кандай баалуулуктар үчүн жаңылыштырганда, 1400 байкоо дал келбей калган жана өсүү темптери күлкүлүү болуп калган. Талдоочу катарлардын санын текшербесе, эч кандай мааниге ээ эмес. Сабак: байкоону эсепке алуу жана ар бир кадамдан кийин акыл-эсти текшерүү зарыл.
Жалпы каталар
- Орточо көрсөткүч менен боштукту сокур түрдө толтуруу. Ал дисперсияны азайтат, белгисиздикти жашырат жана MAR/MNARда бир жактуулукту жаратат. Алгач механизмди классификациялаңыз.
- "Тынчсыздангандыктан" чектен чыгууну өчүрүү. Чыныгы четтөөлөр маалыматтарды билдирет; жок кылуу натыйжаны ийитүү болуп саналат. Туура эмести оңдо, чындыкты сакта.
- Чийки дайындарды таптап. Эч качан чийки маалыматтарды өзгөртүүгө болбойт; Бардык тазалоону код менен өзүнчө көчүрмөдө жасаңыз, андыктан аны кайра кайтарыңыз.
- Кадамдардын таасирин өлчөө эмес. Ар бир кадамдан кийин катарлардын саны жана жалпы статистика текшерилбесе, үнсүз каталар топтолот.
- Натыйжада тазалоо. "Бул сапты кошкондо, натыйжа жакшы болот" логикасы p-hacking; Тазалоо анализдин жыйынтыгына чейин жана көз карандысыз пландаштырылышы керек.
Кеңеш: Тазалоого чейин жана кийин ошол эле негизги статистиканы (орточо, медиана, байкоолордун саны, бир нече корреляциялар) жанаша койгон "чейин/кийин" таблицасын кармаңыз. Күтүлбөгөн секирүү - жашыруун катанын эң жакшы кабарчысы.
Кыскача айтканда
Маалыматтарды тазалоо эмпирикалык иштин эң көп убакытты талап кылган жана чечим кабыл алууну талап кылган фазасы болуп саналат. Бул учурда AI күчтүү код генератору, бирок ал кадрларды чакыра албайт: сиз дайындардын жетишпеген түрүн классификациялайсыз (MCAR/MAR/MNAR), четтөөнүн ката же реалдуу экендигин аныктаңыз, ар бир кадамды кайра кайтаруу жана документтештирүү. AI сокурларына "таза" ыйгарым укуктарды берүүнүн ордуна, таасири өлчөнгөн жана тастыкталган кадам-кадам иш процессин түзүңүз. Ар бир кадамдан кийин байкоолордун санын жана жалпы статистиканы текшерүү унчукпай каталарга каршы эң жакшы антидот болуп саналат.
Колдонмо тапшырмасы
Берилиштер топтомунда жетишпеген жана четтөөлөрдү камтыган кеминде эки өзгөрмөнү тандаңыз (өз маалыматтарыңыз же үлгү топтому). Жогорудагы "кадам-кадам, жок кылба/толтурба" сунушу аркылуу AIдан диагностикалык кодду сураңыз жана аны иштетиңиз. Кемчиликти MCAR/MAR/MNAR деп классификациялаңыз жана негиздөөңүздү бир сүйлөм менен жазыңыз. Карама-каршы келген талапкерлерди бир-бирден карап чыгып, кайсынысы ката, кайсынысы реалдуу экенин аныктаңыз. Акыр-аягы, тазалоого чейин/кийинки таблицаны түзүңүз жана күтүлбөгөн өзгөрүүлөр болсо кабарлаңыз.
текшерүү тизмеси
- [ ] Мен чийки дайындарды өзгөртпөстөн өзүнчө көчүрмөдө тазаладым.
- [ ] Мен жетишсиздикти MCAR/MAR/MNAR деп классификацияладым жана ошого жараша ыкманы тандадым.
- [ ] Мен четтөөлөрдү бир-бирден карап чыктым, алар катабы же чынбы; Мен аны сокур түрдө өчүргөн жокмун.
- [ ] Мен ар бир тазалоо кадамынан кийин байкоолордун санын жана жалпы статистиканы текшердим.
- [ ] Мен код жана комментарий сап менен бардык кадамдарды документтештирүү; кайтуу.
- [ ] Мен тазалоону анализдин жыйынтыгына эмес, маалыматтарды чыгарган процессти билүүгө негиздедим.