Daromadlar:
- Yo'qolgan ma'lumotlar turlarini (MCAR/MAR/MNAR), o'zgaruvchan qiymatlarni va kodlash xatolarini aniqlash va tozalash kodi va diagnostikasini ishlab chiqarish uchun to'g'ri ma'lumotlar bilan AIdan foydalanish qobiliyati
- Sun'iy intellekt tomonidan tavsiya etilgan har bir tozalash bosqichi (o'chirish, tayinlash, o'zgartirish) tahlil natijasiga qanday ta'sir qilishini ko'rish va qaytariladigan va hujjatlashtirilgan ish jarayonini o'rnatish
- Tozalash qarorlari maʼlumotlarni ishlab chiqarish jarayoni haqidagi bilimga asoslanganligini va sunʼiy intellekt koʻr avtomat emas, nazorat ostidagi yordamchi ekanligini taʼminlash.
Har bir tajribali tahlilchi bitta haqiqatni biladi: empirik loyihaning koʻp vaqtini modellashtirish emas, balki maʼlumotlarni tozalash (maʼlumotlardagi xatolar, kamchiliklar va nomuvofiqliklarni toʻgʻrilash va ularni tahlil qilishga tayyor qilish ishi). Qoida tariqasida, vaqtning taxminan 70-80% ma'lumotlarni tushunish, tozalash va o'zgartirishga ketadi; haqiqiy tahlil uchun faqat 20-30% qoladi. Ushbu bo'limda biz sun'iy intellekt (AI) bu og'ir yukni qanday engillashtirishini bosqichma-bosqich ko'rib chiqamiz, ammo qaysi qarorlar hali ham siz bilan qolishi kerak va nima uchun.
Keling, birinchi navbatda ikkita asosiy faktni keltiraylik. Birinchidan, tozalash qarorlari ma'lumotlarni ishlab chiqarish jarayoni haqidagi bilimingizga asoslanadi: nima uchun qiymat etishmayotganini, nima uchun raqam haddan tashqari katta ekanligini faqat siz bilasiz. AI ma'lumotlarni ko'rmaydi, kontekstni bilmaydi; Kod yozadi, qaror qabul qilmaydi. Ikkinchidan, har bir tozalash bosqichi tahlil natijasini o'zgartirishi mumkin. Chiqib ketishni o'chirish koeffitsientni o'zgartirishi mumkin; O'rtacha bilan etishmayotganni to'ldirish dispersiyani sun'iy ravishda kamaytirishi mumkin. Shunday qilib, tozalash qayta tiklanadigan va hujjatlashtirilgan bo'lishi kerak: hech qachon xom ma'lumotlarga tegmang, har bir qadamni kodda bajaring, har bir qadamning ta'sirini yozib oling.
Bosqichma-bosqich tozalash ish jarayoni
1. Ma'lumotlarni bilish. Avval tuzilishga qarang: qatorlar (kuzatishlar) va ustunlar (o'zgaruvchilar) soni, har bir o'zgaruvchining turi (raqamli, toifali, sana), umumiy statistika, etishmayotganlar soni. Ushbu "ma'lumotlar profili" kodini AIdan so'rashingiz mumkin; Lekin siz chiqishni o'qiysiz va "nima uchun bu o'zgaruvchi matn sifatida keldi?"
2. Yetishmayotgan ma’lumotlarni tushunish va tasniflash. Yo'qolgan ma'lumotlar uch turga bo'linadi. MCAR (Missing Completely At Random): yo'qolgan narsa hech narsaga bog'liq emas, masalan, sensor tasodifiy ishlamay qolgan. MAR (Missing At Random): etishmayotganlik boshqa kuzatilgan o'zgaruvchilarga bog'liq, masalan, keksa odamlar savolni ko'proq bo'sh qoldiradilar, lekin siz yoshni bilasiz. MNAR (Missing Not At Random): etishmayotganlik kuzatilmagan qiymatga bog'liq, masalan, yuqori maosh oluvchilar o'z daromadlari haqida hisobot bermaydilar. Bu farq juda muhim, chunki u yechim usulini belgilaydi va AI buni siz uchun hal qila olmaydi.
3. Kamchilikni bartaraf qiling. Variantlar: roʻyxat boʻyicha oʻchirish, oʻrtacha/oʻrtacha hisoblash, modelga asoslangan koʻp hisoblash. MCARda o'chirish nisbatan xavfsiz, ammo namuna hajmini kamaytiradi. MARda bir nechta topshiriq ko'proq mos keladi. Hech qanday oddiy usul MNARda xolislikni kafolatlamaydi; Kamchilik mexanizmini modellashtirish yoki hech bo'lmaganda sezgirlik tahlilini o'tkazish kerak. O'rtacha to'ldirish oson, ammo xavfli: u farqni kamaytiradi, munosabatlarni zaiflashtiradi va noaniqlikni yashiradi.
4. Chiqib ketishlarni tekshiring. Chiqib ketish - bu boshqalardan juda uzoqda joylashgan kuzatuv. Ikkita savolni ajrating: Bu xatomi (ma'lumotlar kiritishda 999 yosh yozilgan) yoki bu haqiqiy, ammo haddan tashqari qiymatmi (milliarderning daromadi)? Xatolarni tuzatish; Haqiqiy chegaralarni o'chirmang, chunki ular ma'lumotlarni ifodalaydi. "Bezovta qilgani uchun" chegarani o'chirish, siz ma'lumotlarni natijaga qaratasiz.
5. Kodlash va izchillik. Kategoriyalarni standartlashtiring ("Erkak", "erkak", "E" hammasi bitta kodda), sanalarni bitta formatga, birliklarni bitta shkalaga keltiring, takroriy qatorlarni aniqlang. Bu AI eng yaxshi yordam beradigan eng kam xavfli bosqichdir.
6. Hujjatlash va muzlatish. Har bir qadamni kod va sharh qatori bilan yozib oling, xom va tozalangan ma'lumotlarni alohida saqlang. Xo'sh, hakam "nega bu kuzatishlar olib tashlandi?" javobingiz tayyor.
Diqqat: Natijalarga qarab tozalash qarorlarini qabul qilmang. "Ushbu qatorni o'chirsangiz, koeffitsient sezilarli bo'ladi" degan satrni o'chirish p-buzg'unchilikning eng makkor shakli bo'lib, uni keyingi birlikda ko'ramiz.
Taqqoslash jadvali: etishmayotgan ma'lumotlar usullari
Usul
Qachon mos keladi?
xavf
AIning roli
Bir qatorni o'chirish
MCAR, kam etishmayotgan darajasi
MAR/MNARda namuna kichikroq bo'ladi
Kodni yozadi; siz qaror qilasiz
O'rtacha/o'rtacha tayinlash
Tez dastlabki tahlil
Farqlanishni kamaytiradi, munosabatlarni yashiradi
Bu oson, lekin tavsiya etmaydi; ogohlantirishi kerak
Bir nechta topshiriq (MI)
MAR, muhim o'zgaruvchilar
To'g'ri o'rnatilmagan bo'lsa, u noto'g'ri bo'ladi
Kod va paketni tavsiya qiladi (sichqoncha)
Mexanizmni modellashtirish
MNAR
Murakkab, faraz talab qiladigan
Faqat qoralama; mutaxassis talab qilinadi
To'rtta nusxa ko'chirish taklifi
1. Ma'lumotlar profilini yaratish:
Sizning rolingiz: ma'lumotlarni tozalash bo'yicha yordamchi. Men ma'lumotlarni baham ko'rmayapman, men R kodini xohlayman. Menda 'digit' deb nomlangan data.frame bor; o'zgaruvchilar: id, yosh (raqamli), daromad (raqamli), ma'lumot (kategorik), mintaqa (kategorik), sana (sana). Vazifa: har bir o'zgaruvchining turini, etishmayotgan raqamini va tezligini, raqamli bo'lganlar uchun umumiy statistikani va kategorik bo'lganlar uchun chastotalar jadvalini ishlab chiqaradigan kodni yozing. Fikrlar qatorini qo'shing.
2. etishmayotgan ma'lumotlar diagnostikasi:
Yuqoridagi "raqamli" ma'lumotlar uchun etishmayotgan naqshni tekshiradigan kodni yozing: - har bir o'zgaruvchining etishmayotgan tezligi, - etishmayotganlikning boshqa o'zgaruvchilar bilan bog'liqligini ko'rsatadigan oddiy jadval/grafik. Men kodning chiqishini ko'rib chiqaman va MCAR/MAR/MNAR farqini yarataman; Siz faqat diagnostika vositasini ishlab chiqarasiz, tayinlash usuli haqida qaror qilmang.
3. Chetdan tekshirish (o'chirish emas):
O'chirilmagan qiymatlarni o'rganadigan "daromad" o'zgaruvchisi uchun kodni yozing: quti grafigi, IQR-ga asoslangan chegaralar va jadval ro'yxatining chetga chiqish kuzatuvlari + qiymatlari. Ko'raman, bu xatolarmi yoki haqiqiymi. Avtomatik o'chirishni qo'shing.
4. Kodlashni standartlashtirish:
"Ta'lim" o'zgaruvchisida qiymatlar aralash yoziladi: "Boshlang'ich maktab", "Boshlang'ich maktab", "BOShLANGICH", "Oliy maktab", "Oliy maktab", "Universitet", "Universitet". Bularni izchil toifalarga qayta kodlaydigan R kodini yozing; Har bir konvertatsiyani tasdiqlashim uchun xaritalash jadvalini aniq ko'rsating. Siz tanimaydigan qiymatni "NOMA'YOR" ga o'rnating.
Zaif taklif / Kuchli taklif
Zaif taklif:
Ma'lumotni tozalang, bo'shliqlarni to'ldiring, chet elliklarni tashlang.
Bu talab xavfli: u AIga ko'r-ko'rona vakolat beradi. Qanday turdagi etishmayotgan, qanday to'ldirish, qanday qarama-qarshi haqiqat - bularning hech biri aniq emas. Natijada yashirin ma'lumotlar to'plami bo'lishi mumkin.
Kuchli so'rov:
Sizning rolingiz: tozalash yordamchisi, siz qaror qabul qiluvchi emassiz. Bosqichma-bosqich o'ting va HAR bir qadamning ta'siri haqida xabar beruvchi kodni yozing: 1) etishmayotgan naqshni ko'rsating (o'chirmang/to'ldirmang), 2) nomaqbul nomzodlarni ro'yxatlang (o'chirmang), 3) xaritalash jadvaliga toifadagi nomuvofiqliklarni tuzating. O'zgarishlarni ko'rishim va tasdiqlashim uchun har bir qadamdan so'ng qatorlar soni va umumiy statistikani chop eting. Avtomatik belgilash/o'chirishni kiritish.
Farqi aniq: kuchli iroda AIni nazorat qilinadigan yordamchi sifatida joylashtiradi, bu esa qaytariladigan va hujjatlashtirilgan qadamlarni ishlab chiqaradi.
uchta mini holat
1-holat - O'rtacha topshiriq tuzog'i. Bir tahlilchining 5000 kishining daromadi haqidagi ma'lumotlarida 18% etishmayotgan edi. U AIga "bo'shliqlarni to'ldirishni" aytdi; AI ularning barchasini o'rtacha baholadi. Natija: daromadlar tafovuti 22% ga kamaydi va ta'lim va daromad munosabatlari koeffitsienti avvalgidan ko'ra zaifroq bo'lib chiqdi. To'g'ri yo'l: kamchilik MAR (ta'lim tufayli), bir nechta topshiriq (sichqoncha) bilan to'ldirilishi kerak edi. Dars: to'ldirish usuli mexanizmga bog'liq.
2-holat - Chiqib ketishni tozalash xulosani o'zgartiradi. Bitta firma ma'lumotlarida 3 ta juda yirik firma (umumiy kuzatishning 0,6%) mavjud edi. Bular AIning "tozalash" taklifi bilan o'chirildi; Masshtab koeffitsienti iqtisodlari ijobiydan salbiyga aylandi. Biroq, bu 3 kompaniya haqiqiy va sanoatning muhim qismi edi. To'g'ri yo'l o'chirish o'rniga to'liq va ishonchli hisob-kitob bilan hisobot berish edi. Dars: haqiqiy chegaralar shovqin emas, balki ma'lumotlardir.
3-holat - Ovozsiz kodlash xatosi. Bitta panelda sana o'zgaruvchisi ikki xil formatda ("2020-03-01" va "01/03/2020") keldi. AI tomonidan ishlab chiqarilgan kombinatsiya kodi ularni turli qiymatlar uchun noto'g'ri qabul qilganda, 1400 ta kuzatuv mos kelmadi va o'sish sur'atlari kulgili bo'ldi. Tahlilchi qatorlar sonini tekshirmasa, bu muhim emas. Dars: har bir qadamdan so'ng kuzatishlar va aql-idrokni tekshirish kerak.
Umumiy xatolar
- Ko'r-ko'rona bo'shliqni o'rtacha bilan to'ldirish. Bu tafovutni kamaytiradi, noaniqlikni yashiradi va MAR/MNARda noaniqlikni keltirib chiqaradi. Avval mexanizmni tasniflang.
- "Bezovta qilgani uchun" chegarani o'chirish. Haqiqiy chegaralar ma'lumotlarni ifodalaydi; o'chirish natijani burishdir. Noto'g'rini tuzating, haqiqatni saqlang.
- Xom maʼlumotlarga tegish. Hech qachon xom ma'lumotlarni o'zgartirmang; Kod bilan barcha tozalashni alohida nusxada bajaring, shunda uni qaytarib olish mumkin.
- Bosqichlarning ta'sirini o'lchamaslik. Har bir qadamdan keyin qatorlar soni va umumiy statistika tekshirilmasa, jim xatolar to'planadi.
- Natijada tozalash. "Ushbu qatorni qo'shsangiz, natija yaxshi bo'ladi" mantig'i p-hacking; Tahlil natijalaridan oldin va mustaqil ravishda tozalashni rejalashtirish kerak.
Maslahat: Tozalashdan oldin va keyin bir xil asosiy statistik ma'lumotlarni (o'rtacha, median, kuzatishlar soni, bir nechta korrelyatsiyalar) yonma-yon qo'yadigan "oldin/keyin" jadvalini saqlang. Kutilmagan sakrash yashirin xatoning eng yaxshi xabarchisidir.
Xulosa
Ma'lumotlarni tozalash empirik ishning eng ko'p vaqt talab qiladigan va qaror qabul qilishni talab qiladigan bosqichidir. AI bunda kuchli kod generatoridir, lekin u suratga tusha olmaydi: siz etishmayotgan ma'lumotlar turini (MCAR/MAR/MNAR) tasniflaysiz, xatolik yoki haqiqiy emasligini aniqlaysiz, har bir qadamni qaytariladigan va hujjatlashtirilgan holda saqlang. AI ko'r-ko'rona "aniq" vakolat berish o'rniga, ta'siri o'lchanadigan va tasdiqlangan bosqichma-bosqich ish jarayonini o'rnating. Har bir qadamdan keyin kuzatuvlar sonini va umumiy statistikani tekshirish jim xatolarga qarshi eng yaxshi antidot hisoblanadi.
Ilova vazifasi
Ma'lumotlar to'plamida etishmayotgan va o'zgaruvchilarni o'z ichiga olgan kamida ikkita o'zgaruvchini tanlang (o'z ma'lumotlaringiz yoki namunalar to'plami). Yuqoridagi "bosqichma-bosqich, o'chirmang/to'ldirmang" so'rovi orqali AIdan diagnostika kodini so'rang va uni ishga tushiring. Kamchilikni MCAR/MAR/MNAR sifatida tasniflang va o'z asosingizni bir jumla bilan yozing. Qarama-qarshi nomzodlarni birma-bir ko'rib chiqing va qaysi biri xato va qaysi biri haqiqiy ekanligini aniqlang. Va nihoyat, tozalashdan oldin/keyin "oldin" jadvalini tuzing va agar kutilmagan o'zgarishlar bo'lsa, xabar bering.
nazorat ro'yxati
- [ ] Xom maʼlumotlarni oʻzgartirmasdan alohida nusxada tozaladim.
- [ ] Men kamchilikni MCAR/MAR/MNAR deb tasnifladim va shunga mos ravishda usulni tanladim.
- [ ] Men chetdagilarni birma-bir tekshirib chiqdim, ular xatomi yoki haqiqiymi; Men uni ko'r-ko'rona o'chirmadim.
- [ ] Har bir tozalash bosqichidan keyin kuzatuvlar sonini va umumiy statistikani tekshirdim.
- [ ] Men barcha qadamlarni kod va sharh qatori bilan hujjatlashtirdim; qaytariladigan.
- [ ] Men tozalashni tahlil natijasiga emas, balki maʼlumotlarni ishlab chiqaruvchi jarayon haqidagi bilimga asosladim.