Пайдалар:
- Жок болгон баалуулуктардын себебин (кокустук, системалуу, маңыздуу) ажырата билүү жана ылайыктуу стратегияны тандап алуу жана жалгыз окуудан толтуруу маанисин эсептөө
- Чектөөлөрдү жок кылуудан мурун аларды карап чыгуу жана маалымат катасы менен чыныгы сейрек учуроочу окуяны айырмалоо мүмкүнчүлүгү
- Ар бир кадамдын саптардын/бланкалардын санына тийгизген таасирин көзөмөлдөө менен унчукпай жоготууларды алдын алуу мүмкүнчүлүгү
Маалымат таануучу убактысынын болжол менен 60-80 пайызы тазалоого кетет; Өнөр жайда муну жарым тамаша "маалымат талашуу" (маалымат талашуу же маалыматтарды тазалоо) деп аташат. Чыныгы дүйнөдөгү маалыматтар дээрлик эч качан талдоо үчүн даяр болбогондуктан: даталар аралаш форматта, сандар текст катары сакталат, кээ бир уячалар бош, кардар бир таблицада эки башка жазуу менен үч жолу пайда болот. Бул бөлүмдө биз тазалоонун үч негизги аспектисин карайбыз: жетишпеген маанилер, четтөөлөр жана тип/формат конверсиясы. Жасалма интеллект бул иште өзгөчө ылдам жардамчы; Бирок эмнени жана кантип тазалоону сиз чечесиз, анткени ар бир тазалоо тандоо анализди өзгөртөт.
Тазалоонун алтын эрежеси: ар бир өзгөртүү - бул чечим
Уячаны жок кылуу, жетишпеген маанини орто менен толтуруу, четтөөчүнү кыркуу — булардын бири да "нейтралдуу" операциялар эмес. Ар бири маалыматтарды өзгөртүп, натыйжага таасир этет. Ошентип, тазалоонун алтын эрежеси: кодго ар бир өзгөртүүнү жазыңыз, жүйөлөрдү белгилеңиз, эч качан баштапкы маалыматтардын үстүнөн жазбаңыз. AI сизге тез тазалоо кодун берет, бирок ал код эмне экенин түшүнүү сиздин милдетиңиз; "Бош саптарды өчүр" дегенде канча сап кеткенин көрбөй туруп иштетпе.
Эскертүү: Түпнуска чийки маалыматтарды эч качан өзгөртпөңүз. Тазаланган версияны өзүнчө файлга/таблицага жазыңыз. Мына ушундай жол менен, эгер сиз катаны байкасаңыз, биринчи квадратка кайтып, кайталанууну сактай аласыз.
Жок баалуулуктар: эмне үчүн бош, эмне кылуу керек
Жетишпеген маани (көбүнчө пандаларда NaN — "Сан эмес" катары көрүнөт) уяча бош болгондо саналат. Бирок ажырымдын себеби чечүү жолун аныктайт. Үч типтүү жагдай бар. Кокус жок: сенсор бир азга иштебей калды; Аны толтуруу акылга сыярлык болушу мүмкүн. Системалык жок: форма талаасы белгилүү бир кардарлар үчүн гана суралат; Бул жерде боштук чындыгында маалымат. Маанилүү жетишпеген: "кайтаруу күнү" бош болсо, кардар кайтып келген жок; Бул боштук 0 же "жок" дегенди билдирет, ал толтурулбайт.
Негизги стратегиялар:
Стратегия
Качан ылайыктуу?
тобокелдик
Сапты жок кылуу
Жок көрсөткүч өтө төмөн (<5%) жана кокустук
Маалыматтарды жана өкүлчүлүктү жоготуу
Колонканы жок кылуу
Мамычанын көбү бош (>60%)
маалымат жоготуу
Орточо/медиана толтуруу
Сандык, туш келди жок
Ал дисперсияны азайтат жана бөлүштүрүүнү бурмалайт
"Белгисиз" категориясы
Категориялык, системалуу жок
Кошумча категорияларды жаратат
Модель менен болжолдоо
Татаал, баалуу колонна
Ачуу коркунучу, татаалдык
Критикалык пункт: импутациянын мааниси окуу маалыматтарынан гана эсептелиши керек жана ошол эле маани тесттик маалыматтарга колдонулушу керек. Сыноо маалыматтарынын орточо маанисин кошсоңуз, агып чыгууну жаратасыз (10-бирдик). Медиана (ординалдуу маалыматтардын орто мааниси) көбүнчө орточо көрсөткүчтөн артыкчылыкка ээ болот, анткени ал орточо көрсөткүчкө караганда четки көрсөткүчтөргө бекемирээк.
Чектөөлөр: ката же чынбы?
Чектөө эки нерсенин бири болушу мүмкүн: маалымат катасы (курагы тилкесинде 999) же реалдуу, бирок сейрек учуроочу окуя (кардардын 2 миллион долларлык заказы). Экөөнү чаташтыруу каргашалуу болот: чыныгы айырманы жок кылып, маанилүү маалыматты ыргытасыз; Эгер сиз ката кетирсеңиз, анда сиздин орточо көрсөткүчтөрүңүз жабыркайт. Ошондуктан, биринчи кезекте аны автоматтык түрдө жок кылбай, аны текшерүү керек.
Тактоонун жалпы ыкмалары: IQR ыкмасы (квартиль аралык диапазон; маалыматтардын 25% жана 75% квинтилинин ортосундагы 1,5 эседен ашык айырмачылыктар ашкере деп эсептелет) жана z-баалы (орточо мааниден алыс болгон стандарттык четтөөлөрдүн саны; адатта, эгерде ал 3төн чоң болсо, четтөөчү көрсөткүч). AI бул эсептөөлөрдүн кодун секунданын ичинде жазат; Бирок, "жок" деп айтуудан мурун, бул баалуулуктар эмне экенин текшериңиз.
Түрү жана формат өзгөртүү: унчукпай ката булагы
Эң баш оорулардын бири - маалымат түрүнүн башаламандыгы. Эгер "сумма" тилкеси текст катары сакталса, сиз кошо албайсыз; Программада "бир миң эки жүз элүү" дегендин ордуна "1,250,50" сыяктуу түрк форматындагы сан туура эмес окулат. Даталар ("01/03/2024" күн-ай же ай-күн?), категориялар ("Эркек"/"эркек"/"М" бир эле нерсеби?) жана бирдиктер (TL же куруш?) үнсүз туура эмес жыйынтыктарды чыгарышат. Тазалоонун чоң бөлүгү бул дал келбестиктерди стандартка салуу: даталарды бир форматка, категорияларды бир жазууга, сандарды бир бирдикке.
үч мини учурлар
1-жагдай - Орточо капкан. Команда киреше тилкесиндеги 320 жетишпеген маанини орточо ($48,500) менен толтурду. Бирок кемчиликтер системалуу болгон: булар кирешесин эч качан декларациялабаган аз камсыз болгон сегмент. Орточо толтуруу бул топту жасалма жол менен байытып, кредиттик модель туура эмес болгон. Сабак: толтуруудан мурун "эмне үчүн бош" деп сураңыз.
2-жагдай - жок кылынбашы керек. Чекене талдоочу 4 чоң заказды (ар бири 1,8 миллион лира) "ката" деп ойлоп, сатуу маалыматтарынан өчүрдү. Бирок, бул реалдуу корпоративдик заказдар болгон жана жалпы жүгүртүүнүн 22% түзгөн. Жок кылуудан кийинки болжолдоо модели институттук суроо-талапты толугу менен өткөрүп жиберди. Сабак: аны жок кылуудан мурун четтөөлөрдү карап көрүңүз.
3-жагдай - Дата форматындагы кырсык. CSV форматында даталар "2024-03-01" жана "01.03.2024" экөөнө тең аралаштырылды. YZ жазган код биринчи форматка ылайык талданганда, 6 400 сап "жараксыз дата" катары NaT болуп калды жана унчукпай анализден чыгарылды. Талдоочу муну саптардын саны азайганда гана байкаган. Сабак: конверсиядан кийин ар дайым саптардын жана боштуктардын санын текшериңиз.
Көчүрүү үчүн төрт шаблон
1) Мааниси жок карта:
Менде пандалар df. Ар бир тилке үчүн жетишпегендердин санын жана пайызын (NaN) көрсөткөн таблицаны түзүүчү кодду жазыңыз. Андан кийин, 40%дан ашкан ставкасы жок мамычаларды жана 5%тен төмөн ченди өзүнчө тизмектеңиз. Сиз сунуштаган стратегияны эмес, ушул диагноз кодун түзүңүз; Мен чечим кабыл алам.
2) Сырткы текшерүү (жок кылуу эмес):
IQR ыкмасын колдонуп, менин "сумма" тилкем үчүн четтөөлөрдү АНЫКТАЙТ (жок кылбайт!) кодду жазыңыз. Четки катарларды кол менен карап чыгуу үчүн өзүнчө df коюңуз. Ошондой эле чектен чыккандардын санын жана алардын жалпы көлөмүндөгү үлүшүн басып чыгарыңыз.
3) тип/формат стандартташтыруу:
Төмөнкү тилкелерди стандартташтырган кодду жазыңыз:- "дата": аралаш форматтар болушу мүмкүн ("2024-03-01" жана "01.03.2024"); алардын бардыгын дата убактысына которуңуз, которулбай тургандарын санаңыз жана кабарлаңыз (унчукпай ыргытыңыз). - "жынысы": "Эркек"/"эркек"/"М" -> "М", "Аял"/"аял"/"F" -> "К". - "сумма": түрк форматындагы текст ("1.250,50") -> ондук сан. Ар бир конверсиядан кийин канча сапка таасир этерин басып чыгарыңыз.
4) Тазалоодон мурун/кийин текшериңиз:
Тазалоо кадамына чейин жана андан кийин тандалган мамычалардын df.shape, жок сан жана жыйынтык статистикасын (орточо, медиана, мин, макс) салыштырган кодду жазыңыз. Максаты: тазалоо кандай өзгөрүүлөрдү көрүү.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Бул дайындарды тазалаңыз.
"Ачык-айкын" түшүнүктүү; AI кайсы жетишпеген бөлүктөрдү жок кылуу керектигин, эмнени толтуруу керектигин, кайсы тилкени кантип иштетүү керектигин билбейт. Натыйжа: сокур, кайтарылгыс өзгөрүүлөр.
Күчтүү билдирүү:
Сиздин ролуңуз: маалыматтарды тазалоо боюнча жардамчы. df тилкелери: customer_id (int), register_date (аралаш форматтагы текст), revenue_tl (текст, "1,200.00"), шаар (текст, туура эмес жазуу). Эрежелер: - Түпнуска df өзгөртүү; df_clean аттуу көчүрмөнүн үстүндө иштөө.- киреше_tl дегенди санга айландыруу, которууга мүмкүн болбогонду сана.- Record_date дегенди датага өзгөртүү, ката жөнүндө кабарлоо.- Менин уруксатымсыз эч кандай саптарды өчүрбө; Талапкерлерди өзүнчө көрсөт. Ар бир кадамдан кийин, df_temiz.shape жана жетишпеген санды басып чыгарыңыз.
Бул жерде булак корголгон, ар бир трансформация эсептелет, жок кылуу адамдын өзүнө жүктөлөт.
Жалпы каталар
- “Эмне үчүн бош?” деп сурабай боштуктарды толтуруу. Системалык/олуттуу жетишпегендиктерди орточо менен толтуруу маалыматтарды бурмалайт.
- Ашыкча көрсөткүчтү текшербей туруп жок кылуу. Чыныгы, бирок сейрек кездешүүчү окуяларды жокко чыгаруу маанилүү маалыматты жок кылат.
- Бардык маалыматтардан толтуруу маанисин эсептөө. Анын ичинде сыноо маалыматтары агып чыгууну жаратат; жөн гана машыгуудан эсептөө.
- Конверсиядан кийин саптардын/бланкалардын саны текшерилбейт. Үнсүз NaT/NaN болгон саптар талдоодон чыгарылат.
- Баштапкы маалыматтардын үстүнөн жазуу. Кайтаруу жана кайталануу мүмкүнчүлүгү жоголот.
Кеңеш: тазалоону "чейин-кийин" салыштыруу менен жүргүзүңүз. Ар бир кадамдан кийин df.shape, жок сан жана критикалык тилкелердин жалпы статистикасын басып чыгарыңыз. Ошентип, сиз дароо эле бир кадам күтүлбөгөн жерден 6000 катарды жок кылганын көрөсүз.
Кыскача айтканда
Тазалоо - бул маалымат илиминин эң көп убакытты талап кылган жана чечим кабыл алууну талап кылган фазасы. Ар бир өзгөртүү маалыматтарды өзгөртөт, андыктан ар бири аң-сезимдүү чечим болуп саналат. Жок болгон баалуулуктар үчүн "эмне үчүн ал бош?" Аларды жок кылуудан мурун бардык четтөөлөрдү карап чыгыңыз; Типти жана форматты стандартка келтириңиз. Толтуруу маанисин машыгуу маалыматтарынан гана эсептеп, оригиналын сактап, ар бир кадамдын таасирин санап байкаңыз. AI бул бизнесте эң сонун акселератор, бирок эмнени жана эмне үчүн тазалоону адамдар чечет.
Колдонмо тапшырмасы
Кичинекей таблицаны алып (же түзүңүз) жана ага атайылап үч көйгөйдү киргизиңиз: жетишпеген маани кортеж, четтөө, аралаш дата форматы. Жогорудагы шаблондор менен AIдан диагностика жана стандартташтыруу кодун сураңыз; ар бир кадамдын алдында/кийин саптардын жана боштуктардын санын салыштырыңыз. Жок дегенде бир "унчукпай жоготууларды" кармаганга аракет кылыңыз жана аны кантип байкаганыңызды байкаңыз.
текшерүү тизмеси
- [ ] Мен баштапкы чийки дайындарды сактап, көчүрмөнүн үстүндө иштедимби?
- [ ] Ар бир жетишпеген тилке үчүн "эмне үчүн ал бош" деген суроону бердимби?
- [ ] Аларды жок кылуудан мурун мен четтөөлөрдү карап чыктымбы?
- [ ] Мен толтуруу маанисин машыгуу маалыматтарынан гана эсептедимби?
- [ ] Ар бир кадамдан кийин саптардын/бланкалардын санын текшерип, унчукпай жоготууларды жок кылып жатамбы?