Пайдалар:
- Тиешелүү графиктер менен өзгөрмөлөрдүн бөлүштүрүлүшүн, борборун, таралышын жана аномалияларын изилдөө жөндөмү (гистограмма, кутуча графиги, чачыратуу диаграммасы).
- Корреляцияны туура чечмелеп, аны себептүүлүк менен чаташтырбай, чачыратуу схемасы менен бирге окуй билүү
- Жыйынтык статистика адаштырышы мүмкүн экенин түшүнүү (Anscombe сабагы) жана моделдөөнүн багытын аныктоочу гипотезаларды иштеп чыгуу.
Моделди куруудан мурун, маалыматтарды билүү зарыл. Дарыгер бейтапты текшербей туруп дары-дармек жазып бербегендей эле, маалымат таануучу да маалыматтарды "изилдөөсүз" моделди түзбөйт. Бул экспертиза чалгындоо маалыматтарын талдоо (кыскача EDA) деп аталат: бул маалыматтардын бөлүштүрүлүшүн, байланыштарын, күтүлбөгөн окуяларын жана тузактарын визуалдык жана графикалык түрдө табуу баскычы. EDA максаты гипотезаларды түзүү, каталарды кармоо жана моделдөө багытын аныктоо болуп саналат. Жасалма интеллект бул этапта абдан күчтүү жардамчы болуп саналат: ал кайсы диаграмма ылайыктуу экенин сунуштайт, анын кодун жазат, бөлүштүрүүнү чечмелейт. Бирок адам көргөн оюм чынбы же кокустукпу, аны талаадагы билими менен чечет.
EDA эмнени издейт?
EDA төрт суроого жооп издейт. Таркатуу: Ар бир өзгөрмө кантип бөлүштүрүлөт — ал симметриялуубу, кыйшыкпы же эки чокулуубу? Борбордук тенденция жана жайылуу: Орточо, медианалык, стандарттык четтөө деген эмне? Мамилелер: өзгөрмөлөр бири-бири менен кандай байланышта? Аномалиялар: күтүлбөгөн баалуулуктар, боштуктар, топтор бар? Бул төрт суроо кайсы функция иштей турганын жана кайсы модель ылайыктуу экенин аныктайт.
Кээ бир негизги түшүнүктөрдү аныктайлы. Гистограмма - бул сандык өзгөрмөнүн маанилерин интервалдарга бөлүүчү жана ар бир интервалда канча байкоо бар экенин көрсөткөн график; Бул бөлүштүрүүнү көрүүнүн эң тез жолу. Кыйшыктык – бөлүштүрүүнүн бир багытка жылышы; Киреше сыяктуу өзгөрмөлөр оңго кыйшайган (көпчүлүк төмөн, бир нечеси өтө жогору). Кутучанын сюжети бир караганда медиананы, квартилдерди жана четтөөлөрдү көрсөтөт. Чачыратуу графиги эки сандык өзгөрмөнүн чекиттердин булуту менен байланышын көрсөтөт.
Корреляция: мамиле бар, бирок сак болуңуз
Корреляция — эки өзгөрмөнүн чогуу кыймылынын көрсөткүчү; -1 менен +1 ортосундагы сан — EDAнын эң көп колдонулган жана эң туура эмес түшүнүлгөн куралы. +1 кемчиликсиз бирге өсүүнү билдирет, -1 кемчиликсиз тескери байланышты билдирет, 0 сызыктуу байланышты билдирет. Эки чоң капкан бар. Биринчиден, белгилүү эреже: корреляция себептүүлүк эмес. Балмуздак сатуу менен муунтуу учурлары көбөйөт; бири экинчисине алып келгендиктен эмес, жай (жашыруун үчүнчү өзгөрмө) экөөнү тең ишке киргизгендиктен. Экинчиден, корреляция гана сызыктуу байланышты өлчөйт; Ал 0гө жакын күчтүү, бирок ийри сызыктуу байланышты көрсөтүшү мүмкүн. Андыктан корреляцияны карап жатканда, чачыратуу диаграммасын да карап көрүңүз.
Эскертүү: AI корреляциялык санды бергенде, ал "А B көбөйтөт" сыяктуу себептик тилге өтүп кетиши мүмкүн. Бул коркунучтуу. Корреляция гана чогуу кыймылды көрсөтөт; Тажрыйба, домен билими жана кылдат корутунду гана себепти аныктайт.
Anscombe квартети: эмне үчүн жөн гана санды карап койбойсуз
Статистикада белгилүү бир мисал бар: Анскомб квартети. Төрт түрдүү маалымат топтому дээрлик бирдей орточо, бирдей дисперсия жана бирдей корреляцияга ээ (0,82); Бирок графикке түшүрүлгөндө, алар такыр башкача көрүнөт — бир түз сызык, бири ийри сызык, бири бир четтөөчү тарабынан тартылган булут. Сабак түшүнүктүү: кыскача статистика жаңылыштырат, графикти кароо керек. AI сизге орточо көрсөткүчтөрдү жана корреляцияларды бере алат, бирок графикти көрбөй туруп, бул сандарга ишенүү Anscombe тузагына түшүп калат.
Төмөнкү таблицада кайсы диаграмма кайсы суроого туура келери кыскача келтирилген:
Суроо
ылайыктуу графика
Эмнени көрсөтөт
Жалгыз өзгөрмөнүн бөлүштүрүлүшү
Гистограмма / KDE
Формасы, кыйшыктыгы, чокуларынын саны
Борбор жана четтөөлөр
кутуча сюжет
Медиана, квартилдер, четтөөлөр
Эки сандын байланышы
чачыратуу диаграммасы
Багыт, күч, ийрилик
Категорияларды салыштыруу
тилке диаграммасы
Топтордун ортосундагы айырма
убакыттын өтүшү менен өзгөртүү
сызык диаграммасы
Тренд, сезондук
Көп варианттуу байланыш
Корреляциялык жылуулук картасы
Жалпы байланыш матрицасы
Симпсондун парадоксу: топтолгон маалыматтар калп айтышы мүмкүн
EDAдагы тымызын тузак Симпсондун парадоксу болуп саналат: бардык маалыматтар чогуу каралып жатканда үлгү бир багытты көрсөтүшү мүмкүн, бирок маалыматтар маанилүү подгруппаларга бөлүнгөндө тескери. Классикалык мисал: университетке абитуриенттерди кабыл алуунун жалпы деңгээли эркектерге караганда төмөн көрүнөт; Ал эми бөлүм боюнча карап көрсөк, көпчүлүк бөлүмдөрдө аялдардын кабыл алуу көрсөткүчү эркектерге караганда жогору. Кайдан? Аялдар атаандаштыкка жөндөмдүү (кабыл алуу көрсөткүчтөрү төмөн) бөлүмдөргө кайрылышкан; Бириккен сан бул жашыруун өзгөрмөнү сактайт. Сабак түшүнүктүү: жалпы же орточо көрсөткүчтү карап жатканда, бул сан маанилүү подгруппаларга (сегмент, мезгил, канал) бөлүнгөндө ошол эле окуяны айтып берерин текшериңиз. AI сизге бириккен ченди бергенде, "аны сегменттегенде дагы эле жарактуубу" деп сурасаңыз, адаштыруучу натыйжаларды эрте байкап калат.
үч мини учурлар
1-жагдай - Эки жашыруун дөңсөө. Бир аналитик кардарлардын орточо жашын 41 деп таап, аны "орто жаштагы эл" деп билдирди. Бирок гистограмма эки чокуну көрсөттү: 22-28 жана 55-62 жаш топтору. Орто эсеп менен алганда 41 эч кимди билдирбейт. Сабак: Орточо мааниге ишенүүдөн мурун бөлүштүрүүнү пландаңыз.
2-жагдай – Жалган корреляция. Бир команда "жарнамалык чыгым" менен "сатуу" ортосунда 0,78 корреляцияны таап, бюджетти эки эсеге көбөйттү. Бирок, экөөнө тең сезондук кампаниялар түрткү болгон; кампаниядан тышкаркы мезгилде, мамиле 0,10 чейин төмөндөгөн. 340 миң лира кошумча жарнама күтүлгөн кирешени берген жок. Сабак: себептүү байланышты жаңылыштыруу кымбатка турат.
3-жагдай - Жалгыз карама-каршы келген сызык. Кыймылсыз мүлктү талдоо чарчы кадрлар менен баанын ортосунда күчтүү байланышты көрсөттү (r = 0,80). Чачырылуу сюжети тартылганда дээрлик бүт мамиле 12 миллион лиралык люкс вилла менен түзүлгөн; Бул чекит алынып салынганда, корреляция 0,31ге чейин төмөндөгөн. Сабак: чачыратуу схемасы менен бирге корреляцияны дайыма оку.
Көчүрүү үчүн төрт шаблон
1) Автоматтык EDA корутундусу:
Менде пандалар df. Төмөнкүлөрдү түзүүчү кодду жазыңыз: (1) df.info() жана df.describe(), (2) ар бир сандык тилке үчүн гистограмма, (3) ар бир категориялык тилке үчүн эсептөө. Комментарий жазбаңыз, жөн гана ачылыш кодун түзүңүз; Мен үлгүлөрдү чечмелейм.
2) Корреляция + визуалдык (себептүүлүктүн эскертүүсү менен):
Сандык мамычалар үчүн корреляциялык матрицаны жана жылуулук картасын тарткан кодду жазыңыз. Ошондой эле эң жогорку корреляцияланган 3 жуптун чачыранды графигин тартыңыз. Корреляция себептүү байланышты билдирбей турганын эскертип, чыгарууга комментарий сабын кошуңуз. Себептик дооматтарды жасабаңыз.
3) Бөлүштүрүү диагностикасы:
"income_tl" тилкеси үчүн: гистограмманы, кутучанын графигин, кыйшаюусунун маанисин жана медиананы/орточо салыштырууну чыгарган кодду жазыңыз. Мен бөлүштүрүүнүн кыйшаюусун чечмелейм; жөн гана кодду бер.
4) сегментти салыштыруу:
Кардарларды "канал" (веб/мобилдик) боюнча салыштырыңыз: орточо сумманы, медианалык сумманы, буйрутмалардын санын жана ар бир канал үчүн сумманы бөлүштүрүүнүн кутучасын түзгөн кодду жазыңыз. Эки каналдын ортосундагы айырманын статистикалык маанисине кайсы тест ылайыктуу экенин сунуштаңыз, бирок чечим мага көз каранды.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Бул маалыматтардан кызыктуу нерсени табыңыз.
"Кызыктуу" аныкталбаган; AI маалыматтарды көрбөйт, ошондуктан ал аны түзөт же жалпы билдирүүлөрдү жасайт. Эч кандай багыт, өзгөрмө, максат жок.
Күчтүү билдирүү:
Сиздин ролуңуз: EDA жардамчысы. df тилкелери: жашы (int), киреше_tl (флоат), шаар (категория), канал (веб/мобилдик), сумма (флоат). Максаты: «сумма» таасир этүүчү факторлорду табуу. Тапшырма: (1) сумманын бөлүштүрүлүшүн түзгөн код, (2) сумма жана жаш жана киреше_tl ортосундагы бөлүштүрүү графиктери, (3) каналды бөлүштүрүүдө сумманын кутуча графиги. Себептик дооматты белгилөө; Жөн гана ачылыш кодун түзүңүз, мен үлгүнү чечмелейм.
Бул жерде «себептүүлүккө доо коюунун» максаты, өзгөрмөлөрү жана чеги ачык.
Жалпы каталар
- Жыйынтык статистикага гана таянуу. Anscombe квартети көрсөткөндөй, бир эле орточо такыр башка бөлүштүрүүнү жашырат; диаграмманы караңыз.
- Себептик байланышты жаңылыштык. Биргелешип аракеттенүү бири экинчисине алып барарын билдирбейт; Жашыруун өзгөрмөлөрдөн сак болуңуз.
- Корреляцияны чачырандысыз карап көрүү. Жалгыз чектен чыгуу же ийри сызык санды жаңылыштырат.
- Орточо менен эки чокулуу/кыйшык бөлүштүрүүнү жыйынтыктоо. Орточо көрсөткүч эч кимди билдирбеши мүмкүн.
- EDAны өткөрүп жиберип, түз моделге өтүү. Таанылбаган маалыматтар сокур моделди билдирет.
Кеңеш: Ар бир жаңы маалымат топтому менен, алгачкы 30 мүнөттү жөн гана графиктерди тартууга жумшаңыз: ар бир сандын гистограммасы, маанилүү жуптардын чачыранды графиги, категориялардын тилке диаграммасы. Бул 30 мүнөт келечектеги моделдөө каталарынын алдын алат.
Кыскача айтканда
EDA бул моделди куруудан мурун маалыматтар менен таанышуу баскычы жана төрт суроого жооп издейт: бөлүштүрүү, борбордон таралуу, мамилелер жана аномалиялар. Кыскача статистика адаштырышы мүмкүн; графикти кароо керек (Anscombe лекциясы). Корреляция күчтүү курал, бирок себептүүлүк эмес жана аны чачыратуу схемасы менен бирге окуш керек. AI - графиканы сунуштоо жана код жазуу үчүн сонун тездеткич; Бирок адамдар көргөн оюм чынбы же кокустукпу, талаадагы билими менен чечмелешет.
Колдонмо тапшырмасы
Берилиштер топтомун тандап, жөн гана EDA жасаңыз: жок дегенде үч сандык өзгөрмөнүн гистограммасын, эки жуп өзгөрмөнүн чачыранды графигин жана корреляциялык жылуулук картасын чыгарыңыз. Жок дегенде бир "сюрпризди" табыңыз (мисалы, эки чокусу бар бөлүштүрүү, жасалма корреляцияга талапкер, бир четтөөчү тарабынан тартылган мамиле) жана аны бир сүйлөм менен түшүндүрүңүз. Эч кандай себептүү доомат койбостон жаз.
текшерүү тизмеси
- [ ] Ар бир сандык өзгөрмөнүн бөлүштүрүлүшүн графикке түшүрдүмбү?
- [ ] Мен чачыратуу схемасы менен корреляцияны карадымбы?
- [ ] Мен себептүүлүк менен корреляцияны өзүнчө кармадымбы?
- [ ] Мен кыйшайган же эки чокулуу бөлүштүрүүнү байкап, ортого сокур ишенген жокмунбу?
- [ ] Мен EDAнын жыйынтыктарынан жок дегенде бир моделдөө аспект/гипотезасын алдымбы?