Табыстар:
- Сәйкес графиктермен (гистограмма, қорап сызбасы, шашырау диаграммасы) айнымалылардың таралуын, ортасын, таралуын және аномалиясын зерттеу мүмкіндігі.
- Корреляцияны дұрыс түсіндіре білу және оны себептілікпен шатастырмай, шашыраңқы диаграммамен бірге оқи білу.
- Жиынтық статистика жаңылыс болуы мүмкін екенін түсіну (Anscombe сабағы) және модельдеу бағытын анықтайтын гипотеза жасау.
Модельді құрастырмас бұрын деректерді білу қажет. Дәрігер науқасты тексермей дәрі-дәрмек жазып бермейтіні сияқты, деректанушы да деректерді «тексермей» үлгі құрастырмайды. Бұл емтихан барлау деректерін талдау (қысқаша EDA) деп аталады: бұл деректердің таралуын, байланыстарын, тосынсыйлары мен тұзақтарын визуалды және графикалық түрде ашу кезеңі. EDA мақсаты гипотезаларды құру, қателерді анықтау және модельдеу бағытын анықтау болып табылады. Жасанды интеллект осы кезеңде өте күшті көмекші болып табылады: ол қандай диаграмма қолайлы екенін ұсынады, оның кодын жазады, таратуды түсіндіреді. Бірақ адам көрген өрнектің шын ба, кездейсоқтық па, оны өзінің салалық білімімен шешеді.
EDA нені іздейді?
EDA төрт сұраққа жауап іздейді. Тарату: Әрбір айнымалы қалай бөлінеді — симметриялы ма, қиғаштық па, әлде екі төбелік пе? Орталық тенденция және таралу: орташа, медиана, стандартты ауытқу дегеніміз не? Қатынастар: айнымалылар бір-бірімен қалай байланысты? Аномалиялар: күтпеген құндылықтар, бос орындар, топтастырулар бар ма? Бұл төрт сұрақ қандай мүмкіндіктің жұмыс істейтінін және қай модельдің сәйкес келетінін анықтайды.
Кейбір негізгі ұғымдарға анықтама берейік. Гистограмма – сандық айнымалының мәндерін интервалдарға бөлетін және әр интервалда қанша бақылау бар екенін көрсететін график; Бұл таратуды көрудің ең жылдам жолы. Қиғаштық – таралудың бір бағытқа жылжуы; Табыс сияқты айнымалылар оңға қарай қисайған (көпшілігі төмен, бірнешеуі өте жоғары). Қорап сызбасы медиананы, квартилді және шеткі мәндерді бір қарағанда көрсетеді. Шашырау диаграммасы екі сандық айнымалының нүктелер бұлтымен байланысын көрсетеді.
Корреляция: қарым-қатынас бар, бірақ абай болыңыз
Корреляция — екі айнымалының бірге қозғалуының өлшемі; -1 мен +1 арасындағы сан — EDA-ның ең көп қолданылатын және ең дұрыс түсінілмейтін құралы. +1 тамаша бірлескен өсуді білдіреді, -1 тамаша кері байланысты білдіреді, 0 сызықтық байланысты білдіреді. Екі үлкен тұзақ бар. Біріншіден, әйгілі ереже: корреляция себептілік емес. Балмұздақ сатылған сайын тұншығу жағдайлары көбейеді; бірі екіншісіне апаратындықтан емес, жаз (жасырын үшінші айнымалы) екеуін де іске қосады. Екіншіден, корреляция тек сызықтық қатынасты өлшейді; Ол 0-ге жақын күшті, бірақ қисық сызықты қатынасты көрсетуі мүмкін. Сондықтан корреляцияны қарастырған кезде шашырау сызбасын да қараңыз.
Абайлаңыз: AI корреляциялық санды бергенде, ол «A B көбейтеді» сияқты себепті тілге ауысуы мүмкін. Бұл қауіпті. Корреляция тек бірге қозғалысты көрсетеді; Тек тәжірибе, домендік білім және мұқият қорытынды себепті анықтайды.
Anscombe квартеті: неге жай ғана нөмірге қарамасқа
Статистикада әйгілі мысал бар: Анскомб квартеті. Төрт түрлі деректер жиыны бірдей дерлік орташа мәнге, бірдей дисперсияға және бірдей корреляцияға ие (0,82); Бірақ графигі бойынша олар мүлдем басқа болып көрінеді - бір түзу, бірі қисық, біреуі жалғыз шеткері тартылған бұлт. Сабақ түсінікті: жиынтық статистика жаңылыстырады, графикті қарау міндетті болып табылады. AI сізге орташа мәндер мен корреляцияларды бере алады, бірақ графикті көрмей сол сандарға сену Anscombe тұзағына түседі.
Төмендегі кестеде қандай диаграмма қай сұраққа сәйкес келетінін қорытындылайды:
Сұрақ
қолайлы графика
Не көрсетеді
Бір айнымалының таралуы
Гистограмма / KDE
Пішін, қиғаштық, төбелер саны
Орталық және шеткі мәндер
Қорап сюжеті
Медиана, квартилдер, шеткі мәндер
Екі санның қатынасы
шашырау диаграммасы
Бағыт, күш, қисықтық
Категорияларды салыстыру
бағаналы диаграмма
Топтар арасындағы айырмашылық
уақыт өте өзгереді
сызықтық диаграмма
Тренд, маусымдық
Көп нұсқалы қатынас
Корреляциялық жылу картасы
Жалпы қатынас матрицасы
Симпсон парадоксы: жинақталған деректер өтірік айтуы мүмкін
EDA-дағы жасырын тұзақ Симпсонның парадоксы болып табылады: барлық деректер бірге зерттелген кезде үлгі бір бағытты көрсетуі мүмкін, бірақ деректер мағыналы ішкі топтарға бөлінгенде керісінше болуы мүмкін. Классикалық мысал: ЖОО-дағы әйел талапкерлердің жалпы қабылдау деңгейі ерлерге қарағанда төмен болып көрінеді; Бірақ бөлімшеге қарайтын болсақ, көптеген бөлімдерде әйелдердің қабылдау көрсеткіші ерлерге қарағанда жоғары. Қайдан? Әйелдер неғұрлым бәсекеге қабілетті (қабылдау коэффициенттері төмен) бөлімдерге жүгінді; Біріктірілген сан осы жасырын айнымалыны сақтайды. Сабақ түсінікті: жалпы немесе орташа мәнді қарастырғанда, бұл сан мағыналы ішкі топтарға (сегмент, кезең, арна) бөлінгенде бірдей оқиғаны баяндайтынын тексеріңіз. Жасанды интеллект сізге жиынтық мөлшерлемені бергенде, «сіз оны сегменттегенде әлі де жарамды ма» деген сұрақ ең жаңылыстыратын нәтижелерді ертерек көрсетеді.
үш шағын іс
1-жағдай – Екі жасырын төбе. Бір талдаушы тұтынушылардың орташа жасын 41 деп тауып, оны «орта жастағы топ» деп хабарлады. Бірақ гистограмма екі шыңды көрсетті: 22-28 және 55-62 жас топтары. Орташа 41 шын мәнінде ешкімді білдірмеді. Сабақ: орташа мәнге сенбес бұрын үлестірімді құру.
2-жағдай – Жалған корреляция. Бір команда «жарнама шығындары» мен «сатылым» арасындағы 0,78 корреляцияны тауып, бюджетті екі есеге арттырды. Дегенмен, екеуін де тудырған маусымдық науқандар болды; науқаннан тыс кезеңде қарым-қатынас 0,10-ға дейін төмендеді. 340 мың лира қосымша жарнама күткен табысты бермеді. Сабақ: себеп-салдарлық байланысты қателесу қымбатқа түседі.
3-жағдай - Жалғыз қарсылық сызған сызық. Жылжымайтын мүлікті талдау шаршы метр мен баға (r=0,80) арасында күшті байланысты көрсетті. Шашырау сюжеті сызылған кезде, барлық дерлік қарым-қатынас жалғыз 12 миллион лиралық люкс вилламен жасалды; Бұл нүкте жойылған кезде корреляция 0,31-ге дейін төмендеді. Сабақ: шашырау схемасымен бірге корреляцияны әрқашан оқыңыз.
Көшірілетін төрт үлгі
1) Автоматты EDA қорытындысы:
Менде пандалар бар. Мыналарды шығаратын кодты жазыңыз: (1) df.info() және df.describe(), (2) әрбір сандық баған үшін гистограмма, (3) әрбір категориялық баған үшін санау. Түсініктеме бермеңіз, тек табу кодын жасаңыз; Үлгілерді түсіндіремін.
2) Корреляция + көрнекі (себеп-салдарлық ескертумен):
Корреляциялық матрицаны және сандық бағандарға жылу картасын сызатын кодты жазыңыз. Сондай-ақ 3 ең жоғары корреляциялық жұптың шашырау сызбасын салыңыз. Корреляция себепті байланысты білдірмейтінін ескертетін нәтижеге түсініктеме жолын қосыңыз. Себеп-салдарлық шағымдарды жасамаңыз.
3) Таралу диагностикасы:
"income_tl" бағанына: гистограмманы, қорап сызбасын, қиғаштық мәнін және медиана/орташа салыстыруды шығаратын кодты жазыңыз. Бөлу бұрмаланған немесе жоқ екенін түсіндіремін; жай ғана кодты беріңіз.
4) Сегменттерді салыстыру:
Тұтынушыларды «арна» (веб/ұялы телефон) бойынша салыстырыңыз: орташа сома, медианалық сома, тапсырыстар саны және әрбір арна үшін соманы бөлу сызбасын шығаратын кодты жазыңыз. Екі арна арасындағы айырмашылықтың статистикалық маңыздылығы үшін қандай сынақ сәйкес келетінін ұсыныңыз, бірақ шешім маған байланысты.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Бұл деректерден қызықты нәрсені табыңыз.
«Қызықты» анықталмаған; AI деректерді көрмейді, сондықтан ол оны жасайды немесе жалпы мәлімдемелер жасайды. Ешқандай бағыт, айнымалылар, мақсат жоқ.
Күшті шақыру:
Сіздің рөліңіз: EDA көмекшісі. df бағандары: жас (int), кіріс_tl (жүзу), қала (санат), арна (веб/мобильді), сома (флоат). Мақсаты: «мөлшерге» әсер ететін факторларды ашу. Тапсырма: (1) соманың үлестірілуін сызатын код, (2) сома мен жас және кіріс_tl арасындағы бөлу графиктері, (3) арнаның бөлінуіндегі соманың ұяшық сызбасы. Себеп-салдарлық шағымды анықтау; Тек табу кодын жасаңыз, мен үлгіні түсіндіремін.
Мұнда мақсат, айнымалылар және «себеп-салдарлықты талап етудің» шегі анық.
Жалпы қателер
- Тек жиынтық статистикаға сүйену. Anscombe квартеті көрсеткендей, бірдей орта өте әртүрлі бөлулерді жасырады; диаграмманы қараңыз.
- Себеп-салдарлық байланысты қателесу. Бірлескен әрекет бірінің екіншісіне апаратынын көрсетпейді; Жасырын айнымалылардан сақ болыңыз.
- Шашырау сызбасы жоқ корреляцияны қарастыру. Жалғыз шектен тыс немесе қисық сызықтық санды жаңылыстырады.
- Орташа мәнмен екі төбе/қиғаш үлестіруді қорытындылау. Орташа мән ешкімді көрсетпеуі мүмкін.
- EDA өткізіп жіберіп, тікелей үлгіге өту. Танылмаған деректер соқыр үлгіні білдіреді.
Кеңес: Әрбір жаңа деректер жиынтығымен алғашқы 30 минутты тек графиктерді салуға жұмсаңыз: әрбір санның гистограммасы, маңызды жұптардың шашыраңқы сызбасы, санаттардың жолақ диаграммасы. Бұл 30 минут алдағы күндерде болашақ модельдеу қателерінің алдын алады.
Қысқаша айтқанда
EDA моделін құру алдында деректермен танысу кезеңі болып табылады және төрт сұраққа жауап іздейді: тарату, орталық таралу, қатынастар және ауытқулар. Жиынтық статистика жаңылыстыруы мүмкін; Графикке қарау міндетті (Anscombe лекциясы). Корреляция - күшті құрал, бірақ себепті байланыс емес және оны шашыраңқы схемамен бірге оқу керек. AI - графиканы ұсынуға және кодты жазуға арналған тамаша үдеткіш; Бірақ адамдар өздері көрген үлгінің шынайы ма, әлде кездейсоқтық па екенін өздерінің далалық білімдерімен түсіндіреді.
Қолданбалы тапсырма
Деректер жиынын таңдап, жай ғана EDA орындаңыз: кем дегенде үш сандық айнымалының гистограммасын, екі жұп айнымалының шашырау сызбасын және корреляциялық жылу картасын шығарыңыз. Кем дегенде бір «тосын сыйды» табыңыз (мысалы, екі шыңы бар үлестірім, жалған корреляцияға үміткер, бір шектен тыс көрсеткіш тартатын қатынас) және оны бір сөйлеммен түсіндіріңіз. Себеп-салдарлық мәлімдемелер жасамай жаз.
бақылау парағы
- [ ] Әрбір сандық айнымалының үлестірімінің графигін салдым ба?
- [ ] Мен шашырау схемасымен корреляцияны қарастырдым ба?
- [ ] Мен себептілік пен корреляцияны бөлек ұстадым ба?
- [ ] Мен қисық немесе екі шыңды үлестірімдерді байқаған жоқпын ба және орташа мәнге соқыр сенетінмін?
- [ ] Мен EDA нәтижелерінен кем дегенде бір модельдеу аспектісін/гипотезасын алдым ба?