Добивки:
- Способност за истражување на дистрибуцијата, центарот, ширењето и аномалиите на променливите со соодветни графикони (хистограм, дијаграм на кутии, заплет на расејување).
- Способност правилно да се интерпретира корелацијата и да се прочита заедно со заплетот на расејување, без да се меша со каузалноста
- Способност да се разбере дека збирната статистика може да доведе до заблуда (лекција од Анскомб) и да развие хипотези кои ја одредуваат насоката на моделирање.
Пред да се изгради модел, потребно е да се знаат податоците. Како што лекарот не препишува лекови без да го прегледа пациентот, научникот за податоци не гради модел без да ги „испита“ податоците. Ова испитување се нарекува истражувачка анализа на податоци (накратко ЕДА): тоа е фаза на откривање на дистрибуцијата, врските, изненадувањата и замките на податоците визуелно и графички. Целта на EDA е да генерира хипотези, да фати грешки и да ја одреди насоката на моделирање. Вештачката интелигенција е многу моќен асистент во оваа фаза: сугерира кој графикон е погоден, го пишува неговиот код, толкува дистрибуција. Но, човекот одлучува, со своето знаење од областа, дали образецот што го гледа е реален или случајност.
Што бара ЕДА?
ЕДА бара одговори на четири прашања. Дистрибуција: Како е распределена секоја променлива - дали е симетрична, искривена или со два врва? Централна тенденција и ширење: Кои се средната вредност, медијаната, стандардната девијација? Врски: Како се поврзани променливите една со друга? Аномалии: Дали има неочекувани вредности, празнини, групирања? Овие четири прашања одредуваат која карактеристика ќе работи и кој модел е соодветен.
Ајде да дефинираме некои основни концепти. Хистограм е график кој ги дели вредностите на нумеричка променлива на интервали и покажува колку набљудувања има во секој интервал; Тоа е најбрзиот начин да се види дистрибуцијата. Искривување е поместување на дистрибуцијата во една насока; Променливите како што се приходите се искривени надесно (мнозинството ниско, малку многу високо). Заплетот на кутијата ги прикажува медијаната, квартилите и оддалечените на прв поглед. Дизајнот на расејување ја прикажува врската на две нумерички променливи со облак од точки.
Корелација: постои врска, но бидете внимателни
Корелација — мерка за тоа како две променливи се движат заедно; број помеѓу -1 и +1 — е најкористената и најпогрешно разбрана алатка на EDA. +1 значи совршено ко-зголемување, -1 значи совршена инверзна врска, 0 значи нема линеарна врска. Има две големи замки. Прво, познатото правило: корелацијата не е каузалност. Случаите за гушење се зголемуваат со продажбата на сладолед; не затоа што едното води кон другото, туку затоа што летото (скриената трета променлива) ги активира и двете. Второ, корелацијата ја мери само линеарната врска; Тоа може да укаже на силна, но криволинеарна врска блиску до 0. Затоа, кога гледате на корелација, не заборавајте да ја погледнете и заплетот на расејување.
Внимание: кога вештачката интелигенција дава корелација број, може да се лизне во причински јазик како „А го зголемува Б“. Ова е опасно. Корелацијата само укажува на движење заедно; Само искуството, знаењето за доменот и внимателното заклучување ја утврдуваат причината.
Квартет Анскомб: зошто да не го погледнете само бројот
Постои познат пример во статистиката: квартетот Анскомб. Четири различни збирки на податоци имаат речиси иста средина, иста варијанса и иста корелација (0,82); Но, кога се прикажани на графикон, тие изгледаат сосема поинаку - една права линија, една крива, една облак влечен од една оддалеченост. Лекцијата е јасна: збирната статистика е погрешна, гледањето на графиконот е задолжително. Вештачката интелигенција може да ви даде просеци и корелации, но верувањето во тие бројки без да го видите графикот е паѓање во стапицата на Анскомб.
Табелата подолу резимира која табела одговара на кое прашање:
Прашање
соодветна графика
Што покажува
Дистрибуција на една променлива
Хистограм / KDE
Облик, искривување, број на темиња
Центар и оддалечени
Кутија заговор
Медијана, квартили, оддалечени
Врска на два броја
табела за расфрлање
Насока, сила, искривување
Споредба на категории
столбест дијаграм
Разлика меѓу групите
се менуваат со текот на времето
линиски графикон
Тренд, сезона
Мултиваријантен однос
Топлинска карта на корелација
Општа врска матрица
Симпсоновиот парадокс: збирните податоци може да лажат
Подмолна замка во EDA за која треба да се знае е Симпсоновиот парадокс: шемата може да покаже една насока кога сите податоци се испитуваат заедно, но обратна кога податоците се поделени во значајни подгрупи. Класичен пример: вкупната стапка на прифаќање за женски кандидати на универзитет се чини дека е пониска отколку за машките; Но, кога ќе се погледне оддел по оддел, стапката на прифаќање на жените е повисока од мажите во повеќето одделенија. Од каде? Жените се пријавиле на поконкурентни (пониски стапки на прифаќање) одделенија; Комбинираниот број ја складира оваа скриена променлива. Лекцијата е јасна: кога гледате вкупен или просек, проверете дали тој број ја кажува истата приказна кога ќе се подели на значајни подгрупи (сегмент, точка, канал). Кога вештачката интелигенција ви дава комбинирана стапка, прашањето „дали е сè уште валидно кога ќе го сегментирате“ ќе ги фати повеќето погрешни резултати рано.
три мини футроли
Случај 1 - Два скриени рида. Еден аналитичар откри дека просечната возраст на клиентите е 41 година и ја пријави како „средовечна толпа“. Но, хистограмот покажа два врва: возрасните групи 22-28 и 55-62 години. Просечните 41 всушност не претставуваат никого. Лекција: нацртајте ја распределбата пред да му верувате на средната вредност.
Случај 2 - Лажна корелација. Еден тим најде корелација од 0,78 помеѓу „трошење на реклами“ и „продажба“ и го удвои буџетот. Сепак, она што ги поттикна и двете беа сезонски кампањи; за време на периодот надвор од кампањата, односот падна на 0,10. Дополнителното рекламирање од 340 илјади ТЛ не го даде очекуваниот принос. Поука: погрешното поврзување со каузалноста е скапо.
Случај 3 - Линијата што ја повлекува осамениот контрариент. Анализата на недвижен имот покажа силна врска помеѓу квадратурата и цената (r=0,80). Кога беше нацртана парцелата за расфрлање, речиси целата врска беше создадена од една луксузна вила од 12 милиони TL; Кога таа точка беше отстранета, корелацијата падна на 0,31. Поука: секогаш читајте ја корелацијата заедно со заплетот на расејување.
Четири шаблони за копирање
1) Автоматско резиме на EDA:
Имам панди df. Напишете код кој произведува: (1) df.info() и df.describe(), (2) хистограм за секоја нумеричка колона, (3) брои за секоја категоријална колона. Не коментирајте, само генерирајте го кодот за откривање; Ги толкувам шаблоните.
2) Корелација + визуелна (со предупредувањето за каузалноста):
Напишете код кој црта корелација матрица и топлинска карта за нумеричките колони. Нацртајте и графичка за расејување на 3-те највисоки корелирани парови. Додадете линија за коментари на излезот што ве потсетува дека корелацијата не подразбира причинско-последична врска. Не давајте причински тврдења.
3) Дијагноза на дистрибуција:
За колоната „income_tl“: напишете код што произведува хистограм, графичка рамка, вредност на искривување и споредба на средна/средна вредност. Ќе протолкувам дали распределбата е искривена или не; само дајте го кодот.
4) Споредба на сегменти:
Споредете ги клиентите по „канал“ (веб/мобилен): напишете код што произведува кутии од просечниот износ, просечниот износ, бројот на нарачки и дистрибуцијата на износот за секој канал. Предложете кој тест е соодветен за статистичка значајност на разликата помеѓу двата канали, но одлуката е на мене.
Слаб промпт / Силен промпт
Слаба навестување:
Најдете нешто интересно во овие податоци.
„Интересно“ е недефинирано; Вештачката интелигенција не ги гледа податоците, па затоа или ги сочинува или дава општи изјави. Нема насока, нема променливи, нема цел.
Моќен потсетник:
Вашата улога: ЕДА асистент. df колони: возраст (int), приход_tl (float), град (категорија), канал (веб/мобилен), износ (float). Цел: да се откријат факторите кои влијаат на „количината“. Задача: (1) шифра за исцртување на распределбата на износот, (2) графикони за дистрибуција помеѓу износот и возраста и приходот_tl, (3) полето за парцела на износот во расчленување на каналот. Воспоставување каузално побарување; Само генерирај го кодот за откривање и јас ќе ја протолкувам шемата.
Овде целта, променливите и границата на „тврдење на каузалност“ се јасни.
Вообичаени грешки
- Потпирајќи се исклучиво на збирна статистика. Како што покажува квартетот Анскомб, истата средина крие многу различни дистрибуции; види графикон.
- Погрешна корелација за каузалност. Заедничкото дејствување не покажува дека едното води кон другото; Пазете се од скриените променливи.
- Гледање на корелација без заговор за расејување. Единечно надворешно или кривилинеарност го доведува бројот во заблуда.
- Сумирање на дистрибуција со два врва/искривена со средната вредност. Просекот можеби не претставува никого.
- Прескокнување на EDA и одење директно на моделот. Непрепознаени податоци значи слеп модел.
Совет: Со секој нов сет на податоци, поминете ги првите 30 минути само цртајќи графикони: хистограм на секоја нумеричка бројка, заплет на значајни парови, столбест дијаграм на категории. Овие 30 минути ги спречуваат идните грешки при моделирање во наредните денови.
Сумирано
ЕДА е фаза на запознавање со податоците пред да се изгради модел и бара одговори на четири прашања: дистрибуција, централно ширење, односи и аномалии. Збирната статистика може да доведе до заблуда; гледањето на графикот е задолжително (предавање на Анскомб). Корелацијата е моќна алатка, но каузалната врска не е и дефинитивно треба да се чита во врска со заплетот на расејување. Вештачката интелигенција е одличен акцелератор за предлагање графика и пишување код; Но, луѓето со своето теренско знаење толкуваат дали шемата што ја гледаат е реална или случајност.
Задача за апликација
Изберете база на податоци и само направете EDA: извлечете хистограм од најмалку три нумерички променливи, заплет на расејување од два пара променливи и топлинска карта на корелација. Најдете барем едно „изненадување“ (како што е дистрибуција со два врва, кандидат за лажна корелација, врска привлечена од единствена оддалеченост) и објаснете го во една реченица. Пишувајте без причинско-последични тврдења.
листа за проверка
- [ ] Дали ја имам направено графиконата распределба на секоја нумеричка променлива?
- [ ] Дали ги погледнав корелациите со расејувањето?
- [ ] Дали ги задржав одделно каузалноста и корелацијата?
- [ ] Зарем не забележав искривени или со два врва дистрибуции и слепо верував на средната вредност?
- [ ] Дали извлеков барем еден аспект/хипотеза за моделирање од моите наоди на EDA?