Пайдалар:
- Жасалма интеллект колдоосу менен сыпаттама статистикасын жана бөлүштүрүү/байланыш диаграммаларын түзө билүү жана маалыматтарга жана суроого ылайык диаграмманын туура түрүн тандоо
- Жасалма интеллект тарабынан жасалган сүрөттөрдө жаңылыштык тандоолорду (сызыктар, туура эмес масштабдар, ашыкча жылмакай) таануу жана чынчыл визуалдаштыруу принциптерин колдонуу жөндөмү
- Изилдөөчү анализ гипотезаларды түзүү жана ошол эле маалыматтар менен ачылыш жана тастыктоо тузагы (бул p-hacking үчүн эшик ачат) үчүн экенин ажырата билүү.
Маалыматтарды тазалагандан кийин, эмпирикалык изилдөөчүнүн биринчи жумушу аны менен таанышуу болуп саналат. Бул этап чалгындоо маалыматтарын талдоо (EDA - Exploratory Data Analysis) деп аталат: бул графиктер жана кыскача статистика менен маалыматтарды изилдөө жана анын түзүмүн, калыптарын жана күтүлбөгөн жагдайларын көрүү процесси. Максат азырынча гипотезаны текшерүү эмес, маалыматтар менен таанышуу, суроолорду түзүү жана келечекте кура турган моделиңизге негиз салуу. Бул бөлүмдө биз жасалма интеллект (AI) EDA жана визуализацияны кантип тездеткенин көрөбүз, бирок ал чыгарган графика эмне үчүн кылдат текшерилиши керек.
Алгач эки негизги айырмачылыкты жасайлы. Биринчиден, сыпаттоо статистикасы (орто, медиана, стандарттык четтөө, квартилдер сыяктуу маалыматтарды жалпылаган сандар) жана визуализация (бир эле маалыматты графикалык түрдө көрсөтүү) бири-бирин толуктайт; Алар чогуу маалыматтарды сүрөттөйт. Экинчиден, эң маанилүүсү: ачылыш жана ырастоо айырмаланышы керек. Изилдөөчү анализ гипотезаларды түзүү үчүн; Ошол эле маалыматтар менен гипотезаны изилдөө жана "мен аны сынап көрдүм жана аны маанилүү деп таптым" деп айтуу p-hacking үчүн эшикти ачат, биз аны кийинки бөлүмдө көрөбүз. Бул маалыматтарды карап жана үлгүсүн көрүү үчүн акысыз; Бирок бул үлгүнү ошол эле маалыматтарда "далилденген табылга" деп жарыялоо жаңылыштык.
Этап-этабы менен чалгындоо талдоо
1. Univariate көрүнүш. Ар бир өзгөрмөнү жекече карап көрүңүз: анын таралышы симметриялуубу же кыйшыкпы; канча адырлар бар; Чектөөлөр кайда? Сандык өзгөрмөлөр үчүн гистограмма (маанилерди диапазондорго бөлүү аркылуу жыштыкты көрсөтүүчү график) жана кутуча (бокс – медиана, квартил жана экстремалдуу маанилерди көрсөткөн диаграмма); Категориялык өзгөрмөлөр үчүн жыштык таблицаларын жана тилке диаграммаларын колдонуңуз.
2. Бивариаттуу көрүнүш. Эки өзгөрмөнүн ортосундагы байланышты караңыз: эки сандык өзгөрмө үчүн чачыратуу диаграммасы (ар бир байкоону x-y тегиздигинде чекит катары көрсөтөт), сандык-категориялык үчүн топтоштурулган кутуча графиги, эки категориялык үчүн кайчылаш таблица. Корреляция коэффициентин карап чыгуудан мурун, чачырандылык графигин карап көргүлө: бир эле корреляция такыр башка схемаларды көрсөтүшү мүмкүн (муну атактуу Anscombe квартети көрсөтүп турат; төрт маалымат топтому дээрлик бирдей статистикага ээ, бирок графикте алар такыр башка болуп чыгат).
3. Диаграмманын туура түрүн тандаңыз. Диаграмманын түрү сурооңузга жана маалымат түрүңүзгө жараша болот. бөлүштүрүү үчүн гистограмма; мамиле үчүн чачыратуу; убакыттын өтүшү менен өзгөртүү үчүн сызык диаграмма; категорияларды салыштыруу үчүн тилке диаграммасы; (дыкат) бөлүктөрдүн бүткүл катышы үчүн үйүлгөн тилке. AI тез эле сиз үчүн кодду жаратат, бирок "кайсы суроонун кайсы графигин" тандоо сиздики.
4. Үлгүгө көңүл буруңуз, натыйжаларды жарыялабаңыз. Сиз көргөн кызыктуу үлгүлөрдү "ачуу жазуусу" катары жазыңыз, бирок аны тастыкталган табылга деп эсептебеңиз. Ырастоо өзүнчө кадам менен, жакшыраак өзүнчө маалыматтар же алдын ала белгиленген график менен жүзөгө ашырылат.
Чынчыл визуализация принциптери
Графика ынандырат; Демек, анын адаштыруучу күчү да жогору. AI эстетикалык, бирок кээде адаштыруучу тандоолорду жасай алат. Бул саясаттарды текшериңиз:
- Тилкелүү диаграммаларда y огу нөлдөн башталышы керек. Сызык огу кичинекей айырмачылыктарды чоң катары көрсөтөт.
- Масштаб ырааттуу болушу керек. Эгерде эки диаграмма салыштырылып жатса, ошол эле октун диапазонун колдонуңуз.
- Ашыкча текшилөө чыныгы үлгүнү жашыра алат. Тренд сызыгы жакшы көрүнөт, бирок ал маалыматтарды өтө эле "тегиздетип" койсо, анда ал адаштырышы мүмкүн.
- Түс жана 3D жасалгасы маалыматтарды эмес, көңүлдү бурмалайт. Жөнөкөйлүктү тандаңыз.
- Жетишпеген маалыматтар жана үлгүнүн өлчөмү көрүнүп турушу керек. "n=12" жана "n=12,000" бирдей көрүнбөшү керек.
Көңүл буруңуз: AI тарабынан жасалган графика кооз болгондуктан, алар чындыкка дал келбейт. Анын эң көп кетирген катасы - штрих диаграммада огуну нөлдөн баштабоо жана эки топтун ортосундагы айырманы апыртуу. Дайыма окту текшериңиз.
Салыштыруу диаграммасы: суроо → диаграмма
Сура
туура диаграмма
Жалпы ката
Бул өзгөрмө кантип бөлүштүрүлөт?
Гистограмма / кутуча сюжети
тегерек диаграмманы колдонуу
Эки сандык өзгөрмөлөр байланышканбы?
Чачыратуу сюжети
Жөн гана корреляциянын санын карап
Ал убакыттын өтүшү менен кандай өзгөрдү?
сызык диаграммасы
Штанга диаграммасы менен трендди айтуу
топтордун ортосунда кандай айырма бар?
Топтолгон куту/бар (нөлдөн баштап)
Кесилген огу
Бөлүк-бүтүн катышы?
Үйүлгөн тилке (эсияттык менен)
Көп кесимдүү тегерек диаграмма
Төрт көчүрүүгө болот
1. Автоматтык табуу коду:
Сиздин ролуңуз: EDA жардамчысы. Мен маалыматтарды бөлүшпөйм, мен R (ggplot2) кодун каалайм. 'Data' data.frame ичинде сандык (киреше, жаш, чыгаша) жана категориялык (регион, билим) өзгөрмөлөр бар. Тапшырма: ар бир сан үчүн гистограмманы, ар бир категория үчүн штрих диаграмманы жана киреше ~ жашы үчүн чачыратуу диаграммасын чыгарган кодду жазыңыз. Тилкелүү диаграммаларда у огу НӨЛден башталсын. Комментарий сабын кошуу.
2. Корреляцияны карап чыгуу (корреляция + визуалдык чогуу):
Киреше жана чыгым үчүн Пирсон корреляциясын эсептеп, чачыратуу графигин + сызыктуу трендди түзгөн кодду жазыңыз. Корреляциянын эсебине ИШЕНҮҮдөн мурун диаграмманы карап чыгууну эскерткен комментарий сабын кошуңуз (Anscombe эскертүүсү). Тренд сызыгын ашыкча жылмакай кылбаңыз.
3. Адептүүлүк аудити:
Чынчыл визуализация үчүн төмөнкү ggplot кодун текшериңиз: [код]. Төмөнкүлөрдү текшериңиз жана оңдоңуз: y огу нөлдөн башталып жатабы, шкала шайкеш келеби, үлгүнүн өлчөмү көрүнүп жатабы, ашыкча текшилөө барбы? Сиз жасаган ар бир оңдоонун негизин түшүндүрүңүз.
4. Табылган жазууну түзүү (табылга эмес):
Мен түзгөн графиктердин негизинде БАЙКӨЛҮҮЛӨРдү “ачуу жазуусу” катары тизмектеңиз; ар бир пунктту «корутунду тыянак» эмес, «текшерилүүчү гипотеза» тилинде жазыңыз. Мисал: 'Жогорку окуу жайдагы кирешелер көбүрөөк таралгандай сезилет; өзүнчө маалыматтар менен сыналышы керек.' Себептик жана акыркы билдирүүлөрдөн алыс болуңуз.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Түшүмдөн жакшы графиктерди түзүңүз жана алардын маанисин айтыңыз.
Бул жаңылыштыруучу натыйжага чакырат: "сулуу" эстетикага көңүл бурат, ал эми "бул эмнени билдирет" AI ачылыштан биротоло тыянак чыгарууга түртөт. Себептүү, апыртма комментарийлер артынан.
Күчтүү билдирүү:
Сиздин ролуңуз: чынчыл EDA жардамчысы. Тапшырма: (1) менин суроомо туура келген диаграмманын түрүн тандап, негиздөөсүн жазыңыз, (2) штрих диаграммаларда нөлдөн баштаңыз, (3) жыйынтыкты DISCOVERY NOTE тилинде чечмелеңиз: эч кандай тактык/себептик доомат "сыноодон өтүшү керек" тилиндеги гипотезаны сунуштайт, (4) менин үлгүм кичинекей болсо, мага эскертүү берет. өз чөйрөсүн жана аны текшерүү.
Айырмасы: күчтүү эрк диаграмма түрүн актайт, чынчылдыктын эрежелерин таңуулайт жана ачылышты ырастоо менен чаташтырбайт.
үч мини учурлар
1-жагдай — Дискреттик октун апыртылышы. Аналитик эки бутактын канааттануу упайларын (7,8 жана 8,0; 10дон) штрих диаграммада көрсөттү. YZ огу 7,5тен баштап, экинчи бутак биринчисинен дээрлик эки эсе жогору болгон; ал эми айырма болгону 2,5% түзгөн. Жетекчилик туура эмес таасир астында филиалга сыйлык бере турган болду. Мен окту нөлдөн баштап баштаганда, айырма дээрлик көрүнбөй калды. Сабак: Ок тандоо гана кабылдоону өзгөртөт.
2-жагдай - Корреляцияга ишенүү жана диаграмманы өткөрүп жиберүү. Изилдөөчү эки өзгөрмөнүн ортосундагы r = 0,81ди көрүп, "күчтүү сызыктуу байланышты" жазган. Анын консультанты чачыратуу графигин сураганда, байланыш чындыгында бир гана экстремалдык байкоодон улам болгондугу көрүнүп, ал чекит алынып салынганда корреляция 0,12ге чейин төмөндөгөн. Сабак: корреляциялык сан графикти алмаштыра албайт; ар дайым чачыранды карап.
3-жагдай - Тастыктоо менен ачууну чаташтыруу. Бир студент 40 өзгөрмөлүү маалымат топтомундагы бардык жуптуу корреляцияларды карап, эң чоңун тандап алган (r=0,52) жана мындай деп жазган: "Биз билим берүү менен үнөмдөөнүн ортосунда олуттуу байланышты таптык (p=0,004)." Бирок, 40 өзгөрмө жүздөгөн жуптар болгон; эң жогорку тандоо кокустуктан улам жаңылыштык болгон. Сабак: табылган үлгү ошол эле маалыматтарда "сыноо жана маанилүү деп жарыяланышы" мүмкүн эмес; Өзүнчө ырастоо талап кылынат.
Жалпы каталар
- Штанга диаграммасында огу нөлдөн башталбайт. Бул кичинекей айырманы апыртып жиберет; Эң кеңири таралган визуалдык калп. Ар дайым текшериңиз.
- Корреляцияны карап, диаграмманы өткөрүп жиберүү. Ошол эле корреляция такыр башка моделдерден келип чыгат; тышкаркы мамилеге туура келиши мүмкүн. Биринчиден, чачуу.
- Ошол эле маалыматтарда «далил» катары табылгада табылган үлгүнү эске алуу. Бул p-hacking үчүн шлюз болуп саналат; Ырастоо өзүнчө жүргүзүлөт.
- Диаграмманын түрү туура эмес. Тренд үчүн тилке жана бөлүштүрүү үчүн пирог сыяктуу дал келүүлөр адаштыруучу. Суроонун негизинде жанр тандаңыз.
- Үлгү өлчөмүн жашыруу. n=8 жана n=8,000 бир эле графикте окшош болбошу керек; белгисиздикти көрсөтүү керек.
Кеңеш: Диаграмманы жарыялоодон мурун, өзүңүзгө суроо бериңиз: "Эгер мен окту өзгөртсөм, окуя өзгөрөт беле?" Эгер "ооба" деп жооп берсең, анда, балким, сиз бул ишти чынчыл эмес жерден баштагансыз.
Кыскача айтканда
Изилдөөчү маалыматтарды талдоо – бул маалыматтарды тосуп алуу, үлгүлөрдү көрүү жана гипотезаларды түзүү; Бул тастыктоо эмес. AI тез сыпаттама статистикасын жана графикалык кодду жаратат, бирок сиз сурооңуздун негизинде графиктин түрүн тандап, калыстык принциптерин көзөмөлдөйсүз (нөл огу, ырааттуу масштаб, көрүнгөн белгисиздик). Корреляциялык санга ишенүүдөн мурун чачыранды караңыз; Ачылышта тапкан үлгүңүздү ошол эле маалыматтарда "далил" деп жарыялабаңыз. AIнын кооз графиги туура графикти билдирбейт.
Колдонмо тапшырмасы
Берилиштер топтомунан жок дегенде үч өзгөрмө тандаңыз. AIдан чынчылдыктын эрежелерин сактаган чалгындоо графиктерин (гистограмма, чачыранды, кутуга салынган) чыгарган кодду сурап жана иштетиңиз. Ар бир диаграмма үчүн: (1) диаграмма түрүнүн суроого ылайыктуулугун, (2) октун чынчылдыгын, (3) үлгү өлчөмүнүн көрүнөөлүгүн текшериңиз. Жок дегенде бир гипотеза тилинде “ачуу жазуусун” жазыңыз (“…өзүнчө текшерилгендей көрүнөт”). Саноо жана чачыратуу менен корреляцияны текшериңиз жана алардын ортосунда дал келбестик бар болсо кабарлаңыз.
текшерүү тизмеси
- [ ] Диаграмманын түрүн суроомо жана маалымат түрүнө жараша тандадым.
- [ ] Тилкелүү диаграммаларда мен y огун нөлдөн баштайм; Мен октун чынчылдыгын текшердим.
- [ ] Мен корреляцияга ишенерден мурун чачыранды карап чыктым.
- [ ] Мен графикте үлгү өлчөмүн жана белгисиздикти чагылдырдым.
- [ ] Мен чалгындоодо тапкан үлгүлөрдү "далил" эмес, "текшерилүүчү гипотеза" деп жаздым.
- [ ] Мен ырастоо үчүн бир эле маалыматты колдонбойм жана өзүнчө кадам талап кылынарын белгиледим.