Табыстар:
- Жасанды интеллект қолдауымен сипаттамалық статистика мен тарату/байланыс диаграммаларын жасау және деректер мен сұраққа сәйкес диаграмма түрін дұрыс таңдау мүмкіндігі
- Жасанды интеллект арқылы жасалған кескіндердегі жаңылыстыратын таңдауларды (сызық ось, сәйкес емес масштаб, шамадан тыс тегістеу) тану және шынайы визуализация принциптерін қолдану мүмкіндігі
- Барлау талдауы гипотезаларды құруға және сол деректермен ашу мен растауға арналған тұзаққа арналғанын ажырата білу (бұл p-hacking есігін ашады).
Деректерді тазартқаннан кейін эмпирикалық зерттеушінің бірінші жұмысы оны білу болып табылады. Бұл кезең барлау деректерін талдау (EDA - Exploratory Data Analysis) деп аталады: бұл деректерді графиктермен және жиынтық статистикамен тексеру және оның құрылымын, заңдылықтарын және тосын сыйларын көру процесі. Мақсат әлі гипотезаны сынау емес, деректермен танысу, сұрақтар туғызу және болашақта құрастыратын модельдің негізін салу. Бұл бөлімде біз жасанды интеллект (AI) EDA және визуализацияны қалай тездететінін көреміз, бірақ ол шығаратын графика неге мұқият тексерілуі керек.
Алдымен екі негізгі айырмашылықты жасайық. Біріншіден, сипаттамалық статистика (орташа, медиана, стандартты ауытқу, квартилдер сияқты деректерді жинақтайтын сандар) және визуализация (бір ақпаратты графикалық түрде көрсету) бірін-бірі толықтырады; Олар бірге деректерді сипаттайды. Екіншіден, ең маңыздысы: ашу мен растауды ажырату керек. Барлау талдау гипотезаларды құруға арналған; Гипотезаны сол деректермен зерттеп, «Мен оны сынап көрдім және оны маңызды деп таптым» деп айту p-hacking есігін ашады, оны келесі бөлімде көреміз. Деректерді қарау және үлгіні көру тегін; Бірақ бұл үлгіні дәл сол деректерде «дәлелденген тұжырым» деп жариялау жаңылыстыру болып табылады.
Қадамдық барлау талдау
1. Бір айнымалы көрініс. Әрбір айнымалыны жеке-жеке қарастырыңыз: оның таралуы симметриялы ма немесе қисық па; онда қанша төбе бар; Шектеушілер қайда? Сандық айнымалылар үшін гистограмма (мәндерді диапазондарға бөлу арқылы жиілікті көрсететін график) және қорап сызбасы (boxplot — медиананы, квартильді және экстремалды мәндерді көрсететін диаграмма); Категориялық айнымалылар үшін жиілік кестелері мен бағаналы диаграммаларды пайдаланыңыз.
2. Екі өзгермелі көрініс. Екі айнымалының арасындағы байланысты қараңыз: екі сандық айнымалы үшін шашыраңқы сызба (әр бақылауды x-y жазықтығындағы нүкте ретінде көрсетеді), сандық-категориялық үшін топтастырылған жолақ сызбасы, екі категориялық үшін айқас кесте. Корреляция коэффициентін қарастырмас бұрын, шашырау сызбасын міндетті түрде қараңыз: бірдей корреляция әртүрлі заңдылықтарды көрсетуі мүмкін (әйгілі Anscombe квартеті мұны көрсетеді; төрт деректер жиынында дерлік бірдей статистика бар, бірақ сызылған кезде олар мүлдем басқа болып шығады).
3. Дұрыс диаграмма түрін таңдаңыз. Диаграмма түрі сұрағыңызға және деректер түріне байланысты. Таратуға арналған гистограмма; қарым-қатынас үшін шашырау; уақыт бойынша өзгерістерге арналған сызықтық диаграмма; санатты салыстыру үшін бағаналы диаграмма; (мұқият) бөліктердің бүтінге қатынасы үшін қабатталған жолақ. AI сіз үшін кодты жылдам жасайды, бірақ «қай сұраққа қандай график» шешімі сіздікі.
4. Үлгіні ескеріңіз, нәтижелерді жарияламаңыз. Кез келген қызықты үлгіні «табу жазбасы» ретінде жазып алыңыз, бірақ оны расталған нәтиже деп санамаңыз. Растау бөлек қадамда, мүмкіндігінше бөлек деректермен немесе алдын ала белгіленген кестемен жүзеге асырылады.
Адал визуализация принциптері
Графика сендіреді; Сондықтан оның адастырушылық күші де жоғары. AI эстетикалық, бірақ кейде жаңылыстыратын таңдаулар жасай алады. Мына саясаттарды тексеріңіз:
- Бағаналы диаграммаларда у осі нөлден басталуы керек. Үзіктелген ось шағын айырмашылықтарды үлкен деп көрсетеді.
- Шкаласы біркелкі болуы керек. Екі диаграмма салыстырылса, бірдей осьтер ауқымын пайдаланыңыз.
- Шамадан тыс тегістеу шынайы үлгіні жасыруы мүмкін. Тренд сызығы жақсы көрінеді, бірақ егер ол деректерді тым көп «тегістетсе», ол жаңылыстыруы мүмкін.
- Түс және 3D безендіру деректерді емес, назарды бұрмалайды. Қарапайымдылықты таңдаңыз.
- Жетіспейтін деректер мен үлгі өлшемі көрінуі керек. «n=12» және «n=12,000» бірдей көрінбеуі керек.
Назар аударыңыз: AI жасаған графика әдемі болғандықтан, олар дұрыс емес. Оның жиі жіберетін қатесі - бағаналы диаграммадағы осьті нөлден бастамау және екі топ арасындағы айырмашылықты ұлғайту. Әрқашан осьті тексеріңіз.
Салыстыру кестесі: сұрақ → диаграмма
Сұраңыз
дұрыс диаграмма
Жалпы қате
Бұл айнымалы қалай бөлінеді?
Гистограмма/қорап сызбасы
дөңгелек диаграмманы қолданыңыз
Екі сандық айнымалы байланысты ма?
Шашырау сызбасы
Тек корреляция санына қарап
Уақыт өте келе ол қалай өзгерді?
сызықтық диаграмма
Бағаналы диаграмма арқылы трендті айту
Топтардың айырмашылығы неде?
Топтастырылған қорап/бар (нөлден бастап)
Кесілген ось таяқшасы
Бөлім-бүтін қатынасы?
Жинақталған жолақ (сақтықпен)
Көп бөлікті дөңгелек диаграмма
Көшірілетін төрт шақыру
1. Автоматты табу коды:
Сіздің рөліңіз: EDA көмекшісі. Мен деректерді бөліспеймін, R (ggplot2) кодын алғым келеді. 'Data' data.frame ішінде сандық (кіріс, жас, шығыс) және категориялық (аймақ, білім) айнымалылар бар. Тапсырма: әрбір сан үшін гистограмма, әрбір категория үшін штрих диаграмма және кіріс~жас үшін шашырау сызбасын шығаратын кодты жазыңыз. Бағаналы диаграммаларда у осі НӨЛден басталсын. Түсініктеме жолын қосыңыз.
2. Корреляциялық шолу (корреляция + визуалды бірге):
Табыс пен шығыс үшін Пирсон корреляциясын есептейтін және шашыраңқы сызба + сызықтық тренд сызатын кодты жазыңыз. Корреляция санына СЕНІМДЕР алдында диаграмманы тексеруді еске салатын түсініктеме жолын қосыңыз (Anscombe ескертуі). Тренд сызығын шамадан тыс тегістемеңіз.
3. Тұтастық аудиті:
Адал визуализация үшін келесі ggplot кодын тексеріңіз: [code]. Төмендегілерді тексеріп, түзетіңіз: у осі нөлден басталады ма, шкала сәйкес пе, үлгі өлшемі көрінеді ме, шамадан тыс тегістеу бар ма? Сіз жасаған әрбір түзетудің негіздемесін түсіндіріңіз.
4. Табылған құжатты жасау (анықтама емес):
Мен жасаған графиктерге сүйене отырып, БАҚЫЛАУЛАР тізімін «ашу туралы жазба» ретінде көрсетіңіз; әрбір элементті «қорытынды тұжырым» емес, «тексерілетін гипотеза» тілінде жазыңыз. Мысал: «Жоғары білім берудегі кірістер кеңейіп кеткендей; бөлек деректермен сыналу керек.' Себеп-салдарлық және түпкілікті мәлімдемелерден аулақ болыңыз.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Түсімнен әдемі графиктер жасаңыз және олардың нені білдіретінін айтыңыз.
Бұл нұсқау жаңылыстыратын нәтижеге шақырады: «әдемі» эстетикаға назар аударады, ал «бұл нені білдіреді» AI-ны жаңалықтан түпкілікті қорытындыға өтуге итермелейді. Себеп-салдарлық, әсірелеу пікірлер кейіннен.
Күшті шақыру:
Сіздің рөліңіз: адал EDA көмекшісі. Тапсырма: (1) менің сұрағыма сәйкес келетін диаграмма түрін таңдап, негіздеуді жазыңыз, (2) бағаналы диаграммаларда осьті нөлден бастаңыз, (3) нәтижені DISCOVERY NOTE тілінде түсіндіріңіз: ешқандай түпкілікті/себеп-салдарлық шағым «тексерілу керек» тіліндегі гипотезаны ұсынбайды, (4) менің үлгім кішкентай болса, мені ескертіңіз. өз ортасы және оны тексеріңіз.
Айырмашылығы: күшті ерік диаграмма түрін ақтайды, адалдық ережелерін жүктейді және ашуды растаумен шатастырмайды.
үш шағын іс
1-жағдай — Дискретті осьті ұлғайту. Сарапшы бағаналы диаграммада екі тармақтың (10-нан 7,8 және 8,0) қанағаттану ұпайларын көрсетті. YZ осін 7,5-тен бастағанда, екінші тармақ біріншіден екі есе дерлік жоғары пайда болды; ал айырмашылық небәрі 2,5% құрады. Басқарма дұрыс емес әсермен филиалды марапаттамақ болды. Мен осьті нөлден бастаған кезде айырмашылық дерлік көрінбейтін болды. Сабақ: ось таңдаудың өзі қабылдауды өзгертеді.
2-жағдай — Корреляцияға сену және диаграмманы өткізіп жіберу. Зерттеуші екі айнымалының арасындағы r = 0,81 мәнін көріп, «күшті сызықтық байланыс» деп жазды. Оның кеңесшісі шашырау сызбасын сұраған кезде, қатынас шын мәнінде бір экстремалды бақылауға байланысты екені көрінді, ал бұл нүкте жойылған кезде корреляция 0,12-ге дейін төмендеді. Сабақ: корреляция саны графикті алмастырмайды; әрқашан шашырауға қараңыз.
3-жағдай - растауды шатастырып алу. Бір студент 40 айнымалы деректер жинағындағы барлық жұптық корреляцияларды қарап, ең жоғарысын таңдады (r=0,52) және «біз білім беру мен жинақтау арасындағы маңызды байланысты таптық (p=0,004)» деп жазды. Дегенмен, 40 айнымалыда жүздеген жұптар болды; ең жоғарыны таңдау кездейсоқтықтан жалған тұжырым болды. Сабақ: табылған үлгіні бір деректерде «сынауға және маңызды деп жариялауға» болмайды; Бөлек растау қажет.
Жалпы қателер
- Бағаналық диаграммада ось нөлден басталмайды. Бұл кішігірім айырмашылықты асыра көрсетеді; Ең көп таралған көрнекі өтірік. Әрқашан тексеріңіз.
- Корреляцияға қарап, диаграмманы өткізіп жіберу. Бірдей корреляция өте әртүрлі үлгілерден туындайды; шектен тыс қатынасқа сәйкес келуі мүмкін. Біріншіден, шашырау.
- Ашудан табылған үлгіні сол деректердегі «дәлел» ретінде қарастыру. Бұл p-hacking шлюзі; Растау бөлек жасалады.
- Диаграмма түрі қате. Тренд үшін жолақ және таратуға арналған бәліш сияқты сәйкестіктер жаңылыстырады. Сұраққа байланысты жанрды таңдаңыз.
- Үлгі өлшемін жасыру. n=8 және n=8000 бір графикте бірдей болмауы керек; белгісіздікті көрсету керек.
Кеңес: Диаграмманы жарияламас бұрын, өзіңізден сұраңыз: «Егер мен осьті өзгертсем, оқиға өзгерер ме еді?» Жауап иә болса, сіз бұрылысты адал емес жерден бастаған шығарсыз.
Қысқаша
Барлау деректерін талдау – бұл деректермен кездесу, заңдылықтарды көру және гипотезаларды құру кезеңі; Бұл растау емес. AI сипаттамалық статистика мен графикалық кодты жылдам жасайды, бірақ сіз сұрағыңызға негізделген график түрін таңдайсыз және әділдік принциптерін басқарасыз (нөлдік ось, дәйекті шкала, айқын белгісіздік). Корреляциялық санға сенбес бұрын шашырауды қараңыз; Табылған үлгіні сол деректерде «дәлел» деп жарияламаңыз. AI әдемі графигі дұрыс графикті білдірмейді.
Қолданбалы тапсырма
Деректер жиынында кемінде үш айнымалы мәнді таңдаңыз. AI-дан адалдық ережелерін қамтамасыз ететін нұсқау бар зерттеу графиктерін (гистограмма, шашыраңқы, қорапқа салынған) шығаратын кодты сұраңыз және іске қосыңыз. Әрбір диаграмма үшін: (1) диаграмма түрінің сұраққа сәйкестігін, (2) осьтің шынайылығын, (3) таңдама көлемінің көрінуін тексеріңіз. Гипотеза тілінде кем дегенде бір «ашу жазбасын» жазыңыз («...бөлек тексерілетін сияқты»). Санақ пен шашыраудың екеуімен де корреляцияны тексеріп, олардың арасында сәйкессіздік болса, хабарлаңыз.
бақылау парағы
- [ ] Диаграмма түрін сұрағыма және деректер түріне қарай таңдадым.
- [ ] Бағаналы диаграммаларда у осін нөлден бастаймын; Мен осьтің адалдығын тексердім.
- [ ] Мен корреляцияға сенбес бұрын шашырау сызбасына қарадым.
- [ ] Мен графикте үлгі өлшемін және белгісіздікті көрсеттім.
- [ ] Мен барлау барысында тапқан үлгілерді «дәлел» емес, «тексерілетін гипотеза» деп жаздым.
- [ ] Мен растау үшін бірдей деректерді пайдаланбайтынымды және бөлек қадам қажет екенін атап өттім.