Добици:
- Способност израде дескриптивне статистике и графикона дистрибуције/односа са подршком за вештачку интелигенцију и одабир правог типа графикона према подацима и питању
- Способност препознавања погрешних избора (испрекидана оса, неодговарајућа размера, претерано заглађивање) на сликама које производи вештачка интелигенција и примени принципе поштене визуелизације
- Бити у стању разликовати да је истраживачка анализа за генерисање хипотеза и замку откривања и потврде са истим подацима (што отвара врата п-хаковању).
Након чишћења података, први посао емпиријског истраживача је да их упозна. Ова фаза се назива истраживачка анализа података (ЕДА - Екплоратори Дата Аналисис): то је процес испитивања података са графиконима и збирном статистиком и сагледавање њихове структуре, образаца и изненађења. Циљ није још да се тестира хипотеза, већ да се упознају са подацима, генеришу питања и поставе основе за модел који ћете изградити у будућности. У овој јединици ћемо видети како вештачка интелигенција (АИ) убрзава ЕДА и визуелизацију, али зашто се графика коју производи мора пажљиво прегледати.
Хајде да прво направимо две основне разлике. Прво, дескриптивна статистика (бројеви који сумирају податке као што су средња вредност, медијана, стандардна девијација, квартили) и визуелизација (који приказује исте информације графички) се допуњују; Заједно описују податке. Друго, и најважније: откриће и потврда морају се разликовати. Експлоративна анализа служи за генерисање хипотеза; Истраживање хипотезе са истим подацима и изговарање „тестирао сам је и нашао да је значајно“ отвара врата п-хаковању, што ћемо видети у следећој јединици. Слободно је погледати податке и видети образац; Али проглашавање тог узорка „доказаним налазом“ у истим подацима је погрешно.
Корак по корак истраживачка анализа
1. Једноваријантни поглед. Испитајте сваку променљиву појединачно: да ли је њена дистрибуција симетрична или искривљена; колико има брда; Где су изванредни? За нумеричке варијабле, хистограм (графикон који приказује учесталост дељењем вредности у опсеге) и бокплот (бокплот — графикон који приказује медијану, квартил и екстремне вредности); За категоричке варијабле користите табеле учесталости и тракасте графиконе.
2. Биваријантни поглед. Погледајте однос између две променљиве: дијаграм расипања за две нумеричке варијабле (приказује свако посматрање као тачку на к-и равни), графикон груписаног оквира за нумеричко-категоричке, унакрсне табеле за две категоричке. Пре него што погледате коефицијент корелације, обавезно погледајте дијаграм расејања: иста корелација може показати веома различите обрасце (чувени квартет Ансцомбе то демонстрира; четири скупа података имају скоро идентичну статистику, али када се нацртају испостави се да су потпуно различити).
3. Изаберите исправан тип графикона. Тип графикона зависи од вашег питања и типа података. Хистограм за дистрибуцију; распршивање за однос; линијски графикон за промене током времена; тракасти графикон за поређење категорија; (пажљиво) наслагана шипка за однос делова према целини. АИ брзо генерише код за вас, али одлука о томе „који графикон за које питање“ је ваша.
4. Обратите пажњу на образац, не декларишите резултате. Забележите сваки занимљив образац који видите као „белешку о открићу“, али немојте то сматрати потврђеним налазом. Потврда се врши у посебном кораку, најбоље са посебним подацима или унапред одређеним распоредом.
Искрени принципи визуелизације
Графика убеђује; Стога је и његова моћ заваравања велика. АИ може да донесе естетске, али понекад погрешне изборе. Проверите ове смернице:
- У тракастим графиконима, и-оса мора почети од нуле. Испрекидана оса показује мале разлике као велике.
- Скала треба да буде доследна. Ако се упоређују два графикона, користите исти опсег осе.
- Прекомерно заглађивање може сакрити прави образац. Линија тренда изгледа лепо, али ако превише "изглађује" податке, може да доведе у заблуду.
- Боја и 3Д декорација искривљују пажњу, а не податке. Изаберите једноставност.
- Подаци који недостају и величина узорка треба да буду видљиви. „н=12“ и „н=12,000“ не би требало да изгледају исто.
Пажња: Само зато што је графика коју производи вештачка интелигенција прелепа, она није истинита. Најчешћа грешка коју прави је што не покреће осу од нуле на тракастом графикону и преувеличава разлику између две групе. Увек проверите осу.
Упоредни графикон: питање → графикон
Питај
исправан графикон
Уобичајена грешка
Како је ова варијабла распоређена?
Хистограм/кутија дијаграм
користите кружни графикон
Да ли су две нумеричке променљиве повезане?
Сцаттер плот
Само гледајући број корелација
Како се то променило током времена?
линијски графикон
Навођење тренда помоћу тракастог графикона
Која је разлика између група?
Груписана кутија/бар (од нуле)
Одсечена осовинска шипка
Однос дела према целини?
Наслагана трака (са опрезом)
Вишеслојни тортни графикон
Четири упита за копирање
1. Код за аутоматско откривање:
Ваша улога: ЕДА асистент. Не делим податке, желим Р (ггплот2) код. Постоје нумеричке (приходи, године, расходи) и категоријске (регион, образовање) варијабле у оквиру података 'података'. Задатак: напишите код који производи хистограм за сваки број, тракасти графикон за сваку категорију и дијаграм распршености за приход-старост. У тракастим графиконима, нека и-оса почиње од НУЛЕ. Додајте ред за коментаре.
2. Преглед корелације (корелација + визуелни заједно):
Напишите код који израчунава Пирсонову корелацију за приходе и потрошњу и приказује дијаграм распршења + линеарни тренд. Додајте ред за коментаре који ме подсећа да прегледам графикон пре него што ВЕРУЈЕМ у број корелација (Ансцомбе упозорење). Немојте превише заглађивати линију тренда.
3. Ревизија интегритета:
Проверите следећи ггплот код за искрену визуелизацију: [код]. Проверите и исправите следеће: да ли и-оса почиње од нуле, да ли је скала конзистентна, да ли је видљива величина узорка, да ли постоји прекомерно изглађивање? Објасните оправдање за сваку исправку коју сте направили.
4. Израда белешке о открићу (не налаза):
На основу графикона које направим, наведите ЗАПАЖАЊА као 'напомену о открићу'; напишите сваку ставку језиком 'хипотезе која се тестира', а не 'убедљивог налаза'. Пример: „Чини се да су приходи у високом образовању више распрострањени; треба тестирати са посебним подацима.' Избегавајте узрочне и коначне изјаве.
Слаби промпт / Јаки промпт
Слабо обавештење:
Направите лепе графиконе од приноса и реците ми шта они значе.
Ова порука позива на обмањујуће резултате: „лепо“ се фокусира на естетику, док „шта то значи“ гура АИ да скочи са открића на коначан закључак. Следе узрочни, претерани коментари.
Снажан упит:
Ваша улога: искрени ЕДА асистент. Задатак: (1) изаберите тип графикона који одговара мом питању и напишите оправдање, (2) започните осу од нуле на тракастим дијаграмима, (3) протумачите излаз у језику ДИСЦОВЕРИ НОТЕ: нема дефинитивне/узрочне тврдње сугерише хипотезу на језику „мора се тестирати“, (4) упозориће ме ако је мој узорак мали дијаграм (верификује<0). то.
Разлика: јака воља оправдава тип графикона, намеће правила поштења и не брка откриће са потврдом.
три мини кофера
Случај 1 — Преувеличавање дискретне осе. Аналитичар је приказао оцене задовољства две гране (7,8 и 8,0; од 10) на тракастом графикону. Приликом покретања ИЗ осе од 7.5, друга грана се појавила скоро двоструко виша од прве; док је разлика била само 2,5%. Управа се спремала да награди филијалу под погрешним утиском. Када сам покренуо осу од нуле, разлика је била скоро невидљива. Поука: сам избор осе мења перцепцију.
Случај 2 — Веровање у корелацију и прескакање графикона. Истраживач је видео р = 0,81 између две варијабле и написао "јаку линеарну везу". Када је његов консултант затражио дијаграм расипања, видело се да је однос заправо последица једног екстремног запажања, а када је та тачка уклоњена, корелација је пала на 0,12. Лекција: број корелација није замена за графикон; увек гледај распршивање.
Случај 3 — Конфузно откриће са потврдом. Један ученик је погледао све корелације у пару у скупу података од 40 варијабли, одабрао највишу (р=0,52) и написао: „пронашли смо значајну везу између образовања и штедње (п=0,004)“. Међутим, постојале су стотине парова у 40 варијабли; избор највише је био лажан налаз због случајности. Поука: откривени образац се не може „тестирати и прогласити значајним“ у истим подацима; Потребна је посебна потврда.
Уобичајене грешке
- Не почиње оса од нуле на тракастом графикону. То преувеличава малу разлику; Најчешћа визуелна лаж. Увек проверавајте.
- Гледајући корелацију и прескачући графикон. Иста корелација долази из веома различитих образаца; може одговарати изванредном односу. Прво, расипање.
- Сматрајући образац пронађен у открићу „доказом“ у истим подацима. Ово је капија за п-хаковање; Потврда се врши посебно.
- Погрешан тип графикона. Подударања као што су трака за тренд и пита за дистрибуцију су обмањујућа. Изаберите жанр на основу питања.
- Сакривање величине узорка. н=8 и н=8.000 не би требало да изгледају исто на истом графикону; неизвесност се мора показати.
Савет: Пре него што објавите графикон, запитајте се: „Да ли би се прича променила ако бих променио осу?“ Ако је одговор да, вероватно сте започели пивот са непоштеног места.
Укратко
Истраживачка анализа података је фаза упознавања података, сагледавања образаца и генерисања хипотеза; То није потврда. АИ брзо генерише дескриптивну статистику и код графикона, али ви бирате тип графикона на основу вашег питања и контролишете принципе правичности (нулта оса, конзистентна скала, очигледна неизвесност). Погледајте расипање пре него што верујете корелационом броју; Не декларишите образац који сте пронашли у открићу као „доказ“ у истим подацима. Прелеп график АИ не значи исправан графикон.
Задатак апликације
Изаберите најмање три променљиве у скупу података. Затражите од вештачке интелигенције и покрените код који производи истраживачке графиконе (хистограм, расипање, уоквирено) са промптом који примењује правила поштења. За сваки графикон: проверите (1) прикладност типа графикона за питање, (2) искреност осе, (3) видљивост величине узорка. Напишите најмање једну „напомену о открићу“ у језику хипотезе („...изгледа да се тестира одвојено“). Испитајте корелацију са бројањем и расипањем и пријавите ако постоји неслагање између њих.
контролна листа
- [ ] Изабрао сам тип графикона на основу мог питања и типа података.
- [ ] У тракастим дијаграмима, ја почињем и-осу од нуле; Проверио сам поштење осовине.
- [ ] Погледао сам дијаграм расипања пре него што сам веровао у корелацију.
- [ ] Одразио сам величину узорка и несигурност на графикону.
- [ ] Написао сам обрасце које сам пронашао у истраживању као „хипотезу коју треба тестирати“, а не као „доказ“.
- [ ] Напоменуо сам да не бих користио исте податке за потврду и да је потребан посебан корак.