Підтримка дизайну дослідження та аналізу даних

Прибуток:

• Здатність використовувати штучний інтелект як партнера в розробці дослідницьких запитань, гіпотез, вибору масштабу та планів аналізу
• Здатність аудиторської підтримки для кількісного аналізу (інтерпретація коду/виходу) та якісного аналізу (проект тематичного кодування) зі статистичною та методологічною точністю
• Здатність виробити захисний рефлекс при використанні штучного інтелекту проти полювання за p-значенням, сфабрикованої статистики та неетичної обробки даних

Психологія - це наука, яка систематично вивчає поведінку людини, і основою цієї науки є дослідження. Чи пишете ви дипломну роботу, вимірюєте ефективність програми в установі чи готуєте статтю; Гарне дослідження потребує надійного дизайну, точного аналізу та чесної інтерпретації. Штучний інтелект (ШІ) може бути розумним партнером на кожному етапі дослідження: загострення питання дослідження, виклик можливих масштабів, складання коду аналізу, пояснення статистичних результатів простою мовою, малювання початкових пропозицій щодо тем у ваших якісних даних. Але штучний інтелект також галюцинує в статистиці, припускає методологічну помилку і, що найнебезпечніше, може мимоволі відкрити двері для неетичних практик (наприклад, полювання за p-значенням). У цьому розділі ви навчитеся використовувати ШІ як потужного, але контрольованого помічника в дослідженнях.

Де ШІ допомагає в дослідженнях?

Фаза проектування: уточнення питання дослідження, уточнення формулювання гіпотези, врахування можливих змінних і спотворень (третіх факторів, які впливають на результат, але не розглядаються), нагадування про відповідні плани. AI є партнером для мозкового штурму; Ви вирішуєте.

Кількісний аналіз: пояснення того, коли метод аналізу (наприклад, t-критерій, ANOVA, регресія) підходить, складання коду аналізу (наприклад, R або Python), інтерпретація статистичних результатів. ШІ пише код, але ви несете відповідальність за точність результату, створеного кодом, і придатність методу.

Якісний аналіз: початкові пропозиції щодо коду в записах інтерв’ю, можливі назви тем, проект книги кодів. ШІ дає відправну точку; Дослідник додає інтерпретаційної глибини.

Застереження: ШІ не статистик. Це може запропонувати неправильний тест, опустити припущення, створити хибний коефіцієнт або p-значення. Перевірте кожне методичне рішення і кожне число самостійно (власними знаннями, статистичним джерелом або експертом).

Етичні червоні лінії: p-hacking і обробка даних

Однією з найнебезпечніших пасток дослідницької етики є p-hacking: неодноразова зміна аналізу, додавання/видалення змінних або скорочення даних, доки не з’явиться значущий результат. Запитайте ШІ: «Що я можу зробити, щоб зробити мій результат значущим?» Запитувати " означає потрапити в цю пастку, не усвідомлюючи цього. На запитання такого типу штучний інтелект може давати такі пропозиції, як "витягніть цю змінну, подивіться на цю підгрупу"; ці пропозиції "працюють" статистично, але є науково шахрайськими.

Так само штучний інтелект може запропонувати «доповнити» дані, яких не існує, або видалити викиди без обґрунтування. Дані аналізуються як вони є; Зміни можна вносити лише за попередньо визначеними, прозорими та обґрунтованими правилами.

Порада: запишіть свій план аналізу (який тест ви будете робити, з якими змінними, для якої гіпотези), перш ніж побачити дані. Використовуйте ШІ, щоб уточнити цей план, а не «прикрасити» результат. Попередньо написаний план є найсильнішим захистом від п-злому.

Крок за кроком: безпечний потік досліджень на основі ШІ

1. Уточніть питання та гіпотезу. Нехай AI досліджує проблему, щоб загострити її, але вирішувати вам.
2. Напишіть свій план аналізу заздалегідь. Який тест, яке припущення, яка гіпотеза. Нехай ШІ стежить за планом.
3. Чернетка коду, перевірка виведення. Нехай ШІ пише код; Ви запускаєте, перевіряєте результат самостійно.
4. Перевірте припущення. Перевірте самі припущення, які штучний інтелект пропускає, наприклад нормальність і однорідність дисперсії.
5. Розглядайте якісні коди як чернетки. Розгляньте теми початкового ШІ; Прочитайте та перевірте дані самостійно.
6. Звітуйте чесно. Запишіть також безглуздий результат; Уникайте p-хакінгу та вибіркового звітування.

три міні-чохла

Випадок 1 — p-хакерська пастка. Коли основна гіпотеза дослідника виявляється незначущою (p=0,21), він запитує у ШІ «способи зробити результат значущим». AI пропонує різноманітні аналізи підгруп і вилучення змінних; Коли дослідник пробує це, він отримує р = 0,04. Але цей результат є помилковим: якщо ви спробуєте 10 різних аналізів, один із них буде випадково значущим. Правильний шлях: повідомити про попередньо визначений аналіз, чесно написати безглуздий результат.

Випадок 2 — Код і вихідний коментар. Аспірант хоче перевірити відмінності між двома групами в даних 120 учасників, але він не знайомий зі статистичним програмним забезпеченням. Він друкує чернетку коду аналізу в ШІ, запускає його та змушує ШІ інтерпретувати вихідні дані. Потім він перевіряє припущення t-критерію зі статистичного джерела та незалежно перевіряє результат. ШІ скорочує криву навчання, але остаточне рішення залишається за студентом.

Кейс 3 — Якісне кодування. Дослідник передає ШІ 18 анонімних розшифровок інтерв’ю та запитує початкові пропозиції коду. AI пропонує близько 30 кодів і 5 пропозицій тем. Дослідник вважає їх за початок і сам читає всі стенограми; Він додає тему, яку ШІ пропустив, відокремлюючи дві, які він неправильно поєднав. Він також перевіряє надійність за допомогою другого кодера. ШІ активізувався, але інтерпретація виходила з людського боку.

Копіювані підказки та шаблони

Допоможіть мені загострити питання дослідження. Мій проект питання: [питання]. Запитайте/запропонуйте наступне: залежно-незалежні змінні, можливі спонукальні фактори, відповідний дизайн дослідження. Рішення за мною; Просто поясніть варіанти та ризики, не нав’язуйте результат.

Перегляньте мій план аналізу: [план]. Оцініть: чи відповідає обраний мною тест гіпотезі, які припущення слід перевірити, чи здається розмір вибірки достатнім, чи є якісь методологічні ризики, які я не помітив? Дайте пропозиції для зміцнення плану, а не для зміни результату.

Інтерпретуйте наступні статистичні дані простою мовою: який результат що означає, які припущення потрібно перевірити, де існує ризик надмірної інтерпретації? Чесно повідомляйте про будь-які незначні результати. Вихід: [вихід]

Нижче наведено стенограми анонімних інтерв’ю. На першому етапі генерується МОЖЛИВИЙ код і ПРОПОЗИЦІЇ теми для тематичного кодування. Пам’ятайте, що це початковий проект, і я буду читати та перевіряти дані; Не представляйте це як остаточний результат. Стенограми: [анонімні стенограми]

Слабка підказка / Сильна підказка

Слабка підказка: "Результат не був значущим у даних, як мені зробити значення p значущим?"

Ця підказка викликає ШІ, щоб запропонувати p-злом; Навіть якщо результат «працює» статистично, це наукове шахрайство.

Сильна підказка: «План аналізу, який я визначив раніше, — це [план]. Результат не був значущим (p=0,21). Як мені чесно повідомити про це, які можуть бути можливі наслідки незначущого результату та що я б рекомендував для майбутнього дослідження?»

Ця підказка спрямовує ШІ до чесної науки; Він не спотворює результат, він вчиться на цьому.

Поширені помилки

• Запрошення на p-hacking. Запит «Зробіть результат значущим»; Це наукове шахрайство.
• Застосування методу без його перевірки. Використання запропонованого тесту AI без перевірки його припущень.
• Прийом надуманої статистики. Непідтвердження коефіцієнта/p-значення, наданого ШІ вашим власним аналізом.
• Помилка якісних кодів для остаточного аналізу. Теми звітності AI без читання даних.
• Приховування безглуздого результату. Вибіркове звітування, повідомляючи лише те, що має значення.

Підсумовуючи

ШІ є потужним ідейним партнером у дослідженнях уточнення питань, аудиту плану аналізу, складання коду, інтерпретації результатів і створення якісного кодування. Але він помиляється в статистиці і галюцинаціях; Найнебезпечніше те, що це може несвідомо відкрити двері для неетичних методів, таких як p-hacking. Напишіть свій план аналізу заздалегідь, перевірте кожен метод і число незалежно, перевірте припущення, розглядайте якісні коди як чернетки та читайте дані самостійно та чесно повідомляйте про безглузді результати. ШІ прискорює; Наукова чесність походить від вас.

Аплікаційне завдання

Створіть невеликий сценарій дослідження (наприклад, порівняння двох груп за шкалою). Спочатку запишіть свій план аналізу одним абзацом. Потім попросіть ШІ перевірити цей план і запитати, чи є якісь припущення або ризики, які ви пропустили. Крім того, попросіть штучний інтелект інтерпретувати невеликий уявний вихід і перевірте самі, чи є його інтерпретація надто наполегливою. Напишіть чесне звітне речення, не вдаючись до P-hacking.

контрольний список

• [ ] Я написав свій план аналізу, перш ніж побачити дані.
• [ ] Я незалежно перевірив припущення методу, запропонованого ШІ.
• [] Я перевірив кожну статистику, надану штучним інтелектом, власним аналізом.
• [ ] Я вважав якісні коди початковими чернетками і сам читав дані.
• [ ] Я також чесно повідомляв про незначні результати.
• [ ] Я уникав p-хакінгу та вибіркового звітування.