Прибуток:
- Бути в змозі чітко визначити сукупність і оцінити репрезентативність методу вибірки та того, хто систематично виключається
- Здатність розрізняти упередженість даних і стереотипи, створені штучним інтелектом, і контролювати обидва
- Здатність без перебільшення висловити висновки, обмежені зразком, і написати чесний розділ обмежень.
Найважливішим поняттям соціальних досліджень є вибірка, тобто підгрупа, яку ви обираєте, тому що ви не можете досліджувати всю групу, яка вас цікавить (всесвіт/популяція: усі люди чи одиниці, про яких хочеться говорити в дослідженні) окремо. На кого можна узагальнити результати дослідження (тобто, «чи цей результат дійсний лише для цих людей чи для більш широкої групи»), цілком залежить від репрезентативності вибірки. Результат неправильного або упередженого зразка є неправильним, незалежно від того, наскільки добре він проаналізований. У цьому розділі ви дізнаєтеся, як використовувати штучний інтелект, щоб продумувати дизайн вибірки, виявляти упередженість — систематичний дрейф даних або інтерпретацію в одному напрямку та чесно виражати межі узагальнення.
Тут необхідно розрізняти два види упередження. По-перше, це упередженість даних: у вибірці надмірно представлена одна група та недостатньо представлена інша група (наприклад, ті, хто може брати участь лише в онлайн-опитуванні, тобто ті, хто має доступ до Інтернету). По-друге, це власне упередження ШІ: ШІ переносить шаблони текстів, на яких він навчався, і може створювати стереотипні узагальнення про соціальну групу. Хороший соціальний дослідник повинен бути уважним до обох; AI може допомогти вам розпізнати обидва, або він може збільшити обидва.
Крок за кроком: міркування про представництво
1. Опишіть Всесвіт. Кому ви хочете розповісти про свою знахідку? «Усі виборці в Туреччині» та «молоді виборці в околицях Стамбула» — це дуже різні світи. Зразок неможливо встановити без чіткого запису.
2. Вибір методу вибірки. Такі методи, як випадковий (кожен має рівні шанси бути обраним), стратифікований (розподіл всесвіту на групи та вибір із кожної групи), сніжний ком (один учасник рекомендує іншого) дають різні можливості представлення. ШІ може пояснити плюси і мінуси кожного методу простою мовою.
3. Запитайте, хто залишився осторонь. Кожна вибірка когось пропускає. Онлайн-опитування пропускає тих, хто не має Інтернету, телефонне опитування — тих, хто не має стаціонарного зв’язку, денне інтерв’ю — працівників. AI створює хороший контрольний список для того, «кого цей метод систематично виключає?»
4. Нанесіть на карту джерела упередженості. Перелічіть джерела, такі як упередженість вибору (хто обраний), упередженість відповіді (хто відповідає), упередженість пригадування (неправильне пам’ятання минулого).
5. Напишіть межу узагальнення. Сформулюйте знахідку як «молоді люди в цій вибірці», а не «всі підлітки». ШІ може позначити надмірне узагальнення у вашій чернетці.
Порада: розділ «Обмеження» посилює, а не послаблює хороший звіт про дослідження. Чесне написання про те, кого не представляє ваша вибірка, робить ваше дослідження надійнішим. Попросіть ШІ написати цей розділ, але перевірте будь-які обмеження самостійно.
три міні-чохла
Випадок 1 — приховане зміщення відбору. Щоб виміряти рівень задоволеності послугами муніципалітету, одна команда провела опитування на веб-сайті муніципалітету та виявила 78% задоволеності. Коли я запитав AI «кого не вистачає в цій вибірці?», виявилося, що сегмент, який уже користується сайтом (тобто має доступ до сервісу і, ймовірно, більш задоволений), представлений надмірно. Висновок було виправлено на «78% серед користувачів сайту».
Випадок 2 — Стереотип ШІ. Коли дослідник попросив штучний інтелект узагальнити «погляд сільських людей похилого віку на технології», ШІ додав стереотипну рамку, якої не було в даних, наприклад «люди похилого віку бояться технологій». Коли дослідник це зрозумів і сказав: «просто покладайтеся на твердження в стенограмі», стало видно, що в даних насправді існує широкий спектр ставлень.
Випадок 3 — Коригування стратифікованої вибірки. У вибірці з 500 осіб жінки становили 30% порівняно з 51% у популяції. AI пояснив логіку зважування простою мовою, і команда зважила результати відповідно до пропорцій населення, що призвело до більш репрезентативної картини.
Чотири шаблони, які можна копіювати
1) Критика зразка:
Всесвіт мого дослідження : [опис]. Мій метод вибірки: [метод]. Ваше завдання: перелічіть, кого ця вибірка систематично може бути недостатньо або надмірно представлена. Розгляньте окремо помилки вибору, відповіді та пригадування. Надайте рекомендації щодо зменшення ризику для кожного ризику. Не перебільшуйте моє відкриття; Чесно демонструйте межі.
2) Контроль узагальнення:
Розгляньте ці знахідні речення: [текст]. Позначте кожне надмірне узагальнення. Перепишіть твердження на кшталт «усі/всі/молоді люди/жінки» на вужче твердження, яке насправді підтверджують дані. Наприклад, замість «молоді люди роблять X», «Y% підлітків у цій вибірці повідомили X». Позначте будь-яку претензію невизначеного походження.
3) Зміщення штучного інтелекту:
Нижче я надав вам резюме. Перевірте: чи ДІЙСНО присутні в даному тексті додані вами судження, прикметники чи узагальнення? Позначте та видаліть усі вирази, яких немає в тексті, але походять із ваших власних зразків. Просто дотримуйтеся того, що написано в тексті.
4) Розділ обмежень проекту:
Напишіть проект розділу «Обмеження» на основі такої інформації про метод: розмір вибірки [n], метод [x], контекст [y]. Поясніть, як кожне обмеження може вплинути на висновки. Ні перебільшення, ні недооцінки; Будь врівноваженим і чесним. Підтверджу кожну позицію.
Слабка підказка / Сильна підказка
Слабка підказка:
За результатами мого опитування, такої думки дотримується більшість молоді. Напишіть це сильним реченням.
Це призводить до надмірного узагальнення, не ставлячи під сумнів вибірку. ШІ легко сповзає на твердження, що дані не містять, наприклад «Молоді люди в Туреччині...»
Потужна підказка:
Моя вибірка: 220 студентів бакалаврату одного університету, онлайн-опитування, добровільна участь. Я хотів би висловити висновок: 61% учасників висловили думку X. Напишіть це простим академічним реченням, яке чітко визначає межі вибірки (репрезентативність, упередженість волонтерства). Обмежте узагальнення цією вибіркою.
Різниця: друге речення створює обґрунтоване твердження, яке насправді підтверджують дані.
Методи вибірки та репрезентативність
метод
Як це працює
влада представництва
Типовий ризик
простий випадковий
Рівні шанси для всіх
висока
вартість транспортування
стратифікований
Розділіть і виберіть у групи
висока
Помилка визначення групи
квота
Заповнення групових тарифів
середній
Внутрішньогрупове упередження
легко
Не питайте нікого, з ким можна зв’язатися
низький
Серйозне упередження відбору
сніжний ком
За пропозицією учасника
низький
Внутрішньомережева подібність
Поширені помилки
- Створення вибірки без визначення сукупності. Репрезентацію неможливо оцінити, не знаючи, на кого ви будете узагальнювати.
- Узагальнення зручності вибірки для всієї сукупності. Найпоширеніша помилка; "респонденти опитування" плутають з "усі".
- Ніколи не запитуйте, хто залишився осторонь. Кожен метод когось викрадає; Шукайте це свідомо.
- Не помічаючи стереотипу, доданого ШІ. Модель може додавати стереотипи, яких немає в даних.
- Приховування обмежень. Приховування крихкості зразка робить дослідження крихким, не надійним.
Підсумовуючи
Цінність висновку залежить від репрезентативності вибірки, на якій він базується. ШІ; є потужним помічником у поясненні методів вибірки, визначенні того, хто є недостатньо представленим, позначенні надмірних узагальнень і написанні чесного розділу обмежень. Але остерігайтеся двох упереджень: упередженості самих даних і стереотипів, які несе ШІ. Чітко визначте всесвіт, запитайте, хто залишився поза увагою, обмежте узагальнення зразком і чесно запишіть обмеження.
Аплікаційне завдання
Опишіть сукупність і метод вибірки для реального чи гіпотетичного дослідження. Визначте, хто може бути недостатньо/надмірно представлений у ШІ за допомогою шаблону «вибіркова критика» та визначте принаймні три джерела упередженості. Потім переведіть оператор пошуку у вузьке твердження, яке фактично підтверджують дані, за допомогою шаблону «перевірка узагальнення». Нарешті, напишіть чесний розділ про обмеження на півсторінки.
контрольний список
- [ ] Я чітко визначив всесвіт (на кого буду узагальнювати).
- [ ] Я оцінив репрезентативність методу вибірки.
- [ ] Я перерахував тих, хто систематично залишався поза увагою.
- [ ] Я висловив висновки обмежено вибіркою і без перебільшення.
- [ ] Я усунув стереотипи/узагальнення, додані ШІ.