Печалби:
- Да можеш ясно да дефинираш вселената и да оцениш представителността на метода за вземане на проби и кой е систематично изключен
- Способност да се прави разлика между пристрастия в данните и стереотипи, носени от изкуствения интелект, и да се контролират и двете
- Възможност за изразяване на открития, ограничени до извадка, без преувеличение, и написване на честен раздел за ограничения.
Най-важната концепция на социалните изследвания е извадката — тоест избраната от вас подгрупа, защото не можете да изследвате цялата група, която ви интересува (вселената/населението: всички хора или единици, за които изследването иска да говори) един по един. За кого могат да бъдат обобщени резултатите от едно проучване (т.е. „дали този резултат е валиден само за тези хора или за по-широка група“) зависи изцяло от представителността на извадката. Резултатът от грешна или предубедена проба е грешен, независимо колко добре е анализиран. В този модул ще научите как да използвате AI, за да обмислите дизайна на извадката, да откриете пристрастия — систематично отклонение на данни или интерпретация в една посока и честно да изразите границите на обобщението.
Тук е необходимо да се разграничат два вида предразсъдъци. Първият е пристрастие в данните: извадката представя свръхпредставяне на една група и недостатъчно представяне на друга група (напр. тези, които могат да участват само в онлайн проучването, т.е. тези с достъп до интернет). Второто е собственото пристрастие на AI: AI носи моделите на текстовете, върху които е бил обучен, и може да произведе стереотипни обобщения за социална група. Добрият социален изследовател трябва да бъде нащрек и за двете; AI може да ви помогне да разпознаете и двете, или може да увеличи и двете.
Стъпка по стъпка: мислене за представителство
1. Опишете вселената. На кого искате да кажете за находката си? „Всички избиратели в Турция“ и „млади избиратели в квартал в Истанбул“ са много различни вселени. Не може да се създаде извадка, без това да бъде написано ясно.
2. Изберете метода на вземане на проби. Методи като случаен (всеки има равен шанс да бъде избран), стратифициран (разделяне на вселената на групи и избор от всяка група), снежна топка (един участник препоръчва друг) дават различни правомощия на представяне. AI може да обясни плюсовете и минусите на всеки метод на разбираем език.
3. Попитайте кой е пропуснат. Всяка проба пропуска някого. Онлайн проучването пропуска тези без интернет, телефонното проучване пропуска тези без стационарен телефон, интервюто през деня пропуска служителите. AI създава добър контролен списък за „кой изключва систематично този метод?“
4. Картирайте източниците на пристрастие. Избройте източници като пристрастие при избора (кой е избран), пристрастие към отговора (кой отговаря), пристрастие към припомнянето (погрешно запомняне на миналото).
5. Напишете границата на обобщение. Фразирайте констатацията като „млади хора в тази извадка“, а не „всички тийнейджъри“. AI може да маркира прекомерни генерализации във вашата чернова.
Съвет: Добрият изследователски доклад е подсилен, а не отслабен от раздела „ограничения“. Честното писане за това кого не представлява вашата извадка прави вашето проучване по-надеждно. Нека AI изготви този раздел, но потвърдете сами всички ограничения.
три мини калъфа
Случай 1 — Скрито отклонение при избора. За да измери удовлетвореността от услугите на дадена община, един екип постави анкета на уебсайта на общината и установи 78% удовлетвореност. Когато попитах AI "кой липсва на тази извадка?", се оказа, че сегментът, който вече използва сайта (т.е. има достъп до услугата и вероятно е по-доволен) е свръхпредставен. Констатацията беше коригирана на „78% сред потребителите на сайта“.
Случай 2 — Стереотип на AI. Когато един изследовател накара AI да обобщи „възгледите на възрастните хора от селските райони за технологиите“, AI добави стереотипна рамка, която не присъстваше в данните, като например „възрастните хора се страхуват от технологиите“. Когато изследователят осъзна това и каза „просто разчитайте на твърденията в преписа“, се видя, че всъщност има голямо разнообразие от нагласи в данните.
Случай 3 — Корекция на стратифицираната извадка. В извадка от 500 души жените са 30%, в сравнение с 51% в популацията. AI обясни логиката на претеглянето на ясен език и екипът претегли резултатите според пропорциите на населението, което доведе до по-представителна картина.
Четири копируеми шаблона
1) Критика на извадката:
Вселената на моето изследване: [описание]. Моят метод за вземане на проби е: [метод]. Вашата задача: избройте кого тази извадка може систематично да представлява недостатъчно или свръхпредставител. Обмислете отделно грешките при избора, отговора и извикването. Дайте препоръка за смекчаване на всеки риск. Не преувеличавайте констатацията ми; Покажете честно границите.
2) Контрол на обобщението:
Разгледайте тези изречения за намиране: [текст]. Маркирайте всяко прекомерно обобщение. Пренапишете изявления като „всички/всички/млади хора/жени“ с по-тясно изявление, което данните действително подкрепят. Например, вместо „младите хора правят X“, „Y% от тийнейджърите в тази извадка съобщават за X.“ Маркирайте всяко твърдение с неясен произход.
3) AI улавяне на пристрастия:
Дадох ви резюмето по-долу. Проверете: В дадения текст НАИСТИНА ли присъстват някакви преценки, прилагателни или обобщения, които сте добавили? Маркирайте и премахнете всички изрази, които не са в текста, но идват от вашите собствени модели. Просто се придържайте към това, което е в текста.
4) Секция за ограничения на проекта:
Напишете проект на раздел „Ограничения“ въз основа на следната информация за метода: размер на извадката [n], метод [x], контекст [y]. Обяснете как всяко ограничение може да повлияе на констатациите. Нито преувеличение, нито подценяване; Бъдете балансирани и честни. Ще потвърдя всеки артикул.
Слаба подкана / Силна подкана
Слаба подкана:
Според резултатите от моята анкета повечето млади хора са на това мнение. Напишете това със силно изречение.
Това води до свръхобобщаване, без изобщо да се поставя под въпрос извадката. AI лесно се подхлъзва в твърдение, което данните не носят, като например „Младите хора в Турция...“
Мощна подкана:
Моята извадка: 220 студенти в един университет, онлайн проучване, доброволно участие. Бих искал да изразя една констатация: 61% от участниците изразиха мнение X. Напишете това в едно академично изречение, което ясно посочва границите на извадката (представителство, пристрастност към доброволчеството). Ограничете обобщението до тази извадка.
Разликата: второто изречение създава защитимо твърдение, което данните всъщност подкрепят.
Извадкови методи и представителност
Метод
Как работи
представителна власт
Типичен риск
просто случаен
Равен шанс за всички
високо
транспортни разходи
стратифицирани
Разделете и изберете на групи
високо
Грешка в дефиницията на групата
квота
Попълване на групови тарифи
среден
Пристрастие в групата
лесно
Не питайте никого, който може да бъде достигнат
ниско
Силно отклонение при избора
снежна топка
По предложение на участник
ниско
Вътрешно мрежово сходство
Често срещани грешки
- Създаване на извадка без дефиниране на вселената. Представителството не може да бъде оценено, без да знаете към кого ще обобщите.
- Обобщаване на удобна извадка за цялата популация. Най-честата грешка; „респондентите на проучването“ се бъркат с „всички“.
- Никога не питам кой е пропуснат. Всеки метод отвлича някого; Търсете това съзнателно.
- Не забелязвайки стереотипа, добавен от AI. Моделът може да добави стереотипи, които не присъстват в данните.
- Скриване на ограничения. Скриването на крехкостта на пробата прави изследването крехко, ненадеждно.
В обобщение
Стойността на констатацията е толкова, колкото и представителността на извадката, на която се основава. AI; е мощна помощ при обясняване на методите за вземане на извадки, картографиране на недостатъчно представените лица, маркиране на свръхгенерализации и изготвяне на честен раздел за ограничения. Но внимавайте с две пристрастия: пристрастията на самите данни и стереотипите, носени от AI. Дефинирайте ясно вселената, попитайте кой е пропуснат, ограничете обобщението до извадката и запишете ограниченията честно.
Задача за приложение
Опишете популацията и метода за вземане на проби за реално или хипотетично изследване. Извлечете кой може да е недостатъчно/прекомерно представен от AI с шаблона „критика за вземане на проби“ и идентифицирайте поне три източника на пристрастия. След това преведете констатиращо изявление в тясно изявление, което данните действително поддържат с модела „обобщаваща проверка“. И накрая, напишете честен раздел за ограничения от половин страница.
контролен списък
- [ ] Ясно дефинирах вселената (за кого ще обобщя).
- [ ] Оцених представителността на метода за вземане на проби.
- [ ] Изброих кой е бил системно пропускан.
- [ ] Изразих констатациите ограничени до извадката и без преувеличение.
- [ ] Премахнах стереотипите/обобщенията, които AI добави.