Добици:
- Бити у стању да јасно дефинише универзум и процени репрезентативност методе узорковања и ко је систематски искључен
- Способност да се направи разлика између пристрасности у подацима и стереотипа које носи вештачка интелигенција и да контролише обоје
- Способност изражавања налаза ограничених на узорак, без претеривања, и писање искреног одељка о ограничењима.
Најважнији концепт друштвеног истраживања је узорак — то јест, подгрупа коју одаберете јер не можете испитати целу групу која вас занима (универзум/популацију: све људе или јединице о којима истраживање жели да говори) један по један. Коме се резултати студије могу генерализовати (тј. „да ли овај резултат важи само за ове људе или за ширу групу“) у потпуности зависи од репрезентативности узорка. Резултат погрешног или пристрасног узорка је погрешан, ма колико добро био анализиран. У овој јединици ћете научити како да користите вештачку интелигенцију да бисте размишљали о дизајну узорка, открили пристрасност — систематско кретање података или интерпретацију у једном правцу и искрено изразили границе генерализације.
Овде је потребно разликовати две врсте предрасуда. Први је пристрасност у подацима: узорак више представља једну групу, а недовољно представља другу групу (нпр. оне који могу да учествују само у онлајн анкети, тј. оне који имају приступ интернету). Други је сопствена пристрасност АИ: АИ носи обрасце текстова на којима је обучен и може произвести стереотипне генерализације о друштвеној групи. Добар друштвени истраживач мора бити опрезан и за једно и за друго; АИ вам може помоћи да препознате оба, или може да увелича оба.
Корак по корак: размишљање о репрезентацији
1. Опишите универзум. Коме желите да кажете о свом налазу? „Сви бирачи у Турској“ и „млади гласачи у насељу у Истанбулу“ су веома различити универзуми. Узорак се не може утврдити ако се ово јасно не напише.
2. Изаберите метод узорковања. Методе као што су насумични (сви имају једнаке шансе да буду изабрани), стратификовани (подела универзума у групе и одабир из сваке групе), снежна груда (један учесник препоручује другог) дају различите моћи представљања. АИ може објаснити предности и недостатке сваке методе једноставним језиком.
3. Питајте ко је изостављен. Сваком узорковању неко недостаје. Онлине анкета пропушта оне без интернета, телефонска анкета оне без фиксног телефона, дневни интервју недостаје запосленима. АИ производи добру контролну листу за „кога ова метода систематски искључује?“
4. Мапа извора пристрасности. Наведите изворе као што су пристрасност избора (ко је изабран), пристрасност одговора (ко одговара), пристрасност присећања (погрешно сећање на прошлост).
5. Напишите границу генерализације. Опишите налаз као „млади људи у овом узорку“, а не „сви тинејџери“. АИ може да означи претеране генерализације у вашем нацрту.
Савет: Добар извештај о истраживању је ојачан, а не ослабљен одељком „ограничења“. Искрено писање о томе кога ваш узорак не представља чини вашу студију поузданијом. Нека АИ изради овај одељак, али сами потврдите сва ограничења.
три мини кофера
Случај 1 — Скривена пристрасност селекције. Да би измерио задовољство услугама општине, један тим је поставио анкету на веб страницу општине и утврдио да је 78% задовољства. Када сам питао АИ „коме недостаје овај узорак?“, испоставило се да је сегмент који већ користи сајт (односно, има приступ сервису и вероватно је задовољнији) презаступљен. Налаз је исправљен на „78% међу корисницима сајта“.
Случај 2 — Стереотип АИ. Када је истраживач дао АИ да сумира „поглед руралних старијих људи на технологију“, АИ је додао стереотипни оквир који није био у подацима, као што је „старији људи се плаше технологије“. Када је истраживач то схватио и рекао „само се ослоните на исказе у транскрипту“, видело се да је у подацима заправо било много различитих ставова.
Случај 3 — Корекција стратификованог узорковања. На узорку од 500 људи, жена је било 30%, у поређењу са 51% у популацији. АИ је објаснио логику пондерисања једноставним језиком, а тим је пондерисао резултате према пропорцијама становништва, што је резултирало репрезентативнијом сликом.
Четири шаблона за копирање
1) Критика узорка:
Универзум мог истраживања: [опис]. Мој метод узорковања је: [метод]. Ваш задатак: наведите кога би овај узорак могао систематски премало или превише представљати. Размотрите грешке у избору, одговору и присећању одвојено. Дајте препоруку за ублажавање за сваки ризик. Немојте преувеличавати мој налаз; Искрено покажите границе.
2) Контрола генерализације:
Испитајте ове налазне реченице: [текст]. Означите сваку претерану генерализацију. Препишите изјаве као што су „сви/сви/млади/жене” са ужим исказом који подаци заправо подржавају. На пример, уместо „млади људи раде Кс“, „И% тинејџера у овом узорку је пријавило Кс“. Означите било коју тврдњу несигурног порекла.
3) Снимање АИ пристрасности:
Дао сам вам резиме испод. Проверите: да ли су неки судови, придеви или генерализације које сте додали СТВАРНО присутни у датом тексту? Означите и уклоните све изразе који нису у тексту, али потичу из ваших сопствених образаца. Само се држите онога што је у тексту.
4) Одељак о ограничењима нацрта:
Напишите нацрт одељка „Ограничења“ на основу следећих информација о методи: величина узорка [н], метод [к], контекст [и]. Објасните како свако ограничење може утицати на налазе. Ни претеривање ни потцењивање; Будите уравнотежени и искрени. Потврдићу сваку ставку.
Слаби промпт / Јаки промпт
Слабо обавештење:
Према резултатима моје анкете, већина младих људи има ово мишљење. Напиши ово јаком реченицом.
Ово производи претерану генерализацију без довођења у питање узорка. АИ лако склизне у тврдњу коју подаци не носе, као што је "Млади у Турској..."
Снажан упит:
Мој узорак: 220 студената основних студија на једном универзитету, онлајн анкета, добровољно учешће. Желео бих да изразим налаз: 61% учесника је изразило мишљење Кс. Напишите ово у академској реченици која јасно наводи границе узорка (заступљеност, волонтирање). Ограничите генерализацију на овај узорак.
Разлика: друга реченица производи одбрањиву тврдњу коју подаци заправо подржавају.
Методе узорковања и репрезентативност
Метод
Како то ради
моћ представљања
Типичан ризик
једноставан случајан
Једнаке шансе за све
висока
трошкови превоза
раслојеним
Поделите и изаберите у групе
висока
Грешка у дефиницији групе
квота
Попуне групне стопе
средње
Пристрасност у групи
лако
Не питајте никога ко се може добити
ниско
Озбиљна пристрасност избора
снежна груда
По предлогу учесника
ниско
Интрамрежна сличност
Уобичајене грешке
- Успостављање узорка без дефинисања универзума. Заступљеност се не може оцењивати а да се не зна на кога ћете генерализовати.
- Уопштено практично узорковање за целу популацију. Најчешћа грешка; „испитаници у анкети“ су збуњени са „свима“.
- Никада не питајте ко је изостављен. Сваки метод некога киднапује; Тражите ово свесно.
- Не примећујући стереотип који је додао АИ. Модел може додати стереотипе који нису присутни у подацима.
- Скривање ограничења. Скривање слабости узорка чини студију крхком, а не поузданом.
Укратко
Вредност налаза је онолика колико и репрезентативност узорка на коме се заснива. АИ; је моћна помоћ у објашњавању метода узорковања, мапирању ко је недовољно заступљен, означавању претераних генерализација и састављању искреног одељка о ограничењима. Али пазите на две пристрасности: пристрасност самих података и стереотипе које носи АИ. Јасно дефинишите универзум, питајте ко је изостављен, ограничите генерализацију на узорак и искрено запишите ограничења.
Задатак апликације
Опишите популацију и метод узорковања за стварну или хипотетичку студију. Издвој ко би могао бити недовољно/превише заступљен из АИ помоћу шаблона „критика узорковања“ и идентификовати најмање три извора пристрасности. Затим преведите изјаву о проналажењу у уску изјаву коју подаци заправо подржавају са шаблоном „провера генерализације“. Коначно, напишите поштен одељак о ограничењима на пола странице.
контролна листа
- [ ] Јасно сам дефинисао универзум (на кога ћу генерализовати).
- [ ] Оценио сам репрезентативност методе узорковања.
- [ ] Навео сам ко је систематски изостављен.
- [ ] Изнео сам налазе ограничено на узорак и без претеривања.
- [ ] Уклонио сам стереотипе/генерализације које је додала АИ.