Добивки:
- Да се биде во можност јасно да се дефинира универзумот и да се оцени репрезентативноста на методот на земање примероци и кој е систематски исклучен
- Способност да се направи разлика помеѓу пристрасноста во податоците и стереотипите што ги носи вештачката интелигенција и да се контролираат и двете
- Способност да се изразат наодите ограничени на примерок, без претерување, и да се напише искрен дел за ограничувања.
Најклучниот концепт на општественото истражување е примерокот - односно подгрупата што ја избирате затоа што не можете да ја испитате целата група за која сте заинтересирани (универзумот/популацијата: сите луѓе или единици за кои истражувањето сака да зборува) еден по еден. За кого може да се генерализираат наодите од студијата (т.е. „дали овој резултат е валиден само за овие луѓе или за поширока група“) зависи целосно од репрезентативноста на примерокот. Резултатот од погрешен или пристрасен примерок е погрешен, без разлика колку добро е анализиран. Во оваа единица, ќе научите како да користите вештачка интелигенција за да размислувате за дизајнот на примерокот, да откриете пристрасност - систематско движење на податоците или толкување во една насока и искрено да ги изразите границите на генерализацијата.
Тука е неопходно да се разликуваат два вида предрасуди. Првата е пристрасност во податоците: примерокот претерано претставува една група, а помалку претставува друга група (на пример, оние кои можат да учествуваат само во онлајн анкетата, т.е. оние со пристап до интернет). Втората е пристрасноста на самата вештачка интелигенција: вештачката интелигенција ги носи шаблоните на текстовите на кои е обучена и може да произведе стереотипни генерализации за една социјална група. Еден добар социјален истражувач мора да биде внимателен и кон двете; ВИ може да ви помогне да ги препознаете и двете, или може да ги зголеми и двете.
Чекор по чекор: размислување за претставување
1. Опишете го универзумот. На кого сакате да му кажете за вашето откритие? „Сите гласачи во Турција“ и „младите гласачи во соседството во Истанбул“ се многу различни универзуми. Не може да се воспостави примерок без јасно да се напише ова.
2. Изберете го методот на земање примероци. Методите како што се случаен (секој има еднаква шанса да биде избран), стратифициран (поделување на универзумот во групи и избирање од секоја група), снежни топки (еден учесник препорачува друг) даваат различни моќи на претставување. ВИ може да ги објасни добрите и лошите страни на секој метод на едноставен јазик.
3. Прашајте кој е изоставен. На секое земање примероци некој му недостига. Онлајн анкета ги пропушта оние без интернет, телефонската анкета ги пропушта оние без фиксна, дневното интервју ги пропушта вработените. Вештачката интелигенција произведува добра листа за проверка за „кого систематски исклучува овој метод?
4. Карти на извори на пристрасност. Наведете ги изворите како што се пристрасност за избор (кој е избран), пристрасност во одговорот (кој одговара), потсетување на пристрасност (погрешно сеќавање на минатото).
5. Напиши ја границата за генерализација. Фразаирајте го наодот како „млади луѓе во овој примерок“, а не „сите тинејџери“. Вештачката интелигенција може да ги означи прекумерните генерализации во вашиот нацрт.
Совет: Добриот истражувачки извештај е зајакнат, а не ослабен со делот „ограничувања“. Ако пишувате искрено за тоа кого вашиот примерок не го претставува, ја прави вашата студија посигурна. Нека ВИ го подготви овој дел, но самите потврдете ги ограничувањата.
три мини футроли
Случај 1 - Скриена пристрасност за избор. За да се измери задоволството од услугите на општината, еден тим постави анкета на веб-страницата на општината и откри 78% задоволство. Кога ја прашав вештачката интелигенција „кој недостасува овој примерок?“, се покажа дека сегментот што веќе ја користи страницата (односно има пристап до услугата и веројатно е позадоволен) е презастапен. Наодот беше коригиран на „78% меѓу корисниците на страницата“.
Случај 2 - Стереотип на АИ. Кога истражувачот побарал вештачката интелигенција да го сумира „гледот на руралните постари луѓе за технологијата“, вештачката интелигенција додаде стереотипна рамка што ја немаше во податоците, како што е „старите луѓе се плашат од технологијата“. Кога истражувачот го сфатил ова и рекол „само потпирајте се на изјавите во транскриптот“, се виде дека всушност има широк спектар на ставови во податоците.
Случај 3 - Стратификувана корекција на примерок. Во примерок од 500 луѓе, жените биле 30%, наспроти 51% во популацијата. АИ ја објасни логиката на пондерирање на едноставен јазик, а тимот ги мери резултатите според пропорциите на населението, што резултираше со порепрезентативна слика.
Четири шаблони за копирање
1) Критика на примерокот:
Универзумот на моето истражување: [опис]. Мојот метод на земање примероци е: [метод]. Ваша задача: наведете кого овој примерок би можел систематски под или претерано да претставува. Размислете за грешките во изборот, одговорот и отповикувањето одделно. Дајте препорака за ублажување за секој ризик. Не преувеличувај го мојот наод; Покажете ги границите искрено.
2) Контрола на генерализација:
Испитајте ги овие реченици за наоѓање: [текст]. Обележете ја секоја прегенерализација. Препишете ги изјавите како „сите/сите/младите/жените“ со потесен исказ дека податоците всушност го поддржуваат. На пример, наместо „младите луѓе прават X“, „Y% од тинејџерите во овој примерок пријавиле X“. Означете го секое тврдење од неизвесно потекло.
3) Снимање пристрасност на вештачката интелигенција:
Ви го дадов резимето подолу. Проверете: дали некои судови, придавки или генерализации што сте ги додале НАВИСТИНА се присутни во дадениот текст? Обележете ги и отстранете ги сите изрази што ги нема во текстот, но доаѓаат од вашите сопствени обрасци. Само држете се до она што е во текстот.
4) Дел за ограничувања на нацрт:
Напишете нацрт-дел „Ограничувања“ врз основа на следните информации за методот: големина на примерокот [n], метод [x], контекст [y]. Објаснете како секое ограничување може да влијае на наодите. Ниту претерување, ниту потценување; Бидете урамнотежени и искрени. Ќе ја потврдам секоја ставка.
Слаб промпт / Силен промпт
Слаба навестување:
Според резултатите од мојата анкета, повеќето млади луѓе го имаат ова мислење. Напиши го ова со силна реченица.
Ова произведува прекумерна генерализација без воопшто да се преиспитува примерокот. Вештачката интелигенција лесно се лизга во тврдењето што податоците не го носат, како на пример „Младите луѓе во Турција...“
Моќен потсетник:
Мој примерок: 220 студенти на додипломски студии на еден универзитет, онлајн анкета, доброволно учество. Би сакал да искажам наод: 61% од учесниците изразија мислење X. Напиши го ова во академска реченица која јасно ќе ги наведе границите на примерокот (застапеност, волонтерска пристрасност). Ограничете ја генерализацијата на овој примерок.
Разликата: втората реченица произведува одбранливо тврдење дека податоците всушност го поддржуваат.
Методи на земање примероци и репрезентативност
Метод
Како функционира
моќ на претставување
Типичен ризик
едноставно случаен избор
Еднакви шанси за сите
високо
трошоци за транспорт
стратификуван
Поделете и изберете во групи
високо
Грешка во дефиницијата на групата
квота
Пополнување на групни стапки
средно
Пристрасност во групата
лесно
Не прашувајте никого до кој може да се дојде
низок
Тешка пристрасност во изборот
снежна топка
По предлог на учесниците
низок
Интрамрежна сличност
Вообичаени грешки
- Воспоставување примерок без дефинирање на универзумот. Застапеноста не може да се оцени без да се знае на кого ќе генерализирате.
- Генерализирање на погодни примероци за целата популација. Најчеста грешка; „испитаниците во анкетата“ се мешаат со „сите“.
- Никогаш не прашувај кој е изоставен. Секој метод киднапира некого; Побарајте го ова свесно.
- Не забележувајќи го стереотипот додаден од вештачката интелигенција. Моделот може да додаде стереотипи кои не се присутни во податоците.
- Криење на ограничувањата. Сокривањето на слабоста на примерокот ја прави студијата кревка, не сигурна.
Сумирано
Вредноста на наодот е колку и репрезентативноста на примерокот на кој се базира. ВИ; е моќна помош во објаснувањето на методите за земање примероци, мапирањето кој е недоволно застапен, означувањето на прекумерните генерализации и изготвувањето на искрен дел за ограничувања. Но, внимавајте на две предрасуди: пристрасноста на самите податоци и стереотипите што ги носи вештачката интелигенција. Дефинирајте го универзумот јасно, прашајте кој е изоставен, ограничете ја генерализацијата на примерокот и искрено запишете ги ограничувањата.
Задача за апликација
Опишете ја популацијата и методот на земање примероци за вистинска или хипотетичка студија. Извадете кој би можел да биде недоволно/презастапен од вештачката интелигенција со шаблонот „критика за земање примероци“ и идентификувајте најмалку три извори на пристрасност. Потоа преведете ја изјавата за наоѓање во тесна изјава што податоците всушност ја поддржуваат со шемата за „проверка на генерализација“. Конечно, напишете искрен дел за ограничувања на половина страница.
листа за проверка
- [ ] Јасно го дефинирав универзумот (на кого ќе генерализирам).
- [ ] Ја оценив репрезентативноста на методот на земање примероци.
- [ ] Наведов кој беше систематски изоставен.
- [ ] Ги изразив наодите ограничени на примерокот и без претерување.
- [ ] Ги отстранив стереотипите/генерализациите што ги додаде вештачката интелигенција.