Zyski:
- Umiejętność jasnego zdefiniowania wszechświata i oceny reprezentatywności metody doboru próby oraz tego, kto jest systematycznie wykluczany
- Umiejętność rozróżniania stronniczości w danych od stereotypów niesionych przez sztuczną inteligencję i kontrolowania obu
- Umiejętność wyrażenia wniosków ograniczonych do próbki, bez przesady i napisania uczciwej sekcji dotyczącej ograniczeń.
Najważniejszą koncepcją badań społecznych jest próba — czyli podgrupa, którą wybierasz, ponieważ nie możesz zbadać całej grupy, która Cię interesuje (wszechświata/populacji: wszystkich ludzi lub jednostek, o których chce mówić badanie) jeden po drugim. To, na kogo można uogólnić wyniki badania (tj. „czy ten wynik dotyczy tylko tych osób, czy szerszej grupy”), zależy całkowicie od reprezentatywności próby. Wynik błędnej lub stronniczej próbki jest błędny, niezależnie od tego, jak dobrze jest analizowany. W tej części dowiesz się, jak wykorzystywać sztuczną inteligencję do planowania projektu próbki, wykrywać stronniczość — systematyczne dryfowanie danych lub interpretacji w jednym kierunku i uczciwie wyrażać granice uogólnienia.
Należy tu rozróżnić dwa rodzaje uprzedzeń. Pierwszym z nich jest stronniczość danych: próba nadreprezentuje jedną grupę, a niedostatecznie reprezentuje inną grupę (np. tych, którzy mogą brać udział wyłącznie w badaniu internetowym, czyli tych, którzy mają dostęp do Internetu). Drugim jest uprzedzenie sztucznej inteligencji: sztuczna inteligencja nosi wzorce z tekstów, na których została przeszkolona i może tworzyć stereotypowe uogólnienia na temat grupy społecznej. Dobry badacz społeczny musi zwracać uwagę na jedno i drugie; Sztuczna inteligencja może pomóc Ci rozpoznać jedno i drugie, ale może też je uwydatnić.
Krok po kroku: myślenie o reprezentacji
1. Opisz wszechświat. Komu chcesz powiedzieć o swoim odkryciu? „Wszyscy wyborcy w Turcji” i „młodzi wyborcy w sąsiedztwie Stambułu” to zupełnie różne światy. Nie można ustalić próbki bez wyraźnego napisania tego.
2. Wybierz metodę pobierania próbek. Metody takie jak losowa (każdy ma równe szanse na wybranie), warstwowa (dzielenie wszechświata na grupy i wybieranie z każdej grupy), kula śnieżna (jeden uczestnik poleca drugiego) dają różną siłę reprezentacji. Sztuczna inteligencja może wyjaśnić zalety i wady każdej metody prostym językiem.
3. Zapytaj, kto został pominięty. Każda próbka kogoś pomija. Ankieta online pomija tych, którzy nie mają internetu, ankieta telefoniczna pomija tych, którzy nie mają telefonu stacjonarnego, a rozmowa prowadzona w ciągu dnia tęskni za pracownikami. Sztuczna inteligencja tworzy dobrą listę kontrolną „kogo systematycznie wyklucza ta metoda?”
4. Mapuj źródła uprzedzeń. Wymień źródła, takie jak błąd selekcji (kto zostanie wybrany), błąd odpowiedzi (kto odpowiada), błąd przypominania (błędne pamiętanie przeszłości).
5. Zapisz granicę uogólnienia. Sformułuj wynik jako „młodzi ludzie w tej próbie”, a nie „wszyscy nastolatkowie”. Sztuczna inteligencja może oznaczyć nadmierne uogólnienia w wersji roboczej.
Wskazówka: dobry raport z badania może zostać wzmocniony, a nie osłabiony przez sekcję „ograniczenia”. Uczciwe pisanie o tym, kogo nie reprezentuje Twoja próbka, sprawi, że Twoje badanie będzie bardziej wiarygodne. Poproś sztuczną inteligencję o opracowanie tej sekcji, ale sam potwierdź wszelkie ograniczenia.
trzy mini etui
Przypadek 1 – Ukryty błąd selekcji. Aby zmierzyć poziom zadowolenia z usług świadczonych przez gminę, jeden z zespołów umieścił ankietę na stronie internetowej gminy i stwierdził, że poziom zadowolenia wynosi 78%. Kiedy zapytałem AI „kogo brakuje tej próbki?”, okazało się, że segment, który już korzysta z serwisu (czyli ma dostęp do usługi i prawdopodobnie jest bardziej zadowolony) jest nadreprezentowany. Wynik skorygowano do „78% wśród użytkowników witryny”.
Przypadek 2 — Stereotyp AI. Kiedy badacz poprosił sztuczną inteligencję o podsumowanie „poglądu starszych mieszkańców wsi na technologię”, sztuczna inteligencja dodała stereotypowe sformułowanie, którego nie było w danych, takie jak „starsi ludzie boją się technologii”. Kiedy badacz zdał sobie z tego sprawę i powiedział „polegaj jedynie na stwierdzeniach zawartych w transkrypcie”, okazało się, że w danych rzeczywiście występowało bardzo zróżnicowane podejście.
Przypadek 3 – Stratyfikowana korekta próbkowania. W próbie 500 osób kobiety stanowiły 30% w porównaniu do 51% w populacji. Sztuczna inteligencja wyjaśniła logikę ważenia prostym językiem, a zespół zważył wyniki zgodnie z proporcjami populacji, uzyskując bardziej reprezentatywny obraz.
Cztery szablony do kopiowania
1) Krytyka próbki:
Uniwersum moich badań: [opis]. Moja metoda pobierania próbek to: [metoda]. Twoje zadanie: wypisz, kogo ta próbka może systematycznie niedostatecznie lub nadmiernie reprezentować. Rozważ osobno błędy wyboru, reakcji i przypominania. Podaj zalecenia dotyczące środków łagodzących dla każdego ryzyka. Nie przesadzaj z moim odkryciem; Szczerze pokazuj granice.
2) Kontrola uogólnienia:
Przeanalizuj te zdania stwierdzające: [tekst]. Zaznacz każde nadmierne uogólnienie. Przepisz stwierdzenia takie jak „wszyscy/wszyscy/młodzi ludzie/kobiety” na węższe stwierdzenie, które faktycznie potwierdzają dane. Na przykład zamiast „młodzi ludzie robią X” „Y% nastolatków w tej próbie zgłosiło X”. Oznacz wszelkie roszczenia o niepewnym pochodzeniu.
3) Przechwytywanie odchyleń AI:
Poniżej dałem wam podsumowanie. Sprawdź: czy dodane przez Ciebie sądy, przymiotniki lub uogólnienia NAPRAWDĘ występują w danym tekście? Zaznacz i usuń wszelkie wyrażenia, których nie ma w tekście, ale pochodzą z Twoich własnych wzorców. Trzymaj się tylko tego, co jest w tekście.
4) Sekcja ograniczeń projektu:
Napisz wersję roboczą sekcji „Ograniczenia” w oparciu o następujące informacje o metodzie: wielkość próby [n], metoda [x], kontekst [y]. Wyjaśnij, jak każde ograniczenie może wpłynąć na wyniki. Ani przesady, ani niedoceniania; Bądź zrównoważony i uczciwy. Potwierdzę każdy element.
Słaba zachęta/silna zachęta
Słaba zachęta:
Z wyników mojej ankiety wynika, że większość młodych ludzi jest takiego zdania. Napisz to mocnym zdaniem.
Prowadzi to do nadmiernego uogólnienia bez kwestionowania próbki. Sztuczna inteligencja łatwo wpada w twierdzenie, którego nie potwierdzają dane, takie jak „Młodzi ludzie w Turcji…”
Potężny monit:
Moja próba: 220 studentów studiów licencjackich na jednej uczelni, ankieta internetowa, dobrowolny udział. Chciałbym wyrazić następujący wniosek: 61% uczestników wyraziło opinię X. Zapisz to w prostym, akademickim zdaniu, które jasno określa granice próby (reprezentacja, stronniczość wolontariatu). Ogranicz uogólnianie do tej próbki.
Różnica: drugie zdanie tworzy twierdzenie dające się obronić, które faktycznie potwierdzają dane.
Metody pobierania próbek i reprezentatywność
Metoda
Jak to działa?
siła reprezentacji
Typowe ryzyko
proste losowe
Równe szanse dla wszystkich
wysoki
koszt transportu
warstwowe
Podziel i wybierz na grupy
wysoki
Błąd definicji grupy
kwota
Wypełnienie stawek grupowych
średni
Uprzedzenia w grupie
łatwe
Nie pytaj nikogo, do kogo można dotrzeć
niski
Poważne stronniczość selekcji
śnieżka
Według sugestii uczestnika
niski
Podobieństwo wewnątrzsieciowe
Typowe błędy
- Ustalenie próbki bez definiowania wszechświata. Reprezentacji nie można oceniać, nie wiedząc, na kogo uogólnisz.
- Uogólnienie próbkowania wygodnego na całą populację. Najczęstszy błąd; „respondenci ankiety” są myleni z „wszystkimi”.
- Nigdy nie pytaj, kto został pominięty. Każda metoda kogoś porywa; Szukaj tego świadomie.
- Nie zauważając stereotypu dodanego przez AI. Model może dodawać stereotypy, których nie ma w danych.
- Ukrywanie ograniczeń. Ukrywanie słabości próbki sprawia, że badanie jest kruche i mało wiarygodne.
Podsumowując
Wartość ustalenia jest taka sama, jak reprezentatywność próby, na której jest oparta. sztuczna inteligencja; to potężna pomoc w wyjaśnianiu metod pobierania próbek, ustalaniu, kto jest niedostatecznie reprezentowany, sygnalizowaniu nadmiernych uogólnień i opracowywaniu sekcji uczciwych ograniczeń. Uważaj jednak na dwie stronniczości: stronniczość samych danych i stereotypy niesione przez sztuczną inteligencję. Jasno zdefiniuj wszechświat, zapytaj, kto został pominięty, ogranicz uogólnienia do próbki i uczciwie zapisz ograniczenia.
Zadanie aplikacji
Opisać populację i metodę pobierania próbek na potrzeby badania rzeczywistego lub hipotetycznego. Wyodrębnij osoby, które mogą być niedostatecznie/nadreprezentowane w sztucznej inteligencji, korzystając z szablonu „krytyki próbkowania” i zidentyfikuj co najmniej trzy źródła stronniczości. Następnie przetłumacz stwierdzenie stwierdzające na wąskie stwierdzenie, które faktycznie potwierdzają dane za pomocą wzorca „kontroli uogólnienia”. Na koniec napisz uczciwą sekcję z ograniczeniami zajmującą pół strony.
lista kontrolna
- [ ] Jasno zdefiniowałem wszechświat (na kogo uogólnię).
- [ ] Oceniłem reprezentatywność metody pobierania próbek.
- [ ] Wymieniłem, kto był systematycznie pomijany.
- [ ] Wyniki przedstawiłem w ograniczonym zakresie do próby i bez przesady.
- [ ] Usunąłem stereotypy/uogólnienia dodane przez sztuczną inteligencję.