Dobici:
- Biti u stanju jasno definirati univerzum i ocijeniti reprezentativnost metode uzorkovanja i ko se sistematski isključuje
- Sposobnost da se napravi razlika između pristrasnosti u podacima i stereotipa koje nosi umjetna inteligencija i kontrolira oboje
- Sposobnost izražavanja nalaza ograničenih na uzorak, bez preterivanja, i pisanje iskrenog odjeljka ograničenja.
Najvažniji koncept društvenog istraživanja je uzorak — to jest, podgrupa koju odaberete jer ne možete ispitati cijelu grupu koja vas zanima (univerzum/populaciju: sve ljude ili jedinice o kojima istraživanje želi govoriti) jednu po jednu. Kome se rezultati studije mogu generalizirati (tj. "da li ovaj rezultat vrijedi samo za ove ljude ili za širu grupu") u potpunosti ovisi o reprezentativnosti uzorka. Rezultat pogrešnog ili pristranog uzorka je pogrešan, bez obzira na to koliko je dobro analiziran. U ovoj jedinici ćete naučiti kako koristiti AI za razmišljanje o dizajnu uzorka, otkrivanje pristrasnosti — sistematsko pomicanje podataka ili interpretacije u jednom smjeru i iskreno izražavanje granica generalizacije.
Ovdje je potrebno razlikovati dvije vrste predrasuda. Prvi je pristranost u podacima: uzorak više predstavlja jednu grupu, a nedovoljno predstavlja drugu grupu (npr. one koji mogu učestvovati samo u online anketi, tj. one koji imaju pristup internetu). Druga je vlastita pristranost AI: AI nosi obrasce tekstova na kojima je obučen i može proizvesti stereotipne generalizacije o društvenoj grupi. Dobar društveni istraživač mora biti oprezan i za jedno i za drugo; AI vam može pomoći da prepoznate oboje, ili može povećati oba.
Korak po korak: razmišljanje o reprezentaciji
1. Opišite univerzum. Kome želite reći o svom nalazu? "Svi glasači u Turskoj" i "mladi glasači u naselju u Istanbulu" su veoma različiti univerzumi. Uzorak se ne može utvrditi bez da se ovo jasno napiše.
2. Odaberite metodu uzorkovanja. Metode kao što su nasumični (svi imaju jednake šanse da budu izabrani), stratificirani (podjela svemira u grupe i odabir iz svake grupe), gruda snijega (jedan učesnik preporučuje drugog) daju različite moći reprezentacije. AI može objasniti prednosti i nedostatke svake metode jednostavnim jezikom.
3. Pitajte ko je izostavljen. Svakom uzorkovanju neko nedostaje. Online anketa propušta one bez interneta, telefonska anketa one bez fiksnog telefona, dnevni intervju propušta zaposlene. AI proizvodi dobru kontrolnu listu za „koga ova metoda sistematski isključuje?“
4. Mapirajte izvore pristrasnosti. Navedite izvore kao što su pristrasnost odabira (ko je izabran), pristrasnost odgovora (ko odgovara), pristrasnost prisjećanja (pogrešno sjećanje na prošlost).
5. Napišite granicu generalizacije. Opišite nalaz kao „mladi ljudi u ovom uzorku“, a ne „svi tinejdžeri“. AI može označiti pretjerane generalizacije u vašem nacrtu.
Savjet: Dobar izvještaj o istraživanju je ojačan, a ne oslabljen, odjeljkom "ograničenja". Iskreno pisanje o tome koga vaš uzorak ne predstavlja čini vašu studiju pouzdanijom. Neka AI izradi ovaj odjeljak, ali sami potvrdite sva ograničenja.
tri mini kofera
Slučaj 1 — Skrivena pristrasnost odabira. Da bi izmjerio zadovoljstvo uslugama općine, jedan tim je postavio anketu na web stranicu općine i utvrdio 78% zadovoljstva. Kada sam upitao AI "kome nedostaje ovaj uzorak?", pokazalo se da je segment koji već koristi stranicu (odnosno ima pristup servisu i vjerovatno je zadovoljniji) prezastupljen. Nalaz je ispravljen na "78% među korisnicima stranice."
Slučaj 2 — Stereotip AI. Kada je istraživač dao AI da sumira „pogled starijih seoskih ljudi na tehnologiju“, AI je dodao stereotipni okvir koji nije bio u podacima, kao što je „stariji ljudi se boje tehnologije“. Kada je istraživač to shvatio i rekao "samo se oslonite na iskaze u transkriptu", vidjelo se da je u podacima zapravo bilo dosta različitih stavova.
Slučaj 3 — Korekcija stratificiranog uzorkovanja. Na uzorku od 500 ljudi, žena je bilo 30%, u poređenju sa 51% u populaciji. AI je objasnio logiku ponderiranja jednostavnim jezikom, a tim je ponderirao rezultate prema proporcijama stanovništva, što je rezultiralo reprezentativnijom slikom.
Četiri šablona za kopiranje
1) Kritika uzorka:
Univerzum mog istraživanja: [opis]. Moja metoda uzorkovanja je: [metoda]. Vaš zadatak: navedite koga bi ovaj uzorak mogao sistematski premalo ili previše predstavljati. Razmotrite greške izbora, odgovora i prisjećanja odvojeno. Dajte preporuku za ublažavanje za svaki rizik. Ne preuveličavajte moj nalaz; Iskreno pokažite granice.
2) Kontrola generalizacije:
Proučite ove rečenice za pronalaženje: [tekst]. Označite svaku preteranu generalizaciju. Prepišite izjave poput „svi/svi/mladi/žene” užom tvrdnjom koju podaci zapravo podržavaju. Na primjer, umjesto "mladi ljudi rade X", "Y% tinejdžera u ovom uzorku prijavilo je X." Označite svaku tvrdnju nesigurnog porijekla.
3) Snimanje AI pristranosti:
Dao sam vam sažetak ispod. Provjerite: da li su neki sudovi, pridjevi ili generalizacije koje ste dodali STVARNO prisutni u datom tekstu? Označite i uklonite sve izraze koji nisu u tekstu, ali dolaze iz vaših vlastitih obrazaca. Samo se držite onoga što piše u tekstu.
4) Odjeljak o ograničenjima nacrta:
Napišite nacrt odjeljka "Ograničenja" na osnovu sljedećih informacija o metodi: veličina uzorka [n], metoda [x], kontekst [y]. Objasnite kako svako ograničenje može uticati na nalaze. Ni preterivanje ni potcenjivanje; Budite uravnoteženi i iskreni. Potvrdiću svaku stavku.
Slaba prompt / Jaka prompt
Slab upit:
Prema rezultatima moje ankete, većina mladih ljudi ima ovo mišljenje. Napišite ovo jakom rečenicom.
Ovo proizvodi pretjeranu generalizaciju bez ikakvog ispitivanja uzorka. AI lako ulazi u tvrdnju koju podaci ne potvrđuju, kao što je "Mladi u Turskoj..."
Snažan upit:
Moj uzorak: 220 studenata osnovnih studija na jednom univerzitetu, onlajn anketa, dobrovoljno učešće. Želio bih da iznesem zaključak: 61% učesnika je izrazilo mišljenje X. Napišite ovo u akademskoj rečenici koja jasno navodi granice uzorka (zastupljenost, volontiranje). Ograničite generalizaciju na ovaj uzorak.
Razlika: druga rečenica proizvodi odbranjivu tvrdnju koju podaci zapravo podržavaju.
Metode uzorkovanja i reprezentativnost
Metoda
Kako to funkcionira
moć predstavljanja
Tipičan rizik
jednostavno nasumično
Jednake šanse za sve
visoko
trošak transporta
slojevito
Podijelite i odaberite u grupe
visoko
Greška u definiciji grupe
kvota
Grupne cijene punjenja
srednje
Pristrasnost unutar grupe
lako
Ne pitajte nikoga ko se može dobiti
nisko
Ozbiljna pristrasnost izbora
gruda snijega
Na prijedlog učesnika
nisko
Intramrežna sličnost
Uobičajene greške
- Uspostavljanje uzorka bez definiranja univerzuma. Zastupljenost se ne može procijeniti a da se ne zna na koga ćete generalizirati.
- Generaliziranje praktičnog uzorkovanja na cijelu populaciju. Najčešća greška; "ispitanici u anketi" su zbunjeni sa "svima".
- Nikada ne pitati ko je izostavljen. Svaka metoda nekoga kidnapuje; Tražite ovo svjesno.
- Ne primjećujući stereotip koji je dodala AI. Model može dodati stereotipe koji nisu prisutni u podacima.
- Skrivanje ograničenja. Skrivanje slabosti uzorka čini studiju krhkom, nepouzdanom.
Ukratko
Vrijednost nalaza je onolika koliko i reprezentativnost uzorka na kojem se zasniva. AI; je moćna pomoć u objašnjavanju metoda uzorkovanja, mapiranju ko je nedovoljno zastupljen, označavanju pretjeranih generalizacija i sastavljanju iskrenog odjeljka ograničenja. Ali čuvajte se dvije predrasude: pristrasnosti samih podataka i stereotipa koje nosi AI. Jasno definirajte svemir, pitajte ko je izostavljen, ograničite generalizaciju na uzorak i iskreno zapišite ograničenja.
Zadatak aplikacije
Opišite populaciju i metodu uzorkovanja za stvarnu ili hipotetičku studiju. Izdvoj ko bi mogao biti nedovoljno/previše zastupljen iz AI pomoću predloška „kritika uzorkovanja“ i identificirati najmanje tri izvora pristranosti. Zatim prevedite izjavu o pronalaženju u usku izjavu koju podaci zapravo podržavaju pomoću obrasca „provjere generalizacije“. Konačno, napišite iskren odjeljak o ograničenjima na pola stranice.
kontrolna lista
- [ ] Jasno sam definisao univerzum (na koga ću generalizovati).
- [ ] Procijenio sam reprezentativnost metode uzorkovanja.
- [ ] Naveo sam ko je sistematski izostavljen.
- [ ] Iznio sam nalaze ograničeno na uzorak i bez pretjerivanja.
- [ ] Uklonio sam stereotipe/generalizacije koje je dodala AI.