Dobici:
- Biti u stanju jasno definirati svemir i procijeniti reprezentativnost metode uzorkovanja i tko je sustavno isključen
- Sposobnost razlikovanja između pristranosti u podacima i stereotipa koje nosi umjetna inteligencija i kontrole obojega
- Sposobnost izražavanja nalaza ograničenih na uzorak, bez pretjerivanja, i pisanje iskrenog odjeljka o ograničenjima.
Najvažniji koncept društvenog istraživanja je uzorak — to jest, podskupina koju odaberete jer ne možete ispitati jednu po jednu cijelu grupu koja vas zanima (svemir/populacija: svi ljudi ili jedinice o kojima istraživanje želi govoriti). Na koga se rezultati istraživanja mogu generalizirati (odnosno, "vrijedi li ovaj rezultat samo za te osobe ili za širu skupinu") ovisi u potpunosti o reprezentativnosti uzorka. Rezultat pogrešnog ili pristranog uzorka je pogrešan, bez obzira na to koliko je dobro analiziran. U ovoj ćete jedinici naučiti kako koristiti umjetnu inteligenciju za razmišljanje o dizajnu uzorka, otkrivanje pristranosti — sustavno pomicanje podataka ili interpretacije u jednom smjeru i iskreno izražavanje granica generalizacije.
Ovdje je potrebno razlikovati dvije vrste predrasuda. Prvi je pristranost u podacima: uzorak prezastupa jednu skupinu, a podzastupa drugu skupinu (npr. one koji mogu sudjelovati samo u online anketi, tj. one s pristupom internetu). Druga je vlastita pristranost umjetne inteligencije: umjetna inteligencija nosi obrasce tekstova na kojima je obučena i može proizvesti stereotipne generalizacije o društvenoj skupini. Dobar društveni istraživač mora biti svjestan obojega; Umjetna inteligencija vam može pomoći da prepoznate oboje, ili može oboje povećati.
Korak po korak: razmišljanje o reprezentaciji
1. Opišite svemir. Kome želite reći o svom pronalasku? "Svi glasači u Turskoj" i "mladi glasači u susjedstvu u Istanbulu" vrlo su različiti svemiri. Uzorak se ne može uspostaviti bez jasnog pisanja.
2. Odaberite metodu uzorkovanja. Metode kao što su nasumična (svatko ima jednaku šansu da bude odabran), stratificirana (podjela svemira u grupe i odabir iz svake grupe), grudva snijega (jedan sudionik preporučuje drugoga) daju različite moći predstavljanja. AI može objasniti prednosti i nedostatke svake metode jednostavnim jezikom.
3. Pitajte tko je izostavljen. Svakom uzorkovanju netko nedostaje. Online anketa propušta one bez interneta, telefonska anketa propušta one bez fiksne mreže, dnevni intervju propušta zaposlenike. AI proizvodi dobar kontrolni popis za "koga ova metoda sustavno isključuje?"
4. Mapirajte izvore pristranosti. Navedite izvore kao što su pristranost odabira (tko je izabran), pristranost odgovora (tko odgovara), pristranost prisjećanja (pogrešno sjećanje prošlosti).
5. Napišite granicu generalizacije. Nalaz izrazite kao "mladi ljudi u ovom uzorku", a ne "svi tinejdžeri". AI može označiti pretjerane generalizacije u vašem nacrtu.
Savjet: Dobro izvješće o istraživanju ojačano je, a ne oslabljeno, dijelom "ograničenja". Iskreno pisanje o tome koga vaš uzorak ne predstavlja čini vašu studiju pouzdanijom. Neka AI izradi nacrt ovog odjeljka, ali sami potvrdite sva ograničenja.
tri mini kućišta
Slučaj 1 — Skrivena pristranost odabira. Kako bi izmjerili zadovoljstvo uslugama općine, jedan je tim postavio anketu na web stranicu općine i utvrdio da je zadovoljstvo 78%. Kada sam pitao AI "tko nedostaje ovom uzorku?", pokazalo se da je segment koji već koristi stranicu (odnosno, ima pristup usluzi i vjerojatno je zadovoljniji) prezastupljen. Nalaz je ispravljen na "78% među korisnicima stranice."
Slučaj 2 — Stereotip umjetne inteligencije. Kada je istraživač tražio od umjetne inteligencije da sažme "pogled ruralnih starijih ljudi na tehnologiju", umjetna inteligencija je dodala stereotipni okvir koji nije bio u podacima, poput "stariji ljudi se boje tehnologije". Kada je istraživač to shvatio i rekao "samo se oslonite na izjave u transkriptu", vidjelo se da zapravo postoji velika raznolikost stavova u podacima.
Slučaj 3 — Ispravak stratificiranog uzorkovanja. U uzorku od 500 ljudi žena je bilo 30%, u odnosu na 51% u populaciji. AI je objasnio logiku ponderiranja jednostavnim jezikom, a tim je ponderirao rezultate prema udjelima stanovništva, što je rezultiralo reprezentativnijom slikom.
Četiri predloška za kopiranje
1) Kritika uzorka:
Svemir mog istraživanja: [opis]. Moja metoda uzorkovanja je: [metoda]. Vaš zadatak: navedite koga bi ovaj uzorak mogao sustavno nedovoljno ili pretjerano predstavljati. Odvojeno razmotrite pogreške izbora, odgovora i prisjećanja. Dajte preporuku za ublažavanje svakog rizika. Nemojte preuveličavati moj nalaz; Iskreno pokažite granice.
2) Generalizacijska kontrola:
Ispitajte ove pronalazne rečenice: [tekst]. Označite svaku pretjeranu generalizaciju. Prepišite izjave poput "svi/svi/mladi ljudi/žene" s užom izjavom koju podaci zapravo podržavaju. Na primjer, umjesto "mladi ljudi rade X", "Y% tinejdžera u ovom uzorku prijavilo je X." Označite svaku tvrdnju nesigurnog podrijetla.
3) AI hvatanje pristranosti:
Dao sam vam sažetak u nastavku. Provjerite: jesu li neki sudovi, pridjevi ili generalizacije koje ste dodali STVARNO prisutni u navedenom tekstu? Označite i uklonite sve izraze koji nisu u tekstu, ali dolaze iz vaših vlastitih obrazaca. Samo se držite onoga što piše u tekstu.
4) Odjeljak ograničenja nacrta:
Napišite nacrt odjeljka "Ograničenja" na temelju sljedećih informacija o metodi: veličina uzorka [n], metoda [x], kontekst [y]. Objasnite kako svako ograničenje može utjecati na nalaze. Ni pretjerivanje ni podcjenjivanje; Budite uravnoteženi i pošteni. Potvrdit ću svaku stavku.
Slab upit / Jak upit
Slab upit:
Prema rezultatima moje ankete, većina mladih je takvog mišljenja. Napiši ovo snažnom rečenicom.
To dovodi do pretjerane generalizacije bez ikakvog propitivanja uzorka. AI lako sklizne u tvrdnju koju podaci ne nose, poput "Mladi ljudi u Turskoj..."
Snažan upit:
Moj uzorak: 220 studenata preddiplomskog studija na jednom sveučilištu, online anketa, dobrovoljno sudjelovanje. Želio bih izraziti nalaz: 61% sudionika izrazilo je mišljenje X. Napišite to jednostavnom akademskom rečenicom koja jasno navodi granice uzorka (zastupljenost, pristranost volontiranja). Ograničite generalizaciju na ovaj uzorak.
Razlika: druga rečenica proizvodi obranjivu tvrdnju koju podaci zapravo podupiru.
Metode uzorkovanja i reprezentativnost
metoda
Kako radi
moć predstavljanja
Tipičan rizik
jednostavno slučajno
Jednaka šansa za sve
visoka
trošak prijevoza
stratificiran
Podijelite i odaberite u grupe
visoka
Pogreška u definiranju grupe
kvota
Popunjavanje grupnih cijena
srednji
Pristranost unutar grupe
lagano
Ne pitajte nikoga do koga možete doći
nizak
Teška pristranost odabira
gruda snijega
Po prijedlogu sudionika
nizak
Sličnost unutar mreže
Uobičajene greške
- Uspostavljanje uzorka bez definiranja svemira. Zastupljenost se ne može ocjenjivati bez znanja na koga ćete generalizirati.
- Generaliziranje praktičnog uzorkovanja na cjelokupnu populaciju. Najčešća greška; "ispitanici u anketi" se brkaju sa "svima".
- Nikad se ne pita tko je izostavljen. Svaka metoda nekoga otme; Tražite ovo svjesno.
- Ne primjećujući stereotip koji je dodao AI. Model može dodati stereotipe koji nisu prisutni u podacima.
- Skrivanje ograničenja. Skrivanje krhkosti uzorka čini studiju krhkom, a ne pouzdanom.
Ukratko
Vrijednost nalaza je onolika kolika je reprezentativnost uzorka na kojem se temelji. AI; moćna je pomoć u objašnjavanju metoda uzorkovanja, mapiranju tko je podzastupljen, označavanju pretjeranih generalizacija i izradi iskrenog odjeljka o ograničenjima. Ali pazite na dvije pristranosti: pristranost samih podataka i stereotipe koje nosi AI. Jasno definirajte svemir, pitajte tko je izostavljen, ograničite generalizaciju na uzorak i iskreno zapišite ograničenja.
Zadatak aplikacije
Opišite populaciju i metodu uzorkovanja za stvarnu ili hipotetsku studiju. Izdvojite tko bi mogao biti premalo/više zastupljen u AI-u pomoću predloška "kritika uzorkovanja" i identificirajte najmanje tri izvora pristranosti. Zatim prevedite izjavu o nalazu u usku izjavu koju podaci zapravo podržavaju pomoću obrasca "provjere generalizacije". Na kraju, napišite pošten odjeljak o ograničenjima na pola stranice.
popis za provjeru
- [ ] Jasno sam definirao svemir (na koga ću generalizirati).
- [ ] Ocijenio sam reprezentativnost metode uzorkovanja.
- [ ] Nabrojao sam tko je sustavno izostavljan.
- [ ] Iznio sam nalaze ograničene na uzorak i bez pretjerivanja.
- [ ] Uklonio sam stereotipe/generalizacije koje je dodala umjetna inteligencija.