Gevinster:
- Å kunne klart definere universet og vurdere representativiteten til prøvetakingsmetoden og hvem som systematisk ekskluderes
- Evne til å skille mellom skjevheter i data og stereotypier båret av kunstig intelligens og kontrollere begge
- Evne til å uttrykke funn begrenset til et utvalg, uten overdrivelse, og skrive en ærlig begrensningsdel.
Det mest avgjørende konseptet for samfunnsforskning er utvalget — det vil si undergruppen du velger fordi du ikke kan undersøke hele gruppen du er interessert i (universet/befolkningen: alle personene eller enhetene som forskningen ønsker å snakke om) én etter én. Hvem funnene i en studie kan generaliseres til (dvs. "om dette resultatet er gyldig bare for disse personene eller for en bredere gruppe") avhenger helt av utvalgets representativitet. Resultatet av en feil eller partisk prøve er feil, uansett hvor godt den er analysert. I denne enheten vil du lære hvordan du bruker AI til å tenke på prøvedesign, oppdage skjevheter - systematisk drift av data eller tolkning i én retning, og ærlig uttrykke grensene for generalisering.
Det er nødvendig å skille mellom to typer fordommer her. Den første er skjevhet i dataene: utvalget overrepresenterer én gruppe og underrepresenterer en annen gruppe (f.eks. de som bare kan delta i nettundersøkelsen, dvs. de med internettilgang). Den andre er AIs egen skjevhet: AI bærer mønstrene til tekstene den har blitt trent på og kan produsere stereotype generaliseringer om en sosial gruppe. En god samfunnsforsker må være oppmerksom på begge deler; AI kan hjelpe deg med å gjenkjenne begge, eller den kan forstørre begge.
Steg for steg: tenke på representasjon
1. Beskriv universet. Hvem vil du fortelle om funnet? «Alle velgere i Türkiye» og «unge velgere i et nabolag i Istanbul» er svært forskjellige universer. En prøve kan ikke etableres uten å skrive dette tydelig.
2. Velg prøvetakingsmetoden. Metoder som tilfeldig (alle har like stor sjanse til å bli valgt), stratifisert (dele universet i grupper og velge fra hver gruppe), snøball (en deltaker anbefaler en annen) gir ulike representasjonsevner. AI kan forklare fordeler og ulemper ved hver metode i klartekst.
3. Spør hvem som er utelatt. Hver prøvetaking savner noen. Online undersøkelse savner de uten internett, telefonundersøkelsen savner de uten fasttelefon, dagintervju savner ansatte. AI produserer en god sjekkliste for "hvem ekskluderer denne metoden systematisk?"
4. Kartlegge kilder til skjevhet. List opp kilder som seleksjonsskjevhet (hvem er valgt), svarskjevhet (hvem svarer), gjenkallingsskjevhet (husker feil fortiden).
5. Skriv generaliseringsgrensen. Fraser funnet som «unge mennesker i denne prøven», ikke «alle tenåringer». AI kan flagge overgeneraliseringer i utkastet ditt.
Tips: En god forskningsrapport styrkes, ikke svekkes, av avsnittet «begrensninger». Å skrive ærlig om hvem utvalget ditt ikke representerer gjør studien mer pålitelig. Få AI-utkastet til denne delen, men bekreft eventuelle begrensninger selv.
tre minisaker
Tilfelle 1 — Skjult utvalgsskjevhet. For å måle tilfredshet med en kommunes tjenester la ett team en spørreundersøkelse på kommunens hjemmeside og fant 78 % tilfredshet. Da jeg spurte AI «hvem mangler denne prøven?», viste det seg at segmentet som allerede bruker siden (det vil si har tilgang til tjenesten og sannsynligvis er mer fornøyd) er overrepresentert. Funnet ble korrigert til "78 % blant brukerne av nettstedet."
Tilfelle 2 — Stereotype av AI. Når en forsker fikk AI til å oppsummere «eldre på landets syn på teknologi», la AI til en stereotyp ramme som ikke var i dataene, for eksempel «eldre mennesker er redde for teknologi». Da forskeren innså dette og sa «bare stol på utsagnene i transkripsjonen», så man at det faktisk var en lang rekke holdninger i dataene.
Tilfelle 3 — Stratifisert prøvetakingskorreksjon. I et utvalg på 500 personer var kvinner 30 %, mot 51 % i befolkningen. AI forklarte vektingslogikken i klartekst, og teamet vektet resultatene i henhold til populasjonsproporsjonene, noe som resulterte i et mer representativt bilde.
Fire kopierbare maler
1) Kritikk av utvalget:
Universet til min forskning: [beskrivelse]. Min prøvetakingsmetode er: [metode]. Din oppgave: liste opp hvem denne prøven systematisk kan under- eller overrepresentere. Vurder valg-, svar- og tilbakekallingsfeil separat. Gi en reduksjonsanbefaling for hver risiko. Ikke overdriv mitt funn; Vis grenser ærlig.
2) Generaliseringskontroll:
Undersøk disse funnsetningene: [tekst]. Merk hver overgeneralisering. Omskriv utsagn som «alle/alle/unge/kvinner» med et smalere utsagn som dataene faktisk støtter. For eksempel, i stedet for «unge mennesker gjør X», rapporterte «Y % av tenåringer i dette utvalget X». Flagg ethvert krav med usikker opprinnelse.
3) AI-biasfangst:
Jeg ga deg oppsummeringen nedenfor. Sjekk: er noen vurderinger, adjektiver eller generaliseringer du la til VIRKELIG til stede i den gitte teksten? Merk og fjern eventuelle uttrykk som ikke er i teksten, men som kommer fra dine egne mønstre. Bare hold deg til det som står i teksten.
4) Utkastsbegrensninger:
Skriv et utkast til "Begrensninger"-delen basert på følgende metodeinformasjon: prøvestørrelse [n], metode [x], kontekst [y]. Forklar hvordan hver begrensning kan påvirke funnene. Verken overdrivelse eller undervurdering; Vær balansert og ærlig. Jeg vil bekrefte hvert element.
Svak forespørsel / Sterk forespørsel
Svak melding:
I følge mine undersøkelsesresultater har de fleste unge denne oppfatningen. Skriv dette i en sterk setning.
Dette gir overgeneralisering uten noen gang å stille spørsmål ved utvalget. AI glir lett inn i en påstand som dataene ikke bærer, for eksempel "Unge mennesker i Türkiye..."
Kraftig ledetekst:
Mitt utvalg: 220 studenter ved ett enkelt universitet, nettundersøkelse, frivillig deltakelse. Jeg vil gjerne uttrykke et funn: 61 % av deltakerne ga uttrykk for mening X. Skriv dette i en akademisk setning uten frills som tydelig angir grensene for utvalget (representasjon, frivillighetsskjevhet). Begrens generalisering til dette utvalget.
Forskjellen: den andre setningen produserer en forsvarlig påstand som dataene faktisk støtter.
Prøvetakingsmetoder og representativitet
Metode
Hvordan fungerer det
representasjonskraft
Typisk risiko
enkelt tilfeldig
Lik sjanse for alle
høy
transportkostnad
stratifisert
Del og velg i grupper
høy
Gruppedefinisjonsfeil
kvote
Fylle gruppepriser
medium
Bias i gruppen
enkelt
Ikke spør noen som kan nås
lav
Alvorlig seleksjonsskjevhet
snøball
Etter forslag fra deltaker
lav
Intranettverk likhet
Vanlige feil
- Etablere en prøve uten å definere universet. Representasjon kan ikke evalueres uten å vite hvem du vil generalisere til.
- Generalisering av bekvemmelighetsprøvetaking til hele befolkningen. Den vanligste feilen; «respondenter i undersøkelsen» forveksles med «alle».
- Spør aldri hvem som er utelatt. Hver metode kidnapper noen; Se etter dette bevisst.
- Legger ikke merke til stereotypen lagt til av AI. Modellen kan legge til stereotypier som ikke er tilstede i dataene.
- Skjuler begrensninger. Å skjule sårbarheten til prøven gjør studien skjør, ikke pålitelig.
Oppsummert
Verdien av et funn er like mye som representativiteten til utvalget det er basert på. AI; er et kraftig hjelpemiddel for å forklare prøvetakingsmetoder, kartlegge hvem som er underrepresentert, flagge overgeneraliseringer og utarbeide en ærlig begrensningsdel. Men pass deg for to skjevheter: skjevheten til selve dataene og stereotypene som bæres av AI. Definer universet klart, spør hvem som er utelatt, begrens generalisering til prøven, og skriv ned begrensninger ærlig.
Søknadsoppgave
Beskriv populasjonen og prøvetakingsmetoden for en reell eller hypotetisk studie. Trekk ut hvem som kan være under-/overrepresentert fra AI-en med "sampling-kritikk"-malen og identifiser minst tre kilder til skjevhet. Oversett deretter en funnsetning til en smal setning som dataene faktisk støtter med "generaliseringssjekk"-mønsteret. Til slutt, skriv en ærlig halvsides begrensningsseksjon.
sjekkliste
- [ ] Jeg har klart definert universet (som jeg vil generalisere til).
- [ ] Jeg evaluerte representativiteten til prøvetakingsmetoden.
- [ ] Jeg listet opp hvem som systematisk ble utelatt.
- [ ] Jeg uttrykte funnene begrenset til utvalget og uten overdrivelse.
- [ ] Jeg fjernet stereotypiene/generaliseringene som AI la til.