zisky:
- Umět jasně definovat vesmír a vyhodnotit reprezentativnost metody vzorkování a kdo je systematicky vyloučen
- Schopnost rozlišovat mezi zkreslením v datech a stereotypy nesenými umělou inteligencí a ovládat obojí
- Schopnost vyjádřit zjištění omezená na vzorek, bez přehánění, a napsat čestnou sekci omezení.
Nejdůležitějším konceptem sociálního výzkumu je vzorek – tedy podskupina, kterou si vyberete, protože nemůžete zkoumat celou skupinu, která vás zajímá (vesmír/populaci: všechny lidi nebo jednotky, o kterých chce výzkum mluvit) jednu po druhé. Komu lze závěry studie zobecnit (tedy „zda tento výsledek platí pouze pro tyto osoby nebo pro širší skupinu“), závisí zcela na reprezentativnosti vzorku. Výsledek špatného nebo zkresleného vzorku je špatný, bez ohledu na to, jak dobře je analyzován. V této jednotce se naučíte, jak používat umělou inteligenci k přemýšlení o návrhu vzorků, odhalování zkreslení – systematického posunu dat nebo interpretace jedním směrem a čestného vyjádření mezí zobecnění.
Zde je nutné rozlišovat dva druhy předsudků. Prvním je zkreslení dat: vzorek nadměrně zastupuje jednu skupinu a nedostatečně zastupuje jinou skupinu (např. ty, kteří se mohou zúčastnit pouze online průzkumu, tedy ti, kteří mají přístup k internetu). Druhým je vlastní zaujatost AI: AI nese vzory textů, na kterých byla trénována, a může vytvářet stereotypní zobecnění o sociální skupině. Dobrý sociální výzkumník musí být ostražitý na obojí; Umělá inteligence vám může pomoci rozpoznat obojí, nebo obojí může zvětšit.
Krok za krokem: přemýšlet o reprezentaci
1. Popiš vesmír. Komu chcete o svém nálezu říct? „Všichni voliči v Türkiye“ a „mladí voliči ve čtvrti v Istanbulu“ jsou velmi odlišné světy. Bez jasného napsání nelze vytvořit vzorek.
2. Vyberte metodu vzorkování. Metody jako náhodné (každý má stejnou šanci být vybrán), stratifikované (rozdělení vesmíru do skupin a výběr z každé skupiny), sněhová koule (jeden účastník doporučující jiného) poskytují různé možnosti reprezentace. Umělá inteligence dokáže vysvětlit klady a zápory každé metody srozumitelným jazykem.
3. Zeptejte se, kdo je vynechán. Každé vzorkování někoho mine. Online průzkum postrádá ty, kteří nemají internet, telefonický průzkum postrádá ty, kteří nemají pevnou linku, denní pohovor postrádá zaměstnance. AI vytváří dobrý kontrolní seznam pro „koho tato metoda systematicky vylučuje?“
4. Mapové zdroje zkreslení. Uveďte zdroje, jako je výběrové zkreslení (kdo je vybrán), zkreslení odpovědi (kdo odpovídá), zkreslení vzpomínek (špatné zapamatování minulosti).
5. Napište limit zobecnění. Frázujte zjištění jako „mladí lidé v tomto vzorku“, nikoli „všichni dospívající“. Umělá inteligence může ve vašem návrhu označit přílišná zobecnění.
Tip: Dobrá výzkumná zpráva je posílena, nikoli oslabena, částí „omezení“. Upřímným psaním o tom, koho váš vzorek nereprezentuje, je vaše studie spolehlivější. Nechte si tuto sekci navrhnout AI, ale případná omezení si ověřte sami.
tři mini pouzdra
Případ 1 – Skryté zkreslení výběru. Pro měření spokojenosti se službami obce umístil jeden tým průzkum na webové stránky obce a zjistil 78% spokojenost. Když jsem se AI zeptal „komu chybí tento vzorek?“, ukázalo se, že segment, který již stránky používá (tedy má přístup ke službě a je pravděpodobně spokojenější), je zastoupen nadměrně. Zjištění bylo opraveno na „78 % mezi uživateli webu“.
Případ 2 – Stereotyp AI. Když výzkumník nechal AI shrnout „názor venkovských starších lidí na technologie“, AI přidala stereotypní rámec, který v datech nebyl, například „starší lidé se bojí technologií“. Když si to výzkumník uvědomil a řekl: „Stačí spoléhat na prohlášení v přepisu“, bylo vidět, že v datech skutečně existuje široká škála postojů.
Případ 3 – Stratifikovaná korekce vzorkování. Ve vzorku 500 lidí bylo žen 30 % oproti 51 % v populaci. AI vysvětlila logiku vážení srozumitelným jazykem a tým výsledky vážil podle proporcí populace, což vedlo k reprezentativnějšímu obrazu.
Čtyři kopírovatelné šablony
1) Kritika vzorku:
Vesmír mého výzkumu: [popis]. Moje metoda vzorkování je: [metoda]. Váš úkol: vyjmenujte, koho by tento vzorek mohl systematicky pod- nebo přehnaně reprezentovat. Zvažte chyby výběru, odezvy a odvolání samostatně. U každého rizika uveďte doporučení ke zmírnění. Nepřehánějte mé zjištění; Ukažte hranice upřímně.
2) Ovládání zobecnění:
Prozkoumejte tyto nálezové věty: [text]. Označte každou přílišnou generalizaci. Přepište prohlášení jako „všichni/všichni/mladí lidé/ženy“ na užší tvrzení, které data skutečně podporují. Například místo „mladí lidé dělají X“ „Y % dospívajících v tomto vzorku uvedlo X“. Označte jakýkoli nárok nejistého původu.
3) zachycení zkreslení AI:
Shrnutí jsem vám dal níže. Zkontrolujte: jsou v daném textu SKUTEČNĚ přítomny nějaké úsudky, přídavná jména nebo zobecnění, které jste přidali? Označte a odstraňte všechny výrazy, které nejsou v textu, ale pocházejí z vašich vlastních vzorů. Stačí se držet toho, co je v textu.
4) Sekce omezení konceptu:
Napište návrh části "Omezení" na základě následujících informací o metodě: velikost vzorku [n], metoda [x], kontext [y]. Vysvětlete, jak může každé omezení ovlivnit zjištění. Ani přehánění, ani podceňování; Buďte vyrovnaní a upřímní. Potvrdím každou položku.
Slabá výzva / Silná výzva
Slabá výzva:
Podle výsledků mého průzkumu má tento názor většina mladých lidí. Napište to silnou větou.
To vede k nadměrnému zobecnění, aniž by bylo třeba vzorek zpochybnit. Umělá inteligence snadno sklouzne k tvrzení, že data nenesou, jako například "Mladí lidé v Türkiye..."
Výkonná výzva:
Můj vzorek: 220 vysokoškoláků na jedné univerzitě, online průzkum, dobrovolná účast. Rád bych vyjádřil zjištění: 61 % účastníků vyjádřilo názor X. Napište to nekomplikovanou akademickou větou, která jasně stanoví limity vzorku (zastoupení, dobrovolnická zaujatost). Omezte zobecnění na tento vzorek.
Rozdíl: druhá věta vytváří obhajitelné tvrzení, které data skutečně podporují.
Metody vzorkování a reprezentativnost
Metoda
Jak to funguje
reprezentační moc
Typické riziko
jednoduchá náhoda
Stejná šance pro všechny
vysoká
náklady na dopravu
stratifikované
Rozdělte a vyberte do skupin
vysoká
Chyba definice skupiny
kvóta
Plnění skupinových sazeb
střední
Zaujatost ve skupině
snadné
Neptejte se nikoho, kdo je k zastižení
nízká
Silné výběrové zkreslení
sněhová koule
Podle návrhu účastníka
nízká
Podobnost intranetu
Časté chyby
- Vytvoření vzorku bez definování vesmíru. Reprezentaci nelze hodnotit, aniž byste věděli, na koho budete paušalizovat.
- Zobecnění výhodného vzorkování na celou populaci. Nejčastější chyba; „respondenti průzkumu“ jsou zaměňováni s „všichni“.
- Nikdy se neptejte, kdo je vynechán. Každá metoda někoho unese; Hledejte to vědomě.
- Nevšímat si stereotypu přidaného AI. Model může přidat stereotypy, které nejsou přítomny v datech.
- Skrytí omezení. Skrytí křehkosti vzorku činí studii křehkou a nespolehlivou.
V souhrnu
Hodnota nálezu je stejná jako reprezentativnost vzorku, na kterém je založen. AI; je mocnou pomůckou při vysvětlování metod vzorkování, zmapování toho, kdo je nedostatečně zastoupen, označování přehnaných zobecnění a vypracování poctivé sekce omezení. Dejte si ale pozor na dvě zkreslení: zkreslení samotných dat a stereotypy nesené AI. Jasně definujte vesmír, zeptejte se, kdo je vynechán, omezte zobecnění na vzorek a poctivě zapište omezení.
Aplikační úkol
Popište populaci a metodu výběru pro skutečnou nebo hypotetickou studii. Pomocí šablony „sampling critique“ vyberte, kdo by mohl být nedostatečně/nadměrně zastoupen z AI, a identifikujte alespoň tři zdroje zkreslení. Poté přeložte výrok nálezu do úzkého prohlášení, které data skutečně podporují pomocí vzoru „kontrola zobecnění“. Nakonec napište poctivou půlstránkovou sekci omezení.
kontrolní seznam
- [ ] Jasně jsem definoval vesmír (na koho to zobecním).
- [ ] Hodnotil jsem reprezentativnost vzorkovací metody.
- [ ] Vyjmenoval jsem, kdo byl systematicky vynechán.
- [ ] Poznatky jsem vyjádřil omezeně na vzorek a bez nadsázky.
- [ ] Odstranil jsem stereotypy/zobecnění, které AI přidala.