Ieguvumi:
- Spēja skaidri definēt Visumu un novērtēt izlases metodes reprezentativitāti un kas tiek sistemātiski izslēgts
- Spēja atšķirt neobjektivitāti datos un stereotipus, ko nes mākslīgais intelekts, un kontrolēt abus
- Spēja bez pārspīlējumiem izteikt tikai parauga konstatējumus un uzrakstīt godīgu ierobežojumu sadaļu.
Vissvarīgākais sociālo pētījumu jēdziens ir izlase, ti, apakšgrupa, kuru izvēlaties, jo nevarat pa vienam pārbaudīt visu jūs interesējošo grupu (visumu/populāciju: visus cilvēkus vai vienības, par kurām pētniecība vēlas runāt). Kam var vispārināt pētījuma rezultātus (t.i., "vai šis rezultāts ir derīgs tikai šiem cilvēkiem vai plašākai grupai"), ir pilnībā atkarīgs no izlases reprezentativitātes. Nepareiza vai neobjektīva parauga rezultāts ir nepareizs neatkarīgi no tā, cik labi tas tiek analizēts. Šajā nodaļā jūs uzzināsit, kā izmantot mākslīgo intelektu, lai domātu par parauga dizainu, atklātu novirzes — sistemātisku datu vai interpretācijas novirzi vienā virzienā un godīgi izteiktu vispārināšanas robežas.
Šeit ir jānošķir divu veidu aizspriedumi. Pirmā ir neobjektivitāte datos: izlase pārāk daudz pārstāv vienu grupu un nepietiekami pārstāv citu grupu (piemēram, tie, kuri var piedalīties tikai tiešsaistes aptaujā, t.i., tie, kuriem ir piekļuve internetam). Otrais ir paša AI neobjektivitāte: AI satur to tekstu modeļus, uz kuriem tas ir apmācīts, un var radīt stereotipiskus vispārinājumus par sociālo grupu. Labam sociālajam pētniekam ir jābūt modram pret abiem; AI var palīdzēt atpazīt abus vai palielināt abus.
Soli pa solim: domā par reprezentāciju
1. Aprakstiet Visumu. Kam vēlies pastāstīt par savu atradumu? "Visi vēlētāji Turkijā" un "jaunie vēlētāji Stambulas apkaimē" ir ļoti atšķirīgi visumi. Paraugu nevar izveidot, ja tas nav skaidri norādīts.
2. Izvēlieties paraugu ņemšanas metodi. Tādas metodes kā nejaušība (katram ir vienādas iespējas tikt atlasītam), stratificēta (visuma sadalīšana grupās un atlase no katras grupas), sniega bumba (viens dalībnieks iesaka citam) dod dažādas reprezentācijas spējas. AI var vienkāršā valodā izskaidrot katras metodes plusus un mīnusus.
3. Pajautājiet, kurš ir palicis malā. Katrai izlasei kāds palaiž garām. Tiešsaistes aptaujā trūkst tos, kuriem nav interneta, telefona aptaujā trūkst tos, kuriem nav fiksētā tālruņa, dienas intervijā trūkst darbinieku. AI izveido labu kontrolsarakstu “kuru šī metode sistemātiski izslēdz?”
4. Kartē neobjektivitātes avotus. Uzskaitiet avotus, piemēram, atlases novirzes (kurš ir izvēlēts), atbildes novirzes (kurš atbild), atsauces novirzes (nepareiza atcerēšanās pagātnē).
5. Uzrakstiet vispārināšanas robežu. Atklājumu formulējiet kā “jaunieši šajā izlasē”, nevis “visi pusaudži”. AI var atzīmēt pārmērīgus vispārinājumus jūsu melnrakstā.
Padoms. Labu pētījuma ziņojumu stiprina, nevis vājina sadaļa “Ierobežojumi”. Godīgi rakstot par to, ko jūsu izlase nepārstāv, jūsu pētījums kļūst uzticamāks. Lūdziet AI izstrādāt šo sadaļu, taču pats apstipriniet visus ierobežojumus.
trīs mini futrāļi
1. gadījums — slēptā atlases novirze. Lai novērtētu apmierinātību ar pašvaldības pakalpojumiem, viena komanda pašvaldības tīmekļa vietnē ievietoja aptauju un konstatēja 78% apmierinātību. Kad es jautāju AI "kuram trūkst šī parauga?", izrādījās, ka segments, kas jau izmanto vietni (tas ir, kuram ir piekļuve pakalpojumam un, iespējams, ir apmierinātāks), ir pārāk pārstāvēts. Atklājums tika labots uz “78% vietnes lietotāju vidū”.
2. gadījums — AI stereotips. Kad pētnieks lika AI apkopot “lauku veco cilvēku skatījumu uz tehnoloģijām”, AI pievienoja stereotipisku rāmi, kas datos nebija, piemēram, “vecāki cilvēki baidās no tehnoloģijām”. Kad pētnieks to saprata un teica "tikai paļaujieties uz stenogrammā esošajiem apgalvojumiem", bija redzams, ka datos patiesībā ir ļoti dažādas attieksmes.
3. gadījums — stratificētas izlases korekcija. 500 cilvēku izlasē sievietes bija 30%, salīdzinot ar 51% iedzīvotāju. AI izskaidroja svēršanas loģiku vienkāršā valodā, un komanda novērtēja rezultātus atbilstoši iedzīvotāju proporcijām, tādējādi iegūstot reprezentatīvāku attēlu.
Četras kopējamas veidnes
1) Parauga kritika:
Mana pētījuma visums: [apraksts]. Mana izlases metode ir: [metode]. Jūsu uzdevums: uzskaitiet, kurš šis paraugs varētu sistemātiski pārstāvēt nepietiekami vai pārāk daudz. Apsveriet izvēles, atbildes un atsaukšanas kļūdas atsevišķi. Sniedziet katra riska mazināšanas ieteikumu. Nepārspīlē manu atradumu; Godīgi parādiet robežas.
2) Vispārināšanas kontrole:
Pārbaudiet šos atrašanas teikumus: [teksts]. Atzīmējiet katru pārmērīgu vispārinājumu. Pārrakstiet tādus apgalvojumus kā “visi/visi/jaunieši/sievietes” ar šaurāku apgalvojumu, ko dati faktiski atbalsta. Piemēram, “jaunieši dara X” vietā “Y% pusaudžu šajā izlasē ziņoja par X”. Atzīmējiet jebkuru neskaidras izcelsmes pretenziju.
3) AI novirzes uztveršana:
Es jums sniedzu kopsavilkumu zemāk. Pārbaudiet: vai dotajā tekstā TIEŠĀM ir kādi spriedumi, īpašības vārdi vai vispārinājumi, ko pievienojāt? Atzīmējiet un noņemiet visus izteicienus, kas nav tekstā, bet nāk no jūsu modeļiem. Vienkārši pieturieties pie tā, kas ir tekstā.
4) Melnraksta ierobežojumu sadaļa:
Uzrakstiet sadaļas "Ierobežojumi" melnrakstu, pamatojoties uz šādas metodes informāciju: izlases lielums [n], metode [x], konteksts [y]. Paskaidrojiet, kā katrs ierobežojums var ietekmēt konstatējumus. Ne pārspīlējums, ne nenovērtēšana; Esiet līdzsvarots un godīgs. Es apstiprināšu katru preci.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Saskaņā ar manas aptaujas rezultātiem, lielākā daļa jauniešu ir šāds viedoklis. Uzrakstiet to stiprā teikumā.
Tas rada pārmērīgu vispārināšanu, nekad neapšaubot paraugu. AI viegli ieslīd apgalvojumā, ka dati nav pamatoti, piemēram, "Jaunieši Turkijā..."
Spēcīga uzvedne:
Mana izlase: 220 bakalaura studenti vienā universitātē, tiešsaistes aptauja, brīvprātīga dalība. Vēlos izteikt atziņu: 61% dalībnieku pauda viedokli X. Uzrakstiet to vienkāršā akadēmiskā teikumā, kas skaidri norāda izlases robežas (pārstāvība, brīvprātīgā darba aizspriedumi). Ierobežojiet vispārināšanu līdz šim paraugam.
Atšķirība: otrais teikums rada pamatotu apgalvojumu, ko dati faktiski atbalsta.
Izlases metodes un reprezentativitāte
Metode
Kā tas darbojas
pārstāvības spēks
Tipisks risks
vienkāršs nejaušs
Vienādas iespējas visiem
augsts
transporta izmaksas
stratificēts
Sadaliet un atlasiet grupās
augsts
Grupas definīcijas kļūda
kvota
Grupu likmju aizpildīšana
vidējs
Grupas neobjektivitāte
viegli
Nejautājiet nevienam, kas ir sasniedzams
zems
Smags atlases aizspriedums
sniega bumba
Pēc dalībnieka ieteikuma
zems
Iekšējā tīkla līdzība
Biežas kļūdas
- Izlases izveide, nedefinējot Visumu. Reprezentāciju nevar novērtēt, nezinot, uz ko jūs vispārināsit.
- Ērtas izlases vispārināšana visai populācijai. Visizplatītākā kļūda; "aptaujas respondenti" tiek sajaukti ar "visiem".
- Nekad nejautājot, kurš ir atstāts malā. Katra metode kādu nolaupa; Meklējiet to apzināti.
- Nepamanot AI pievienoto stereotipu. Modelis var pievienot stereotipus, kas nav datos.
- Ierobežojumu slēpšana. Izlases vājuma slēpšana padara pētījumu trauslu, nevis uzticamu.
Rezumējot
Atklājuma vērtība ir tikpat liela, cik reprezentatīvs ir paraugs, uz kuru tas ir balstīts. AI; ir spēcīgs palīglīdzeklis, lai izskaidrotu izlases metodes, kartētu, kurš ir nepietiekami pārstāvēts, atzīmētu pārmērīgus vispārinājumus un izstrādātu godīgu ierobežojumu sadaļu. Taču uzmanieties no diviem aizspriedumiem: pašu datu aizspriedumiem un AI izplatītajiem stereotipiem. Skaidri definējiet Visumu, jautājiet, kurš ir izlaists, ierobežojiet vispārināšanu tikai paraugā un godīgi pierakstiet ierobežojumus.
Lietojumprogrammas uzdevums
Aprakstiet populāciju un izlases metodi reālam vai hipotētiskam pētījumam. Izmantojot “izlases kritikas” veidni, izņemiet no AI, kuri varētu būt nepietiekami/pārāk pārstāvēti, un identificējiet vismaz trīs novirzes avotus. Pēc tam pārveidojiet konstatējumu šaurā paziņojumā, ko dati faktiski atbalsta, izmantojot “vispārināšanas pārbaudes” modeli. Visbeidzot uzrakstiet godīgu pusi lappuses ierobežojumu sadaļu.
kontrolsaraksts
- [ ] Esmu skaidri definējis Visumu (kam es vispārināšu).
- [ ] Novērtēju izlases metodes reprezentativitāti.
- [ ] Es uzskaitīju, kuri tika sistemātiski izlaisti.
- [ ] Atzinumus izteicu aprobežojoties ar izlasi un bez pārspīlējumiem.
- [ ] Es noņēmu AI pievienotos stereotipus/vispārinājumus.