Kasu:
- Oskab selgelt määratleda universumit ja hinnata valimimeetodi esinduslikkust ning kes on süstemaatiliselt välistatud
- Oskus teha vahet andmete kallutatuse ja tehisintellekti kantud stereotüüpide vahel ning mõlemat juhtida
- Oskus väljendada liialdamata leiud, mis on piiratud valimiga, ja kirjutada aus piirangute osa.
Sotsiaaluuringute kõige olulisem kontseptsioon on valim, st alarühm, mille valite, kuna te ei saa ükshaaval uurida kogu teid huvitavat rühma (universum/populatsioon: kõik inimesed või üksused, millest uurimus soovib rääkida). Kellele saab uuringu tulemusi üldistada (ehk "kas see tulemus kehtib ainult nende inimeste või laiema rühma kohta"), sõltub täielikult valimi esinduslikkusest. Vale või kallutatud valimi tulemus on vale, olenemata sellest, kui hästi seda analüüsitakse. Selles õppetükis saate teada, kuidas kasutada tehisintellekti, et mõelda näidiskujundusele, tuvastada eelarvamusi – andmete või tõlgenduse süstemaatilist triivi ühes suunas ja väljendada ausalt üldistuse piire.
Siin on vaja eristada kahte tüüpi eelarvamusi. Esimene on andmete kallutatus: valim esindab ühte rühma üle ja alaesindab teist rühma (nt need, kes saavad osaleda ainult veebiküsitluses, st need, kellel on juurdepääs Internetile). Teine on AI enda eelarvamus: AI kannab endas koolitatud tekstide mustreid ja võib tekitada stereotüüpseid üldistusi sotsiaalse grupi kohta. Hea ühiskonnauurija peab olema mõlema suhtes tähelepanelik; AI võib aidata teil mõlemat ära tunda või mõlemat suurendada.
Samm-sammult: mõtlemine esindusele
1. Kirjelda universumit. Kellele soovite oma leiust rääkida? "Kõik valijad Türkiye linnas" ja "noored valijad Istanbuli naabruskonnas" on väga erinevad universumid. Näidist ei saa koostada ilma seda selgelt kirjutamata.
2. Valige proovivõtumeetod. Sellised meetodid nagu juhuslik (kõigil on võrdne võimalus saada valituks), stratifitseerimine (universumi jagamine rühmadesse ja valimine igast rühmast), lumepall (üks osaleja soovitab teist) annavad erineva esitusvõime. AI suudab iga meetodi plusse ja miinuseid lihtsas keeles selgitada.
3. Küsi, kes on välja jäetud. Iga proovivõtt igatseb kedagi. Veebiküsitlus igatseb neid, kellel pole Interneti-ühendust, telefoniküsitlus igatseb neid, kellel pole lauatelefoni, päevaintervjuu igatseb töötajaid. AI koostab hea kontrollnimekirja selle kohta, "keda see meetod süstemaatiliselt välistab?"
4. Kaardi kallutatuse allikad. Loetlege allikad, nagu valiku kallutatus (kes on valitud), vastuse kallutatus (kes vastab), meeldetuletus (mineviku valesti mäletamine).
5. Kirjutage üldistuspiir. Sõnastage leid "selles valimis olevad noored", mitte "kõik teismelised". AI võib teie mustandis märgistada üleüldistused.
Näpunäide: head uurimisaruannet tugevdab, mitte ei nõrgenda, jaotis "piirangud". Kui kirjutate ausalt selle kohta, keda teie valim ei esinda, muudab teie uuring usaldusväärsemaks. Laske tehisintellektil see jaotis koostada, kuid kinnitage kõik piirangud ise.
kolm minikarpi
Juhtum 1 – varjatud valiku kallutatus. Omavalitsuse teenustega rahulolu mõõtmiseks pani üks meeskond valla kodulehele küsitluse ja leidis 78% rahulolu. Kui küsisin tehisintellektist "kes see näidis puudub?", selgus, et segment, mis saiti juba kasutab (st omab juurdepääsu teenusele ja on ilmselt rahulolevam), on üleesindatud. Leid parandati väärtusele "78% saidi kasutajate seas".
Juhtum 2 – AI stereotüüp. Kui teadlane lasi tehisintellektil teha kokkuvõtte „maapiirkondade eakate inimeste nägemus tehnoloogiast”, lisas tehisintellekt stereotüüpse raami, mida andmetes ei olnud, näiteks „eakad inimesed kardavad tehnoloogiat”. Kui teadlane sellest aru sai ja ütles "toetuge lihtsalt ärakirjas olevatele väidetele", oli näha, et andmetes oli tegelikult väga erinevaid hoiakuid.
3. juhtum – kihilise valimi korrigeerimine. 500 inimesest koosnevas valimis oli naisi 30%, samas kui elanikkonnas oli neid 51%. Tehisintellekt selgitas lihtsas keeles kaalumisloogikat ja meeskond kaalus tulemusi rahvastiku proportsioonide järgi, mille tulemuseks oli esinduslikum pilt.
Neli kopeeritavat malli
1) Valimi kriitika:
Minu uurimistöö universum: [kirjeldus]. Minu proovivõtumeetod on: [meetod]. Teie ülesanne: loetlege, keda see valim võib süstemaatiliselt ala- või üleesindada. Kaaluge valiku-, reageerimis- ja meeldetuletusvigu eraldi. Andke iga riski jaoks maandamise soovitus. Ärge liialdage minu leidmisega; Näidake ausalt piire.
2) Üldistamise juhtimine:
Uurige neid leidlauseid: [tekst]. Märgi iga üleüldistused. Kirjutage sellised väited nagu "kõik/kõik/noored/naised" ümber kitsama väitega, mida andmed tegelikult toetavad. Näiteks "noored teevad X" asemel "Y% selles valimis olevatest teismelistest teatas X". Märgistage kõik ebakindla päritoluga väited.
3) AI kallutatuse püüdmine:
Andsin teile allpool kokkuvõtte. Kontrollige: kas antud tekstis esineb TÕESTI teie lisatud hinnanguid, omadussõnu või üldistusi? Märkige ja eemaldage kõik väljendid, mida tekstis pole, kuid mis pärinevad teie enda mustritest. Pidage lihtsalt sellest, mis tekstis on.
4) Eelnõu piirangute jaotis:
Kirjutage jaotise "Piirangud" mustand järgmise meetodi teabe põhjal: valimi suurus [n], meetod [x], kontekst [y]. Selgitage, kuidas iga piirang võib tulemusi mõjutada. Ei liialdust ega alahindamist; Ole tasakaalukas ja aus. Kinnitan iga üksuse.
Nõrk viip / Tugev viip
Nõrk viip:
Minu küsitluse tulemuste kohaselt on enamik noori sellel arvamusel. Kirjutage see tugeva lausega.
See tekitab üleüldistamist ilma valimit kahtluse alla seadmata. Tehisintellekt libiseb kergesti väitesse, mida andmed ei kanna, näiteks "Noored Türkiye..."
Võimas viip:
Minu valim: 220 bakalaureuseõppe üliõpilast ühes ülikoolis, veebiküsitlus, vabatahtlik osalemine. Tahaksin avaldada järeldust: 61% osalejatest avaldas arvamust X. Kirjutage see lihtsa akadeemilise lausega, mis toob selgelt välja valimi piirid (esindus, vabatahtlikkuse kallutatus). Piirata üldistus selle valimiga.
Erinevus: teine lause esitab kaitstud väite, mida andmed tegelikult toetavad.
Valimimeetodid ja esinduslikkus
meetod
Kuidas see toimib
esindusjõud
Tüüpiline risk
lihtne juhuslik
Kõigile võrdsed võimalused
kõrge
transpordikulu
kihistunud
Jagage ja valige rühmadesse
kõrge
Grupi määratluse viga
kvoot
Grupitariifide täitmine
keskmine
Grupisisene eelarvamus
lihtne
Ärge küsige kelleltki, keda saab kätte saada
madal
Valiku tõsine eelarvamus
lumepall
Osaleja soovitusel
madal
Sisevõrgu sarnasus
Levinud vead
- Valimi loomine ilma universumit määratlemata. Esindatust ei saa hinnata teadmata, kellele üldistada.
- Mugava valimi üldistamine kogu elanikkonnale. Kõige tavalisem viga; "küsitlusele vastajad" aetakse segi "kõikidega".
- Kunagi ei küsita, kes on kõrvale jäetud. Iga meetod röövib kellegi; Otsige seda teadlikult.
- Ei märka AI lisatud stereotüüpi. Mudel võib lisada stereotüüpe, mida andmetes ei esine.
- Piirangute varjamine. Valimi nõrkuse varjamine muudab uuringu hapraks, mitte usaldusväärseks.
Kokkuvõttes
Leiu väärtus on sama suur kui selle aluseks oleva valimi esinduslikkus. AI; on võimas abivahend valimimeetodite selgitamisel, alaesindatud isikute kaardistamisel, üleüldistuste märgistamisel ja ausa piirangute jaotise koostamisel. Kuid olge ettevaatlik kahe eelarvamuse eest: andmete enda kallutatus ja tehisintellekti kantud stereotüübid. Defineerige universum selgelt, küsige, kes on välja jäetud, piirake üldistamist valimiga ja kirjutage piirangud ausalt üles.
Rakenduse ülesanne
Kirjeldage reaalse või hüpoteetilise uuringu populatsiooni ja valimi moodustamise meetodit. Tõmmake tehisintellektist välja, kes võivad olla ala-/üleesindatud, malliga „proovi kriitika” ja tuvastage vähemalt kolm eelarvamuse allikat. Seejärel tõlkige leidmisavaldus kitsaks väiteks, mida andmed „üldistamise kontrolli” mustriga tegelikult toetavad. Lõpuks kirjutage aus poole lehekülje pikkune piirangute jaotis.
kontrollnimekiri
- [ ] Olen universumi selgelt määratlenud (kellele ma üldistan).
- [ ] Hindasin valimimeetodi esinduslikkust.
- [ ] Loetlesin, kes süstemaatiliselt välja jäeti.
- [ ] Väljendasin leiud piirdudes valimiga ja liialdamata.
- [ ] Eemaldasin AI lisatud stereotüübid/üldistused.