Voitot:
- Pystyy määrittelemään selkeästi maailmankaikkeuden ja arvioimaan otantamenetelmän edustavuutta ja kuka järjestelmällisesti suljetaan pois
- Kyky erottaa datan harha ja tekoälyn kantamat stereotypiat ja hallita molempia
- Kyky ilmaista otokseen rajoittuneita havaintoja liioittelematta ja kirjoittaa rehellinen rajoitusosio.
Yhteiskuntatutkimuksen keskeisin käsite on otanta – eli alaryhmä, jonka valitset, koska et voi tutkia koko sinua kiinnostavaa ryhmää (universumi/populaatio: kaikki ihmiset tai yksiköt, joista tutkimus haluaa puhua) yksitellen. Se, kenelle tutkimuksen tulokset voidaan yleistää (eli "päteekö tämä tulos vain näille henkilöille vai laajemmalle ryhmälle"), riippuu täysin otoksen edustavuudesta. Väärän tai puolueellisen näytteen tulos on väärä riippumatta siitä, kuinka hyvin se analysoidaan. Tässä osiossa opit käyttämään tekoälyä pohtimaan näytesuunnittelua, havaitsemaan harhaa – tiedon tai tulkinnan systemaattista ajautumista yhteen suuntaan ja ilmaisemaan rehellisesti yleistyksen rajoja.
Tässä on tarpeen erottaa kaksi ennakkoluulotyyppiä. Ensimmäinen on tietojen vinoutuma: otos yliedustaa yhtä ryhmää ja aliedustaa toista ryhmää (esim. ne, jotka voivat osallistua vain verkkokyselyyn, eli ne, joilla on internetyhteys). Toinen on tekoälyn oma harha: tekoäly kantaa sen tekstien kuvioita, joihin se on koulutettu, ja voi tuottaa stereotyyppisiä yleistyksiä sosiaalisesta ryhmästä. Hyvän yhteiskuntatutkijan on oltava valppaana molemmissa; AI voi auttaa sinua tunnistamaan molemmat tai se voi suurentaa molempia.
Askel askeleelta: mieti edustusta
1. Kuvaile maailmankaikkeutta. Kenelle haluat kertoa löydöstäsi? "Kaikki äänestäjät Türkiyessä" ja "nuoret äänestäjät Istanbulin naapurustossa" ovat hyvin erilaisia universumeja. Näytettä ei voida muodostaa kirjoittamatta tätä selkeästi.
2. Valitse näytteenottomenetelmä. Sellaiset menetelmät kuin satunnainen (kaikilla on yhtäläiset mahdollisuudet tulla valituiksi), kerrostuneisuus (universumin jakaminen ryhmiin ja valinta kustakin ryhmästä), lumipallo (yksi osallistuja suosittelee toista) antavat erilaiset esitysvoimat. Tekoäly voi selittää kunkin menetelmän edut ja haitat selkeällä kielellä.
3. Kysy kuka on jätetty ulkopuolelle. Jokainen näyte kaipaa jotakuta. Verkkokysely kaipaa niitä, joilla ei ole Internetiä, puhelinkysely kaipaa niitä, joilla ei ole lankapuhelinta, päivähaastattelu kaipaa työntekijöitä. Tekoäly tuottaa hyvän tarkistuslistan "ketä tämä menetelmä sulkee järjestelmällisesti pois?"
4. Karttaa harhan lähteet. Listaa lähteet, kuten valintaharha (kuka on valittu), vastausharha (kuka vastaa), muistutusharha (menneisyyden väärin muistaminen).
5. Kirjoita yleistysraja. Ilmaise havainto "nuoret tässä otoksessa", ei "kaikki teini". Tekoäly voi merkitä luonnokseesi liiallisia yleistyksiä.
Vinkki: Hyvää tutkimusraporttia vahvistaa, ei heikentää, "rajoitukset"-osio. Kirjoittaminen rehellisesti siitä, ketä otoksesi ei edusta, tekee tutkimuksestasi luotettavamman. Pyydä tekoälyä laatimaan tämä osio, mutta vahvista mahdolliset rajoitukset itse.
kolme minilaukkua
Tapaus 1 – Piilotettu valintaharha. Mittaakseen tyytyväisyyttä kunnan palveluihin yksi tiimi laittoi kyselyn kunnan verkkosivuille ja löysi 78 %:n tyytyväisyyden. Kun kysyin AI:lta "kuka tämä näyte puuttuu?", kävi ilmi, että segmentti, joka jo käyttää sivustoa (eli jolla on pääsy palveluun ja on luultavasti tyytyväisempi) on yliedustettu. Havainto korjattiin "78 % sivuston käyttäjistä".
Tapaus 2 – Tekoälyn stereotyyppi. Kun tutkija antoi tekoälylle yhteenvedon "maaseudun vanhusten näkemyksestä teknologiasta", tekoäly lisäsi stereotyyppisen kehyksen, jota ei tiedoissa ollut, kuten "vanhukset pelkäävät teknologiaa". Kun tutkija tajusi tämän ja sanoi "luottakaa vain kopiossa oleviin väitteisiin", havaittiin, että tiedoissa oli todella monenlaisia asenteita.
Tapaus 3 – Ositettu otantakorjaus. 500 ihmisen otoksessa naisia oli 30 % verrattuna 51 prosenttiin väestöstä. Tekoäly selitti painotuslogiikan selkeällä kielellä, ja tiimi painotti tulokset väestöosuuksien mukaan, jolloin saatiin edustavampi kuva.
Neljä kopioitavaa mallia
1) Otoksen kritiikki:
Tutkimukseni universumi: [kuvaus]. Otantamenetelmäni on: [method]. Tehtäväsi: luettele ketä tämä näyte saattaa systemaattisesti ali- tai yliedustaa. Harkitse valinta-, vastaus- ja palautusvirheitä erikseen. Anna jokaiselle riskille lievennyssuositus. Älä liioittele löytöäni; Näytä rajat rehellisesti.
2) Yleistyksen hallinta:
Tutki näitä hakulauseita: [teksti]. Merkitse jokainen yliyleistys. Kirjoita väitteet, kuten "kaikki/kaikki/nuoret/naiset" kapeampaan lauseeseen, jota tiedot todella tukevat. Esimerkiksi "nuoret tekevät X" sijasta "Y % tämän otoksen teinistä ilmoitti X". Merkitse kaikki väitteet, joiden alkuperä on epävarma.
3) AI bias -kaappaus:
Annoin sinulle yhteenvedon alla. Tarkista: esiintyykö annetussa tekstissä TODELLA lisäämiäsi tuomioita, adjektiiveja tai yleistyksiä? Merkitse ja poista ilmaukset, jotka eivät ole tekstissä, mutta tulevat omista kuvioistasi. Pysy vain siinä mitä tekstissä lukee.
4) Luonnosrajoituksia koskeva osio:
Kirjoita luonnos "Rajoitukset" seuraavien menetelmätietojen perusteella: otoskoko [n], menetelmä [x], konteksti [y]. Selitä, kuinka kukin rajoitus voi vaikuttaa havaintoihin. Ei liioittelua eikä aliarviointia; Ole tasapainoinen ja rehellinen. Vahvistan jokaisen kohteen.
Heikko kehote / Vahva kehote
Heikko kehote:
Kyselytulosteni mukaan suurin osa nuorista on tätä mieltä. Kirjoita tämä vahvalla lauseella.
Tämä tuottaa yliyleistämisen ilman, että näytettä koskaan kyseenalaistetaan. Tekoäly liukuu helposti väitteeseen, jonka tiedot eivät kestä, kuten "Nuoret Türkiyessä..."
Tehokas kehotus:
Oma otos: 220 perustutkinto-opiskelijaa yhdessä yliopistossa, verkkokysely, vapaaehtoinen osallistuminen. Haluaisin ilmaista havainnon: 61 % osallistujista ilmaisi mielipiteen X. Kirjoita tämä yksinkertaisella akateemisella lauseella, joka ilmaisee selvästi otoksen rajat (edustus, vapaaehtoistyön harha). Rajoita yleistys tähän otokseen.
Ero: toinen virke tuottaa puolustettavan väitteen, jota tiedot todella tukevat.
Otantamenetelmät ja edustavuus
menetelmä
Miten se toimii?
edustusvaltaa
Tyypillinen riski
yksinkertainen satunnainen
Kaikille yhtäläiset mahdollisuudet
korkea
kuljetuskustannukset
kerrostunut
Jaa ja valitse ryhmiin
korkea
Ryhmän määrittelyvirhe
kiintiö
Ryhmämaksujen täyttäminen
keskikokoinen
Ryhmän sisäinen harha
helppoa
Älä kysy keneltäkään, joka on tavoitettavissa
alhainen
Vakava valintaharha
lumipallo
Osallistujan ehdotuksesta
alhainen
Intraverkon samankaltaisuus
Yleisiä virheitä
- Otoksen muodostaminen määrittelemättä maailmankaikkeutta. Edustusta ei voi arvioida tietämättä kenelle yleistää.
- Mukavuusotosten yleistäminen koko väestölle. Yleisin virhe; "kyselyyn vastaajat" sekoitetaan "kaikkiin".
- Älä koskaan kysy, kuka jää ulkopuolelle. Jokainen menetelmä sieppaa jonkun; Etsi tämä tietoisesti.
- Tekoälyn lisäämää stereotypiaa ei huomaa. Malli saattaa lisätä stereotypioita, joita tiedoissa ei ole.
- Rajojen piilottaminen. Otoksen heikkouden piilottaminen tekee tutkimuksesta hauraan, ei luotettavan.
Yhteenvetona
Löydön arvo on yhtä suuri kuin sen otoksen edustavuus, johon se perustuu. AI; on tehokas apu otosmenetelmien selittämisessä, aliedustettujen kartoittamisessa, yliyleistysten merkitsemisessä ja rehellisen rajoitusosion laatimisessa. Mutta varokaa kahta harhaa: itse datan harhaa ja tekoälyn kantamia stereotypioita. Määrittele maailmankaikkeus selkeästi, kysy, kuka jätetään ulkopuolelle, rajoita yleistäminen otokseen ja kirjoita rajoitukset rehellisesti.
Sovellustehtävä
Kuvaa populaatio ja otantamenetelmä todellista tai hypoteettista tutkimusta varten. Poimi tekoälystä, kuka saattaa olla ali-/yliedustettu, "näytteenottokritiikki" -mallin avulla ja tunnista vähintään kolme harhalähdettä. Käännä sitten löytölause kapeaksi lauseeksi, jota tiedot todella tukevat "yleistystarkistus" -mallilla. Kirjoita lopuksi rehellinen puolen sivun rajoitusosio.
tarkistuslista
- [ ] Olen määritellyt selvästi maailmankaikkeuden (joille yleistän).
- [ ] Arvioin otantamenetelmän edustavuutta.
- [ ] Luettelin, ketkä jätettiin järjestelmällisesti ulkopuolelle.
- [ ] Ilmaisin havainnot otokseen rajoittuen ja liioittelematta.
- [ ] Poistin tekoälyn lisäämät stereotypiat/yleistykset.