Bias, representasjon og kulturell sensitivitet

Gevinster:

• Gjenkjenne med eksempler hvordan kulturell, kjønn og diagnostisk skjevhet i kunstig intelligens-modeller forårsaker skade i psykologisammenheng
• Evne til å implementere en skjevhetssjekk som tester utdata for ulike grupper, språk og kulturer
• Evne til å utvikle raske og verifiseringsteknikker som korrigerer vestlig-sentrert norm og stigmatiserende språk

Kunstig intelligens (AI) er ikke nøytral. En AI-modell lærer av en enorm haug med tekst på internett, og modellens «verdensbilde» er skjev av hvem sin stemme den inneholder mer og hvem sin stemme inneholder mindre. Denne forvrengningen kalles skjevhet. Bias i psykologi er ikke en vanlig teknisk feil; Det kan direkte påvirke en persons vurdering, diagnose og behandling. Et symptom kan leses som "normalt" i en kultur og "patologisk" i en annen; en atferd kan være innrammet som "sikkerhet" i det ene kjønn og "aggresjon" i det andre. AI kan lære og replikere disse historiske skjevhetene. I denne enheten vil du lære å gjenkjenne skjevheter i AI i sammenheng med psykologi og revidere resultatene for forskjellige grupper, språk og kulturer.

Hvor kommer fordommer fra og hvordan skader det?

Det er tre primære kilder til AI-bias:

1. Treningsdata ubalanse. Modeller trenes hovedsakelig med tekster fra et spesifikt språk, kultur og periode. Hovedtyngden av psykologilitteraturen kommer fra vestlige, utdannede, industrialiserte samfunn; derfor gjenspeiler AIs "normale menneskelige" antakelse denne smale prøven.
2. Inkludering av historisk skjevhet. Tekster som patologiserte og stigmatiserte visse grupper tidligere er også inkludert i dataene; modellen lærer disse mønstrene.
3. Mangel på representasjon. Modellen har enten utilstrekkelig eller stereotyp informasjon om underrepresenterte grupper (ulik etnisitet, språk, seksuell legning, funksjonshemming).

Skaden er påtakelig: AI kan vurdere et symptom som mer alvorlig i én gruppe og mildere enn i en annen; kan feilaktig betrakte et kulturelt uttrykk (sorgritual, religiøs opplevelse) som et symptom; Det kan produsere stigmatiserende, klisjéfylt språk.

Forsiktig: Selv om en utgang fra AI ser ut til å være "objektiv vitenskap", kan den bære skjevhetene den har lært. Spesielt når det gjelder ulike kulturer, kjønn, seksuell legning og sosioøkonomiske grupper, anser vi hvert utfall som "er dette rettferdig for alle grupper?" Filtrer med spørsmålet.

Typer skjevhet som er spesifikke for psykologi

Type skjevhet

Utsikt i psykologi

risiko

kulturell skjevhet

Vurderer vestlige normer som universelle

Ikke forveksle kulturuttrykk med patologi

kjønnsskjevhet

Å tolke samme oppførsel forskjellig avhengig av kjønn

diagnostisk ulikhet

diagnostisk skjevhet

Å fremstille visse grupper som "utsatte" for visse diagnoser

Over/under diagnose

språkskjevhet

Mer "dyktig" i det dominerende språket, overfladisk i det andre

Ulik vurdering

Stempling

Språk som identifiserer personen med sin diagnose

nedverdigende innramming

Trinn for trinn: skjevhetskontroll

1. Du kan endre utdata til "hvem ble det skrevet for?" spørsmål. Hvem er standardfaget? Han er generelt en utdannet, vestlig, "gjennomsnittlig" fyr.
2. Test med ulike grupper. Gjenta den samme oppfordringen i ulike kulturelle, kjønns- og alderskontekster; Endrer kommentarene seg?
3. Skann den stigmatiske tungen. Riktig formulering som identifiserer personen med sin diagnose ("person som opplever schizofreni" i stedet for "schizofren").
4. Legg til kulturell kontekst. Fortell AI den kulturelle/språklige konteksten til klienten og "ikke betrakt uttrykk som kan være normale i denne sammenhengen som patologi."
5. Ekspert- og samfunnsøyne. Hvis du er usikker på et kulturproblem, ta kontakt med en kollega som kjenner den kulturen.
6. La folk bestemme. Selv bias-sjekking er ikke overlatt til AI; Rettferdighetens endelige dom er din.

Tips: En praktisk måte å teste om en utgang er partisk: endre en enkelt egenskap (kjønn, kultur, alder) i ledeteksten og still det samme spørsmålet igjen. Hvis tolkningen endres "urettferdig" med denne endringen, er det skjevhet.

tre minisaker

Case 1 — Patologisering av kulturuttrykk. En profesjonell forteller AI at en klient fra en annen kultur "snakker med den avdøde" under sorgprosessen. AI rammer dette inn som "kan være et psykotisk symptom." Dette er imidlertid et vanlig og normalt uttrykk for sorg i klientens kultur. Eksperten avviser AIs produksjon fordi han kjenner den kulturelle konteksten. Noen som ikke kjente til konteksten kunne ta en alvorlig feilvurdering.

Case 2 – Kjønnsskjevhetstesting. En etterforsker gir samme saksoppsummering til AI to ganger; det endrer bare personens kjønn. I den "kvinnelige" versjonen legger AI vekt på "emosjonell ustabilitet", mens den i den "mannlige" versjonen rammer inn den samme oppførselen som en "stressrespons." Dette viser tydelig kjønnsskjevheten til modellen. Forskeren dokumenterer denne forskjellen og bruker utdataene med denne bevisstheten.

Case 3 – Korrigering av stigmatiserende språk. AI er en «syk grense», heter det i et rapportutkast. Spesialisten ser dette som et stigmatiserende språk som identifiserer personen med sin diagnose og oversetter den til et språk som fokuserer på personen, for eksempel «et individ med et definert borderline personlighetsmønster». En liten endring i språk gjør en stor forskjell for å beskytte klientens verdighet.

Kopierbare spørsmål og maler

Sjekk følgende tekst for skjevhet: flagg uttalelser som indikerer kulturell, kjønn, seksuell legning, alder eller sosioøkonomisk skjevhet. Vis også antakelsene som anser vestlige normer for å være universelle. Foreslå et mer rettferdig alternativ for hver. Tekst: [tekst]

Hjelp meg med å vurdere følgende situasjon, men klientens kulturelle kontekst er [kultur/språk]. I denne sammenhengen presentere uttrykk som kan være NORMALE som patologi; Hvis du er usikker på et kulturelt poeng, si "dette kan variere kulturelt, kontakt en ekspert." Status: [anonym status]

Oversett de stigmatiserende uttrykkene i denne teksten som identifiserer personen med sin diagnose (f.eks. "schizofren", "en grense") til et språk som sentrerer personen og bevarer deres verdighet. Ikke endre innholdet, bare menneskeliggjør språket. Tekst: [tekst]

Jeg vil vurdere følgende saksoppsummering to ganger: én gang emnet [funksjon A], den andre [funksjon B]. Er det en urettferdig forskjell mellom de to evalueringene, og i så fall skyldes det skjevhet? Compare.Abstract: [anonym abstrakt]

Svak forespørsel / Sterk forespørsel

Svak melding: "Er denne klientens oppførsel normal eller unormal?"

Denne meldingen spør ikke hvem "normal" er for; AI antar en vestlig-sentrisk, ukulturelt "normal" og kan patologisere kulturelle uttrykk.

Sterk oppfordring: "Denne klienten er i [kulturell/språklig kontekst]. Forklar om denne atferden kan være et normalt uttrykk i den kulturelle konteksten eller et tegn som krever oppmerksomhet, diskuter begge separat. Ikke foreta en endelig vurdering; minn meg på å rådføre meg med en ekspert som kjenner den kulturelle konteksten."

Denne oppfordringen setter konteksten i sentrum, forhindrer kulturell feillesing og overlater avgjørelsen til eksperten.

Vanlige feil

• Misforstå AI-utgang for "objektiv". Å glemme at modellen bærer skjevhet og akseptere resultatet som et vitenskapelig faktum.
• Vurderer den vestlige normen som universell. Å definere "normal" i henhold til en enkelt kultur og patologisere forskjellige uttrykk.
• Legger ikke merke til stigmatiserende språk. Ta feil av språket som identifiserer personen med sin diagnose som "teknisk språk".
• Tester ikke for skjevhet. Ikke prøver den samme ledeteksten med forskjellige grupper og sjekker konsistens.
• Å ta avgjørelser alene i en kultur du ikke kjenner. Å gjøre en vurdering uten å konsultere en kollega som kjenner den kulturen.

Oppsummert

AI er partisk fordi den lærer av tekstene til en partisk verden; I psykologi oversetter denne skjevheten seg til konkrete skader i form av kulturell, kjønn, diagnostikk, språk og stigma. Sammenlign hver utgang med spørsmålet "er dette rettferdig for alle grupper?" sil det; test den samme ledeteksten med forskjellige grupper; legg til kulturell kontekst til spørsmålet ditt; endre stigmatiserende språk til personsentrert språk; Søk ekspert-/samfunnsøyne på en kultur du ikke er kjent med. Rettferdighetsdom, inkludert kontroll av skjevhet, kommer fra mennesket.

Søknadsoppgave

Utarbeid et saksoppsummering (anonym). Gi det til AI to ganger; endre bare én egenskap (kjønn, kultur eller alder). Plasser de to utskriftene side ved side og undersøk for urettferdige forskjeller. Få også AI til å oversette stigmatiserende fraser i et rapportavsnitt til personsentrert språk og merke forskjellen.

sjekkliste

• [ ] Endre utgangen til "er dette rettferdig for alle grupper?" Jeg stilte spørsmålet.
• [ ] Jeg testet den samme prompten med forskjellige grupper/kulturer.
• [ ] Jeg la til den kulturelle konteksten til ledeteksten; Jeg patologiserte ikke kulturelle uttrykk.
• [ ] Jeg endret det stigmatiserende språket til personsentrert språk.
• [ ] Jeg søkte råd fra en ekspert/kollega om et kulturproblem jeg ikke var kjent med.
• [ ] Jeg overlot den endelige avgjørelsen om rettferdighet til min egen vurdering, ikke AI.