Vinster:
- Erkänn med exempel hur kulturell, kön och diagnostisk fördom i modeller för artificiell intelligens orsakar skada i psykologisammanhang
- Förmåga att implementera en bias check som testar output för olika grupper, språk och kulturer
- Förmåga att utveckla snabba och verifieringstekniker som korrigerar västerländska normer och stigmatiserande språk
Artificiell intelligens (AI) är inte neutral. En AI-modell lär sig av en enorm hög med text på internet, och modellens "världsbild" är skev av vems röst den innehåller mer och vems röst som innehåller mindre. Denna förvrängning kallas bias. Bias i psykologi är inte en vanlig teknisk brist; Det kan direkt påverka en persons bedömning, diagnos och behandling. Ett symptom kan läsas som "normalt" i en kultur och "patologiskt" i en annan; ett beteende kan ramas in som "hävdelse" hos det ena könet och "aggression" hos det andra. AI kan lära sig och replikera dessa historiska fördomar. I den här enheten kommer du att lära dig att känna igen partiskhet i AI i psykologisammanhang och granska resultatet för olika grupper, språk och kulturer.
Var kommer fördomar ifrån och hur skadar det?
Det finns tre primära källor till AI-bias:
- Obalans i träningsdata. Modeller tränas huvudsakligen med texter av ett specifikt språk, kultur och period. Huvuddelen av psykologilitteraturen kommer från västerländska, utbildade, industrialiserade samhällen; därför återspeglar AI:s "normala mänskliga" antagande detta smala urval.
- Inkludering av historisk fördom. Texter som patologiserat och stigmatiserat vissa grupper tidigare ingår också i underlaget; modellen lär sig dessa mönster.
- Brist på representation. Modellen har antingen otillräcklig eller stereotyp information om underrepresenterade grupper (olik etnicitet, språk, sexuell läggning, funktionsnedsättning).
Skadan är påtaglig: AI kan utvärdera ett symptom som allvarligare i en grupp och mildare än i en annan; kan felaktigt betrakta ett kulturellt uttryck (sorgritual, religiös upplevelse) som ett symptom; Det kan producera stigmatiserande, klichéfyllt språk.
Varning: Även om en utdata från AI verkar vara "objektiv vetenskap", kan den bära på de fördomar den har lärt sig. Särskilt när det kommer till olika kulturer, kön, sexuell läggning och socioekonomiska grupper, betraktar vi varje resultat som "är detta rättvist för alla grupper?" Filtrera med frågan.
Typer av fördomar som är specifika för psykologi
Typ av partiskhet
Utsikt i psykologi
risk
kulturell fördom
Att betrakta västerländska normer som universella
Misstag inte kulturella uttryck för patologi
könsfördom
Att tolka samma beteende olika beroende på kön
diagnostisk skillnad
diagnostisk bias
Att framställa vissa grupper som "benägna" för vissa diagnoser
Över/underdiagnos
språkfördom
Mer "kunnig" i det dominerande språket, ytlig i det andra
Ojämlik bedömning
Stämpling
Språk som identifierar personen med sin diagnos
förnedrande inramning
Steg för steg: bias control
- Du kan ändra utdata till "vem skrevs det för?" fråga. Vem är standardämnet? Han är i allmänhet en utbildad, västerländsk, "genomsnittlig" kille.
- Testa med olika grupper. Upprepa samma uppmaning i olika kulturella, köns- och ålderssammanhang; Förändras kommentarerna?
- Skanna den stigmatiska tungan. Korrekt formulering som identifierar personen med sin diagnos ("person som upplever schizofreni" istället för "schizofreni").
- Lägg till kulturell kontext. Berätta för AI det kulturella/språkliga sammanhanget för klienten och "anse inte uttryck som kan vara normala i detta sammanhang som patologi."
- Expert- och samhällsögon. Om du är osäker på en kulturfråga, rådfråga en kollega som kan den kulturen.
- Låt folk bestämma. Inte ens biaskontroll överlåts åt AI; Rättvisans slutgiltiga dom är din.
Tips: Ett praktiskt sätt att testa om en utdata är partisk: ändra ett enskilt attribut (kön, kultur, ålder) i prompten och ställ samma fråga igen. Om tolkningen ändras "orättvist" med denna förändring, finns det partiskhet.
tre minifodral
Fall 1 — Patologisering av kulturella uttryck. En professionell berättar för AI att en klient från en annan kultur "pratar med den avlidne" under sorgprocessen. AI ramar in detta som "kan vara ett psykotiskt symptom." Detta är dock ett vanligt och normalt uttryck för sorg i den klientens kultur. Experten avvisar AI:s produktion eftersom han känner till det kulturella sammanhanget. Någon som inte kände till sammanhanget kan göra en allvarlig felbedömning.
Fall 2 – Testning av genusbias. En utredare ger samma fallsammanfattning till AI:n två gånger; det ändrar bara personens kön. I den "kvinnliga" versionen betonar AI "emotionell instabilitet", medan den i den "manliga" versionen ramar in samma beteende som en "stressrespons." Detta visar tydligt modellens könsbias. Forskaren dokumenterar denna skillnad och använder resultaten med denna medvetenhet.
Fall 3 – Korrigering av stigmatiserande språk. AI är en "sjuk gränslinje", heter det i ett rapportutkast. Specialisten ser detta som ett stigmatiserande språk som identifierar personen med sin diagnos och översätter det till ett språk som fokuserar på personen, till exempel "en individ med ett definierat borderline personlighetsmönster". En liten förändring i språket gör stor skillnad för att skydda klientens värdighet.
Kopierbara uppmaningar och mallar
Kontrollera följande text för partiskhet: flagga uttalanden som indikerar kulturell, kön, sexuell läggning, ålder eller socioekonomisk fördom. Visa också de antaganden som anser att västerländska normer är universella. Föreslå ett mer rättvist alternativ för varje.Text: [text]
Hjälp mig att utvärdera följande situation, men klientens kulturella sammanhang är [kultur/språk]. I detta sammanhang presentera uttryck som kan vara NORMALA som patologi; Om du är osäker på en kulturell punkt, säg "detta kan variera kulturellt, rådfråga en expert." Status: [anonym status]
Översätt de stigmatiserande uttrycken i den här texten som identifierar personen med sin diagnos (t.ex. "schizofren", "en borderline") till ett språk som centrerar personen och bevarar dennes värdighet. Ändra inte innehållet, bara humanisera språket. Text: [text]
Jag kommer att utvärdera följande fallsammanfattning två gånger: en gång ämnet [funktion A], den andra [funktion B]. Is there an unfair difference between the two evaluations, and if so, is it due to bias? Compare.Abstract: [anonym abstrakt]
Svag prompt / Stark prompt
Svag uppmaning: "Är den här klientens beteende normalt eller onormalt?"
Denna prompt frågar inte vem "normal" är för; AI antar en västerländsk, okultiv "normal" och kan patologisera kulturella uttryck.
Stark uppmaning: "Den här klienten befinner sig i [kulturellt/språkligt sammanhang]. Förklara om detta beteende kan vara ett normalt uttryck i det kulturella sammanhanget eller ett tecken som kräver uppmärksamhet, diskutera båda separat. Gör inte en definitiv bedömning, påminn mig om att rådgöra med en expert som känner till det kulturella sammanhanget."
Denna uppmaning sätter sammanhanget i centrum, förhindrar kulturell felläsning och överlåter beslutet till experten.
Vanliga misstag
- Misstag AI-utdata för "objektiv". Att glömma att modellen har fördomar och acceptera resultatet som ett vetenskapligt faktum.
- Att betrakta den västerländska normen som universell. Att definiera "normalt" enligt en enskild kultur och patologisera olika uttryck.
- Att inte lägga märke till stigmatiserande språk. Misstar språket som identifierar personen med sin diagnos som "tekniskt språk".
- Testar inte för partiskhet. Att inte prova samma prompt med olika grupper och kontrollera konsekvens.
- Att fatta beslut ensam i en kultur du inte känner. Att göra en bedömning utan att rådfråga en kollega som kan den kulturen.
Sammanfattningsvis
AI är partisk eftersom den lär sig av texterna i en partisk värld; Inom psykologi översätts denna fördom till påtaglig skada i form av kulturell, genus, diagnostik, språk och stigma. Jämför varje resultat med frågan "är detta rättvist för alla grupper?" sila den; testa samma prompt med olika grupper; lägg till kulturellt sammanhang till din uppmaning; ändra stigmatiserande språk till personcentrerat språk; Sök expert-/gemenskapsögon på en kultur du inte är bekant med. Rättvisans bedömning, inklusive kontroll av partiskhet, utgår från människan.
Applikationsuppgift
Förbered en ärendesammanfattning (anonym). Ge det till AI två gånger; ändra bara en egenskap (kön, kultur eller ålder). Placera de två utskrifterna sida vid sida och undersök om det finns orättvisa skillnader. Låt AI också översätta stigmatiserande fraser i ett rapportstycke till personcentrerat språk och notera skillnaden.
checklista
- [ ] Ändra utdata till "är detta rättvist för alla grupper?" Jag ställde frågan.
- [ ] Jag testade samma prompt med olika grupper/kulturer.
- [ ] Jag lade till det kulturella sammanhanget till uppmaningen; Jag patologiserade inte kulturella uttryck.
- [ ] Jag ändrade det stigmatiserande språket till personcentrerat språk.
- [ ] Jag sökte råd från en expert/kollega i en kulturfråga som jag inte var bekant med.
- [ ] Jag lämnade det slutliga beslutet om rättvisa till min egen bedömning, inte AI.