Pristrasnost, zastupljenost i kulturna osjetljivost

Dobici:

• Prepoznajte na primjerima kako kulturološke, rodne i dijagnostičke pristranosti u modelima umjetne inteligencije uzrokuju štetu u kontekstu psihologije
• Sposobnost implementacije provjere pristranosti koja testira rezultate za različite grupe, jezike i kulture
• Sposobnost razvoja brzih i verifikacionih tehnika koje ispravljaju zapadnjačku normu i stigmatizirajući jezik

Umjetna inteligencija (AI) nije neutralna. AI model uči iz ogromne gomile teksta na internetu, a "pogled na svijet" modela je iskrivljen zbog toga čiji glas sadrži više, a čiji glas sadrži manje. Ovo izobličenje se naziva pristranost. Pristrasnost u psihologiji nije obična tehnička mana; Može direktno uticati na procjenu, dijagnozu i liječenje osobe. Simptom se može čitati kao "normalan" u jednoj kulturi i "patološki" u drugoj; ponašanje može biti uokvireno kao “asertivnost” u jednom spolu i “agresivnost” u drugom. AI može naučiti i replicirati ove istorijske predrasude. U ovoj jedinici naučit ćete prepoznati pristrasnost u AI u kontekstu psihologije i revidirati rezultate za različite grupe, jezike i kulture.

Odakle predrasude i kako štete?

Postoje tri primarna izvora pristrasnosti AI:

1. Neravnoteža podataka o treningu. Modeli se obučavaju pretežno sa tekstovima određenog jezika, kulture i perioda. Većina literature o psihologiji dolazi iz zapadnih, obrazovanih, industrijaliziranih društava; stoga pretpostavka AI "normalnog čovjeka" odražava ovaj uski uzorak.
2. Uključivanje istorijske pristranosti. U podatke su uključeni i tekstovi koji su patologizirali i stigmatizirali određene grupe u prošlosti; model uči ove obrasce.
3. Nedostatak reprezentacije. Model ima ili nedovoljne ili stereotipne informacije o nedovoljno zastupljenim grupama (različite etničke pripadnosti, jezika, seksualne orijentacije, invaliditeta).

Šteta je opipljiva: AI može procijeniti simptom kao teži u jednoj grupi i blaži nego u drugoj; može pogrešno smatrati kulturni izraz (ritual žalosti, religiozno iskustvo) kao simptom; Može proizvesti stigmatizirajući, klišejski jezik.

Oprez: Čak i ako se rezultat umjetne inteligencije čini „objektivnom naukom“, može nositi pristranosti koje je naučio. Naročito kada je riječ o različitim kulturama, spolovima, seksualnim orijentacijama i socioekonomskim grupama, svaki ishod smatramo „da li je ovo pošteno za sve grupe?“ Filtrirajte sa pitanjem.

Vrste pristrasnosti specifične za psihologiju

Vrsta pristrasnosti

Pogled u psihologiji

rizik

kulturna pristrasnost

Smatrajući zapadne norme univerzalnim

Nemojte zamijeniti kulturni izraz za patologiju

rodna pristrasnost

Tumačenje istog ponašanja različito u zavisnosti od pola

dijagnostički disparitet

dijagnostička pristrasnost

Prikazivanje određenih grupa kao "sklonih" određenim dijagnozama

Prekomjerna/manja dijagnoza

jezička pristrasnost

Više "stručni" u dominantnom jeziku, površni u drugom

Nejednako vrednovanje

Štancanje

Jezik koji identifikuje osobu sa njenom dijagnozom

degradirajuće kadriranje

Korak po korak: kontrola pristranosti

1. Možete promijeniti izlaz u "za koga je napisano?" pitanje. Ko je podrazumevani subjekt? On je općenito obrazovan, zapadni, "prosječan" tip.
2. Testirajte sa različitim grupama. Ponovite isti upit u različitim kulturnim, rodnim i starosnim kontekstima; Da li se komentari mijenjaju?
3. Skenirajte stigmatični jezik. Ispravna formulacija koja identifikuje osobu sa njenom dijagnozom („osoba koja boluje od šizofrenije“ umjesto „šizofreničar“).
4. Dodajte kulturni kontekst. Recite AI-u o kulturnom/jezičkom kontekstu klijenta i „ne smatrajte izraze koji bi mogli biti normalni u ovom kontekstu kao patologiju“.
5. Oči stručnjaka i zajednice. Ako niste sigurni oko nekog kulturnog pitanja, konsultujte se sa kolegom koji poznaje tu kulturu.
6. Neka ljudi odluče. Čak ni provjera pristranosti nije prepuštena AI; Konačna presuda pravde je vaša.

Savjet: Praktičan način da provjerite da li je rezultat pristrasan: promijenite jedan atribut (pol, kulturu, starost) u promptu i ponovo postavite isto pitanje. Ako se tumačenje promijeni "nepravedno" ovom promjenom, postoji pristrasnost.

tri mini kofera

Slučaj 1 — Patologiziranje kulturnog izražavanja. Profesionalac kaže AI da klijent iz druge kulture "razgovara s pokojnikom" tokom procesa tugovanja. AI ovo opisuje kao "možda psihotični simptom". Međutim, ovo je uobičajen i normalan izraz tuge u kulturi tog klijenta. Ekspert odbacuje rezultate AI jer poznaje kulturni kontekst. Neko ko nije poznavao kontekst mogao bi napraviti ozbiljnu pogrešnu procjenu.

Slučaj 2 — Testiranje rodnih predrasuda. Istražitelj daje isti sažetak slučaja AI dvaput; samo menja pol osobe. U "ženskoj" verziji, AI naglašava "emocionalnu nestabilnost", dok u "muškoj" verziji uokviruje isto ponašanje kao "reakcija na stres". Ovo jasno pokazuje rodnu pristrasnost modela. Istraživač dokumentuje ovu razliku i koristi rezultate sa tom svešću.

Slučaj 3 — Ispravljanje stigmatizirajućeg jezika. AI je "bolesna granica", navodi se u jednom nacrtu izvještaja. Specijalista to vidi kao stigmatizirajući jezik koji identifikuje osobu sa njenom dijagnozom i prevodi je na jezik koji se fokusira na osobu, kao što je „pojedinac sa definisanim graničnim obrascem ličnosti“. Mala promjena jezika čini veliku razliku u zaštiti dostojanstva klijenta.

Kopirani upiti i predlošci

Provjerite sljedeći tekst za pristrasnost: označite izjave koje ukazuju na kulturnu, rodnu, seksualnu orijentaciju, godine ili socioekonomsku pristrasnost. Takođe pokažite pretpostavke koje smatraju da su zapadne norme univerzalne. Predložite pravedniju alternativu za svaku. Tekst: [tekst]

Pomozite mi da procijenim sljedeću situaciju, ali klijentov kulturni kontekst je [kultura/jezik]. U ovom kontekstu, predstavljanje izraza koji mogu biti NORMALNI kao patologija; Ako niste sigurni u vezi sa kulturološkim aspektom, recite "ovo može varirati u zavisnosti od kulture, konsultujte stručnjaka." Status: [anonimni status]

Prevedite stigmatizirajuće izraze u ovom tekstu koji identificiraju osobu s njenom dijagnozom (npr. "šizofreničar", "granična linija") na jezik koji centrira osobu i čuva njeno dostojanstvo. Ne mijenjajte sadržaj, samo humanizirajte jezik. Tekst: [tekst]

Dvaput ću procijeniti sljedeći sažetak slučaja: jednom subjekt [osobina A], drugi [osobina B]. Postoji li nepravedna razlika između ove dvije procjene, i ako postoji, da li je to zbog pristrasnosti? Compare.Abstract: [anonimni sažetak]

Slaba prompt / Jaka prompt

Slab upit: "Da li je ponašanje ovog klijenta normalno ili abnormalno?"

Ovaj prompt ne pita za koga je "normalno"; AI pretpostavlja zapadno-centrično, nekulturno “normalno” i može patološki kulturološki izraz.

Snažan poziv: "Ovaj klijent je u [kulturnom/jezičkom kontekstu]. Objasnite da li ovo ponašanje može biti normalan izraz u tom kulturnom kontekstu ili znak koji zahtijeva pažnju, razgovarajući o oba odvojeno. Nemojte donositi konačan sud; podsjeti me da se konsultujem sa stručnjakom koji poznaje kulturni kontekst."

Ovaj poziv stavlja kontekst u središte, sprečava kulturno pogrešno čitanje i prepušta odluku stručnjaku.

Uobičajene greške

• Pogreška AI izlaz za "objektiv". Zaboravljanje da model nosi pristrasnost i prihvatanje rezultata kao naučne činjenice.
• Smatrajući zapadnjačku normu univerzalnom. Definiranje "normalnog" prema jednoj kulturi i patologiziranje različitih izraza.
• Ne primjećujući stigmatizirajući jezik. Pogrešiti jezik koji identifikuje osobu sa njegovom dijagnozom kao "tehnički jezik".
• Ne testira se na pristrasnost. Ne pokušavati isti prompt s različitim grupama i provjeravati dosljednost.
• Sami donosite odluke u kulturi koju ne poznajete. Donošenje presude bez konsultacije sa kolegom koji poznaje tu kulturu.

Ukratko

AI je pristrasan jer uči iz tekstova pristrasnog svijeta; U psihologiji, ova pristrasnost se prevodi u opipljivu štetu u obliku kulture, roda, dijagnostike, jezika i stigme. Uporedite svaki rezultat sa pitanjem „da li je ovo pošteno prema svim grupama?“ procijedite; testirajte isti prompt sa različitim grupama; dodajte kulturni kontekst vašem upitu; promijeniti stigmatizirajući jezik u jezik usmjeren na osobu; Potražite poglede stručnjaka/zajednice na kulturu koja vam nije poznata. Presuda pravde, uključujući kontrolu pristrasnosti, proizilazi iz ljudskog bića.

Zadatak aplikacije

Pripremite sažetak slučaja (anonimno). Dajte ga AI dvaput; promijeniti samo jednu karakteristiku (pol, kulturu ili starost). Postavite dva ispisa jedan pored drugog i provjerite ima li nepravednih razlika. Također neka AI prevede stigmatizirajuće fraze u pasusu izvještaja na jezik usmjeren na osobu i primijeti razliku.

kontrolna lista

• [ ] Promijenite izlaz u "je li ovo pošteno za sve grupe?" Postavio sam pitanje.
• [ ] Testirao sam isti prompt sa različitim grupama/kulturama.
• [ ] Dodao sam kulturni kontekst u prompt; Nisam patologizirao kulturni izraz.
• [ ] Promijenio sam stigmatizirajući jezik u jezik usmjeren na osobu.
• [ ] Zatražio sam savjet stručnjaka/kolege o kulturnom pitanju koje mi nije bilo poznato.
• [ ] Prepustio sam konačnu odluku o pravičnosti mojoj vlastitoj prosudbi, a ne AI.