Pristranost, predstavljanje i kulturološka osjetljivost

Dobici:

• Na primjerima prepoznajte kako kulturološke, rodne i dijagnostičke pristranosti u modelima umjetne inteligencije uzrokuju štetu u kontekstu psihologije
• Sposobnost implementacije provjere pristranosti koja testira rezultate za različite skupine, jezike i kulture
• Sposobnost razvijanja brzih i verifikacijskih tehnika koje ispravljaju normu usmjerenu na Zapad i stigmatizirajući jezik

Umjetna inteligencija (AI) nije neutralna. AI model uči iz ogromne hrpe teksta na internetu, a "pogled na svijet" modela iskrivljen je čiji glas sadrži više, a čiji glas sadrži manje. Ovo izobličenje naziva se pristranost. Pristranost u psihologiji nije obična tehnička greška; Može izravno utjecati na procjenu, dijagnozu i liječenje osobe. Simptom se može čitati kao "normalan" u jednoj kulturi i "patološki" u drugoj; ponašanje se može opisati kao "asertivnost" u jednom spolu i "agresija" u drugom. AI može naučiti i replicirati ove povijesne pristranosti. U ovoj jedinici naučit ćete prepoznati pristranost u umjetnoj inteligenciji u kontekstu psihologije i revidirati rezultate za različite skupine, jezike i kulture.

Odakle predrasude i kako štete?

Postoje tri primarna izvora pristranosti umjetne inteligencije:

1. Neravnoteža podataka o treningu. Modeli se treniraju pretežno s tekstovima određenog jezika, kulture i razdoblja. Većina psihološke literature dolazi iz zapadnih, obrazovanih, industrijaliziranih društava; stoga AI-jeva pretpostavka o "normalnom čovjeku" odražava ovaj uzak uzorak.
2. Uključivanje povijesne pristranosti. U podatke su uključeni i tekstovi koji su patologizirali i stigmatizirali pojedine skupine u prošlosti; model uči te obrasce.
3. Nedostatak reprezentacije. Model ima ili nedostatne ili stereotipne informacije o podzastupljenim skupinama (različita etnička pripadnost, jezik, seksualna orijentacija, invaliditet).

Šteta je opipljiva: AI može procijeniti simptom kao teži u jednoj skupini i blaži nego u drugoj; može pogrešno smatrati kulturni izraz (ritual žalovanja, religiozno iskustvo) simptomom; Može proizvesti stigmatizirajući, klišeizirani jezik.

Oprez: čak i ako se rezultat umjetne inteligencije čini kao "objektivna znanost", može sadržavati pristranosti koje je naučio. Osobito kada je riječ o različitim kulturama, spolovima, seksualnim orijentacijama i socioekonomskim skupinama, svaki ishod razmatramo kao "je li to pravedno za sve skupine?" Filtrirajte s pitanjem.

Vrste predrasuda specifične za psihologiju

Vrsta pristranosti

Pogled u psihologiji

rizik

kulturna pristranost

Smatrajući zapadne norme univerzalnima

Nemojte zamijeniti kulturno izražavanje s patologijom

rodna pristranost

Različito tumačenje istog ponašanja ovisno o spolu

dijagnostički disparitet

dijagnostička pristranost

Prikaz pojedinih skupina kao "sklonih" određenim dijagnozama

Previše/malo dijagnoza

jezična pristranost

Više "vješt" u dominantnom jeziku, površan u drugom

Nejednako vrednovanje

Žigosanje

Jezik koji identificira osobu s njezinom dijagnozom

ponižavajuće kadriranje

Korak po korak: kontrola pristranosti

1. Možete promijeniti izlaz u "za koga je napisano?" pitanje. Tko je zadani subjekt? On je općenito obrazovan, zapadnjački, "prosječan" tip.
2. Testirajte s različitim grupama. Ponovite isti upit u različitim kulturnim, rodnim i dobnim kontekstima; Mijenjaju li se komentari?
3. Skenirajte stigmatični jezik. Ispravna formulacija koja identificira osobu s njezinom dijagnozom ("osoba koja pati od shizofrenije" umjesto "shizofreničar").
4. Dodajte kulturni kontekst. Recite umjetnoj inteligenciji kulturološki/jezični kontekst klijenta i "ne smatrajte izraze koji bi mogli biti normalni u ovom kontekstu kao patologiju."
5. Oči stručnjaka i zajednice. Ako niste sigurni oko nekog kulturnog pitanja, posavjetujte se s kolegom koji poznaje tu kulturu.
6. Neka ljudi odluče. Čak ni provjera pristranosti nije prepuštena umjetnoj inteligenciji; Konačna presuda pravde je vaša.

Savjet: praktičan način testiranja je li rezultat pristran: promijenite jedan atribut (spol, kulturu, dob) u upitu i ponovno postavite isto pitanje. Ako se tumačenje ovom promjenom promijeni "nepravedno", postoji pristranost.

tri mini kućišta

Slučaj 1 — Patologiziranje kulturnog izražavanja. Profesionalac govori umjetnoj inteligenciji da klijent iz druge kulture "razgovara s pokojnikom" tijekom procesa tugovanja. AI to opisuje kao "možda je psihotični simptom". Međutim, to je uobičajen i normalan izraz tuge u kulturi tog klijenta. Stručnjak odbacuje rezultate umjetne inteligencije jer poznaje kulturni kontekst. Netko tko ne poznaje kontekst mogao bi napraviti ozbiljnu pogrešnu procjenu.

Slučaj 2 — Testiranje rodne pristranosti. Istražitelj daje AI sažetak istog slučaja dva puta; samo mijenja spol osobe. U "ženskoj" verziji, AI naglašava "emocionalnu nestabilnost", dok u "muškoj" verziji uokviruje isto ponašanje kao "odgovor na stres". To jasno pokazuje rodnu pristranost modela. Istraživač dokumentira ovu razliku i koristi rezultate s tom sviješću.

Slučaj 3 — Ispravljanje stigmatizirajućeg jezika. AI je "bolesna granica", stoji u jednom nacrtu izvješća. Specijalist to vidi kao stigmatizirajući jezik koji poistovjećuje osobu s njezinom dijagnozom i prevodi to na jezik koji je usredotočen na osobu, kao što je "pojedinac s definiranim graničnim obrascem osobnosti". Mala promjena u jeziku čini veliku razliku u zaštiti dostojanstva klijenta.

Upute i predlošci koji se mogu kopirati

Provjerite pristranost u sljedećem tekstu: izjave zastava koje ukazuju na kulturnu, spolnu, seksualnu orijentaciju, dob ili socioekonomsku pristranost. Također pokažite pretpostavke koje zapadne norme smatraju univerzalnima. Predložite pošteniju alternativu za svakog.Tekst: [tekst]

Pomozite mi procijeniti sljedeću situaciju, ali kulturni kontekst klijenta je [kultura/jezik]. U ovom kontekstu, predstavljanje izraza koji mogu biti NORMALNI kao patologija; Ako niste sigurni oko neke kulturološke točke, recite "ovo može varirati kulturološki, posavjetujte se sa stručnjakom." Status: [anonimni status]

Prevedite stigmatizirajuće izraze u ovom tekstu koji poistovjećuju osobu s njezinom dijagnozom (npr. "shizofreničar", "granični") na jezik koji usredotočuje osobu i čuva njezino dostojanstvo. Nemojte mijenjati sadržaj, samo humanizirajte jezik. Tekst: [tekst]

Sljedeći sažetak slučaja procijenit ću dvaput: jednom subjekt [značajka A], drugi [značajka B]. Postoji li nepravedna razlika između dvije evaluacije, i ako postoji, je li to zbog pristranosti? Usporedi.Sažetak: [anonimni sažetak]

Slab upit / Jak upit

Slab upit: "Je li ponašanje ovog klijenta normalno ili nenormalno?"

Ovaj upit ne pita za koga je "normalan"; Umjetna inteligencija pretpostavlja zapadnocentrično, nekulturno "normalno" i može patologizirati kulturno izražavanje.

Snažan upit: "Ovaj klijent je u [kulturološkom/jezičnom kontekstu]. Objasnite je li ovo ponašanje možda normalan izraz u tom kulturnom kontekstu ili znak koji zahtijeva pažnju, razgovarajući o oboje odvojeno. Nemojte donositi konačnu prosudbu; podsjetite me da se posavjetujem sa stručnjakom koji poznaje kulturni kontekst."

Ovaj upit stavlja kontekst u središte, sprječava kulturno pogrešno tumačenje i prepušta odluku stručnjaku.

Uobičajene greške

• Zamjena AI izlaza za "objektivan". Zaboravljajući da model nosi pristranost i prihvaćajući rezultat kao znanstvenu činjenicu.
• Smatrajući zapadnu normu univerzalnom. Definiranje "normalnog" prema jednoj kulturi i patologiziranje različitih izraza.
• Ne primjećujući stigmatizirajući jezik. Zamjena jezika koji identificira osobu s njezinom dijagnozom kao "tehnički jezik".
• Bez testiranja pristranosti. Ne pokušavati isti upit s različitim grupama i provjeravati dosljednost.
• Sami donosite odluke u kulturi koju ne poznajete. Donošenje prosudbe bez konzultacije s kolegom koji poznaje tu kulturu.

Ukratko

AI je pristrana jer uči iz tekstova pristranog svijeta; U psihologiji se ta pristranost pretvara u opipljivu štetu u obliku kulture, roda, dijagnostike, jezika i stigme. Usporedite svaki rezultat s pitanjem "je li ovo pošteno za sve skupine?" procijediti; testirajte isti upit s različitim grupama; dodajte kulturni kontekst svom upitu; promijeniti stigmatizirajući jezik u jezik usmjeren na osobu; Potražite pogled stručnjaka/zajednice na kulturu koja vam nije poznata. Prosuđivanje pravde, uključujući kontrolu pristranosti, proizlazi iz ljudskog bića.

Zadatak aplikacije

Pripremite sažetak slučaja (anonimno). Daj ga AI dvaput; promijeniti samo jednu karakteristiku (spol, kulturu ili dob). Stavite dva ispisa jedan pored drugog i provjerite postoje li neopravdane razlike. Neka AI prevede stigmatizirajuće fraze u odlomku izvješća na jezik usmjeren na osobu i uoči razliku.

popis za provjeru

• [ ] Promijenite izlaz u "je li ovo pravedno prema svim grupama?" Ja sam postavio pitanje.
• [] Testirao sam isti upit s različitim grupama/kulturama.
• [ ] Dodao sam kulturni kontekst upitu; Nisam patologizirao kulturno izražavanje.
• [ ] Promijenio sam stigmatizirajući jezik u jezik usmjeren na osobu.
• [ ] Tražio sam savjet od stručnjaka/kolege o kulturološkom pitanju koje mi nije bilo poznato.
• [ ] Konačnu odluku o pravednosti prepustio sam vlastitom sudu, a ne umjetnoj inteligenciji.