zisky:
- Spoznajte na príkladoch, ako kultúrne, rodové a diagnostické predsudky v modeloch umelej inteligencie spôsobujú škody v kontexte psychológie
- Schopnosť implementovať kontrolu zaujatosti, ktorá testuje výstupy pre rôzne skupiny, jazyky a kultúry
- Schopnosť vyvinúť rýchle a overovacie techniky, ktoré korigujú západnú normu a stigmatizujúci jazyk
Umelá inteligencia (AI) nie je neutrálna. Model umelej inteligencie sa učí z obrovskej hromady textu na internete a jeho „svetový pohľad“ je skreslený tým, koho hlas obsahuje viac a koho menej. Toto skreslenie sa nazýva zaujatosť. Zaujatosť v psychológii nie je obyčajná technická chyba; Môže priamo ovplyvniť hodnotenie, diagnostiku a liečbu osoby. Symptóm môže byť v jednej kultúre chápaný ako „normálny“ a v inej ako „patologický“; správanie môže byť zarámované ako „asertivita“ u jedného pohlavia a „agresivita“ u druhého. AI sa môže naučiť a replikovať tieto historické predsudky. V tejto lekcii sa naučíte rozpoznať zaujatosť v AI v kontexte psychológie a auditovať výstupy pre rôzne skupiny, jazyky a kultúry.
Odkiaľ pochádzajú predsudky a ako škodia?
Existujú tri hlavné zdroje skreslenia AI:
- Training data imbalance. Modely sú trénované prevažne s textami konkrétneho jazyka, kultúry a obdobia. Väčšina psychologickej literatúry pochádza zo západných, vzdelaných, industrializovaných spoločností; preto predpoklad AI „normálneho človeka“ odráža túto úzku vzorku.
- Zahrnutie historickej zaujatosti. V údajoch sú zahrnuté aj texty, ktoré v minulosti patologizovali a stigmatizovali určité skupiny; model sa učí tieto vzorce.
- Lack of representation. Model má buď nedostatočné alebo stereotypné informácie o nedostatočne zastúpených skupinách (rôzna etnicita, jazyk, sexuálna orientácia, zdravotné postihnutie).
Poškodenie je hmatateľné: AI môže vyhodnotiť symptóm ako závažnejší v jednej skupine a miernejší ako v inej; môže mylne považovať kultúrny prejav (smútočný rituál, náboženský zážitok) za symptóm; Môže produkovať stigmatizujúci, klišéovitý jazyk.
Upozornenie: Aj keď sa výstup z AI javí ako „objektívna veda“, môže niesť predsudky, ktoré sa naučil. Najmä pokiaľ ide o rôzne kultúry, pohlavia, sexuálne orientácie a socioekonomické skupiny, každý výsledok považujeme za „je to spravodlivé pre všetky skupiny?“ Filtrujte s otázkou.
Typy zaujatosti špecifické pre psychológiu
Type of bias
View in psychology
riziko
cultural bias
Západné normy považujú za univerzálne
Nemýľte si kultúrny prejav s patológiou
gender bias
Interpretácia rovnakého správania odlišne v závislosti od pohlavia
diagnostic disparity
diagnostic bias
Zobrazovanie určitých skupín ako „náchylných“ na určité diagnózy
Over/under diagnosis
language bias
„Zdatnejší“ v dominantnom jazyku, povrchnejší v druhom
Nerovnaké hodnotenie
Pečiatkovanie
Jazyk, ktorý identifikuje osobu s jej diagnózou
ponižujúce rámovanie
Krok za krokom: kontrola zaujatosti
- Môžete zmeniť výstup na "pre koho bol napísaný?" otázka. Kto je predvolený subjekt? Vo všeobecnosti je to vzdelaný, západný, „priemerný“ chlap.
- Testujte s rôznymi skupinami. Opakujte rovnakú výzvu v rôznych kultúrnych, rodových a vekových kontextoch; Menia sa komentáre?
- Naskenujte stigmatický jazyk. Správna formulácia, ktorá identifikuje osobu s jej diagnózou („osoba so schizofréniou“ namiesto „schizofrenik“).
- Pridajte kultúrny kontext. Povedzte AI kultúrny/lingvistický kontext klienta a „výrazy, ktoré môžu byť v tomto kontexte normálne, nepovažujte za patológiu“.
- Oči odborníkov a komunity. Ak si nie ste istí kultúrnou otázkou, poraďte sa s kolegom, ktorý túto kultúru pozná.
- Nechajte ľudí rozhodnúť. Dokonca aj kontrola zaujatosti nie je ponechaná na AI; Konečný rozsudok spravodlivosti je na vás.
Tip: Praktický spôsob, ako otestovať, či je výstup neobjektívny: zmeňte jeden atribút (pohlavie, kultúra, vek) vo výzve a znova položte rovnakú otázku. Ak sa s touto zmenou „nespravodlivo“ zmení výklad, dochádza k zaujatosti.
tri mini prípady
Prípad 1 – Patologizujúci kultúrny prejav. Profesionál povie AI, že klient z inej kultúry „hovorí so zosnulým“ počas procesu smútku. Umelá inteligencia to označuje ako „môže ísť o psychotický symptóm“. Toto je však bežný a normálny prejav smútku v kultúre tohto klienta. Expert odmieta výstupy AI, pretože pozná kultúrny kontext. Niekto, kto nepoznal súvislosti, by sa mohol dopustiť vážneho nesprávneho úsudku.
Prípad 2 – Testovanie rodovej zaujatosti. Vyšetrovateľ dvakrát poskytne rovnaké zhrnutie prípadu AI; len to zmení pohlavie človeka. V „ženskej“ verzii AI zdôrazňuje „emocionálnu nestabilitu“, zatiaľ čo v „mužskej“ verzii vytvára rovnaké správanie ako „stresová reakcia“. To jasne ukazuje rodovú zaujatosť modelky. Výskumník tento rozdiel dokumentuje a s týmto vedomím využíva výstupy.
Prípad 3 – Oprava stigmatizujúceho jazyka. AI je „chorá hranica“, uvádza sa v jednom návrhu správy. Špecialista to vidí ako stigmatizujúci jazyk, ktorý identifikuje človeka s jeho diagnózou a prekladá ho do jazyka, ktorý sa zameriava na človeka, ako napríklad „jedinec s definovaným hraničným osobnostným vzorom“. Malá zmena jazyka znamená veľký rozdiel pri ochrane dôstojnosti klienta.
Kopírovateľné výzvy a šablóny
Skontrolujte, či v nasledujúcom texte nie sú zaujaté: vlajkové vyhlásenia, ktoré označujú kultúrnu, rodovú, sexuálnu orientáciu, vek alebo sociálno-ekonomickú zaujatosť. Ukážte tiež predpoklady, ktoré považujú západné normy za univerzálne. Navrhnite pre každého spravodlivejšiu alternatívu.Text: [text]
Pomôžte mi vyhodnotiť nasledujúcu situáciu, ale kultúrny kontext klienta je [kultúra/jazyk]. V tomto kontexte prezentovanie výrazov, ktoré môžu byť NORMÁLNE, ako patológia; Ak si nie ste istý kultúrnym bodom, povedzte „toto sa môže kultúrne líšiť, poraďte sa s odborníkom“. Stav: [anonymný stav]
Preložte stigmatizujúce výrazy v tomto texte, ktoré identifikujú osobu s jej diagnózou (napr. „schizofrenik“, „hranica“), do jazyka, ktorý je zameraný na osobu a zachováva jej dôstojnosť. Nemeňte obsah, len humanizujte jazyk. Text: [text]
Nasledujúce zhrnutie prípadu budem hodnotiť dvakrát: raz predmet [funkcia A], druhýkrát [funkcia B]. Je medzi týmito dvoma hodnoteniami nespravodlivý rozdiel, a ak áno, je to spôsobené zaujatosťou? Compare.Abstract: [anonymný abstrakt]
Slabá výzva / Silná výzva
Slabá výzva: "Je správanie tohto klienta normálne alebo abnormálne?"
Táto výzva sa nepýta, pre koho je „normálny“ určený; AI predpokladá západocentrický, nekultúrny „normálny“ a môže patologizovať kultúrny prejav.
Dôrazná výzva: "Tento klient je v [kultúrnom/jazykovom kontexte]. Vysvetlite, či toto správanie môže byť normálnym prejavom v tomto kultúrnom kontexte alebo znakom, ktorý si vyžaduje pozornosť, pričom o oboch porozprávajte oddelene. Nerobte si konečný úsudok; pripomeňte mi, aby som sa poradil s odborníkom, ktorý pozná kultúrny kontext."
Táto výzva kladie kontext do centra pozornosti, zabraňuje nesprávnemu čítaniu kultúry a ponecháva rozhodnutie na odborníkovi.
Časté chyby
- Zamieňanie výstupu AI za „objektívny“. Zabúdame na to, že model je skreslený a akceptujeme výstup ako vedecký fakt.
- Považovať západnú normu za univerzálnu. Definovanie „normálneho“ podľa jedinej kultúry a patologizácia rôznych prejavov.
- Nevšímať si stigmatizujúci jazyk. Pomýliť si jazyk, ktorý identifikuje človeka s jeho diagnózou, ako „technický jazyk“.
- Not testing for bias. Neskúšať rovnakú výzvu s rôznymi skupinami a kontrolovať konzistenciu.
- Robiť rozhodnutia sami v kultúre, ktorú nepoznáte. Urobiť úsudok bez konzultácie s kolegom, ktorý túto kultúru pozná.
V súhrne
AI je zaujatá, pretože sa učí z textov zaujatého sveta; V psychológii sa táto zaujatosť premieta do hmatateľnej škody vo forme kultúrnej, rodovej, diagnostickej, jazykovej a stigmatizovanej. Porovnajte každý výstup s otázkou „je to fér pre všetky skupiny?“ strain it; otestujte rovnakú výzvu s rôznymi skupinami; pridajte do výzvy kultúrny kontext; zmeniť stigmatizujúci jazyk na jazyk zameraný na človeka; Hľadajte pohľad odborníkov/komunity na kultúru, ktorú nepoznáte. Úsudok spravodlivosti, vrátane kontroly zaujatosti, vychádza z ľudskej bytosti.
Aplikačná úloha
Pripravte si súhrn prípadu (anonymný). Dajte to AI dvakrát; zmeniť len jednu charakteristiku (pohlavie, kultúru alebo vek). Umiestnite dva výtlačky vedľa seba a skontrolujte, či nie sú nespravodlivé rozdiely. Nechajte tiež AI preložiť stigmatizujúce frázy v odseku správy do jazyka zameraného na osobu a všimnite si rozdiel.
kontrolný zoznam
- [ ] Zmeňte výstup na "je to fér pre všetky skupiny?" položil som otázku.
- [ ] Rovnakú výzvu som testoval s rôznymi skupinami/kultúrami.
- [ ] Do výzvy som pridal kultúrny kontext; Nepatologizoval som kultúrny prejav.
- [ ] Zmenil som stigmatizujúci jazyk na jazyk zameraný na človeka.
- [ ] Požiadal som o radu odborníka/kolegu na kultúrnu problematiku, ktorú som nepoznal.
- [ ] Konečné rozhodnutie o spravodlivosti som nechal na vlastný úsudok, nie na AI.