zisky:
- Poznejte na příkladech, jak kulturní, genderové a diagnostické předsudky v modelech umělé inteligence způsobují škody v kontextu psychologie
- Schopnost implementovat kontrolu zkreslení, která testuje výstup pro různé skupiny, jazyky a kultury
- Schopnost vyvinout rychlé a ověřovací techniky, které korigují normu orientovanou na západ a stigmatizující jazyk
Umělá inteligence (AI) není neutrální. Model umělé inteligence se učí z obrovské hromady textu na internetu a modelův „světový pohled“ je zkreslený tím, čí hlas obsahuje více a čí hlas méně. Toto zkreslení se nazývá zkreslení. Zaujatost v psychologii není běžnou technickou vadou; Může přímo ovlivnit posouzení, diagnostiku a léčbu osoby. Symptom může být chápán jako „normální“ v jedné kultuře a „patologický“ v jiné; chování může být u jednoho pohlaví označeno jako „asertivita“ a u druhého „agrese“. Umělá inteligence se může učit a replikovat tyto historické předsudky. V této lekci se naučíte rozpoznat zaujatost v AI v kontextu psychologie a auditovat výstupy pro různé skupiny, jazyky a kultury.
Odkud předsudky pocházejí a jak škodí?
Existují tři primární zdroje zkreslení AI:
- Nevyváženost tréninkových dat. Modely jsou trénovány převážně s texty konkrétního jazyka, kultury a období. Převážná část psychologické literatury pochází ze západních, vzdělaných, industrializovaných společností; předpoklad umělé inteligence „normálního člověka“ tedy odráží tento úzký vzorek.
- Zahrnutí historické zaujatosti. V datech jsou zahrnuty i texty, které v minulosti patologizovaly a stigmatizovaly určité skupiny; model se učí tyto vzorce.
- Nedostatek zastoupení. Model má buď nedostatečné nebo stereotypní informace o nedostatečně zastoupených skupinách (odlišné etnikum, jazyk, sexuální orientace, postižení).
Poškození je hmatatelné: AI může vyhodnotit symptom jako závažnější v jedné skupině a mírnější než v jiné; může mylně považovat kulturní projev (smuteční rituál, náboženský zážitek) za symptom; Může produkovat stigmatizující, klišoidní jazyk.
Upozornění: I když se výstup z umělé inteligence jeví jako „objektivní věda“, může nést zaujatosti, které se naučil. Zejména pokud jde o různé kultury, pohlaví, sexuální orientaci a socioekonomické skupiny, považujeme každý výsledek za „je to spravedlivé pro všechny skupiny?“ Filtrujte s otázkou.
Typy zkreslení specifické pro psychologii
Typ zkreslení
Pohled v psychologii
riziko
kulturní zaujatost
Považovat západní normy za univerzální
Nezaměňujte kulturní výraz za patologii
genderová zaujatost
Interpretace stejného chování odlišně v závislosti na pohlaví
diagnostická disparita
diagnostická zaujatost
Zobrazování určitých skupin jako „náchylných“ k určitým diagnózám
Nadměrná/nedostatečná diagnóza
jazyková zaujatost
V dominantním jazyce „zdatnější“, v druhém povrchní
Nerovné hodnocení
Lisování
Jazyk, který identifikuje osobu s její diagnózou
ponižující rámování
Krok za krokem: kontrola zkreslení
- Můžete změnit výstup na "pro koho to bylo napsáno?" otázka. Kdo je výchozí subjekt? Je to obecně vzdělaný, západní, "průměrný" chlap.
- Testujte s různými skupinami. Opakujte stejnou výzvu v různých kulturních, genderových a věkových kontextech; Mění se komentáře?
- Naskenujte stigmatický jazyk. Správná formulace, která identifikuje osobu s její diagnózou („osoba prožívající schizofrenii“ namísto „schizofrenik“).
- Přidejte kulturní kontext. Řekněte AI kulturní/lingvistický kontext klienta a „nepovažujte výrazy, které mohou být v tomto kontextu normální, za patologii“.
- Oči odborníka a komunity. Pokud si v nějaké kulturní otázce nejste jisti, poraďte se s kolegou, který tuto kulturu zná.
- Nechte lidi rozhodnout. Dokonce i kontrola zkreslení není ponechána na AI; Konečný rozsudek spravedlnosti je na vás.
Tip: Praktický způsob, jak otestovat, zda je výstup zkreslený: změňte jeden atribut (pohlaví, kultura, věk) ve výzvě a znovu položte stejnou otázku. Pokud se s touto změnou „nespravedlivě“ změní výklad, dochází k zaujatosti.
tři mini pouzdra
Případ 1 – Patologizující kulturní projev. Profesionál říká AI, že klient z jiné kultury „mluví se zesnulým“ během procesu smutku. Umělá inteligence to označuje jako „může jít o psychotický symptom“. To je však běžný a normální projev smutku v kultuře daného klienta. Expert odmítá výstup AI, protože zná kulturní kontext. Někdo, kdo neznal kontext, by se mohl vážně mýlit.
Případ 2 – Testování genderové předpojatosti. Vyšetřovatel poskytne stejné shrnutí případu AI dvakrát; jen to změní pohlaví člověka. V „ženské“ verzi AI zdůrazňuje „emocionální nestabilitu“, zatímco v „mužské“ verzi rámuje stejné chování jako „reakce na stres“. To jasně ukazuje genderovou zaujatost modelky. Výzkumník tento rozdíl dokumentuje a s tímto vědomím využívá výstupy.
Případ 3 – Oprava stigmatizujícího jazyka. Umělá inteligence je „nemocná hranice“, uvádí jeden návrh zprávy. Specialista to vidí jako stigmatizující jazyk, který identifikuje člověka s jeho diagnózou a převádí ji do jazyka, který se zaměřuje na člověka, jako je „jedinec s definovaným hraničním vzorem osobnosti“. Malá změna jazyka znamená velký rozdíl v ochraně důstojnosti klienta.
Kopírovatelné výzvy a šablony
Zkontrolujte, zda v následujícím textu nejsou zaujaté: vlajková prohlášení, která naznačují kulturní, genderovou, sexuální orientaci, věk nebo socioekonomickou zaujatost. Ukažte také předpoklady, které považují západní normy za univerzální. Pro každého navrhněte spravedlivější alternativu.Text: [text]
Pomozte mi vyhodnotit následující situaci, ale kulturní kontext klienta je [kultura/jazyk]. V tomto kontextu prezentace výrazů, které mohou být NORMÁLNÍ, jako patologie; Pokud si nejste jisti kulturním bodem, řekněte „to se může kulturně lišit, poraďte se s odborníkem“. Stav: [anonymní stav]
Přeložte stigmatizující výrazy v tomto textu, které identifikují osobu s její diagnózou (např. „schizofrenik“, „hranice“) do jazyka, který osobu soustředí a zachovává její důstojnost. Neměňte obsah, pouze polidštěte jazyk. Text: [text]
Následující shrnutí případu budu hodnotit dvakrát: jednou předmět [vlastnost A], podruhé [vlastnost B]. Je mezi těmito dvěma hodnoceními nespravedlivý rozdíl, a pokud ano, je to způsobeno zaujatostí? Compare.Abstract: [anonymní abstrakt]
Slabá výzva / Silná výzva
Slabá výzva: "Je chování tohoto klienta normální nebo abnormální?"
Tato výzva se neptá, pro koho je „normální“; Umělá inteligence předpokládá nekulturní „normál“ orientovaný na západ a může patologizovat kulturní projev.
Důrazná výzva: "Tento klient se nachází v [kulturním/jazykovém kontextu]. Vysvětlete, zda toto chování může být normálním projevem v daném kulturním kontextu, nebo znakem vyžadujícím pozornost, přičemž o obojím mluvte odděleně. Nedělejte si definitivní úsudek; připomeňte mi, že se mám poradit s odborníkem, který kulturní kontext zná."
Tato výzva staví kontext do středu, zabraňuje kulturnímu nesprávnému čtení a ponechává rozhodnutí na odborníkovi.
Časté chyby
- Zaměňování výstupu AI za „objektivní“. Zapomenout na to, že model je zkreslený, a přijmout výstup jako vědecký fakt.
- Považovat západní normu za univerzální. Definování „normálního“ podle jediné kultury a patologizace různých výrazů.
- Nevšímat si stigmatizujícího jazyka. Zaměnit jazyk, který identifikuje osobu s jeho diagnózou, jako „technický jazyk“.
- Netestovat zaujatost. Nezkoušet stejnou výzvu s různými skupinami a kontrolovat konzistenci.
- Dělejte rozhodnutí sami v kultuře, kterou neznáte. Udělat úsudek bez konzultace s kolegou, který tu kulturu zná.
V souhrnu
AI je zaujatá, protože se učí z textů zaujatého světa; V psychologii se tato zaujatost promítá do hmatatelných škod ve formě kulturních, genderových, diagnostických, jazykových a stigmatizačních. Porovnejte každý výstup s otázkou „je to spravedlivé pro všechny skupiny?“ napněte to; otestujte stejnou výzvu s různými skupinami; přidejte do výzvy kulturní kontext; změnit stigmatizující jazyk na jazyk zaměřený na člověka; Hledejte oči odborníka/komunity na kulturu, kterou neznáte. Úsudek spravedlnosti, včetně kontroly zaujatosti, vychází z lidské bytosti.
Aplikační úkol
Připravte si shrnutí případu (anonymní). Dejte to AI dvakrát; změnit pouze jednu charakteristiku (pohlaví, kulturu nebo věk). Umístěte dva výtisky vedle sebe a zkontrolujte, zda nejsou nespravedlivé rozdíly. Umělá inteligence také přeloží stigmatizující fráze v odstavci zprávy do jazyka zaměřeného na člověka a všimněte si rozdílu.
kontrolní seznam
- [ ] Změňte výstup na "je to spravedlivé pro všechny skupiny?" položil jsem otázku.
- [ ] Testoval jsem stejnou výzvu s různými skupinami/kulturami.
- [ ] Do výzvy jsem přidal kulturní kontext; Nepatologizoval jsem kulturní projev.
- [ ] Změnil jsem stigmatizující jazyk na jazyk zaměřený na člověka.
- [ ] Požádal jsem o radu odborníka/kolegu na kulturní problém, který jsem neznal.
- [ ] Konečné rozhodnutí o spravedlnosti jsem nechal na svém vlastním úsudku, ne na AI.