zisky:
- Chápe, že data jsou primárním zdrojem zkreslení AI
- Uvědomuje si rizika, která může zaujatost vytvářet na pracovišti
- Zavádí opatření, která lze přijmout ke snížení předsudků
AI se jeví jako neutrální, objektivní stroj; ale pravda je mnohem složitější. Systémy AI se učí lidské předsudky v datech, na kterých jsou trénovány, a někdy je zvětšují a reprodukují. Předsudek je tendence systému systematicky zvýhodňovat nebo vylučovat určité lidi nebo skupiny. V této části se budeme zabývat tím, odkud předsudky pocházejí, jaká konkrétní rizika na pracovišti představují a co lze proti nim dělat. To není jen otázka „etiky“; Jde o praktickou obchodní záležitost, která s sebou nese právní, obchodní a reputační riziko, pokud je špatně spravována.
Odkud se bere předsudek?
Informace o jazykovém modelu pocházejí z obrovských textů, které lidé produkují. Tyto texty obsahují veškeré poznatky o lidské společnosti, stejně jako všechny její stereotypy, nerovnováhy a historické nerovnosti. Model nerozlišuje mezi „dobrými“ a „špatnými“ vzory; Učí se, co je v datech.
Příklad: Pokud byly určité profese v minulých textech převážně spojovány s pohlavím (např. „zdravotní sestra“ se ženou, „inženýr“ s mužem), model se tuto asociaci naučí. Při dokončování věty může mít tendenci volit mužské zájmeno: „Inženýr vešel do kanceláře, on...“ Model není zlomyslný; pouze odráží nerovnováhu v datech.
Takže zkreslení je většinou způsobeno tím, že jde o zrcadlo dat, nikoli vědomou chybu programování. Vysvětlovat problém jako „někdo napsal špatný kód“ je zavádějící; Problém je v tom, že nerovnováha ve světě se přenáší do dat a odtud do modelu.
Hmatatelná rizika na pracovišti
oblast
Riziko zkreslení
možná újma
nábor
Naučte se trend v historických datech a eliminujte určité skupiny
Právní případ, ztráta způsobilosti
Komunikace se zákazníkem
Stereotypní nebo vylučovací jazyk
Ztráta reputace, útěk zákazníků
úvěr/riziko
Zachování minulých nerovností
Diskriminace, sankce
Hodnocení výkonu
Přenášení zkreslení dat do rozhodování
Nespravedlivá propagace/bonus
Obsah/marketing
Udělejte konkrétní skupinu neviditelnou
Poškození značky
Tři mini pouzdra
Případ 1 – Reklama zužovala jazyk. Společnost začala tisknout nabídky práce pomocí AI. Po chvíli bylo zjištěno, že reklamy oslovují určitý profil výrazy jako „mladý a dynamický“, „agresivní cíl“ a snižují tak rozmanitost aplikací. Tým přidal krok, který zkontroluje každý příspěvek na „zahrnující jazyk“; Rozmanitost žadatelů se během několika měsíců výrazně zvýšila.
Případ 2 – Skrytá zaujatost ve shrnutí. Jeden manažer nechal AI shrnout zpětnou vazbu od 30 zaměstnanců. Zdálo se, že rekapitulace soustředila negativní komentáře na jeden konkrétní tým; zatímco v hrubých datech byla situace vyrovnaná. Model zveličil několik silných výroků. Když se manažer vrátil a zkontroloval nezpracovaná data, vyhnul se mylné představě.
Případ 3 – Mandát k začlenění fungoval. Jeden marketingový tým standardizoval pokyny v kopii kampaně tak, aby „používaly inkluzivní, nespecifický jazyk pro pohlaví/věk/skupinu a na konci uvedly své předpoklady“. Vzorové výrazy v produkovaných textech znatelně ubyly; tým nemusel ručně opravovat každý výstup znovu a znovu.
Proč je těžké rozpoznat zaujatost?
Na předsudcích je nejzáludnější to, že jsou často neviditelné. Výstup vypadá hladce, profesionálně a rozumně; Tendence v ní se projeví pouze tehdy, když se pozorně podíváme nebo změříme její dopad na různé skupiny. Je zavádějící říkat „tady není zaujatost“ při pohledu na jediný příklad; Předpojatost se často neprojevuje v jednotlivých příkladech, ale v obecné tendenci systému.
Pozor: Předpoklad, že „jsem neutrální, proto je neutrální i nástroj, který používám“, je nebezpečný. Neutralita nástroje závisí na tréninkových datech a způsobu jejich kontroly, nikoli na vašem záměru.
Slabá výzva / Silná výzva
Slabá výzva: Popište ideálního kandidáta na tuto pozici.
Výsledek: Model se může spoléhat na stereotypy a prezentovat konkrétní profil jako „ideální“.
Silná výzva: Uveďte pouze měřitelné kompetence pro tuto pozici, které jsou skutečně relevantní pro danou práci. Nepoužívejte žádné charakteristiky, které nesouvisejí s prací, jako je pohlaví, věk, rodinný stav, rodné město. Nakonec napište, co jste vynechali pod nadpisem „předpoklady, kterým se vyhýbám“.
Výsledek: Hodnocení je omezeno na kritéria související s prací, irelevantní prvky jsou vyloučeny.
Šablony pro snížení zkreslení
Podívejte se na text níže, který obsahuje jazyk. Označte prohlášení, která naznačují pohlaví, věk, etnický původ, postižení nebo konkrétní skupinu a pro každého navrhují neutrální alternativu.Text: [vložte sem]
Toto hodnocení provádějte pouze na základě těchto objektivních kritérií: [kritéria]. Neberte v úvahu žádné jiné informace než tato kritéria (jméno, pohlaví, věk).
Uveďte pod samostatným nadpisem na konci, které předpoklady jste v textu, který jste vytvořili, učinili. Takže vidím skryté předsudky.
Vyhodnoťte tento obsah očima tří různých skupin čtenářů a označte výroky, které by mohly kohokoliv urazit/urazit. Obsah: [vložte sem]
Časté chyby
Časté chyby
- Za předpokladu „neutrálního“ výstupu AI. I když se výstup jeví jako neutrální, může nést zkreslení dat; Je nutný aktivní dohled.
- Když se podíváme na jeden příklad a řekneme „neexistuje žádná zaujatost“. Předsudek se skrývá v obecné tendenci systému.
- Rozhodování s velkým dopadem na AI bez dozoru. Lidská autorita je nezbytná při rozhodování, jako je nábor, povýšení a úvěr.
- Zapomínání požadovat inkluzivitu. Pokud to ve výzvě výslovně nepožádáte, model se vrátí k výchozím vzorům.
- Znamená to "Stroj to řekl." Za následky nese odpovědnost i ten, kdo rozhodnutí použije.
Spravedlnost je odpovědností každého
Boj s předsudky není jen úkolem technického týmu. Každý zaměstnanec, který používá výstup umělé inteligence, má odpovědnost zpochybnit, zda je tento výstup spravedlivý. „Stroj mi řekl“ není omluva; Osoba, která rozhoduje, je také odpovědná za důsledky.
V souhrnu
- Primárním zdrojem zkreslení AI není zlomyslnost, ale existující nerovnováha a stereotypy v trénovacích datech.
- Předsudek; Vytváří skutečné právní a reputační riziko v oblastech, jako je nábor, komunikace se zákazníky, finance a hodnocení.
- Předpojatost je často neviditelná a zakořeněná v celkové dispozici systému; Pohled na jediný příklad je zavádějící.
- Snížit: uvědomte si, omezte rozhodnutí na kritéria související s prací, výslovně požádejte o inkluzivitu, dejte lidskou kontrolu na rozhodnutí s velkým dopadem.
- „Stroj mi řekl“ není omluva; Spravedlnost je odpovědností každého, kdo používá výstup.
Aplikační úkol
Řekněte AI „popište ideálního [jakéhokoli povolání] pracovníka“ a označte, jaké (možná zbytečné) předpoklady byly učiněny ve výstupu. Poté opakujte s výše uvedenou šablonou „kritéria související s prací“ a porovnejte dva výstupy pro spravedlivost.
Kontrolní seznam
- [ ] Chápu, že primárním zdrojem zkreslení jsou tréninková data.
- [ ] Dokážu vyjmenovat konkrétní rizika, která může předpojatost na pracovišti představovat.
- [ ] Vím, že zaujatost je často neviditelná a že pohled na jediný příklad je zavádějící.
- [ ] Ve výzvě mohu jasně požádat o začlenění a kritéria související s prací.
- [ ] Požaduji lidský dohled nad rozhodnutími s velkým dopadem.