Jedinica 6 / 12

Predrasude i pravda

Dobici:

  • Razumije da su podaci primarni izvor pristranosti AI
  • Prepoznaje rizike koje pristrasnost može stvoriti na radnom mjestu
  • Provodi mjere koje se mogu poduzeti za smanjenje predrasuda

AI se pojavljuje kao neutralna, objektivna mašina; ali istina je mnogo složenija. AI sistemi uče ljudske predrasude u podacima na kojima su obučeni i ponekad ih uvećavaju i reprodukuju. Predrasude su tendencija sistema da sistematski favorizuje ili isključuje određene ljude ili grupe. U ovoj cjelini razmotrit ćemo odakle dolaze predrasude, koje konkretne rizike predstavljaju na radnom mjestu i šta se može učiniti protiv njih. Ovo nije samo pitanje "etike"; To je praktična poslovna stvar koja nosi pravni, komercijalni i reputacijski rizik kada se loše upravlja.

Odakle dolaze predrasude?

Informacije o jezičkom modelu dolaze iz ogromnih tekstova koje ljudi proizvode. Ovi tekstovi sadrže sva saznanja o ljudskom društvu, kao i sve njegove stereotipe, neravnoteže i istorijske nejednakosti. Model ne pravi razliku između "dobrih" i "loših" obrazaca; Uči sve što je u podacima.

Primjer: Ako su određene profesije bile pretežno povezane s rodom u prošlim tekstovima (npr. "medicinska sestra" sa ženskom, "inženjer" s muškarcem), model uči ovu asocijaciju. Možda ima tendenciju da izabere mušku zamjenicu kada dovršava rečenicu: "Inženjer je ušao u kancelariju, on..." Model nije zlonamjeran; to samo odražava neravnotežu u podacima.

Dakle, pristranost je uglavnom zbog toga što je ogledalo podataka, a ne svjesna programska greška. Objašnjavanje problema kao "neko je napisao loš kod" je pogrešno; Problem je što se neravnoteža u svijetu prenosi u podatke i odatle u model.

Opipljivi rizici na radnom mjestu

području

Rizik od pristrasnosti

moguća šteta

regrutovanje

Naučite trend u povijesnim podacima i eliminirajte određene grupe

Pravni slučaj, gubitak sposobnosti

Komunikacija s kupcima

Stereotipni ili isključujući jezik

Gubitak reputacije, bijeg kupaca

kredit/rizik

Perpetuiranje prošlih nejednakosti

Diskriminacija, sankcije

Evaluacija učinka

Prenošenje pristrasnosti podataka u odluku

Nefer promocija/bonus

Sadržaj/marketing

Učinite određenu grupu nevidljivom

Šteta marke

Tri mini futrole

Slučaj 1 — Oglas je sužavao jezik. Jedna kompanija počela je da štampa oglase za posao pomoću veštačke inteligencije. Nakon nekog vremena uočeno je da su reklame privlačne određenom profilu izrazima kao što su "mlad i dinamičan", "agresivna meta" i time smanjila raznolikost aplikacija. Tim je dodao korak koji provjerava da li svaka objava ima „inkluzivni jezik“; Raznolikost kandidata značajno se povećala u roku od nekoliko mjeseci.

Slučaj 2 — Skrivena pristrasnost u sažetku. Jedan menadžer je imao AI da sažme povratne informacije 30 zaposlenih. Činilo se da je rezime koncentrirao negativne komentare na jedan određeni tim; dok je u sirovim podacima situacija bila uravnotežena. Model je preuveličao nekoliko jakih izjava. Kada se menadžer vratio i provjerio sirove podatke, izbjegao je zabludu.

Slučaj 3 — Mandat inkluzivnosti je uspio. Jedan marketinški tim je standardizirao instrukcije u kopiji kampanje da „koristite inkluzivan, nespecifičan jezik spola/doba/grupe i navedite svoje pretpostavke na kraju”. Formularni izrazi u proizvedenim tekstovima su primjetno smanjeni; tim nije morao ručno ispravljati svaki izlaz iznova i iznova.

Zašto je pristrasnost teško prepoznati?

Najpodmuklija stvar kod predrasuda je to što su često nevidljive. Rezultat izgleda glatko, profesionalno i razumno; Tendencija unutar njega postaje očigledna tek kada se pažljivo pogleda ili izmjeri njen uticaj na različite grupe. Pogrešno je reći da "ovdje nema pristrasnosti" gledajući samo jedan primjer; Pristrasnost se često ne manifestira u pojedinačnim primjerima, već u opštoj tendenciji sistema.

Oprez: Pretpostavka da sam „ja sam neutralan, stoga je i alat koji koristim neutralan“ je opasna. Neutralnost alata ovisi o podacima o obuci i načinu na koji se provjerava, a ne o vašoj namjeri.

Slaba prompt / jaka prompt

Slab upit: Opišite idealnog kandidata za ovu poziciju.

Rezultat: Model se može oslanjati na stereotipe i predstaviti određeni profil kao "idealan".

Snažan upit: Navedite samo mjerljive kompetencije za ovu poziciju koje su zaista relevantne za posao. Nemojte koristiti nikakve karakteristike koje nisu vezane za posao, kao što su spol, godine, bračni status, rodni grad. Na kraju, napišite ono što ste izostavili pod naslovom "pretpostavke koje izbjegavam".

Rezultat: Evaluacija je ograničena na kriterije vezane za posao, nebitne karakteristike su isključene.

Predlošci za smanjenje pristranosti

Provjerite tekst ispod za inkluzivni jezik. Označite izjave koje impliciraju spol, dob, etničku pripadnost, invaliditet ili određenu grupu i predložite neutralnu alternativu za svaku od njih. Tekst: [zalijepi ovdje]

Napravite ovu evaluaciju samo na osnovu ovih objektivnih kriterijuma: [kriterijumi]. Ne uzimajte u obzir nikakve podatke osim ovih kriterija (ime, spol, godine).

Navedite pod posebnim naslovom na kraju koje ste pretpostavke iznijeli u tekstu koji ste izradili. Tako da mogu vidjeti skrivene predrasude.

Procijenite ovaj sadržaj očima tri različite grupe čitalaca i označite sve izjave koje mogu uvrijediti/uvrijediti bilo koga od njih. Sadržaj: [zalijepi ovdje]

Uobičajene greške

Uobičajene greške

  • Uz pretpostavku "neutralnog" AI izlaza. Iako se izlaz čini neutralnim, on može nositi pristrasnost u podacima; Potreban je aktivan nadzor.
  • Gledajući jedan primjer i kažete "nema pristranosti". Predrasude se kriju u opštoj tendenciji sistema.
  • Donošenje odluka sa velikim uticajem prepustiti nenadziranoj veštačkoj inteligenciji. Ljudski autoritet je neophodan u odlukama kao što su zapošljavanje, unapređenje i kredit.
  • Zaboravljanje zahtijevati inkluzivnost. Ako to izričito ne zatražite u promptu, model se vraća na zadane obrasce.
  • To znači "Mašina je to rekla." Za posljedice je odgovorna i osoba koja koristi odluku.

Pravda je svačija odgovornost

Borba protiv predrasuda nije samo posao tehničkog tima. Svaki zaposlenik koji koristi AI izlaz ima odgovornost da postavi pitanje da li je taj rezultat pošten. “Mašina mi je rekla” nije izgovor; Osoba koja donosi odluku je također odgovorna za posljedice.

Ukratko

  • Primarni izvor pristrasnosti AI nije zlonamjernost, već postojeće neravnoteže i stereotipi u podacima o obuci.
  • predrasude; To stvara stvarni pravni i reputacijski rizik u oblastima kao što su zapošljavanje, komunikacija s klijentima, finansije i evaluacija.
  • Pristrasnost je često nevidljiva i ugrađena u cjelokupnu dispoziciju sistema; Gledanje na jedan primjer je pogrešno.
  • Da biste smanjili: budite svjesni, ograničite odluku na kriterije vezane za posao, izričito zatražite inkluzivnost, stavite ljudsku kontrolu na odluke s velikim utjecajem.
  • “Mašina mi je rekla” nije izgovor; Pravednost je odgovornost svakoga ko koristi rezultate.

Zadatak aplikacije

Recite AI „opišite idealnog radnika [bilo koje zanimanje]” i označite koje su (možda nepotrebne) pretpostavke napravljene u rezultatu. Zatim ponovite sa gornjim šablonom „kriterijumi vezani za posao“ i uporedite dva rezultata radi poštenja.

Kontrolna lista

  • [ ] Razumijem da su primarni izvor pristrasnosti podaci o obuci.
  • [ ] Mogu navesti konkretne rizike koje pristrasnost na radnom mjestu može predstavljati.
  • [ ] Znam da je pristrasnost često nevidljiva i da je gledanje samo jednog primjera pogrešno.
  • [ ] Jasno mogu tražiti inkluzivnost i kriterijume vezane za posao u upitu.
  • [ ] Potreban mi je ljudski nadzor nad odlukama visokog uticaja.