Predrasude, poštenje i diskriminacija: slijepe točke modela

Dobici:

• Razumijevanje kako pristranost u modelima umjetne inteligencije proizlazi iz podataka i dizajna i zašto stvara pravne i etičke rizike u bankarstvu
• Sposobnost prepoznavanja zaštićenih značajki, zamjenskih varijabli i neizravne diskriminacije te propitivanje odluka modela u smislu pravednosti
• Sposobnost razumijevanja kako su metrika pravde, isključene skupine i pravo na prigovor utkani u model upravljanja i održavanje crvene linije diskriminacije

AI model nije neutralan; To je ogledalo naučenih podataka. Ako podaci nose nejednakosti iz prošlosti, model ih uči i prenosi u budućnost. U bankarstvu ovo nije apstraktna etička rasprava: ako kreditni model sustavno dovodi u nepovoljan položaj određenu skupinu, to je i nezakonito (zabrana diskriminacije) i etičko kršenje, što dovodi banku u rizike reputacije i sankcija. Svrha ove jedinice je pokazati kako model postaje pristran, izravni i neizravni oblici diskriminacije, zamka proxy varijable i načini utkanja pravednosti u model upravljanja. Odmah na početku valja reći jednu crvenu crtu: diskriminacija je, ma koliko se "statistički" činila, nedopustiva.

Odakle predrasude?

• Pristranost podataka: Ako su prošle odluke bile nepravedne (npr. određenoj skupini u prošlosti je dano manje zasluga), model pretpostavlja da je to "normalno" i nastavlja. To se zove povijesna pristranost.
• Pristranost uzorkovanja: Ako su neke skupine nedovoljno zastupljene u podacima, model uči o njima loše i netočno.
• Pristranost oznake: Ako je sama definicija "dobrog kupca" pristrana, model se optimizira za pristranost.
• Pristranost dizajna: Ljudski izbori o tome koje varijable koristiti također mogu nositi pristranost.

Savjet: "Model se temelji na podacima, dakle objektivan" je pogrešno mišljenje. Podaci su snimka prošlosti; Ako je prošlost bila nepravedna, "objektivni" model nepravdu opravdava matematikom. Objektivnost nije jamstvo nepristranosti.

Izravna i neizravna diskriminacija

• Izravna diskriminacija: Izravna uporaba zaštićenog obilježja (spol, etnička pripadnost, vjera, dob) od strane modela. Ovo je izričito zabranjeno.
• Neizravna diskriminacija (zamjenska varijabla / proxy): čak i ako model ne koristi zaštićenu značajku izravno, proizvodi isti rezultat korištenjem druge varijable koja je s njom usko povezana (poštanski broj, ime, kategorija kupovine, radni okrug). Poštanski broj često je zamjena za etničku pripadnost ili razinu prihoda. Model kaže "susjedstvo", ali rezultat je diskriminacija "podrijetla".

Varijabilna

očito

može biti opunomoćenik

Poštanski broj / okrug

geografija

Etnička pripadnost, razina prihoda

Ime

ID

podrijetlo, spol

Shopping kategorija

ponašanje

životni stil, uvjerenje

završena škola

Obrazovanje

Socioekonomsko podrijetlo

Zato bi se trebao oglasiti alarm kada u obrazloženju vidite izjavu poput "susjedstvo je rizično": može se činiti da je to legitiman kriterij, ali nosi neizravnu diskriminaciju.

Oprez: uklanjanjem zaštićene značajke iz podataka ne prekida se diskriminacija. Surogat varijable ga mogu vratiti. Pravda se ne postiže "obrisao sam osjetljivu rubriku"; To se postiže testiranjem rezultata modela odluka između grupa.

Utkanje pravde u upravljanje

1. Mjerila pravednosti. Usporedite stope odobravanja/odbijanja modela i stope pogrešaka između grupa. Doživljava li jedna skupina sustavno više odbijanja?
2. Proxy kontrola. Ispitajte odnos korištenih varijabli prema zaštićenim svojstvima.
3. Objašnjivost. Za svaku odluku mora se dati obrazloženje; Demanti "crne kutije" je neodrživ.
4. Pravo na prigovor. Kupcu treba dati pravo saznati obrazloženje odluke i zatražiti ljudski pregled.
5. Isključene skupine. Također treba provjeriti da se prema skupinama koje su nedovoljno zastupljene u podacima ne postupa pogrešno.

Četiri predloška za kopiranje

1) Provjera opravdanosti diskriminacije:

Provjerite sljedeće obrazloženje kreditne odluke: postoji li izravna/neizravna referenca na zaštićenu karakteristiku (dob, spol, podrijetlo, vjera) ili proxy varijablu (poštanski broj, susjedstvo, ime, vrsta kupovine)? Označite rizične izjave i objasnite zašto predstavljaju rizik od diskriminacije. Razlog: [tekst]

2) Proxy kontrola popisa varijabli:

Pregledajte ovaj popis varijabli korištenih u kreditnom modelu. Koje bi mogle biti zamjena za zaštićenu karakteristiku i predstavljati rizik od neizravne diskriminacije? Za svaku rizičnu varijantu napišite svoje obrazloženje. Popis: [varijable]

3) Sažetak odluke u smislu pravednosti (neutralno, objašnjivo):

Vaša uloga: asistent koji sastavlja obrazloženo obrazloženje odluke. Oslonite se samo na legitimne, nediskriminirajuće kriterije (omjer duga i prihoda, povijest plaćanja, kolateral). NEMOJTE spominjati zaštićeno vlasništvo i surogat varijablu. Napišite obrazloženje jednostavnim jezikom koji će kupac razumjeti. Ja ću dati odobrenje.

4) Nacrt odgovora na prigovor:

Korisnik se žalio na odbijanje kredita i želi obrazloženje. Nacrtajte odgovor pun poštovanja i opisiv na temelju legitimnih kriterija; Podsjetite korisnika na njegovo ili njezino pravo na ljudski pregled i ispravak. Nemojte koristiti nikakve diskriminirajuće implikacije. Potvrđeni razlog odbijanja: [razlog]

Slab upit / Jak upit

Slab upit:

Prijave u ovoj regiji su vrlo rizične, koristimo informacije okruga više u modelu kako bi se točnost mogla povećati.

Ovaj pristup jača neizravnu diskriminaciju na temelju okruga; Ozakonjava nezakoniti ishod u ime "udarca".

Snažan upit:

Vaša uloga: asistent za reviziju pravosuđa. Označite korištene varijable koje predstavljaju rizik od surogat varijabli. Predložite koju metriku trebam slijediti kako bih usporedio odluke između grupa u smislu stope odobravanja/odbijanja. Nikad ne pojačavajte diskriminirajući kriterij; preusmjeriti na legitimne i objašnjive kriterije.

Strong will traži zamjenski rizik, uvodi metriku pravednosti i odbacuje diskriminaciju.

tri mini kućišta

Slučaj 1 — Povijesna pristranost. Jedan model daje određenoj skupini zanimanja sustavno nisku ocjenu jer joj se u prošlosti davalo manje kredita. Revizija pravednosti pokazuje da je stopa odbijanja za ovu skupinu 30% viša od ostalih sa sličnim razinama prihoda. Model je ponovno uravnotežen s legitimnim kriterijima prihoda i plaćanja.

Slučaj 2 — Surogat varijabla. Poštanski broj moćna je varijabla u modelu. Revizija pokazuje da se poštanski broj preklapa s određenim etnički koncentriranim četvrtima, što dovodi do neizravne diskriminacije podrijetla. Varijabla je uklonjena i zamijenjena legitimnim financijskim referentnim vrijednostima; učinak ostaje na prihvatljivoj razini, diskriminacija je eliminirana.

Slučaj 3 — Pravo na prigovor. Odbijeni klijent traži opravdanje. Banka daje objašnjenje (visok omjer duga i prihoda) i prihvaća zahtjev za ljudski pregled. Pregled otkriva pogrešno čitanje dokumenta; Odluka je ispravljena. Objašnjivost i pravo na prigovor pogrešku kompenziraju pravdom.

Mjerila pravednosti: što i kako mjerimo

"Je li model pošten?" Nema jedinstvenog odgovora na pitanje; Postoji više definicija pravde, a ponekad se međusobno sukobljavaju. Evo nekoliko pristupa koji se praktično primjenjuju u bankarstvu:

• Usporedba stope odobrenja/odbijanja: Razlikuje li se stopa odobrenja sustavno između različitih skupina sa sličnim financijskim profilima (npr. spolne skupine)? Velika i neobjašnjiva razlika znak je pristranosti.
• Jednakost stope pogrešaka: Je li stopa lažnog odbijanja modela (odbijanje legitimne prijave) uravnotežena među grupama? Ako je jedna skupina nepravedno odbijena češće od druge, postoji problem.
• Kalibracija: Jesu li klijenti koje model naziva "visokorizičnim" stvarno neplaćaju po sličnim stopama u svakoj skupini? Značenje rezultata ne bi se trebalo mijenjati od skupine do skupine.

Ove metrike ponekad nije moguće pružiti u isto vrijeme; Kojoj definiciji pravde dati prioritet nije tehnička, već etička i pravna odluka i zahtijeva ljudsko upravljanje.

Savjet: Mjerite metriku pravednosti u redovitim intervalima, a ne samo kada gradite model. Model se može pošteno pokrenuti i s vremenom postati pristran zbog pomicanja podataka. Pravda nije stvar "establišmenta" nego stvar "monitoringa".

Uobičajene greške

• Pogreška "objektivnih podataka". Pod pretpostavkom da je model neutralan; podaci nose povijesnu pristranost.
• Samo izbrišite osjetljivi stupac. Uklanjanje zaštićenog svojstva i zanemarivanje proxy varijabli.
• Ne prati se metrika pravednosti. Uopće se ne uspoređuje stopa odbijanja/pogrešaka između grupa.
• Obrana odluke o crnoj kutiji. Uzimajući u obzir odluku koja se ne može opravdati kao legitimna.
• Oduzimanje prava na prigovor. Onemogućivanje ljudskog pregleda jer "usporava proces."

Pažnja: Diskriminacija često ne proizlazi iz zlobe nego iz nepažnje. Varijabla dodana jer "povećava točnost" može nesvjesno isključiti grupu. Stoga se pravda ne temelji na dobroj vjeri nego na redovitom testiranju.

Ukratko

Modeli umjetne inteligencije nose pristranosti podataka iz kojih uče, a diskriminacija u bankarstvu pravni je, etički i reputacijski rizik. Izravna diskriminacija je korištenje zaštićene značajke; Neizravna diskriminacija, s druge strane, daje isti rezultat s proxy varijablama (poštanski broj, ime). Pravda nije brisanje osjetljivog stupca; Osigurano metrikom pravednosti, proxy kontrolom, objašnjivošću i pravom na prigovor. U jednoj rečenici: Obrazac ponavlja prošlost; Čovjekova je odgovornost podržati pravdu i odbaciti diskriminaciju.

Zadatak aplikacije

Napišite popis od 8-10 varijabli za kreditni model (neke s namjernim proxy rizikom: poštanski broj, ime, kategorija kupovine). 2. Izvršite proxy provjeru s predloškom i označite rizične s njihovim razlozima. Zatim napišite diskriminirajući tekst obrazloženja i skenirajte ga pomoću predloška 1. Na kraju isplanirajte u odlomku koje ćete metrike pravednosti pratiti kako biste usporedili stopu odbijanja modela između grupa.

popis za provjeru

• [ ] Provjerio sam da model/obrazloženje ne koristi zaštićena svojstva.
• [ ] Također sam pregledao rizik proxy varijabli.
• [ ] Planirao sam usporediti stopu odobravanja/odbijanja i pogreške između grupa.
• [ ] Osigurao sam da svaka odluka ima objašnjivo obrazloženje.
• [ ] Dao sam kupcu pravo na prigovor i ljudski pregled.
• [ ] Nisam čak ni prešao diskriminacijsku crvenu liniju na temelju "pogotka".