Predrasude, pravičnost i diskriminacija: slepe tačke modela — Vještačka inteligencija u bankarstvu

Dobici:

Razumijevanje kako pristrasnost u modelima umjetne inteligencije proizlazi iz podataka i dizajna i zašto to stvara pravne i etičke rizike u bankarstvu
Sposobnost prepoznavanja zaštićenih karakteristika, proxy varijabli i indirektne diskriminacije i donošenje odluka o modelu pitanja u smislu pravičnosti
Sposobnost razumijevanja kako su metrika pravde, isključene grupe i pravo na prigovor utkani u model upravljanja i održavaju crvenu liniju diskriminacije

AI model nije neutralan; To je ogledalo naučenih podataka. Ako podaci nose nejednakosti iz prošlosti, model ih uči i prenosi u budućnost. U bankarstvu ovo nije apstraktna etička debata: ako kreditni model sistematski dovodi u nepovoljniji položaj određenu grupu, to je i nezakonito (zabrana diskriminacije) i etičko kršenje, donoseći reputaciju i sankcionisanje banke. Svrha ove jedinice je da pokaže kako model postaje pristrasan, direktni i indirektni oblici diskriminacije, zamka zamjenskih varijabli i načini da se pravičnost utka u upravljanje modelom. Jedna crvena linija mora se reći od samog početka: diskriminacija, ma koliko „statistički“ izgledala, je neprihvatljiva.

Odakle dolaze predrasude?

Pristrasnost podataka: Ako su prošle odluke bile nepravedne (npr. određenoj grupi je u prošlosti dato manje priznanja), model pretpostavlja da je to „normalno“ i nastavlja se. To se zove istorijska pristrasnost.
Pristrasnost uzorkovanja: Ako su neke grupe nedovoljno zastupljene u podacima, model slabo i netačno uči o njima.
Pristrasnost etikete: Ako je sama definicija „dobrog kupca“ pristrasna, model se optimizuje za pristrasnost.
Pristrasnost dizajna: Ljudski izbori o tome koje varijable će koristiti također mogu nositi pristrasnost.

Savjet: "Model je zasnovan na podacima, dakle objektivan" je zabluda. Podaci su snimak prošlosti; Ako je prošlost bila nepravedna, "objektivni" model nepravdu opravdava matematikom. Objektivnost nije garancija nepristrasnosti.

Direktna i indirektna diskriminacija

Direktna diskriminacija: direktna upotreba modela zaštićene karakteristike (pol, etnička pripadnost, religija, starost). Ovo je izričito zabranjeno.
Indirektna diskriminacija (surogat varijabla / proxy): Čak i ako model ne koristi zaštićenu funkciju direktno, proizvodi isti rezultat korištenjem druge varijable koja je usko povezana s njom (poštanski broj, ime, kategorija kupovine, radni okrug). Poštanski broj je često zamjena za etničku pripadnost ili nivo prihoda. Model kaže "susjedstvo", ali rezultat je diskriminacija "porekla".

Varijabilna

očigledno

može biti proxy

Poštanski broj / okrug

geografija

Etnička pripadnost, nivo prihoda

Ime

porijeklo, pol

Shopping kategorija

ponašanje

stil života, vjerovanje

završila školu

Obrazovanje

Socioekonomsko porijeklo

Zato bi trebalo da se uzbuni kada u obrazloženju vidite izjavu poput „susjedstvo je rizično“: može se činiti da je to legitiman kriterij, ali nosi indirektnu diskriminaciju.

Oprez: Uklanjanje zaštićene karakteristike iz podataka ne okončava diskriminaciju. Surogat varijable ga mogu vratiti. Pravda se ne postiže "izbrisao sam osjetljivu kolonu"; Ovo se postiže testiranjem rezultata modelskih odluka između grupa.

Utkanje pravde u upravljanje

metrika pravičnosti. Uporedite stope odobravanja/odbijanja modela i stope grešaka između grupa. Da li jedna grupa sistematski doživljava veća odbijanja?
Proxy kontrola. Ispitajte odnos varijabli koje se koriste sa zaštićenim svojstvima.
Objašnjivost. Za svaku odluku mora se dati obrazloženje; Poricanje "crne kutije" je neodrživo.
Pravo na prigovor. Kupcu treba dati pravo da sazna razloge za odluku i zatraži ljudski pregled.
Isključene grupe. Također treba provjeriti da grupe koje su nedovoljno zastupljene u podacima nisu maltretirane.

Četiri šablona za kopiranje

1) Provjera opravdanosti diskriminacije:

Provjerite sljedeće obrazloženje kreditne odluke: postoji li direktna/indirektna referenca na zaštićenu karakteristiku (starost, spol, porijeklo, religija) ili zamjensku varijablu (poštanski broj, susjedstvo, ime, tip kupovine)? Označite rizične izjave i objasnite zašto predstavljaju rizik od diskriminacije. Razlog: [tekst]

2) Proxy kontrola liste varijabli:

Proučite ovu listu varijabli korištenih u kreditnom modelu. Koje bi mogle predstavljati zamjenu za zaštićenu karakteristiku i predstavljati rizik od indirektne diskriminacije? Napišite svoje opravdanje za svaku rizičnu varijantu. Lista: [varijable]

3) Sažetak odluke u smislu pravičnosti (neutralno, objašnjivo):

Vaša uloga: asistent koji sastavlja obrazloženje odluke koje se može objasniti. Oslonite se samo na legitimne, nediskriminatorne kriterijume (odnos duga i prihoda, istorija plaćanja, kolateral). NEMOJTE referencirati zaštićeno svojstvo i zamjensku varijablu. Napišite obrazloženje jednostavnim jezikom koji će kupac razumjeti. Ja ću dati odobrenje.

4) Nacrt odgovora na prigovor:

Klijent se žalio na odbijenicu kredita i traži opravdanje. Nacrtati odgovor uvažavajući i opisujući na osnovu legitimnih kriterijuma; Podsjetite kupca na njegovo ili njeno pravo na ljudski pregled i ispravku. Nemojte koristiti nikakve diskriminatorne implikacije. Provjereni razlog odbijanja: [razlog]

Slaba prompt / Jaka prompt

Slab upit:

Aplikacije u ovoj regiji su vrlo rizične, hajde da više koristimo informacije o distriktu u modelu kako bi se tačnost mogla povećati.

Ovaj pristup jača indirektnu diskriminaciju zasnovanu na distriktu; On legitimira nezakonit ishod u ime "pogotka".

Snažan upit:

Vaša uloga: pomoćnik za reviziju pravde. Označite korištene varijable koje predstavljaju rizik od zamjenskih varijabli. Predložite koje metrike treba da pratim da bih uporedio odluke između grupa u smislu stope odobravanja/odbijanja. Nikada nemojte pojačavati diskriminatorni kriterijum; preusmjeriti na legitimne i objašnjive kriterije.

Strong will traži proxy rizik, uvodi metriku pravednosti i odbacuje diskriminaciju.

tri mini kofera

Slučaj 1 — Istorijska pristrasnost. Jedan model daje određenoj grupi zanimanja sistematski nisku ocjenu jer joj se u prošlosti pridavalo manje kredita. Revizija pravičnosti pokazuje da je stopa odbijanja za ovu grupu 30% viša od ostalih sa sličnim nivoima prihoda. Model je rebalansiran sa legitimnim kriterijumima prihoda i plaćanja.

Slučaj 2 — Surogat varijabla. Poštanski broj je moćna varijabla u modelu. Revizija pokazuje da se poštanski broj preklapa sa određenim etnički koncentrisanim naseljima, što dovodi do indirektne diskriminacije po poreklu. Varijabla se uklanja i zamjenjuje legitimnim finansijskim mjerilima; učinak ostaje na prihvatljivom nivou, diskriminacija je eliminisana.

Slučaj 3 — Pravo na prigovor. Odbijeni klijent traži opravdanje. Banka daje objašnjenje (visok odnos duga i prihoda) i prihvata zahtev za ljudski pregled. Pregled otkriva pogrešno čitanje dokumenta; Odluka je ispravljena. Objašnjivost i pravo na prigovor kompenzuju grešku pravdom.

Merila pravičnosti: šta i kako merimo

"Da li je model pošten?" Ne postoji jedinstven odgovor na pitanje; Postoji više definicija pravde i one se ponekad sukobljavaju jedna s drugom. Evo nekoliko pristupa koji se praktično slijede u bankarstvu:

Poređenje stope odobrenja/odbijanja: Da li se stopa odobravanja sistematski razlikuje između različitih grupa sa sličnim finansijskim profilima (npr. rodne grupe)? Velika i neobjašnjiva razlika je znak pristranosti.
Jednakost stope grešaka: Da li je stopa lažnog odbijanja modela (odbijanje legitimne aplikacije) uravnotežena među grupama? Ako je jedna grupa nepravedno odbijena češće od druge, postoji problem.
Kalibracija: Da li kupci koje model naziva “visokim rizikom” zaista ne ispunjavaju obaveze po sličnim stopama u svakoj grupi? Značenje rezultata ne bi trebalo prelaziti iz grupe u grupu.

Ove metrike ponekad ne mogu biti obezbijeđene u isto vrijeme; Koja definicija pravde dati prioritet nije tehnička već etička i pravna odluka i zahtijeva ljudsko upravljanje.

Savjet: Mjerite metriku pravednosti u redovnim intervalima, a ne samo kada gradite model. Model može živjeti pošteno i vremenom postati pristrasan zbog odstupanja podataka. Pravda nije stvar "uspostavljanja" već stvar "nadgledanja".

Uobičajene greške

Zabluda "objektivnih podataka". Pod pretpostavkom da je model neutralan; podaci nose istorijsku pristrasnost.
Samo izbrišite osjetljivu kolonu. Uklanjanje zaštićenog svojstva i previđanje proxy varijabli.
Ne prati metriku pravednosti. Uopšte ne porediti stopu odbijanja/greške između grupa.
Odbrana odluke o crnoj kutiji. Smatrajući odluku koja se ne može opravdati legitimnom.
Uklanjanje prava na prigovor. Onemogućavanje ljudskog pregleda jer "to usporava proces."

Pažnja: Diskriminacija često ne proizlazi iz zlobe, već iz nepažnje. Varijabla dodana jer "povećava preciznost" može nesvjesno isključiti grupu. Stoga se pravda ne zasniva na dobroj vjeri, već na redovnom testiranju.

Ukratko

AI modeli nose pristrasnost podataka iz kojih uče, a diskriminacija u bankarstvu predstavlja pravni, etički i reputacijski rizik. Direktna diskriminacija je korištenje zaštićene karakteristike; Indirektna diskriminacija, s druge strane, proizvodi isti rezultat sa proxy varijablama (poštanski broj, ime). Pravda se ne odnosi na brisanje osjetljive kolone; Osigurano metrikom poštenja, kontrolom proksija, objašnjenjima i pravom na prigovor. U jednoj rečenici: Obrazac ponavlja prošlost; Čovjekova je odgovornost da podržava pravdu i odbacuje diskriminaciju.

Zadatak aplikacije

Napišite listu od 8-10 varijabli za kreditni model (neke sa namjernim proxy rizikom: poštanski broj, ime, kategorija kupovine). 2. Izvršite proxy provjeru sa šablonom i označite rizične s njihovim razlozima. Zatim napišite diskriminirajući tekst opravdanja i skenirajte ga šablonom 1. Na kraju, isplanirajte u paragrafu koje metrike pravednosti ćete pratiti da biste uporedili stopu odbijanja modela između grupa.

kontrolna lista

[ ] Provjerio sam da model/obrazloženje ne koristi zaštićena svojstva.
[ ] Takođe sam pregledao rizik od proxy varijabli.
[ ] Planirao sam da uporedim odobrenje/odbijanje i stopu grešaka između grupa.
[ ] Osigurao sam da svaka odluka ima objašnjivo obrazloženje.
[ ] Dao sam kupcu pravo na prigovor i ljudski pregled.
[ ] Nisam ni prešao crvenu liniju diskriminacije po osnovu "pogotka".