Fördomar, rättvisa och diskriminering: modellens blinda fläckar — Artificiell intelligens inom bankväsendet

Vinster:

Förstå hur partiskhet i modeller för artificiell intelligens uppstår från data och design och varför det skapar juridiska och etiska risker i bankverksamhet
Förmåga att känna igen skyddade egenskaper, proxyvariabler och indirekt diskriminering och ifrågasätta modellbeslut när det gäller rättvisa
Förmåga att förstå hur rättvisa mått, uteslutna grupper och rätten att invända vävs in i modellstyrningen och upprätthålla den röda linjen för diskriminering

En AI-modell är inte neutral; Det är en spegel av inlärda data. Om data bär tidigare ojämlikheter, lär modellen sig dem och bär dem in i framtiden. Inom bankväsendet är detta inte en abstrakt etisk debatt: om en kreditmodell systematiskt missgynnar en viss grupp är detta både olagligt (förbud mot diskriminering) och ett etiskt brott, vilket medför anseende- och sanktionsrisker för banken. Syftet med denna enhet är att visa hur modellen blir partisk, direkta och indirekta former av diskriminering, proxyvariabelfällan och sätt att väva in rättvisa i modellstyrning. En röd linje måste sägas från början: diskriminering, hur "statistisk" den än kan verka, är oacceptabel.

Var kommer fördomar ifrån?

Databias: Om tidigare beslut var orättvisa (t.ex. en viss grupp fick mindre kredit tidigare), antar modellen att detta är "normalt" och fortsätter. Detta kallas historisk bias.
Urvalsbias: Om vissa grupper är underrepresenterade i data, lär modellen sig dåligt och felaktigt om dem.
Etikettbias: Om definitionen av "bra kund" i sig är partisk, optimerar modellen för biasen.
Designbias: Mänskliga val om vilka variabler som ska användas kan också ha bias.

Tips: "Modellen är baserad på data, så den är objektiv" är en missuppfattning. Data är en ögonblicksbild av det förflutna; Om det förflutna var orättvist, rättfärdigar den "objektiva" modellen orättvisan med matematik. Objektivitet är inte en garanti för opartiskhet.

Direkt och indirekt diskriminering

Direkt diskriminering: Modellens direkta användning av en skyddad egenskap (kön, etnicitet, religion, ålder). Detta är uttryckligen förbjudet.
Indirekt diskriminering (surrogatvariabel / proxy): Även om modellen inte använder den skyddade funktionen direkt, producerar den samma resultat genom att använda en annan variabel som är starkt relaterad till den (postnummer, namn, shoppingkategori, arbetsdistrikt). Postnummer är ofta en proxy för etnicitet eller inkomstnivå. Modellen säger "grannskap" men resultatet är "ursprungs"-diskriminering.

Variabel

tydligen

kan vara en proxy

Postnummer/distrikt

geografi

Etnicitet, inkomstnivå

Namn

ursprung, kön

Shoppingkategori

beteende

livsstil, tro

tog examen

Utbildning

Socioekonomiskt ursprung

Det är därför larm bör ljuda när du ser ett uttalande som "grannskap är riskabelt" i en motivering: det kan tyckas vara ett legitimt kriterium men medför indirekt diskriminering.

Varning: Att ta bort den skyddade funktionen från data avslutar inte diskrimineringen. Surrogatvariabler kan returnera det. Rättvisa uppnås inte genom att "jag tog bort den känsliga kolumnen"; Detta uppnås genom att testa resultaten av modellbeslut mellan grupper.

Väv in rättvisa i styrelseskick

Rättvisa mätvärden. Jämför modellens godkännande/avslagsfrekvens och felfrekvens mellan grupper. Upplever en grupp systematiskt högre avslag?
Proxykontroll. Undersök förhållandet mellan de använda variablerna och de skyddade fastigheterna.
Förklarbarhet. Varje beslut måste motiveras. En "black box" förnekelse är ohållbar.
Rätt att invända. Kunden bör ges rätt att lära sig motiveringen för beslutet och begära en mänsklig granskning.
Uteslutna grupper. Det bör också kontrolleras att grupper som är underrepresenterade i uppgifterna inte misshandlas.

Fyra kopierbara mallar

1) Screening för diskriminering som motivering:

Kontrollera följande skäl för kreditbeslut: finns det en direkt/indirekt hänvisning till en skyddad egenskap (ålder, kön, ursprung, religion) eller en proxyvariabel (postnummer, grannskap, namn, shoppingtyp)? Flagga riskfyllda uttalanden och förklara varför de utgör en risk för diskriminering. Anledning: [text]

2) Variabel lista proxykontroll:

Undersök denna lista över variabler som används i en kreditmodell. Vilka skulle kunna vara en proxy för en skyddad egenskap och utgöra en risk för indirekt diskriminering? Skriv din motivering för varje riskabel variant. Lista: [variabler]

3) Sammanfattning av beslut i termer av rättvisa (neutral, förklarlig):

Din roll: assistent som utarbetar ett förklarande beslutsmotiv. Lita endast på legitima, icke-diskriminerande kriterier (skuld i förhållande till inkomst, betalningshistorik, säkerheter). hänvisa INTE till skyddad egendom och surrogatvariabel. Skriv motiveringen i klartext som kunden kommer att förstå. Jag kommer att ge godkännandet.

4) Utkast till invändningssvar:

En kund överklagade kreditavslaget och vill ha motivering. Utarbeta ett respektfullt och beskrivande svar baserat på legitima kriterier; Påminn kunden om hans eller hennes rätt till mänsklig granskning och rättelse. Använd inga diskriminerande implikationer. Verifierad orsak till avslag: [orsak]

Svag prompt / Stark prompt

Svag uppmaning:

Applikationer i denna region är mycket riskabla, låt oss använda distriktsinformation mer i modellen så att noggrannheten kan ökas.

Detta tillvägagångssätt stärker indirekt diskriminering baserad på distrikt; Det legitimerar ett olagligt resultat i namnet "hit".

Kraftfull uppmaning:

Din roll: justitierevisionsassistent. Flagga de variabler som används som utgör risken för surrogatvariabler. Föreslå vilka mätvärden jag bör följa för att jämföra beslut mellan grupper när det gäller godkännande/avslagsfrekvens. Förstärk aldrig ett diskriminerande kriterium; omdirigera till legitima och förklarliga kriterier.

Stark vilja letar efter proxyrisk, introducerar rättvisa mätvärden och avvisar diskriminering.

tre minifodral

Fall 1 – Historisk snedvridning. En modell ger en viss yrkesgrupp ett systematiskt lågt betyg eftersom den har fått mindre poäng tidigare. En rättviserevision visar att avslagsfrekvensen för denna grupp är 30 % högre än andra med liknande inkomstnivåer. Modellen balanseras om med legitima inkomst- och betalningskriterier.

Fall 2 — Surrogatvariabel. Postnummer är en kraftfull variabel i en modell. Granskningen visar att postnumret överlappar vissa etniskt koncentrerade stadsdelar, vilket leder till indirekt ursprungsdiskriminering. Variabeln tas bort och ersätts av legitima finansiella riktmärken; prestanda förblir på en acceptabel nivå, diskriminering elimineras.

Fall 3 – Rätt att invända. En avvisad klient ber om motivering. Banken tillhandahåller den förklarliga motiveringen (hög skuld i förhållande till inkomst) och accepterar begäran om mänsklig granskning. Granskning avslöjar en felläsning av ett dokument; Beslutet korrigeras. Förklarlighet och rätt att invända kompenserar ett misstag med rättvisa.

Rättvisemått: vad och hur vi mäter

"Är modellen rättvis?" Det finns inget entydigt svar på frågan; Det finns flera definitioner av rättvisa, och de står ibland i konflikt med varandra. Här är några tillvägagångssätt som praktiskt taget följs inom bankverksamhet:

Jämförelse av godkännande-/avslagsfrekvens: Är godkännandegraden systematiskt olika mellan olika grupper med liknande ekonomiska profiler (t.ex. könsgrupper)? En stor och oförklarlig skillnad är ett tecken på partiskhet.
Jämställdhet med felfrekvens: Är modellens andel falska avslag (avslå en legitim ansökan) balanserad mellan grupper? Om en grupp orättvist avvisas oftare än en annan finns det ett problem.
Kalibrering: Går de kunder som modellen kallar "hög risk" verkligen in i fallissemang till liknande takt i varje grupp? Innebörden av poängen bör inte skifta från grupp till grupp.

Dessa mätvärden kan ibland inte tillhandahållas samtidigt; Vilken definition av rättvisa som ska prioriteras är inte ett tekniskt utan ett etiskt och juridiskt beslut och kräver mänsklig styrning.

Tips: Mät rättvisemåttet med jämna mellanrum, inte bara när du bygger modellen. En modell kan gå rättvist och bli partisk med tiden på grund av datadrift. Rättvisa är inte en fråga om "etablering" utan en fråga om "övervakning".

Vanliga misstag

Misstaget med "objektiva data". Förutsatt att modellen är neutral; data bär på historisk fördom.
Ta bara bort den känsliga kolumnen. Ta bort den skyddade egendomen och förbise proxyvariabler.
Spårar inte rättvisa mätvärden. Jämför inte avslags-/felfrekvensen mellan grupper alls.
Försvara svarta lådans beslut. Överväger ett beslut som inte kan motiveras som legitimt.
Ta bort rätten att invända. Inaktiverar mänsklig granskning eftersom "det saktar ner processen."

Uppmärksamhet: Diskriminering uppstår ofta inte av illvilja utan av slarv. En variabel som läggs till eftersom den "ökar noggrannheten" kan omedvetet utesluta en grupp. Därför bygger rättvisa inte på god tro utan på regelbundna tester.

Sammanfattningsvis

AI-modeller bär på fördomarna i den data de lär sig av, och diskriminering inom bankverksamhet är en juridisk, etisk risk och risk för rykte. Direkt diskriminering använder en skyddad funktion; Indirekt diskriminering, å andra sidan, ger samma resultat med proxyvariabler (postnummer, namn). Rättvisa handlar inte om att radera den känsliga kolumnen; Säkerställt av rättvisa mätvärden, proxykontroll, förklarabarhet och rätt att invända. I en mening: Mönstret upprepar det förflutna; Det är människans ansvar att upprätthålla rättvisa och avvisa diskriminering.

Applikationsuppgift

Skriv en lista med 8-10 variabler för en kreditmodell (några med avsiktlig proxyrisk: postnummer, namn, shoppingkategori). 2. Utför en proxykontroll med mallen och markera de riskabla med sina skäl. Skriv sedan en diskriminerande motiveringstext och skanna den med mall 1. Planera slutligen i ett stycke vilka rättvisemått du ska spåra för att jämföra modellens avvisningsfrekvens mellan grupper.

checklista

[ ] Jag har kontrollerat att modellen/rationalen inte använder skyddade egenskaper.
[ ] Jag undersökte också risken för proxyvariabler.
[ ] Jag planerade att jämföra godkännande/avslag och felfrekvens mellan grupper.
[ ] Jag såg till att varje beslut hade en förklarlig motivering.
[ ] Jag gav kunden rätt till invändning och mänsklig granskning.
[ ] Jag passerade inte ens den röda gränsen för diskriminering på grund av "träff".