Fordommer, rettferdighet og diskriminering: modellens blinde flekker

Gevinster:

• Forstå hvordan skjevhet i kunstig intelligens-modeller oppstår fra data og design og hvorfor det skaper juridiske og etiske risikoer i bankvirksomhet
• Evne til å gjenkjenne beskyttede funksjoner, proxy-variabler og indirekte diskriminering og stille spørsmål ved modellbeslutninger når det gjelder rettferdighet
• Evne til å forstå hvordan rettferdighetsmålinger, ekskluderte grupper og retten til å protestere er vevd inn i modellstyringen og opprettholde den røde diskrimineringslinjen

En AI-modell er ikke nøytral; Det er et speil av dataene som er lært. Hvis dataene har tidligere ulikheter, lærer modellen dem og bærer dem inn i fremtiden. I bankvirksomhet er ikke dette en abstrakt etisk debatt: Hvis en kredittmodell systematisk setter en bestemt gruppe til ulempe, er dette både ulovlig (forbud mot diskriminering) og et etisk brudd, noe som medfører risiko for omdømme og sanksjoner for banken. Hensikten med denne enheten er å vise hvordan modellen blir partisk, direkte og indirekte former for diskriminering, proxy-variabelfellen og måter å flette rettferdighet inn i modellstyring. Én rød strek må sies fra første stund: diskriminering, uansett hvor «statistisk» den kan virke, er uakseptabel.

Hvor kommer fordommer fra?

• Databias: Hvis tidligere beslutninger var urettferdige (f.eks. en bestemt gruppe ble gitt mindre kreditt tidligere), antar modellen at dette er "normalt" og fortsetter. Dette kalles historisk skjevhet.
• Sampling bias: Hvis noen grupper er underrepresentert i dataene, lærer modellen dårlig og unøyaktig om dem.
• Etikettskjevhet: Hvis definisjonen av "god kunde" i seg selv er partisk, optimaliserer modellen for skjevheten.
• Designskjevhet: Menneskelige valg om hvilke variabler som skal brukes kan også ha skjevheter.

Tips: «Modellen er basert på data, så den er objektiv» er en misforståelse. Data er et øyeblikksbilde av fortiden; Hvis fortiden var urettferdig, rettferdiggjør den «objektive» modellen urettferdigheten med matematikk. Objektivitet er ikke en garanti for upartiskhet.

Direkte og indirekte diskriminering

• Direkte diskriminering: Modellens direkte bruk av en beskyttet egenskap (kjønn, etnisitet, religion, alder). Dette er uttrykkelig forbudt.
• Indirekte diskriminering (surrogatvariabel / proxy): Selv om modellen ikke bruker den beskyttede funksjonen direkte, produserer den det samme resultatet ved å bruke en annen variabel som er sterkt relatert til den (postnummer, navn, shoppingkategori, arbeidsdistrikt). Postnummer er ofte en proxy for etnisitet eller inntektsnivå. Modellen sier "nabolag", men resultatet er "opprinnelses"-diskriminering.

Variabel

tilsynelatende

kan være en proxy

Postnummer / distrikt

geografi

Etnisitet, inntektsnivå

Navn

ID

opprinnelse, kjønn

Shopping-kategori

oppførsel

livsstil, tro

uteksaminert skolen

Utdanning

Sosioøkonomisk opprinnelse

Det er derfor alarmen bør høres når du ser et utsagn som "nabolaget er risikabelt" i en begrunnelse: det kan se ut til å være et legitimt kriterium, men medføre indirekte diskriminering.

Forsiktig: Fjerning av den beskyttede funksjonen fra dataene avslutter ikke diskrimineringen. Surrogatvariabler kan returnere det. Rettferdighet oppnås ikke ved "Jeg slettet den sensitive kolonnen"; Dette oppnås ved å teste resultatene av modellbeslutninger mellom grupper.

Å veve rettferdighet inn i styresett

1. Rettferdighetsmålinger. Sammenlign modellens godkjennings-/avslagsprosent og feilprosent mellom grupper. Opplever én gruppe systematisk høyere avslag?
2. Fullmaktskontroll. Undersøk forholdet mellom variablene som brukes til de beskyttede egenskapene.
3. Forklarbarhet. Begrunnelse må gis for hver beslutning; En "black box"-nektelse er uholdbar.
4. Rett til å protestere. Kunden bør gis rett til å lære begrunnelsen for beslutningen og be om en menneskelig vurdering.
5. Ekskluderte grupper. Det bør også kontrolleres at grupper som er underrepresentert i dataene ikke blir mishandlet.

Fire kopierbare maler

1) Screening for diskriminering som begrunnelse:

Sjekk følgende begrunnelse for kredittbeslutning: er det en direkte/indirekte referanse til en beskyttet egenskap (alder, kjønn, opprinnelse, religion) eller en proxy-variabel (postnummer, nabolag, navn, handletype)? Flagg risikable utsagn og forklar hvorfor de utgjør en risiko for diskriminering. Årsak: [tekst]

2) Variabel liste proxy-kontroll:

Undersøk denne listen over variabler som brukes i en kredittmodell. Hvilke kan være en proxy for en beskyttet egenskap og utgjøre en risiko for indirekte diskriminering? Skriv din begrunnelse for hver risikovariant. Liste: [variabler]

3) Oppsummering av beslutningen når det gjelder rettferdighet (nøytral, forklarlig):

Din rolle: assistent som utarbeider en forklarlig beslutningsrasjonal. Stol kun på legitime, ikke-diskriminerende kriterier (gjeld-til-inntektsforhold, betalingshistorikk, sikkerhet). IKKE referer til beskyttet eiendom og surrogatvariabel. Skriv begrunnelsen i et klart språk som kunden vil forstå. Jeg vil gi godkjenningen.

4) Utkast til innsigelsessvar:

En kunde anket kredittavslaget og ønsker begrunnelse. Lag et respektfullt og beskrivende svar basert på legitime kriterier; Minn kunden om hans eller hennes rett til menneskelig vurdering og retting. Ikke bruk noen diskriminerende implikasjoner. Bekreftet avvisningsårsak: [reason]

Svak forespørsel / Sterk forespørsel

Svak melding:

Applikasjoner i denne regionen er svært risikable, la oss bruke distriktsinformasjon mer i modellen slik at nøyaktigheten kan økes.

Denne tilnærmingen styrker indirekte diskriminering basert på distrikt; Det legitimerer et ulovlig utfall i navnet til "treffet".

Kraftig ledetekst:

Din rolle: justisrevisjonsassistent. Flagg variablene som brukes som utgjør risikoen for surrogatvariabler. Foreslå hvilke beregninger jeg bør følge for å sammenligne avgjørelser mellom grupper når det gjelder godkjennings-/avvisningsfrekvens. Aldri forsterk et diskriminerende kriterium; omdirigere til legitime og forklarbare kriterier.

Sterk vilje ser etter proxy-risiko, introduserer rettferdighetsmålinger og avviser diskriminering.

tre minisaker

Sak 1 – Historisk skjevhet. Den ene modellen gir en bestemt yrkesgruppe en systematisk lav skåre fordi den har fått mindre kreditt tidligere. En rettferdighetsrevisjon viser at avslagsprosenten for denne gruppen er 30 % høyere enn andre med tilsvarende inntektsnivå. Modellen er rebalansert med legitime inntekts- og betalingskriterier.

Tilfelle 2 — Surrogatvariabel. Postnummer er en kraftig variabel i en modell. Tilsynet viser at postnummeret overlapper med visse etnisk konsentrerte nabolag, noe som gir indirekte opprinnelsesdiskriminering. Variabelen fjernes og erstattes av legitime økonomiske referanser; ytelsen forblir på et akseptabelt nivå, diskriminering er eliminert.

Sak 3 – Rett til å protestere. En avvist klient ber om begrunnelse. Banken gir den forklarbare begrunnelsen (høy gjeld i forhold til inntekt) og godtar forespørselen om menneskelig vurdering. Gjennomgang avslører en feillesing av et dokument; Vedtaket korrigeres. Forklarlighet og rett til å protestere kompenserer for en feil med rettferdighet.

Rettferdighetsmålinger: hva og hvordan vi måler

"Er modellen rettferdig?" Det finnes ikke noe enkelt svar på spørsmålet; Det er flere definisjoner av rettferdighet, og noen ganger er de i konflikt med hverandre. Her er noen tilnærminger som praktisk talt følges i bankvirksomhet:

• Sammenligning av godkjennings-/avslagsprosent: Er godkjenningsgraden systematisk forskjellig mellom ulike grupper med lignende økonomiske profiler (f.eks. kjønnsgrupper)? En stor og uforklarlig forskjell er et tegn på skjevhet.
• Feilfrekvenslikhet: Er modellens falske avvisningsrate (avvisning av en legitim søknad) balansert på tvers av grupper? Hvis en gruppe blir urettferdig avvist oftere enn en annen, er det et problem.
• Kalibrering: Misligholder kundene modellene kaller «høy risiko» virkelig med lignende rater i hver gruppe? Betydningen av poengsummen bør ikke skifte fra gruppe til gruppe.

Disse beregningene kan noen ganger ikke oppgis samtidig; Hvilken definisjon av rettferdighet som skal prioriteres er ikke en teknisk, men en etisk og juridisk avgjørelse og krever menneskelig styring.

Tips: Mål rettferdighetsverdien med jevne mellomrom, ikke bare når du bygger modellen. En modell kan gå rett ut og bli partisk over tid på grunn av datadrift. Rettferdighet er ikke et spørsmål om "etablering", men et spørsmål om "overvåking".

Vanlige feil

• Feilen "objektive data". Forutsatt at modellen er nøytral; data har historisk skjevhet.
• Bare slett den sensitive kolonnen. Fjerne den beskyttede eiendommen og overse proxy-variabler.
• Sporer ikke rettferdighetsberegninger. Sammenligner ikke avvisnings-/feilraten mellom grupper i det hele tatt.
• Forsvare avgjørelsen om den svarte boksen. Vurderer en beslutning som ikke kan begrunnes som legitim.
• Fjerner retten til å protestere. Deaktiverer menneskelig vurdering fordi "det bremser prosessen."

Oppmerksomhet: Diskriminering oppstår ofte ikke fra ondskap, men fra uforsiktighet. En variabel lagt til fordi den "øker nøyaktigheten" kan ubevisst ekskludere en gruppe. Derfor er rettferdighet ikke basert på god tro, men på regelmessig prøvelse.

Oppsummert

AI-modeller bærer skjevhetene til dataene de lærer av, og diskriminering i bankvirksomhet er en juridisk, etisk og omdømmerisiko. Direkte diskriminering er å bruke en beskyttet funksjon; Indirekte diskriminering, på den annen side, produserer det samme resultatet med proxy-variabler (postnummer, navn). Rettferdighet handler ikke om å slette den følsomme spalten; Sikres av rettferdighetsmålinger, proxy-kontroll, forklarbarhet og rett til å protestere. I én setning: Mønsteret gjentar fortiden; Det er menneskets ansvar å opprettholde rettferdighet og avvise diskriminering.

Søknadsoppgave

Skriv en liste med 8-10 variabler for en kredittmodell (noen med tilsiktet proxy-risiko: postnummer, navn, shoppingkategori). 2. Utfør en proxy-sjekk med malen og merk de risikable med begrunnelsen deres. Skriv deretter en diskriminerende begrunnelsestekst og skann den med mal 1. Planlegg til slutt i et avsnitt hvilke rettferdighetsmålinger du vil spore for å sammenligne modellens avvisningsfrekvens mellom grupper.

sjekkliste

• [ ] Jeg har sjekket at modellen/rasjonale ikke bruker beskyttede egenskaper.
• [ ] Jeg screenet også risikoen for proxy-variabler.
• [ ] Jeg planla å sammenligne godkjenning/avvisning og feilrate mellom grupper.
• [ ] Jeg sørget for at hver avgjørelse hadde en forklarlig begrunnelse.
• [ ] Jeg ga kunden rett til innsigelse og menneskelig vurdering.
• [ ] Jeg krysset ikke engang den røde diskrimineringslinjen på grunn av "treff".