Eelarvamused, õiglus ja diskrimineerimine: mudeli pimealad

Kasu:

• Arusaamine, kuidas tehisintellekti mudelite eelarvamus tuleneb andmetest ja disainist ning miks see tekitab panganduses juriidilisi ja eetilisi riske
• Võimalus ära tunda kaitstud funktsioone, puhverserveri muutujaid ja kaudset diskrimineerimist ning seada mudeliotsused kahtluse alla õigluse mõttes
• Võime mõista, kuidas õigluse mõõdikud, välistatud rühmad ja vastuväidete õigus on põimitud juhtimismudelisse ning säilitada diskrimineerimise punane joon

AI mudel ei ole neutraalne; See on õpitud andmete peegel. Kui andmed kannavad mineviku ebavõrdsust, õpib mudel neid ja kannab tulevikku. Panganduses ei ole see abstraktne eetiline debatt: kui krediidimudel seab teatud rühma süstemaatiliselt ebasoodsasse olukorda, on see nii ebaseaduslik (diskrimineerimise keeld) kui ka eetiline rikkumine, mis toob pangale kaasa maine- ja sanktsiooniriskid. Selle üksuse eesmärk on näidata, kuidas mudel muutub kallutatud, otseseks ja kaudseks diskrimineerimise vormiks, puhvermuutuja lõksu ja viise, kuidas mudeli juhtimisse õiglust põimida. Kohe alguses tuleb öelda üks punane joon: diskrimineerimine, ükskõik kui "statistiline" see ka ei tunduks, on lubamatu.

Kust tulevad eelarvamused?

• Andmete kallutatus: kui varasemad otsused olid ebaõiglased (nt teatud rühmale anti varem vähem krediiti), eeldab mudel, et see on "normaalne" ja jätkab. Seda nimetatakse ajalooliseks eelarvamuseks.
• Valimi kallutatus: kui mõned rühmad on andmetes alaesindatud, õpib mudel nende kohta halvasti ja ebatäpselt.
• Sildi kallutatus: kui "hea kliendi" määratlus ise on kallutatud, optimeerib mudel selle kallutatuse.
• Disaini kallutatus: inimeste valikud selle kohta, milliseid muutujaid kasutada, võivad samuti kaasa tuua eelarvamusi.

Näpunäide: "Mudel põhineb andmetel, seega on see objektiivne" on eksiarvamus. Andmed on hetktõmmis minevikust; Kui minevik oli ebaõiglane, siis "objektiivne" mudel õigustab ebaõiglust matemaatikaga. Objektiivsus ei garanteeri erapooletust.

Otsene ja kaudne diskrimineerimine

• Otsene diskrimineerimine: kaitstud tunnuse (sugu, etniline päritolu, religioon, vanus) otsene kasutamine mudelis. See on selgesõnaliselt keelatud.
• Kaudne diskrimineerimine (asendusmuutuja / puhverserver): isegi kui mudel ei kasuta kaitstud funktsiooni otseselt, annab see sama tulemuse, kasutades teist muutujat, mis on sellega tugevalt seotud (postiindeks, nimi, ostukategooria, tööpiirkond). Sihtnumber on sageli etnilise kuuluvuse või sissetulekutaseme asendusnäitaja. Mudel ütleb "naabruskond", kuid tulemuseks on "päritolu" diskrimineerimine.

Muutuv

ilmselt

võib olla puhverserver

Postiindeks / piirkond

geograafia

Rahvus, sissetulekute tase

Nimi

ID

päritolu, sugu

Ostlemise kategooria

käitumine

elustiil, usk

lõpetanud kooli

Haridus

Sotsiaalmajanduslik päritolu

Seetõttu peakski kõlama häire, kui näete põhjenduses sellist väidet nagu "naabruskond on riskantne": see võib tunduda legitiimne kriteerium, kuid sellega kaasneb kaudne diskrimineerimine.

Ettevaatust: kaitstud funktsiooni eemaldamine andmetest ei lõpeta diskrimineerimist. Asendusmuutujad võivad selle tagastada. "Kustutasin tundliku veeru" õiglust ei saavuta; See saavutatakse rühmadevaheliste mudelotsuste tulemuste testimisega.

Õigluse põimimine valitsemisse

1. Õigluse mõõdikud. Võrrelge mudeli heakskiitmise/tagalükkamise määrasid ja veamäärasid rühmade vahel. Kas üks rühm kogeb süstemaatiliselt suuremat tagasilükkamist?
2. Puhverserveri juhtimine. Uurige kasutatud muutujate seost kaitstud omadustega.
3. Seletatavus. Iga otsust tuleb põhjendada; "Musta kasti" eitamine on vastuvõetamatu.
4. Õigus esitada vastuväiteid. Kliendile tuleks anda õigus teada oma otsuse põhjendust ja taotleda inimesepoolset läbivaatamist.
5. Välistatud rühmad. Samuti tuleks kontrollida, et andmetes alaesindatud rühmi ei koheldaks vääralt.

Neli kopeeritavat malli

1) Põhjendatud diskrimineerimise sõelumine:

Kontrollige järgmist krediidiotsuse põhjendust: kas seal on otsene/kaudne viide kaitstud tunnusele (vanus, sugu, päritolu, religioon) või puhvermuutujale (postiindeks, naabruskond, nimi, ostutüüp)? Märkige riskantsed avaldused ja selgitage, miks need kujutavad endast diskrimineerimise ohtu. Põhjus: [tekst]

2) Muutujate loendi puhverserveri juhtimine:

Uurige seda krediidimudelis kasutatavate muutujate loendit. Millised neist võiksid olla kaitstud omaduse asendajad ja kujutada endast kaudse diskrimineerimise ohtu? Kirjutage oma põhjendus iga riskantse variandi kohta. Loend: [muutujad]

3) Otsuse kokkuvõte õigluse seisukohast (neutraalne, seletatav):

Teie roll: assistent, kes koostab selgitatava otsuse põhjenduse. Tuginege ainult legitiimsetele mittediskrimineerivatele kriteeriumidele (võla ja sissetuleku suhe, makseajalugu, tagatis). ÄRGE viidake kaitstud varale ja asendusmuutujale. Kirjutage põhjendus lihtsas keeles, millest klient aru saab. annan heakskiidu.

4) Vastulause kavand:

Klient kaebas krediidi andmisest keeldumise edasi ja soovib põhjendust. Koostage lugupidav ja kirjeldav vastus, mis põhineb legitiimsetel kriteeriumidel; Tuletage kliendile meelde tema õigust inimese ülevaatamisele ja parandamisele. Ärge kasutage diskrimineerivaid tagajärgi. Kinnitatud tagasilükkamise põhjus: [põhjus]

Nõrk viip / Tugev viip

Nõrk viip:

Selle piirkonna rakendused on väga riskantsed, kasutagem mudelis rohkem linnaosa teavet, et täpsust saaks suurendada.

Selline lähenemine tugevdab kaudset diskrimineerimist piirkonna alusel; See seadustab ebaseadusliku tulemuse "löögi" nimel.

Võimas viip:

Sinu roll: justiitsauditi assistent. Märgistage kasutatavad muutujad, mis kujutavad endast asendusmuutujate ohtu. Soovitage, milliseid mõõdikuid peaksin järgima, et võrrelda rühmade vahel tehtud otsuseid heakskiitmise/tagalükkamise määra osas. Ärge kunagi tugevdage diskrimineerivat kriteeriumi; suunata õigustatud ja seletatavatele kriteeriumidele.

Tugev tahe otsib puhverriski, võtab kasutusele õigluse mõõdikud ja lükkab tagasi diskrimineerimise.

kolm minikarpi

1. juhtum – ajalooline eelarvamus. Üks mudel annab konkreetsele ametirühmale süstemaatiliselt madala hinde, kuna seda on varem vähem arvestatud. Õigluse audit näitab, et selle grupi tagasilükkamise määr on 30% kõrgem kui teistel sarnastel sissetulekutasemetel. Mudel on tasakaalustatud seaduslike sissetuleku- ja maksekriteeriumitega.

Juhtum 2 – asendusmuutuja. Sihtnumber on mudelis võimas muutuja. Audit näitab, et sihtnumber kattub teatud etniliselt kontsentreeritud linnaosadega, põhjustades kaudset päritolu diskrimineerimist. Muutuja eemaldatakse ja asendatakse legitiimsete finantsnäitajatega; tulemuslikkus jääb vastuvõetaval tasemel, diskrimineerimine on kõrvaldatud.

Juhtum 3 – õigus esitada vastuväiteid. Tagasilükatud klient küsib õigustust. Pank esitab arusaadava põhjenduse (kõrge võla ja sissetulekute suhe) ja võtab inimesepoolse läbivaatamise taotluse vastu. Läbivaatamisel ilmneb, et dokumendist on valesti loetud; Otsus parandatakse. Seletatavus ja vastuväiteõigus kompenseerivad eksimuse õiglusega.

Õigluse mõõdikud: mida ja kuidas mõõdame

"Kas modell on aus?" Küsimusele pole ühest vastust; Õiglusel on mitu määratlust ja need on mõnikord üksteisega vastuolus. Siin on mõned lähenemisviisid, mida panganduses praktiliselt järgitakse:

• Heakskiitmise ja tagasilükkamise määra võrdlus: kas heakskiitmise määr on süstemaatiliselt erinev sarnase finantsprofiiliga rühmade (nt soorühmad) vahel? Suur ja seletamatu erinevus on märk eelarvamusest.
• Veamäära võrdsus: kas mudeli vale tagasilükkamise (õigustatud taotluse tagasilükkamise) määr on rühmade lõikes tasakaalustatud? Kui üks rühm lükatakse ebaõiglaselt tagasi sagedamini kui teine, on probleem.
• Kalibreerimine: kas kliendid, keda mudel nimetab "kõrge riskiga", on tõesti igas rühmas sarnaste määradega täitmata? Hinde tähendus ei tohiks nihkuda rühmast rühma.

Mõnikord ei saa neid mõõdikuid korraga esitada; Milline õigluse määratlus eelistada, ei ole tehniline, vaid eetiline ja juriidiline otsus ning nõuab inimlikku juhtimist.

Nõuanne. Mõõtke õigluse mõõdikut korrapäraste ajavahemike järel, mitte ainult mudeli loomisel. Mudel võib õiglaselt kasutusele võtta ja muutuda aja jooksul andmete triivimise tõttu kallutatud. Õiglus ei ole "kehtestamise", vaid "järelvalve" küsimus.

Levinud vead

• "Objektiivsete andmete" eksitus. Eeldades, et mudel on neutraalne; andmed kannavad ajaloolist eelarvamust.
• Lihtsalt kustutage tundlik veerg. Kaitstud atribuudi eemaldamine ja puhverserveri muutujatest tähelepanuta jätmine.
• Ei jälgi õigluse mõõdikuid. Üldse ei võrrelda rühmade tagasilükkamise/vea määra.
• Musta kasti otsuse kaitsmine. Pidades õiguspäraseks otsust, mida ei saa põhjendada.
• Vastuväidete esitamise õiguse äravõtmine. Inimese ülevaatuse keelamine, kuna "see aeglustab protsessi".

Tähelepanu: Diskrimineerimine ei tulene sageli mitte pahatahtlikkusest, vaid hoolimatusest. Muutuja, mis lisatakse, kuna see "suurendab täpsust", võib grupi teadmatult välistada. Seetõttu ei põhine õiglus heausksel, vaid regulaarsel testimisel.

Kokkuvõttes

Tehisintellekti mudelid sisaldavad andmete eelarvamusi, millest nad õpivad, ja diskrimineerimine panganduses on juriidiline, eetiline ja mainega seotud risk. Otsene diskrimineerimine on kaitstud funktsiooni kasutamine; Kaudne diskrimineerimine seevastu annab sama tulemuse puhverserveri muutujatega (postiindeks, nimi). Õiglus ei seisne tundliku veeru kustutamises; Seda tagavad õigluse mõõdikud, puhverserveri juhtimine, seletatavus ja õigus esitada vastuväiteid. Ühes lauses: Muster kordab minevikku; Inimese kohustus on austada õiglust ja keelduda diskrimineerimisest.

Rakenduse ülesanne

Kirjutage krediidimudeli jaoks 8–10 muutujast koosnev loend (mõnedel on tahtlik puhverrisk: postiindeks, nimi, ostukategooria). 2. Tehke malliga puhverserveri kontroll ja märkige riskantsed koos põhjustega. Seejärel kirjutage diskrimineeriv põhjendustekst ja skannige see malliga 1. Lõpuks kavandage lõigus, milliseid õigluse mõõdikuid jälgite, et võrrelda mudeli tagasilükkamise määra rühmade vahel.

kontrollnimekiri

• [ ] Kontrollisin, et mudel/põhjendus ei kasutaks kaitstud omadusi.
• [ ] Sõelusin ka puhverserveri muutujate riski.
• [ ] Plaanisin võrrelda rühmade vahelist heakskiitu/tagasilükkamist ja veamäära.
• [ ] Jälgisin, et igal otsusel oleks seletatav põhjendus.
• [ ] Andsin kliendile vastuväiteõiguse ja inimliku läbivaatamise õiguse.
• [ ] Ma ei ületanud isegi diskrimineerimise punast joont "tabamuse" alusel.