Predsodki, pravičnost in diskriminacija: modelove slepe pege

Dobički:

• Razumevanje, kako pristranskost v modelih umetne inteligence izhaja iz podatkov in oblikovanja ter zakaj ustvarja pravna in etična tveganja v bančništvu
• Sposobnost prepoznavanja zaščitenih lastnosti, nadomestnih spremenljivk in posredne diskriminacije ter dvoma o odločitvah modela v smislu poštenosti
• Sposobnost razumevanja, kako so meritve pravičnosti, izključene skupine in pravica do ugovora vtkane v model upravljanja in ohranjajo rdečo črto diskriminacije

Model AI ni nevtralen; Je ogledalo naučenih podatkov. Če podatki prenašajo pretekle neenakosti, se jih model nauči in prenese v prihodnost. V bančništvu ne gre za abstraktno etično razpravo: če kreditni model sistematično postavlja določeno skupino v slabši položaj, je to hkrati nezakonito (prepoved diskriminacije) in etično kršitev, ki banki prinaša tveganje za ugled in sankcije. Namen te enote je pokazati, kako model postane pristranski, neposredna in posredna oblika diskriminacije, past spremenljivke posrednika in načini za vpletanje poštenosti v upravljanje modela. Že na začetku je treba povedati eno rdečo črto: diskriminacija, ne glede na to, kako »statistična« se zdi, je nesprejemljiva.

Od kod prihajajo predsodki?

• Pristranskost podatkov: če so bile pretekle odločitve nepoštene (npr. določeni skupini je bilo v preteklosti pripisano manj zaslug), model predpostavlja, da je to »normalno«, in nadaljuje. Temu se reče zgodovinska pristranskost.
• Pristranskost vzorčenja: če so nekatere skupine premalo zastopane v podatkih, se model o njih uči slabo in netočno.
• Pristranskost oznake: Če je sama definicija »dobre stranke« pristranska, se model optimizira za pristranskost.
• Pristranskost načrtovanja: Človeške odločitve o tem, katere spremenljivke uporabiti, lahko prav tako povzročijo pristranskost.

Nasvet: »Model temelji na podatkih, zato je objektiven« je napačno prepričanje. Podatki so posnetek preteklosti; Če je bila preteklost krivična, »objektivni« model krivico opravičuje z matematiko. Objektivnost ni jamstvo za nepristranskost.

Neposredna in posredna diskriminacija

• Neposredna diskriminacija: Neposredna uporaba modela zaščitene lastnosti (spol, etnična pripadnost, vera, starost). To je izrecno prepovedano.
• Posredna diskriminacija (nadomestna spremenljivka/približek): tudi če model ne uporablja neposredno zaščitene funkcije, ustvari enak rezultat z uporabo druge spremenljivke, ki je močno povezana z njo (poštna številka, ime, nakupovalna kategorija, delovno okrožje). Poštna številka je pogosto približek za etnično pripadnost ali raven dohodka. Model pravi "soseska", rezultat pa je diskriminacija "izvora".

Spremenljivka

očitno

lahko proxy

Poštna številka / okraj

geografija

Etnična pripadnost, raven dohodka

Ime

ID

poreklo, spol

Nakupovalna kategorija

obnašanje

življenjski slog, prepričanje

diplomiral šolo

izobraževanje

Družbenoekonomski izvor

Zato bi se moral oglasiti alarm, ko v utemeljitvi vidite izjavo, kot je "soseska je tvegana": morda se zdi, da je to legitimno merilo, vendar prinaša posredno diskriminacijo.

Pozor: Odstranitev zaščitene funkcije iz podatkov ne konča diskriminacije. Nadomestne spremenljivke ga lahko vrnejo. Pravica se ne doseže z "izbrisal sem občutljivo rubriko"; To se doseže s testiranjem rezultatov modelnih odločitev med skupinami.

Vpletanje pravičnosti v upravljanje

1. Meritve pravičnosti. Primerjajte stopnje odobritve/zavrnitve modela in stopnje napak med skupinami. Ali ena skupina sistematično doživlja več zavrnitev?
2. Proxy nadzor. Preglejte razmerje med uporabljenimi spremenljivkami in zaščitenimi lastnostmi.
3. Razložljivost. Vsako odločitev je treba utemeljiti; Zanikanje "črne skrinjice" je nevzdržno.
4. Pravica do ugovora. Stranka bi morala imeti pravico, da se seznani z razlogi za odločitev in zahteva človeški pregled.
5. Izključene skupine. Prav tako je treba preveriti, da se skupine, ki so premalo zastopane v podatkih, ne zlorabljajo.

Štiri predloge za kopiranje

1) Preverjanje diskriminacije v utemeljitvi:

Preverite naslednjo utemeljitev kreditne odločitve: ali obstaja neposredno/posredno sklicevanje na zaščiteno značilnost (starost, spol, izvor, vera) ali približna spremenljivka (poštna številka, soseska, ime, vrsta nakupovanja)? Označite tvegane izjave in pojasnite, zakaj predstavljajo tveganje za diskriminacijo. Razlog: [besedilo]

2) Nadzor proxyja seznama spremenljivk:

Preglejte ta seznam spremenljivk, uporabljenih v kreditnem modelu. Kateri bi lahko bili približek za zaščiteno lastnost in predstavljali tveganje za posredno diskriminacijo? Za vsako tvegano varianto napišite svojo utemeljitev. Seznam: [spremenljivke]

3) Povzetek odločitve v smislu pravičnosti (nevtralno, razložljivo):

Vaša vloga: pomočnik, ki pripravi osnutek razložljive utemeljitve odločitve. Zanašajte se samo na zakonita, nediskriminatorna merila (razmerje med dolgom in prihodkom, zgodovino plačil, zavarovanje s premoženjem). NE navajajte zaščitene lastnine in nadomestne spremenljivke. Napišite utemeljitev v preprostem jeziku, ki ga bo stranka razumela. Dal bom odobritev.

4) Osnutek odgovora na ugovor:

Stranka se je pritožila na zavrnitev kredita in želi utemeljitev. Pripravite spoštljiv in opisen odgovor na podlagi legitimnih meril; Stranko opomnite na njeno pravico do človeškega pregleda in popravka. Ne uporabljajte nobenih diskriminatornih implikacij. Preverjen razlog za zavrnitev: [razlog]

Šibek poziv/močan poziv

Šibek poziv:

Aplikacije v tej regiji so zelo tvegane, zato v modelu bolj uporabljajmo informacije o okrožjih, da se lahko poveča natančnost.

Ta pristop krepi posredno diskriminacijo na podlagi okrožja; Legitimizira protipravni izid v imenu "udarca".

Močan poziv:

Vaša vloga: asistent pravosodne revizije. Označite uporabljene spremenljivke, ki predstavljajo tveganje za nadomestne spremenljivke. Predlagajte, katerim meritvam naj sledim za primerjavo odločitev med skupinami v smislu stopnje odobritve/zavrnitve. Nikoli ne krepite diskriminatornega merila; preusmeriti na legitimna in razložljiva merila.

Strong will išče proxy tveganje, uvaja meritve pravičnosti in zavrača diskriminacijo.

trije mini kovčki

Primer 1 – Zgodovinska pristranskost. En model daje določeni poklicni skupini sistematično nizko oceno, ker so ji v preteklosti pripisovali manj zaslug. Revizija pravičnosti kaže, da je stopnja zavrnitve za to skupino 30 % višja kot pri drugih s podobnimi ravnmi dohodka. Model je ponovno uravnotežen z zakonitimi dohodki in plačilnimi merili.

Primer 2 – Nadomestna spremenljivka. Poštna številka je močna spremenljivka v modelu. Revizija kaže, da se poštna številka prekriva z nekaterimi etnično koncentriranimi soseskami, kar povzroča posredno diskriminacijo glede izvora. Spremenljivka je odstranjena in nadomeščena z zakonitimi finančnimi merili; uspešnost ostaja na sprejemljivi ravni, diskriminacija je odpravljena.

Primer 3 – Pravica do ugovora. Zavrnjena stranka zahteva utemeljitev. Banka zagotovi razložljivo utemeljitev (visoko razmerje med dolgom in prihodkom) in sprejme zahtevo za človeški pregled. Pregled razkrije napačno branje dokumenta; Odločba je popravljena. Razložljivost in pravica do ugovora nadomestita napako s pravičnostjo.

Meritve pravičnosti: kaj in kako merimo

"Je model pravičen?" Na vprašanje ni enotnega odgovora; Obstaja več definicij pravičnosti in včasih so med seboj v nasprotju. Tukaj je nekaj pristopov, ki se v praksi uporabljajo v bančništvu:

• Primerjava stopnje odobritve/zavrnitve: Ali se stopnja odobritve sistematično razlikuje med različnimi skupinami s podobnimi finančnimi profili (npr. skupine po spolu)? Velika in nepojasnjena razlika je znak pristranskosti.
• Enakost stopnje napak: Ali je stopnja napačne zavrnitve modela (zavrnitev zakonite vloge) uravnotežena med skupinami? Če je ena skupina neupravičeno zavrnjena pogosteje kot druga, je problem.
• Umerjanje: Ali stranke, ki jih model imenuje "visoko tveganje", res ne plačajo po podobnih stopnjah v vsaki skupini? Pomen rezultata se ne sme spreminjati od skupine do skupine.

Te meritve včasih ni mogoče zagotoviti hkrati; Kateri definiciji pravičnosti dati prednost, ni tehnična, temveč etična in pravna odločitev ter zahteva človeško upravljanje.

Namig: metriko poštenosti merite v rednih intervalih, ne samo, ko sestavljate model. Model lahko deluje pošteno in sčasoma postane pristranski zaradi premikanja podatkov. Pravica ni stvar "ustanovitve", ampak stvar "monitoringa".

Pogoste napake

• Zmota "objektivnih podatkov". Ob predpostavki, da je model nevtralen; podatki nosijo zgodovinsko pristranskost.
• Samo izbrišite občutljiv stolpec. Odstranitev zaščitene lastnosti in spregled proxy spremenljivk.
• Ne sledi meritvam pravičnosti. Sploh ne primerjam stopnje zavrnitev/napak med skupinami.
• Zagovarjanje odločitve o črni skrinjici. Upoštevanje odločitve, ki je ni mogoče utemeljiti kot legitimno.
• Odvzem pravice do ugovora. Onemogočanje človeškega pregleda, ker "upočasnjuje proces."

Pozor: diskriminacija pogosto ne izhaja iz zlobe, ampak iz malomarnosti. Spremenljivka, dodana, ker "povečuje natančnost", lahko nevede izključi skupino. Zato pravičnost ne temelji na dobri veri, ampak na rednem testiranju.

Če povzamem

Modeli umetne inteligence prenašajo pristranskost podatkov, iz katerih se učijo, diskriminacija v bančništvu pa je pravno, etično tveganje in tveganje za ugled. Neposredna diskriminacija je uporaba zaščitene funkcije; Po drugi strani pa posredna diskriminacija daje enak rezultat s proxy spremenljivkami (poštna številka, ime). Pri pravičnosti ne gre za brisanje občutljivega stolpca; Zagotovljeno z meritvami poštenosti, nadzorom posrednika, razložljivostjo in pravico do ugovora. V enem stavku: Vzorec ponavlja preteklost; Odgovornost človeka je, da podpira pravičnost in zavrača diskriminacijo.

Aplikacijska naloga

Napišite seznam 8–10 spremenljivk za kreditni model (nekatere z namernim posrednim tveganjem: poštna številka, ime, nakupovalna kategorija). 2. Izvedite proxy preverjanje s predlogo in označite tvegane z razlogi. Nato napišite diskriminatorno utemeljitveno besedilo in ga optično preberite s predlogo 1. Na koncu v odstavku načrtujte, katerim meritvam pravičnosti boste sledili, da boste primerjali stopnjo zavrnitve modela med skupinami.

kontrolni seznam

• [ ] Preveril sem, da model/utemeljitev ne uporablja zaščitenih lastnosti.
• [ ] Pregledal sem tudi tveganje proxy spremenljivk.
• [ ] Načrtoval sem primerjavo odobritve/zavrnitve in stopnje napak med skupinami.
• [ ] Zagotovil sem, da ima vsaka odločitev razložljivo utemeljitev.
• [ ] Stranki sem dal pravico do ugovora in človeškega pregleda.
• [ ] Sploh nisem prestopil diskriminacijske rdeče črte na podlagi "zadetosti".