Ennakkoluulot, oikeudenmukaisuus ja syrjintä: mallin sokeat pisteet

Voitot:

Ymmärtää kuinka tekoälymallien harha johtuu tiedosta ja suunnittelusta ja miksi se luo laillisia ja eettisiä riskejä pankkitoiminnassa
Kyky tunnistaa suojattuja ominaisuuksia, välityspalvelinmuuttujia ja epäsuoraa syrjintää ja kyseenalaistaa mallipäätökset oikeudenmukaisuuden kannalta
Kyky ymmärtää, miten oikeudenmukaisuusmittarit, poissuljetut ryhmät ja oikeus vastustaa kudotaan osaksi hallintomallia ja ylläpitää syrjinnän punaista linjaa

AI-malli ei ole neutraali; Se on opitun tiedon peili. Jos data sisältää menneisyyden epäyhtälöitä, malli oppii ne ja kantaa ne tulevaisuuteen. Pankkitoiminnassa tämä ei ole abstraktia eettistä keskustelua: jos luottomalli asettaa systemaattisesti tiettyä ryhmää epäedulliseen asemaan, se on sekä lainvastaista (syrjintäkielto) että eettistä loukkausta, joka tuo pankille maine- ja sanktioriskejä. Tämän yksikön tarkoituksena on näyttää, kuinka mallista tulee puolueellinen, suoria ja epäsuoria syrjinnän muotoja, välitysmuuttujien ansaa ja tapoja yhdistää oikeudenmukaisuus mallin hallintoon. Yksi punainen viiva on sanottava alusta alkaen: syrjintää, vaikka se näyttää kuinka "tilastolliselta", ei voida hyväksyä.

Mistä ennakkoluulo tulee?

Dataharha: Jos aiemmat päätökset olivat epäoikeudenmukaisia (esim. tietylle ryhmälle annettiin aiemmin vähemmän arvoa), malli olettaa tämän olevan "normaalia" ja jatkaa. Tätä kutsutaan historialliseksi harhaksi.
Otantaharha: Jos jotkin ryhmät ovat aliedustettuina tiedoissa, malli oppii niistä huonosti ja epätarkasti.
Tunnisteharha: Jos "hyvän asiakkaan" määritelmä itsessään on puolueellinen, malli optimoi harhaa.
Suunnitteluharha: Ihmisten valinnat käytettävien muuttujien suhteen voivat myös sisältää harhaa.

Vinkki: "Malli perustuu tietoihin, joten se on objektiivinen" on väärinkäsitys. Data on tilannekuva menneisyydestä; Jos menneisyys oli epäoikeudenmukaista, "objektiivinen" malli oikeuttaa epäoikeudenmukaisuuden matematiikalla. Objektiivisuus ei ole tae puolueettomuudesta.

Suora ja välillinen syrjintä

Suora syrjintä: Suojeltu ominaisuuden (sukupuoli, etnisyys, uskonto, ikä) suora käyttö mallissa. Tämä on nimenomaisesti kiellettyä.
Epäsuora syrjintä (korvausmuuttuja / välityspalvelin): Vaikka malli ei käytä suojattua ominaisuutta suoraan, se tuottaa saman tuloksen käyttämällä toista siihen vahvasti liittyvää muuttujaa (postinumero, nimi, ostosluokka, työalue). Postinumero ilmaisee usein etnisen alkuperän tai tulotason. Mallissa sanotaan "naapuruus", mutta tuloksena on "alkuperän" syrjintä.

Muuttuva

ilmeisesti

voi olla välityspalvelin

Postinumero / piiri

maantiede

Etnisyys, tulotaso

Nimi

alkuperä, sukupuoli

Ostosluokka

käyttäytymistä

elämäntapa, usko

valmistui koulusta

koulutus

Sosioekonominen alkuperä

Siksi hälytyksen pitäisi kuulua, kun näet perustelussa lausunnon, kuten "naapuruus on riskialtista": se voi vaikuttaa oikeutetulta kriteeriltä, mutta sisältää välillistä syrjintää.

Varoitus: Suojatun ominaisuuden poistaminen tiedoista ei lopeta syrjintää. Korvaavat muuttujat voivat palauttaa sen. Oikeutta ei saavuteta "poistin arkaluonteisen sarakkeen"; Tämä saavutetaan testaamalla ryhmien välisten mallipäätösten tuloksia.

Oikeuden kutominen hallintoon

Oikeudenmukaisuusmittarit. Vertaa mallin hyväksymis-/hylkäyssuhteita ja virheprosentteja ryhmien välillä. Onko yksi ryhmä systemaattisesti kokenut suurempia hylkäyksiä?
Välityspalvelimen ohjaus. Tutki käytettyjen muuttujien suhdetta suojattuihin ominaisuuksiin.
Selitettävyys. Jokaiselle päätökselle on esitettävä perustelut; "Mustan laatikon" kieltäminen on kestämätön.
Oikeus vastustaa. Asiakkaalle tulee antaa oikeus saada selville päätöksen perustelut ja pyytää ihmisen tekemää tarkastusta.
Poissuljetut ryhmät. On myös tarkistettava, että tiedoissa aliedustettuja ryhmiä ei kohdella väärin.

Neljä kopioitavaa mallia

1) Seulonta perustellun syrjinnän varalta:

Tarkista seuraavat luottopäätöksen perusteet: onko olemassa suora/epäsuora viittaus suojattuun ominaisuuteen (ikä, sukupuoli, alkuperä, uskonto) tai välitysmuuttuja (postinumero, asuinalue, nimi, ostostyyppi)? Merkitse riskialttiit lausunnot ja selitä, miksi ne aiheuttavat syrjinnän vaaran. Syy: [teksti]

2) Muuttujien luettelon välityspalvelinhallinta:

Tutki tätä luottomallissa käytettyjen muuttujien luetteloa. Mitkä niistä voisivat edustaa suojattua ominaisuutta ja aiheuttaa välillisen syrjinnän vaaran? Kirjoita perustelut jokaiselle vaaralliselle versiolle. Lista: [muuttujat]

3) Yhteenveto päätöksestä oikeudenmukaisuuden kannalta (neutraali, selitettävissä oleva):

Roolisi: avustaja, joka laatii selitettävän päätöksen perustelut. Luota vain laillisiin, syrjimättömiin kriteereihin (velka-tulosuhde, maksuhistoria, vakuudet). ÄLÄ viittaa suojattuun omaisuuteen ja korvikemuuttujaan. Kirjoita perustelu selkeällä kielellä, jonka asiakas ymmärtää. annan hyväksynnän.

4) Vastalauseluonnos:

Asiakas valitti luoton epäämisestä ja haluaa perusteluja. Laadi kunnioittava ja kuvaava vastaus laillisten kriteerien perusteella; Muistuta asiakasta hänen oikeudestaan inhimilliseen tarkasteluun ja korjaukseen. Älä käytä mitään syrjiviä vaikutuksia. Vahvistettu hylkäämisen syy: [syy]

Heikko kehote / Vahva kehote

Heikko kehote:

Tämän alueen sovellukset ovat erittäin riskialttiita, hyödynnetään piiritietoa enemmän mallissa, jotta tarkkuutta voidaan lisätä.

Tämä lähestymistapa vahvistaa piiriin perustuvaa epäsuoraa syrjintää; Se oikeuttaa laittoman tuloksen "osuman" nimissä.

Tehokas kehotus:

Tehtäväsi: oikeustarkastusassistentti. Merkitse käytetyt muuttujat, jotka aiheuttavat korvikemuuttujien riskin. Ehdota, mitä mittareita minun pitäisi noudattaa vertaillakseni ryhmien välisiä päätöksiä hyväksymis-/hylkäämisasteen suhteen. Älä koskaan vahvista syrjivää kriteeriä; ohjata laillisiin ja selitettäviin kriteereihin.

Vahva tahto etsii välitysriskiä, ottaa käyttöön oikeudenmukaisuusmittareita ja torjuu syrjinnän.

kolme minilaukkua

Tapaus 1 – Historiallinen harha. Yksi malli antaa tietylle ammattiryhmälle systemaattisesti matalan pistemäärän, koska sille on aiemmin annettu vähemmän arvostusta. Oikeudenmukaisuustarkastus osoittaa, että tämän ryhmän hylkäysprosentti on 30 % korkeampi kuin muiden samanlaisten tulotasojen. Malli on tasapainotettu uudelleen laillisten tulo- ja maksukriteerien kanssa.

Tapaus 2 — Korvausmuuttuja. Postinumero on tehokas muuttuja mallissa. Tarkastus osoittaa, että postinumero on päällekkäinen tiettyjen etnisesti keskittyneiden kaupunginosien kanssa, mikä aiheuttaa epäsuoraa alkuperäsyrjintää. Muuttuja poistetaan ja korvataan laillisilla taloudellisilla vertailuarvoilla; suorituskyky säilyy hyväksyttävällä tasolla, syrjintä poistetaan.

Tapaus 3 – Oikeus vastustaa. Hylätty asiakas pyytää perusteluja. Pankki antaa selitettävän perustelun (korkea velka-tulosuhde) ja hyväksyy pyynnön ihmisen suorittamasta arvioinnista. Tarkastelu paljastaa asiakirjan väärinlukemisen; Päätös korjataan. Selitettävyys ja oikeus vastustaa kompensoivat virheen oikeudella.

Oikeudenmukaisuusmittarit: mitä ja miten mittaamme

"Onko malli reilu?" Kysymykseen ei ole yhtä vastausta; Oikeudella on useita määritelmiä, ja ne ovat joskus ristiriidassa keskenään. Tässä on muutamia lähestymistapoja, joita käytännössä noudatetaan pankkitoiminnassa:

Hyväksymis-/hylkäysprosentin vertailu: Onko hyväksymisprosentti systemaattisesti erilainen eri ryhmien välillä, joilla on samanlainen taloudellinen profiili (esim. sukupuoliryhmät)? Suuri ja selittämätön ero on merkki puolueellisuudesta.
Virheiden tasa-arvo: Onko mallin virheellisen hylkäämisen (laillisen hakemuksen hylkääminen) määrä tasapainossa ryhmien välillä? Jos yksi ryhmä hylätään epäoikeudenmukaisesti useammin kuin toinen, on ongelma.
Kalibrointi: Ovatko mallissa "korkean riskin" kutsumat asiakkaat todellakin laiminlyöneet samanlaisia korkoja kussakin ryhmässä? Pisteiden merkitys ei saa siirtyä ryhmästä toiseen.

Näitä mittareita ei joskus voida toimittaa samanaikaisesti; Se, mikä oikeudenmukaisuuden määritelmä etusijalle asetetaan, ei ole tekninen vaan eettinen ja oikeudellinen päätös ja vaatii inhimillistä hallintoa.

Vinkki: Mittaa oikeudenmukaisuusmittaria säännöllisin väliajoin, ei vain mallia rakentaessasi. Malli voi tulla käyttöön reilusti ja muuttua ajan mittaan puolueelliseksi tiedon siirtymän vuoksi. Oikeudenmukaisuus ei ole "perustamisesta" vaan "seurannasta" kysymys.

Yleisiä virheitä

"Objektiivisen datan" virhe. Olettaen, että malli on neutraali; data sisältää historiallista harhaa.
Poista vain arkaluonteinen sarake. Suojatun omaisuuden poistaminen ja välityspalvelimen muuttujien huomiotta jättäminen.
Ei seuraa oikeudenmukaisuusmittareita. Ei vertailla hylkäys-/virheprosenttia ryhmien välillä ollenkaan.
Mustan laatikon päätöksen puolustaminen. Harkitaan päätöstä, jota ei voida perustella laillisena.
Vastustusoikeuden poistaminen. Ihmisen tarkastelun poistaminen käytöstä, koska "se hidastaa prosessia".

Huomio: Syrjintä ei usein johdu pahuudesta vaan huolimattomuudesta. Muuttuja, joka lisätään, koska se "lisää tarkkuutta", voi tietämättään sulkea pois ryhmän. Siksi oikeudenmukaisuus ei perustu vilpittömään mieleen vaan säännölliseen testaukseen.

Yhteenvetona

Tekoälymallit sisältävät harhaanjohtavia tietoja, joista ne oppivat, ja syrjintä pankkitoiminnassa on oikeudellinen, eettinen ja maineriski. Suora syrjintä on suojatun ominaisuuden käyttäminen; Epäsuora syrjintä puolestaan tuottaa saman tuloksen välitysmuuttujilla (postinumero, nimi). Oikeudenmukaisuus ei tarkoita arkaluonteisen sarakkeen pyyhkimistä; Varmistetaan oikeudenmukaisuusmittareiden, välityspalvelimen hallinnan, selitettävyyden ja vastustamisoikeuden avulla. Yhdessä lauseessa: Kuvio toistaa menneisyyden; Ihmisen velvollisuus on puolustaa oikeutta ja torjua syrjintää.

Sovellustehtävä

Kirjoita luottomallille 8–10 muuttujan luettelo (joissakin on tarkoituksellinen välitysriski: postinumero, nimi, ostosluokka). 2. Suorita välityspalvelimen tarkistus mallilla ja merkitse riskialttiit syyt. Kirjoita sitten syrjivä perusteluteksti ja skannaa se mallilla 1. Suunnittele lopuksi kappaleeseen, mitä oikeudenmukaisuusmittareita seuraat vertaillaksesi mallin hylkäysprosenttia ryhmien välillä.

tarkistuslista

[ ] Olen tarkistanut, että malli/perustelu ei käytä suojattuja ominaisuuksia.
[ ] Tarkastin myös välitysmuuttujien riskiä.
[ ] Ajattelin vertailla hyväksymis-/hylkäämis- ja virheprosenttia ryhmien välillä.
[ ] Varmistin, että jokaisella päätöksellä oli selitettävissä oleva perustelu.
[ ] Annoin asiakkaalle oikeuden vastustaa ja arvioida.
[ ] En edes ylittänyt syrjinnän punaista linjaa "osuma" perusteella.