Pelnas:
- Supratimas, kaip dirbtinio intelekto modelių šališkumas atsiranda dėl duomenų ir dizaino ir kodėl tai kelia teisinę ir etinę riziką bankininkystėje
- Gebėjimas atpažinti apsaugotas funkcijas, tarpinio serverio kintamuosius ir netiesioginę diskriminaciją bei abejoti modelio sprendimais teisingumo požiūriu
- Gebėjimas suprasti, kaip teisingumo metrika, atskirtos grupės ir teisė prieštarauti yra įtrauktos į valdymo modelį ir išlaikyti diskriminacijos raudonąją liniją
AI modelis nėra neutralus; Tai yra įgytų duomenų veidrodis. Jei duomenys turi praeities nelygybes, modelis jas išmoksta ir perkelia į ateitį. Bankininkystėje tai nėra abstrakti etinė diskusija: jei kredito modelis sistemingai kenkia tam tikrai grupei, tai yra ir neteisėta (diskriminacijos draudimas), ir etikos pažeidimas, keliantis banko reputacijos ir sankcijų riziką. Šio skyriaus tikslas – parodyti, kaip modelis tampa šališkas, tiesioginėmis ir netiesioginėmis diskriminacijos formomis, tarpinio kintamojo spąstais ir būdus, kaip sąžiningumą įtraukti į modelio valdymą. Nuo pat pradžių reikia pasakyti vieną raudoną liniją: diskriminacija, kad ir kokia „statistiška“ ji atrodytų, yra nepriimtina.
Iš kur atsiranda išankstinis nusistatymas?
- Duomenų šališkumas: jei ankstesni sprendimai buvo nesąžiningi (pvz., tam tikrai grupei anksčiau buvo suteikta mažiau kredito), modelis daro prielaidą, kad tai yra „normalu“ ir tęsiasi. Tai vadinama istoriniu šališkumu.
- Atrankos šališkumas: jei kai kurios grupės yra nepakankamai atstovaujamos duomenyse, modelis apie jas sužino prastai ir netiksliai.
- Etiketės šališkumas: jei pats „gero kliento“ apibrėžimas yra šališkas, modelis optimizuoja šališkumą.
- Dizaino šališkumas: žmogaus pasirinkimas, kokius kintamuosius naudoti, taip pat gali turėti šališkumo.
Patarimas: „Modelis pagrįstas duomenimis, todėl yra objektyvus“ yra klaidinga nuomonė. Duomenys yra praeities momentinė nuotrauka; Jei praeitis buvo neteisinga, „objektyvus“ modelis neteisybę pateisina matematika. Objektyvumas nėra nešališkumo garantija.
Tiesioginė ir netiesioginė diskriminacija
- Tiesioginė diskriminacija: modelio tiesioginis saugomos savybės (lyties, etninės kilmės, religijos, amžiaus) naudojimas. Tai aiškiai draudžiama.
- Netiesioginė diskriminacija (pakaitinis kintamasis / tarpinis serveris): net jei modelis tiesiogiai nenaudoja apsaugotos funkcijos, jis duoda tą patį rezultatą naudodamas kitą su juo glaudžiai susijusį kintamąjį (pašto indeksą, pavadinimą, pirkimo kategoriją, darbo rajoną). Pašto kodas dažnai yra etninės kilmės arba pajamų lygio atstovas. Modelis sako „kaimynystė“, bet rezultatas yra „kilmės“ diskriminacija.
Kintamasis
matyt
gali būti įgaliotinis
Pašto indeksas / rajonas
geografija
Etniškumas, pajamų lygis
Vardas
ID
kilmė, lytis
Pirkinių kategorija
elgesį
gyvenimo būdas, tikėjimas
baigė mokyklą
Išsilavinimas
Socialinė ir ekonominė kilmė
Štai kodėl turėtų skambėti pavojaus signalas, kai pagrindime matote tokį teiginį kaip „kaimynystė rizikinga“: tai gali atrodyti kaip teisėtas kriterijus, tačiau yra netiesioginė diskriminacija.
Atsargiai: pašalinus apsaugotą funkciją iš duomenų, diskriminacija nesibaigia. Pakaitiniai kintamieji gali jį grąžinti. Teisingumo nepasiekia „ištryniau jautrų stulpelį“; Tai pasiekiama testuojant modelių sprendimų tarp grupių rezultatus.
Teisingumo įpynimas į valdymą
- Sąžiningumo metrika. Palyginkite modelio patvirtinimo / atmetimo rodiklius ir klaidų dažnį tarp grupių. Ar viena grupė sistemingai patiria didesnį atmetimą?
- Proxy valdymas. Išnagrinėkite naudojamų kintamųjų ryšį su saugomomis savybėmis.
- Paaiškinamumas. Kiekvienas sprendimas turi būti pagrįstas; „Juodosios dėžės“ neigimas yra nepagrįstas.
- Teisė prieštarauti. Klientui turėtų būti suteikta teisė sužinoti sprendimo pagrindimą ir prašyti, kad jis peržiūrėtų.
- Išskirtos grupės. Taip pat reikėtų patikrinti, ar su grupėmis, kurioms duomenyse atstovaujama nepakankamai, nebūtų elgiamasi netinkamai.
Keturi kopijuojami šablonai
1) Patikrinimas dėl pateisinamos diskriminacijos:
Patikrinkite šį kredito sprendimo pagrindimą: ar yra tiesioginė / netiesioginė nuoroda į saugomą požymį (amžių, lytį, kilmę, religiją) arba pakaitinį kintamąjį (pašto indeksą, kaimynystę, vardą, pavardę, apsipirkimo tipą)? Pažymėkite rizikingus teiginius ir paaiškinkite, kodėl jie kelia diskriminacijos pavojų. Priežastis: [tekstas]
2) Kintamųjų sąrašo tarpinio serverio valdymas:
Išnagrinėkite šį kredito modelyje naudojamų kintamųjų sąrašą. Kurie iš jų galėtų būti saugomos savybės pavyzdžiai ir kelti netiesioginės diskriminacijos pavojų? Parašykite kiekvieno rizikingo varianto pagrindimą. Sąrašas: [kintamieji]
3) Sprendimo santrauka teisingumo požiūriu (neutralus, paaiškinamas):
Jūsų vaidmuo: asistentas, parengiantis paaiškinamų sprendimo motyvų projektą. Pasikliaukite tik teisėtais, nediskriminaciniais kriterijais (skolos ir pajamų santykis, mokėjimų istorija, užstatas). NENAUDOKITE saugomos nuosavybės ir pakaitinio kintamojo. Parašykite pagrindimą paprasta kalba, kurią klientas supras. Aš duosiu patvirtinimą.
4) Prieštaravimo atsakymo projektas:
Klientas apskundė kredito atsisakymą ir nori pateisinimo. Parengti pagarbų ir aprašomąjį atsakymą, pagrįstą teisėtais kriterijais; Priminkite klientui apie jo teisę į žmogaus peržiūrą ir pataisymą. Nenaudokite jokių diskriminacinių pasekmių. Patvirtinta atmetimo priežastis: [priežastis]
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Taikymas šiame regione yra labai rizikingas, daugiau naudokime rajono informaciją modelyje, kad būtų galima padidinti tikslumą.
Šis metodas stiprina netiesioginę diskriminaciją dėl rajono; Jis įteisina neteisėtą rezultatą vardan „pataikio“.
Galingas raginimas:
Jūsų vaidmuo: teisingumo audito padėjėjas. Pažymėkite naudojamus kintamuosius, kurie kelia pakaitinių kintamųjų riziką. Pasiūlykite, kokia metrika turėčiau vadovautis, kad palyginčiau grupių sprendimus pagal patvirtinimo / atmetimo rodiklį. Niekada nestiprinkite diskriminacinio kriterijaus; nukreipti į teisėtus ir paaiškinamus kriterijus.
Stipri valia ieško tarpinės rizikos, įveda sąžiningumo metriką ir atmeta diskriminaciją.
trys mini dėklai
1 atvejis – istorinis šališkumas. Vienas modelis tam tikrai profesijų grupei suteikia sistemingai žemą balą, nes anksčiau jai buvo suteikta mažiau įskaitų. Sąžiningumo auditas rodo, kad šios grupės atmetimo rodiklis yra 30 % didesnis nei kitų, turinčių panašų pajamų lygį. Modelis subalansuotas pagal teisėtus pajamų ir mokėjimo kriterijus.
2 atvejis – surogatinis kintamasis. Pašto kodas yra galingas modelio kintamasis. Auditas rodo, kad pašto kodas sutampa su tam tikrais etniškai koncentruotais rajonais, todėl atsiranda netiesioginė diskriminacija dėl kilmės. Kintamasis pašalinamas ir pakeičiamas teisėtais finansiniais etalonais; veiklos rezultatai išlieka priimtino lygio, diskriminacija pašalinama.
3 atvejis – teisė prieštarauti. Atmestas klientas prašo pasiteisinimo. Bankas pateikia paaiškinamą pagrindimą (didelis skolos ir pajamų santykis) ir priima prašymą atlikti žmogaus peržiūrą. Peržiūra atskleidžia klaidingą dokumento skaitymą; Sprendimas taisomas. Paaiškinamumas ir teisė prieštarauti klaidą kompensuoja teisingumu.
Sąžiningumo metrika: ką ir kaip matuojame
"Ar modelis teisingas?" Vieno atsakymo į klausimą nėra; Yra keli teisingumo apibrėžimai, ir jie kartais prieštarauja vienas kitam. Štai keli metodai, kurie praktiškai taikomi bankininkystėje:
- Patvirtinimo ir atmetimo rodiklių palyginimas: ar patvirtinimo procentas sistemingai skiriasi skirtingose grupėse, turinčiose panašų finansinį profilį (pvz., lyčių grupėse)? Didelis ir nepaaiškinamas skirtumas yra šališkumo požymis.
- Klaidų lygio lygybė: ar modelio klaidingo atmetimo (teisėtos paraiškos atmetimo) rodiklis yra subalansuotas visose grupėse? Jei viena grupė nesąžiningai atmetama dažniau nei kita, yra problema.
- Kalibravimas: ar klientai, kuriuos modelis vadina „didelės rizikos“, tikrai nevykdo įsipareigojimų pagal panašius įkainius kiekvienoje grupėje? Balų reikšmė neturėtų keistis iš grupės į grupę.
Šios metrikos kartais negali būti pateiktos vienu metu; Kuriam teisingumo apibrėžimui teikti pirmenybę, yra ne techninis, o etinis ir teisinis sprendimas ir reikalaujantis žmogaus valdymo.
Patarimas: matuokite teisingumo metriką reguliariais intervalais, o ne tik kurdami modelį. Modelis gali pradėti veikti sąžiningai ir laikui bėgant tapti šališkas dėl duomenų dreifo. Teisingumas yra ne „steigimo“, o „stebėjimo“ reikalas.
Dažnos klaidos
- „Objektyvių duomenų“ klaidingumas. Darant prielaidą, kad modelis yra neutralus; duomenys turi istorinį šališkumą.
- Tiesiog ištrinkite jautrų stulpelį. Saugomos nuosavybės pašalinimas ir tarpinio serverio kintamųjų peržiūra.
- Sąžiningumo metrikos nesekimas. Atmetimo/klaidų dažnio tarp grupių visai nelyginant.
- Ginti juodosios dėžės sprendimą. Sprendimo, kuris negali būti pateisinamas, svarstymas kaip teisėtas.
- Teisės prieštarauti panaikinimas. Žmogaus peržiūros išjungimas, nes „tai sulėtina procesą“.
Dėmesio: Diskriminacija dažnai kyla ne iš piktumo, o dėl neatsargumo. Kintamasis, pridėtas, nes jis „padidina tikslumą“, gali nesąmoningai išskirti grupę. Todėl teisingumas grindžiamas ne sąžiningumu, o reguliariu patikrinimu.
Apibendrinant
AI modeliai turi duomenų, iš kurių jie mokosi, šališkumą, o diskriminacija bankininkystėje yra teisinė, etinė ir reputacijos rizika. Tiesioginė diskriminacija yra apsaugotos funkcijos naudojimas; Kita vertus, netiesioginė diskriminacija duoda tą patį rezultatą naudojant tarpinius kintamuosius (pašto indeksą, pavadinimą). Teisingumas nėra jautrios stulpelio ištrynimas; Užtikrina sąžiningumo metrika, įgaliotojo serverio valdymas, paaiškinamumas ir teisė prieštarauti. Viename sakinyje: modelis kartoja praeitį; Žmogaus pareiga yra palaikyti teisingumą ir atmesti diskriminaciją.
Taikymo užduotis
Parašykite 8–10 kredito modelio kintamųjų sąrašą (kai kurie su tyčia susijusia rizika: pašto kodas, pavadinimas, pirkimo kategorija). 2. Atlikite tarpinio serverio patikrą naudodami šabloną ir pažymėkite rizikingus su priežastimis. Tada parašykite diskriminacinį pagrindimo tekstą ir nuskaitykite jį naudodami 1 šabloną. Galiausiai pastraipoje suplanuokite, kuriuos teisingumo rodiklius stebėsite, kad palygintumėte modelio atmetimo rodiklį tarp grupių.
kontrolinis sąrašas
- [ ] Patikrinau, kad modelyje / loginiame pagrindime nenaudojamos apsaugotos savybės.
- [ ] Taip pat patikrinau tarpinių kintamųjų riziką.
- [ ] Planavau palyginti grupių patvirtinimo / atmetimo ir klaidų dažnį.
- [ ] Užtikrinau, kad kiekvienas sprendimas būtų pagrįstas.
- [ ] Sudaviau klientui teisę prieštarauti ir žmogaus peržiūrą.
- [ ] Aš net neperžengiau diskriminacijos raudonos linijos dėl „pataikymo“.