Предразсъдъци, справедливост и дискриминация: Слепите петна на модела — Изкуствен интелект в банкирането

Печалби:

Разбиране как пристрастията в моделите на изкуствен интелект възникват от данните и дизайна и защо създават правни и етични рискове в банкирането
Способност за разпознаване на защитени характеристики, прокси променливи и непряка дискриминация и поставяне под въпрос на моделни решения по отношение на справедливостта
Способност да се разбере как показателите за справедливост, изключените групи и правото на възражение са вплетени в модела на управление и поддържат червената линия на дискриминация

AI моделът не е неутрален; Това е огледало на научените данни. Ако данните носят минали неравенства, моделът ги научава и ги пренася в бъдещето. В банкирането това не е абстрактен етичен дебат: ако даден кредитен модел системно поставя в неблагоприятно положение определена група, това е както незаконно (забрана за дискриминация), така и етично нарушение, което носи риск за репутацията и санкции за банката. Целта на тази част е да покаже как моделът се превръща в предубедени, директни и косвени форми на дискриминация, капан на заместващата променлива и начини за вплитане на справедливост в управлението на модела. От самото начало трябва да се каже една червена линия: дискриминацията, колкото и „статистическа“ да изглежда, е неприемлива.

Откъде идват предразсъдъците?

Пристрастност към данните: Ако минали решения са били несправедливи (напр. определена група е получила по-малко кредит в миналото), моделът приема, че това е „нормално“ и продължава. Това се нарича историческо пристрастие.
Пристрастност на извадката: Ако някои групи са недостатъчно представени в данните, моделът научава лошо и неточно за тях.
Пристрастие на етикета: Ако самото определение за „добър клиент“ е пристрастно, моделът се оптимизира за пристрастието.
Пристрастие на дизайна: Човешкият избор за това кои променливи да се използват също може да носи пристрастия.

Съвет: „Моделът се основава на данни, така че е обективен“ е погрешно схващане. Данните са моментна снимка на миналото; Ако миналото е било несправедливо, "обективният" модел оправдава несправедливостта с математика. Обективността не е гаранция за безпристрастност.

Пряка и непряка дискриминация

Пряка дискриминация: Директното използване от модела на защитена характеристика (пол, етническа принадлежност, религия, възраст). Това е изрично забранено.
Непряка дискриминация (сурогатна променлива/прокси): Дори ако моделът не използва директно защитената функция, той произвежда същия резултат, като използва друга променлива, която е тясно свързана с нея (пощенски код, име, категория за пазаруване, работен район). Пощенският код често е заместител на етническа принадлежност или ниво на доходите. Моделът казва "съседство", но резултатът е дискриминация по "произход".

Променлива

очевидно

може да бъде прокси

Пощенски код / област

география

Етническа принадлежност, ниво на доходите

Име

произход, пол

Категория за пазаруване

поведение

начин на живот, вяра

завършил училище

образование

Социално-икономически произход

Ето защо трябва да прозвучи тревога, когато видите твърдение като „съседството е рисково“ в обосновка: може да изглежда като легитимен критерий, но носи непряка дискриминация.

Внимание: Премахването на защитената функция от данните не слага край на дискриминацията. Сурогатните променливи могат да го върнат. Справедливостта не се постига с „Изтрих чувствителната графа“; Това се постига чрез тестване на резултатите от моделни решения между групите.

Вплитане на справедливост в управлението

Показатели за справедливост. Сравнете процентите на одобрение/отхвърляне на модела и процентите на грешки между групите. Дали една група систематично изпитва по-високи отхвърляния?
Прокси контрол. Проучете връзката на използваните променливи със защитените свойства.
Обяснимост. За всяко решение трябва да се представи обосновка; Отказ от "черна кутия" е несъстоятелен.
Право на възражение. Клиентът трябва да получи правото да научи обосновката за решението и да поиска преглед от човек.
Изключени групи. Трябва също така да се провери дали групите, които са недостатъчно представени в данните, не са третирани неправилно.

Четири копируеми шаблона

1) Проверка за дискриминация в обосновката:

Проверете следната обосновка на кредитното решение: има ли пряко/непряко позоваване на защитена характеристика (възраст, пол, произход, религия) или прокси променлива (пощенски код, квартал, име, тип пазаруване)? Отбележете опасни твърдения и обяснете защо представляват риск от дискриминация. Причина: [текст]

2) Списък с променливи прокси контрол:

Разгледайте този списък с променливи, използвани в кредитен модел. Кои от тях биха могли да бъдат заместител на защитена характеристика и да представляват риск от непряка дискриминация? Напишете своята обосновка за всеки рисков вариант. Списък: [променливи]

3) Обобщение на решението по отношение на справедливостта (неутрално, обяснимо):

Вашата роля: асистент, който изготвя обяснима обосновка на решението. Разчитайте само на легитимни, недискриминационни критерии (съотношение дълг/доход, история на плащанията, обезпечение). НЕ препращайте към защитена собственост и сурогатна променлива. Напишете обосновката на ясен език, който клиентът ще разбере. Аз ще дам одобрението.

4) Проект на отговор на възражение:

Клиент обжалва отказа на кредит и иска обосновка. Подгответе уважителен и описателен отговор въз основа на законни критерии; Напомнете на клиента за неговото или нейното право на човешки преглед и корекция. Не използвайте никакви дискриминационни последици. Потвърдена причина за отхвърляне: [причина]

Слаба подкана / Силна подкана

Слаба подкана:

Приложенията в този регион са много рискови, нека използваме по-активно информацията за района в модела, за да може да се увеличи точността.

Този подход засилва непряката дискриминация въз основа на област; Той легитимира противоправния резултат в името на "удара".

Мощна подкана:

Вашата роля: асистент по правосъден одит. Маркирайте използваните променливи, които представляват риск от сурогатни променливи. Предложете кои показатели трябва да следвам, за да сравня решенията между групите по отношение на степента на одобрение/отхвърляне. Никога не засилвайте дискриминационен критерий; пренасочва към легитимни и обясними критерии.

Strong will търси прокси риск, въвежда показатели за справедливост и отхвърля дискриминацията.

три мини калъфа

Случай 1 — Историческо пристрастие. Един модел дава на определена професионална група систематично нисък резултат, тъй като в миналото й е даван по-малко кредит. Одитът на справедливостта показва, че процентът на отхвърляне за тази група е с 30% по-висок от други с подобни нива на доходи. Моделът е ребалансиран с легитимни критерии за доходи и плащания.

Случай 2 — Сурогатна променлива. Пощенският код е мощна променлива в модела. Одитът показва, че пощенският код се припокрива с определени етнически концентрирани квартали, което води до непряка дискриминация по произход. Променливата е премахната и заменена от легитимни финансови показатели; изпълнението остава на приемливо ниво, дискриминацията е елиминирана.

Случай 3 — Право на възражение. Отхвърлен клиент иска обосновка. Банката предоставя обяснимата обосновка (високо съотношение дълг/доход) и приема искането за преглед от човек. Прегледът разкрива неправилно четене на документ; Решението е коригирано. Обяснимостта и правото на възражение компенсират грешката със справедливост.

Показатели за справедливост: какво и как измерваме

„Справедлив ли е моделът?“ Няма еднозначен отговор на въпроса; Съществуват множество дефиниции за справедливост и те понякога си противоречат. Ето няколко подхода, които практически се следват в банкирането:

Сравнение на степента на одобрение/отхвърляне: Степента на одобрение систематично ли се различава между различните групи с подобни финансови профили (напр. групи по пол)? Голяма и необяснима разлика е знак за пристрастие.
Равнопоставеност на процента грешки: Процентът на фалшивото отхвърляне на модела (отхвърляне на легитимно приложение) балансиран ли е между групите? Ако една група е несправедливо отхвърляна по-често от друга, има проблем.
Калибриране: Клиентите, които моделът нарича „висок риск“, наистина ли не изпълняват задълженията си при подобни проценти във всяка група? Значението на резултата не трябва да се променя от група на група.

Тези показатели понякога не могат да бъдат предоставени едновременно; Коя дефиниция на справедливостта да се даде приоритет не е техническо, а етично и правно решение и изисква човешко управление.

Съвет: Измервайте показателя за справедливост на редовни интервали, а не само когато изграждате модела. Един модел може да започне да работи справедливо и да стане предубеден с течение на времето поради отклонение на данните. Справедливостта не е въпрос на "установяване", а въпрос на "мониторинг".

Често срещани грешки

Заблудата на „обективните данни“. Ако приемем, че моделът е неутрален; данните носят исторически пристрастия.
Просто изтрийте чувствителната колона. Премахване на защитеното свойство и пренебрегване на прокси променливите.
Не се проследяват показателите за справедливост. Изобщо не се сравнява процентът на отхвърляне/грешка между групите.
Защита на решението за черната кутия. Разглеждане на решение, което не може да се оправдае като легитимно.
Отнема правото на възражение. Деактивиране на човешкия преглед, защото „забавя процеса“.

Внимание: Дискриминацията често възниква не от злоба, а от невнимание. Променлива, добавена, защото "увеличава точността", може несъзнателно да изключи група. Следователно справедливостта не се основава на добросъвестност, а на редовни тестове.

В обобщение

AI моделите носят пристрастията на данните, от които се учат, а дискриминацията в банкирането е правен, етичен и репутационен риск. Директната дискриминация е използването на защитена функция; Непряката дискриминация, от друга страна, води до същия резултат с прокси променливи (пощенски код, име). Справедливостта не означава изтриване на чувствителната колона; Осигурено от показатели за справедливост, прокси контрол, обяснимост и право на възражение. В едно изречение: Моделът повтаря миналото; Отговорност на човека е да защитава справедливостта и да отхвърля дискриминацията.

Задача за приложение

Напишете списък от 8-10 променливи за кредитен модел (някои с умишлен прокси риск: пощенски код, име, категория за пазаруване). 2. Извършете прокси проверка с шаблона и маркирайте рисковите с техните причини. След това напишете дискриминационен обосноваващ текст и го сканирайте с шаблон 1. Накрая планирайте в параграф кои показатели за справедливост ще проследите, за да сравните степента на отхвърляне на модела между групите.

контролен списък

[ ] Проверих дали моделът/обосновката не използва защитени свойства.
[] Също така прегледах риска от прокси променливи.
[ ] Планирах да сравня одобрението/отхвърлянето и процента на грешки между групите.
[ ] Уверих се, че всяко решение има обяснима обосновка.
[ ] Дадох на клиента правото на възражение и преглед от човек.
[ ] Дори не съм прекрачил червената линия на дискриминация по признак „попадение“.