Добивки:
- Разбирање како пристрасноста во моделите на вештачка интелигенција произлегува од податоците и дизајнот и зошто тоа создава правни и етички ризици во банкарството
- Способност да се препознаат заштитените карактеристики, прокси променливи и индиректна дискриминација и да се испрашуваат одлуките на моделот во смисла на правичност
- Способност да се разбере како метриката на правдата, исклучените групи и правото на приговор се вткаени во моделот на владеење и одржување на црвената линија за дискриминација
Моделот со вештачка интелигенција не е неутрален; Тоа е огледало на научените податоци. Ако податоците носат минати нееднаквости, моделот ги учи и ги носи во иднината. Во банкарството, ова не е апстрактна етичка дебата: ако кредитниот модел систематски ѝ става на штета на одредена група, тоа е и незаконско (забрана за дискриминација) и етичко прекршување, што носи ризици за угледот и санкции за банката. Целта на оваа единица е да покаже како моделот станува пристрасен, директни и индиректни форми на дискриминација, замка на прокси променливата и начини како да се вткае правичноста во управувањето со моделот. Од самиот почеток мора да се каже една црвена линија: дискриминацијата, колку и да изгледа „статистичка“, е неприфатлива.
Од каде доаѓаат предрасудите?
- Пристрасност на податоците: ако минатите одлуки биле неправедни (на пример, на одредена група и биле дадени помалку кредити во минатото), моделот претпоставува дека ова е „нормално“ и продолжува. Ова се нарекува историска пристрасност.
- Пристрасност за земање примероци: Ако некои групи се недоволно застапени во податоците, моделот слабо и неточно учи за нив.
- Пристрасност на етикетата: Ако самата дефиниција за „добар клиент“ е пристрасна, моделот се оптимизира за пристрасност.
- Пристрасност во дизајнот: Човечкиот избор за тоа кои променливи да се користат исто така може да носат пристрасност.
Совет: „Моделот се базира на податоци, значи е објективен“ е погрешна претстава. Податоците се слика од минатото; Ако минатото било неправедно, „објективниот“ модел неправдата ја оправдува со математика. Објективноста не е гаранција за непристрасност.
Директна и индиректна дискриминација
- Директна дискриминација: Директна употреба на заштитена карактеристика од страна на моделот (пол, етничка припадност, религија, возраст). Ова е изрично забрането.
- Индиректна дискриминација (сурогат променлива / прокси): Дури и ако моделот директно не ја користи заштитената карактеристика, тој го произведува истиот резултат со користење на друга променлива што е силно поврзана со него (поштенски код, име, категорија за купување, работна област). Поштенскиот број често е прокси за етничката припадност или нивото на приход. Моделот вели „соседство“, но резултатот е дискриминација од „потекло“.
Променлива
очигледно
може да биде полномошник
Поштенски број / област
географија
Етничка припадност, ниво на приход
Име
ИД
потекло, пол
Категорија за купување
однесување
начин на живот, верување
завршил училиште
Образование
Социоекономско потекло
Затоа треба да се огласи алармот кога ќе видите изјава како „соседството е ризично“ во оправдување: може да изгледа дека е легитимен критериум, но носи индиректна дискриминација.
Внимание: Отстранувањето на заштитената карактеристика од податоците не ја прекинува дискриминацијата. Сурогатните променливи можат да го вратат. Правдата не се постигнува со „Ја избришав чувствителната колумна“; Ова се постигнува со тестирање на резултатите од моделските одлуки помеѓу групите.
Ткаење правда во владеење
- Метрика на правичност. Споредете ги стапките на одобрување/отфрлање на моделот и стапките на грешки помеѓу групите. Дали една група систематски доживува повисоки отфрлања?
- Контрола на прокси. Испитајте го односот на променливите што се користат со заштитените својства.
- Објаснување. За секоја одлука мора да има оправдување; Негирањето на „црната кутија“ е неодржливо.
- Право на приговор. На купувачот треба да му се даде право да го научи образложението за одлуката и да побара човечки преглед.
- Исклучени групи. Исто така, треба да се провери дали групите кои се недоволно застапени во податоците не се малтретирани.
Четири шаблони за копирање
1) Скрининг за дискриминација во оправдување:
Проверете го следното образложение за одлуката за кредитирање: дали има директно/индиректно повикување на заштитена карактеристика (возраст, пол, потекло, религија) или прокси променлива (поштенски број, соседство, име, тип на купување)? Означете ги ризичните изјави и објаснете зошто тие претставуваат ризик од дискриминација. Причина: [текст]
2) Контрола на прокси со променлива листа:
Испитајте ја оваа листа на променливи што се користат во кредитниот модел. Кои од нив би можеле да бидат прокси за заштитена карактеристика и да претставуваат ризик од индиректна дискриминација? Напишете го вашето оправдување за секоја ризична варијанта. Список: [променливи]
3) Резиме на одлуката во смисла на правичност (неутрално, објаснето):
Вашата улога: помошник кој подготвува објаснување за одлуката. Потпрете се само на легитимни, недискриминаторски критериуми (однос долг/приход, историја на плаќање, колатерал). НЕ референцирајте заштитена сопственост и сурогат променлива. Напишете го образложението на едноставен јазик што клиентот ќе го разбере. Јас ќе дадам одобрение.
4) Нацрт одговор на приговор:
Еден клиент го обжали одбивањето на кредитот и бара оправдување. Подгответе респектабилен и описен одговор заснован на легитимни критериуми; Потсетете го клиентот за неговото или нејзиното право на човечки преглед и корекција. Не користете никакви дискриминаторски импликации. Потврдена причина за одбивање: [причина]
Слаб промпт / Силен промпт
Слаба навестување:
Апликациите во овој регион се многу ризични, ајде да ги користиме информациите за областа посилно во моделот за да може да се зголеми точноста.
Овој пристап ја зајакнува индиректната дискриминација врз основа на област; Тоа легитимира незаконски исход во име на „удри“.
Моќен потсетник:
Вашата улога: помошник за ревизија на правдата. Означете ги користените променливи кои претставуваат ризик од сурогат променливи. Предложете кои метрики треба да ги следам за споредување на одлуките помеѓу групите во однос на стапката на одобрување/отфрлање. Никогаш не зајакнувајте дискриминаторски критериум; пренасочување кон легитимни и објаснети критериуми.
Силната волја бара прокси ризик, воведува метрика за правичност и ја отфрла дискриминацијата.
три мини футроли
Случај 1 - Историска пристрасност. Еден модел на одредена професионална група и дава систематски ниска оценка затоа што во минатото и биле давани помалку кредити. Ревизијата на правичност покажува дека стапката на отфрлање за оваа група е 30% повисока од другите на слични нивоа на приход. Моделот е ребалансиран со легитимни приходи и критериуми за плаќање.
Случај 2 - Сурогат променлива. Поштенскиот код е моќна променлива во моделот. Ревизијата покажува дека поштенскиот код се преклопува со одредени етнички концентрирани населби, што предизвикува индиректна дискриминација по потекло. Променливата е отстранета и заменета со легитимни финансиски одредници; перформансите остануваат на прифатливо ниво, дискриминацијата е елиминирана.
Случај 3 - Право на приговор. Одбиениот клиент бара оправдување. Банката дава објаснето оправдување (висок сооднос долг/приход) и го прифаќа барањето за човечки преглед. Прегледот открива погрешно читање на документ; Одлуката се коригира. Објаснивоста и правото на приговор ја компензираат грешката со правдата.
Метрика на правичност: што и како мериме
„Дали моделот е фер? Не постои единствен одговор на прашањето; Постојат повеќе дефиниции за правдата и тие понекогаш се во конфликт една со друга. Еве неколку пристапи кои практично се следат во банкарството:
- Споредба на стапката на одобрување/отфрлање: Дали стапката на одобрување е систематски различна помеѓу различни групи со слични финансиски профили (на пр. родови групи)? Големата и необјаснета разлика е знак на пристрасност.
- Еднаквост на стапката на грешка: Дали стапката на лажно отфрлање на моделот (отфрлање легитимна апликација) е избалансирана меѓу групите? Ако една група е неправедно отфрлена почесто од друга, постои проблем.
- Калибрација: Дали клиентите што моделот ги нарекува „висок ризик“ навистина не се исплаќаат со слични стапки во секоја група? Значењето на резултатот не треба да се менува од група во група.
Овие метрики понекогаш не можат да се обезбедат во исто време; Која дефиниција за правда да се даде приоритет не е техничка, туку етичка и правна одлука и бара човечко владеење.
Совет: Мерете ја метриката на правичност во редовни интервали, не само кога го градите моделот. Моделот може прилично да почне да живее и да стане пристрасен со текот на времето поради оддалечување на податоците. Правдата не е прашање на „воспоставување“ туку прашање на „мониторинг“.
Вообичаени грешки
- Заблуда „објективни податоци“. Претпоставувајќи дека моделот е неутрален; податоците носат историска пристрасност.
- Само избришете ја чувствителната колона. Отстранување на заштитеното својство и превидување на прокси променливите.
- Не ги следите метриките за праведност. Воопшто не се споредува стапката на отфрлање/грешка меѓу групите.
- Одбрана на одлуката за црната кутија. Сметајќи одлука која не може да се оправда како легитимна.
- Отстранување на правото на приговор. Оневозможување на човечки преглед бидејќи „го успорува процесот“.
Внимание: Дискриминацијата често не произлегува од злоба, туку од невнимание. Променливата додадена затоа што „ја зголемува точноста“ може несвесно да исклучи група. Затоа правдата не се заснова на добра волја, туку на редовно тестирање.
Сумирано
Моделите со вештачка интелигенција носат пристрасност на податоците од кои учат, а дискриминацијата во банкарството е правен, етички и репутациски ризик. Директната дискриминација е користење на заштитена карактеристика; Индиректната дискриминација, од друга страна, го произведува истиот резултат со прокси променливи (поштенски код, име). Правдата не е за бришење на чувствителната графа; Обезбедено со метрика на правичност, прокси-контрола, објаснување и право на приговор. Во една реченица: Шаблонот го повторува минатото; Одговорност на човекот е да ја поддржува правдата и да ја отфрли дискриминацијата.
Задача за апликација
Напишете листа од 8-10 променливи за кредитен модел (некои со намерен прокси ризик: поштенски број, име, категорија за купување). 2. Направете прокси проверка со шаблонот и означете ги ризичните со нивните причини. Потоа напишете дискриминаторен текст за оправдување и скенирајте го со шаблон 1. На крајот, испланирајте во параграф кои метрики за праведност ќе ги следите за да ја споредите стапката на отфрлање на моделот помеѓу групите.
листа за проверка
- [ ] Проверив дека моделот/образложението не користи заштитени својства.
- [ ] Го испитав и ризикот од прокси променливи.
- [ ] Планирав да ги споредам одобрувањето/отфрлањето и стапката на грешка помеѓу групите.
- [ ] Погрижив секоја одлука да има објаснување.
- [ ] Му дадов на клиентот право на приговор и човечки преглед.
- [ ] Не ја ни поминав црвената линија на дискриминација по основ на „удри“.