Добици:
- Разумевање како пристрасност у моделима вештачке интелигенције произилази из података и дизајна и зашто то ствара правне и етичке ризике у банкарству
- Способност препознавања заштићених карактеристика, прокси варијабли и индиректне дискриминације и питања модела одлука у смислу правичности
- Способност да се разуме како су метрика правде, искључене групе и право на приговор уткани у модел управљања и одржавају црвену линију дискриминације
АИ модел није неутралан; То је огледало научених података. Ако подаци носе неједнакости из прошлости, модел их учи и преноси у будућност. У банкарству ово није апстрактна етичка дебата: ако кредитни модел систематски доводи у неповољнији положај одређену групу, то је и незаконито (забрана дискриминације) и етичко кршење, доносећи репутацију и санкционисање банке. Сврха ове јединице је да покаже како модел постаје пристрасан, директан и индиректан облик дискриминације, замка проки варијабли и начини да се правичност утка у управљање моделом. Једна црвена линија мора се рећи од самог почетка: дискриминација, ма колико „статистички“ изгледала, је неприхватљива.
Одакле долазе предрасуде?
- Пристрасност података: Ако су претходне одлуке биле неправедне (нпр. одређеној групи је у прошлости дато мање заслуга), модел претпоставља да је то „нормално“ и наставља се. Ово се зове историјска пристрасност.
- Пристрасност узорковања: Ако су неке групе недовољно заступљене у подацима, модел слабо и нетачно учи о њима.
- Пристрасност етикете: Ако је сама дефиниција „доброг купца“ пристрасна, модел се оптимизује за пристрасност.
- Пристрасност дизајна: Људски избори о томе које варијабле ће користити такође могу имати пристрасност.
Савет: „Модел је заснован на подацима, дакле објективан“ је погрешно схватање. Подаци су снимак прошлости; Ако је прошлост била неправедна, „објективни“ модел неправду оправдава математиком. Објективност није гаранција непристрасности.
Директна и индиректна дискриминација
- Директна дискриминација: директна употреба модела заштићене карактеристике (пол, етничка припадност, религија, старост). Ово је изричито забрањено.
- Индиректна дискриминација (сурогат варијабла/прокси): Чак и ако модел директно не користи заштићену функцију, он производи исти резултат коришћењем друге променљиве која је уско повезана са њом (поштански број, име, категорија куповине, радни округ). Поштански број је често замена за етничку припадност или ниво прихода. Модел каже „суседство“, али резултат је дискриминација „порекла“.
Променљива
очигледно
може бити пуномоћник
Поштански број / округ
географија
Етничка припадност, ниво прихода
Име
ИД
порекло, пол
Категорија куповине
понашање
начин живота, веровање
завршио школу
Образовање
Социоекономско порекло
Зато би требало да се огласи аларм када видите изјаву попут „суседство је ризично“ у оправдању: то може изгледати као легитиман критеријум, али носи индиректну дискриминацију.
Опрез: Уклањање заштићене функције из података не окончава дискриминацију. Сурогат променљиве га могу вратити. Правда се не постиже „избрисао сам осетљиву рубрику“; Ово се постиже тестирањем резултата моделских одлука између група.
Уткање правде у управљање
- Мере правичности. Упоредите стопе одобравања/одбијања модела и стопе грешака између група. Да ли једна група систематски доживљава већа одбијања?
- Контрола проксија. Испитајте однос коришћених варијабли са заштићеним својствима.
- Објашњивост. За сваку одлуку мора се дати образложење; Порицање "црне кутије" је неодрживо.
- Право на приговор. Купцу треба дати право да сазна разлоге за одлуку и затражи људски преглед.
- Изузете групе. Такође треба проверити да групе које су недовољно заступљене у подацима нису малтретиране.
Четири шаблона за копирање
1) Провера дискриминације у оправдању:
Проверите следеће образложење кредитне одлуке: да ли постоји директна/индиректна референца на заштићену карактеристику (старост, пол, порекло, вероисповест) или променљиву (поштански број, комшилук, име, тип куповине)? Означите ризичне изјаве и објасните зашто представљају ризик од дискриминације. Разлог: [текст]
2) Контрола проксија листе променљивих:
Испитајте ову листу варијабли које се користе у кредитном моделу. Које би могле представљати замену за заштићену карактеристику и представљати ризик од индиректне дискриминације? Напишите своје оправдање за сваку ризичну варијанту. Листа: [променљиве]
3) Резиме одлуке у смислу правичности (неутрално, објашњиво):
Ваша улога: помоћник који саставља образложење одлуке које се може објаснити. Ослоните се само на легитимне, недискриминаторне критеријуме (однос дуга и прихода, историја плаћања, колатерал). НЕ упућујте заштићено својство и сурогат променљиву. Напишите образложење једноставним језиком који ће купац разумети. Ја ћу дати одобрење.
4) Нацрт одговора на приговор:
Клијент се жалио на одбијеницу кредита и тражи оправдање. Израдите нацрт одговора са поштовањем и описом на основу легитимних критеријума; Подсетите купца на његово или њено право на људски преглед и исправку. Немојте користити никакве дискриминаторне импликације. Верификован разлог одбијања: [разлог]
Слаби промпт / Јаки промпт
Слабо обавештење:
Апликације у овом региону су веома ризичне, хајде да више користимо информације о округу у моделу како би се тачност повећала.
Овај приступ јача индиректну дискриминацију засновану на дистрикту; Он легитимише противправан исход у име "поготка".
Снажан упит:
Ваша улога: помоћник за ревизију правде. Означите коришћене варијабле које представљају ризик од сурогат варијабли. Предложите које метрике треба да пратим да бих упоредио одлуке између група у смислу стопе одобравања/одбијања. Никада не појачавајте дискриминаторни критеријум; преусмеравање на легитимне и објашњиве критеријуме.
Стронг вилл тражи проки ризик, уводи метрику правичности и одбацује дискриминацију.
три мини кофера
Случај 1 — Историјска пристрасност. Један модел даје одређеној групи занимања систематски ниску оцену јер јој је у прошлости дато мање кредита. Ревизија правичности показује да је стопа одбијања за ову групу 30% виша од осталих са сличним нивоима прихода. Модел је ребалансиран са легитимним критеријумима прихода и плаћања.
Случај 2 — Сурогат варијабла. Поштански број је моћна варијабла у моделу. Ревизија показује да се поштански број преклапа са одређеним етнички концентрисаним насељима, што доводи до индиректне дискриминације по пореклу. Варијабла се уклања и замењује легитимним финансијским мерилима; учинак остаје на прихватљивом нивоу, дискриминација је елиминисана.
Случај 3 — Право на приговор. Одбијени клијент тражи оправдање. Банка даје објашњење (висок однос дуга и прихода) и прихвата захтев за људски преглед. Преглед открива погрешно читање документа; Одлука је исправљена. Објашњивост и право на приговор компензују грешку правдом.
Мерила правичности: шта и како меримо
„Да ли је модел поштен?“ Не постоји јединствен одговор на питање; Постоји више дефиниција правде и оне се понекад сукобљавају једна са другом. Ево неколико приступа који се практично примењују у банкарству:
- Поређење стопе одобравања/одбијања: Да ли се стопа одобравања систематски разликује између различитих група са сличним финансијским профилима (нпр. родне групе)? Велика и необјашњива разлика је знак пристрасности.
- Једнакост стопе грешака: Да ли је стопа лажног одбијања модела (одбијање легитимне апликације) уравнотежена међу групама? Ако је једна група неправедно одбијена чешће од друге, постоји проблем.
- Калибрација: Да ли купци које модел назива „високим ризиком“ заиста не испуњавају обавезе по сличним стопама у свакој групи? Значење резултата не би требало да се мења из групе у групу.
Ови показатељи се понекад не могу обезбедити у исто време; Која дефиниција правде дати приоритет није техничка већ етичка и правна одлука и захтева људско управљање.
Савет: Мерите метрику праведности у редовним интервалима, а не само када правите модел. Модел може да почне поштено и да временом постане пристрасан због померања података. Правда није ствар „успостављања“ већ ствар „надгледања“.
Уобичајене грешке
- Заблуда "објективних података". Под претпоставком да је модел неутралан; подаци носе историјску пристрасност.
- Само избришите осетљиву колону. Уклањање заштићеног својства и превиђање проки променљивих.
- Не прати метрику праведности. Уопште не упоређујући стопу одбијања/грешке између група.
- Одбрана одлуке о црној кутији. Сматрајући одлуку која се не може оправдати легитимном.
- Уклањање права на приговор. Онемогућавање људског прегледа јер „то успорава процес“.
Пажња: Дискриминација често не произлази из злобе, већ из непажње. Променљива која је додата јер „повећава тачност“ може несвесно да искључи групу. Стога се правда не заснива на доброј вери, већ на редовном тестирању.
Укратко
АИ модели носе пристрасност података из којих уче, а дискриминација у банкарству представља правни, етички и репутациони ризик. Директна дискриминација је коришћење заштићеног обележја; Индиректна дискриминација, с друге стране, производи исти резултат са проки варијаблама (поштански број, име). Правда се не односи на брисање осетљиве колоне; Обезбеђено метриком правичности, контролом проксија, објашњивости и правом на приговор. У једној реченици: Образац понавља прошлост; Човекова је одговорност да подржава правду и одбацује дискриминацију.
Задатак апликације
Напишите листу од 8-10 варијабли за кредитни модел (неке са намерним прокси ризиком: поштански број, име, категорија куповине). 2. Извршите прокси проверу са шаблоном и означите ризичне са њиховим разлозима. Затим напишите дискриминаторни текст оправдања и скенирајте га шаблоном 1. На крају, испланирајте у параграфу које метрике правичности ћете пратити да бисте упоредили стопу одбијања модела између група.
контролна листа
- [ ] Проверио сам да модел/образложење не користи заштићена својства.
- [ ] Такође сам проверио ризик од проки варијабли.
- [ ] Планирао сам да упоредим одобрење/одбијање и стопу грешке између група.
- [ ] Осигурао сам да свака одлука има објашњиво образложење.
- [ ] Дао сам купцу право на приговор и људски преглед.
- [ ] Нисам ни прешао црвену линију дискриминације по основу „поготка“.