Алаңдау, әділдік және кемсітушілік: модельдің соқыр нүктелері — Банк ісіндегі жасанды интеллект

Табыстар:

Жасанды интеллект модельдеріндегі бұрмалану деректер мен дизайннан қалай пайда болатынын және банк ісінде неге заңды және этикалық тәуекелдерді тудыратынын түсіну
Қорғалған мүмкіндіктерді, прокси айнымалыларды және жанама кемсітуді және әділдік тұрғысынан үлгі шешімдерін сұрау мүмкіндігі
Әділдік өлшемдерінің, алынып тасталған топтар мен қарсылық білдіру құқығының басқару үлгісіне қалай қосылатынын түсіну және кемсітушілік қызыл сызығын сақтау мүмкіндігі

AI моделі бейтарап емес; Бұл үйренген деректердің айнасы. Егер деректер өткен теңсіздіктерді алып жүрсе, модель оларды үйреніп, болашаққа жеткізеді. Банк ісінде бұл абстрактілі этикалық пікірталас емес: егер несиелік модель белгілі бір топты жүйелі түрде кемсітсе, бұл әрі заңсыз (кемсітуге тыйым салу), әрі банкке бедел мен санкциялық тәуекелдер әкелетін этикалық бұзушылық болып табылады. Бұл бөлімнің мақсаты модельдің біржақты, кемсітудің тікелей және жанама нысандарына, прокси айнымалы тұзаққа және үлгілік басқаруға әділдікті тоқу жолдарын көрсету болып табылады. Бір қызыл сызықты басынан бастап айту керек: кемсітушілік қаншалықты «статистикалық» болып көрінсе де, қабылданбайды.

Алаңдау қайдан пайда болады?

Деректерді бұрмалау: егер бұрынғы шешімдер әділетсіз болса (мысалы, белгілі бір топқа бұрын азырақ несие берілген болса), модель мұны «қалыпты» деп есептейді және жалғаса береді. Бұл тарихи қиянат деп аталады.
Іріктеу бұрмалануы: егер кейбір топтар деректерде аз көрсетілсе, модель олар туралы нашар және дәл емес үйренеді.
Белгілердің бұрмалануы: «Жақсы тұтынушы» анықтамасының өзі біржақты болса, модель біржақтылықты оңтайландырады.
Дизайндағы бейімділік: қандай айнымалыларды пайдалану керектігі туралы адамның таңдауы да біркелкі болуы мүмкін.

Кеңес: «Модель деректерге негізделген, сондықтан ол объективті» - бұл қате түсінік. Деректер – өткеннің суреті; Өткен әділетсіз болса, «объективті» модель әділетсіздікті математикамен ақтайды. Объективтілік бейтараптық кепілі емес.

Тікелей және жанама кемсітушілік

Тікелей кемсіту: Модельдің қорғалатын сипаттаманы (жынысы, этникалық, дін, жас) тікелей пайдалануы. Бұған нақты тыйым салынған.
Жанама дискриминация (суррогат айнымалы/прокси): Модель қорғалған мүмкіндікті тікелей қолданбаса да, оған қатты қатысты басқа айнымалы мәнді (пошта индексі, аты, сауда санаты, жұмыс аймағы) пайдалану арқылы бірдей нәтиже береді. Пошта индексі көбінесе этникалық немесе кіріс деңгейінің проксиі болып табылады. Модельде «көршілік» дейді, бірақ нәтиже «бастапқы» кемсітушілік болып табылады.

Айнымалы

шамасы

прокси бола алады

Пошта индексі / аудан

география

Ұлты, табыс деңгейі

Аты

шығу тегі, жынысы

Сауда санаты

мінез-құлық

өмір салты, сенім

мектеп бітірген

Білім

Әлеуметтік-экономикалық шығу тегі

Сондықтан негіздемеде «көршілік қауіпті» сияқты мәлімдемені көргенде дабыл қағуы керек: бұл заңды критерий болып көрінуі мүмкін, бірақ жанама кемсітушілікті қамтиды.

Абайлаңыз: Деректерден қорғалған мүмкіндікті жою кемсітуді тоқтатпайды. Суррогат айнымалылар оны қайтара алады. «Мен сезімтал бағанды өшірдім» деп әділдікке қол жеткізілмейді; Бұған топтар арасындағы үлгілік шешімдердің нәтижелерін тексеру арқылы қол жеткізіледі.

Әділдікті басқаруға енгізу

Әділдік көрсеткіштері. Топтар арасындағы үлгіні мақұлдау/қабылдамау және қателік көрсеткіштерін салыстырыңыз. Бір топ жүйелі түрде жоғарырақ бас тартуды сезіне ме?
Проксиді басқару. Қолданылатын айнымалылардың қорғалған сипаттарға қатынасын тексеріңіз.
Түсіндіру. Әрбір шешім үшін негіздеме болуы керек; «Қара жәшіктен» бас тарту мүмкін емес.
Қарсылық білдіру құқығы. Тұтынушыға шешімнің негіздемесін білуге және адамдық тексеруді сұрауға құқық берілуі керек.
Шығарылған топтар. Сондай-ақ, деректерде аз көрсетілген топтардың дұрыс әрекет етпейтінін тексеру керек.

Көшірілетін төрт үлгі

1) Негізде кемсітушілікке тексеру:

Келесі несие шешімінің негіздемесін тексеріңіз: қорғалатын сипаттамаға (жасы, жынысы, шығу тегі, діні) немесе прокси айнымалыға (пошта индексі, көршілес аймақ, атау, сауда түрі) тікелей/жанама сілтеме бар ма? Тәуекелді мәлімдемелерді белгілеңіз және олардың неліктен кемсіту қаупін тудыратынын түсіндіріңіз. Себебі: [мәтін]

2) Айнымалылар тізімі прокси басқаруы:

Несиелік үлгіде пайдаланылатын айнымалылардың осы тізімін қарастырыңыз. Олардың қайсысы қорғалатын сипаттама үшін прокси бола алады және жанама кемсітушілік қаупін тудыруы мүмкін? Әрбір қауіпті нұсқа үшін негіздемеңізді жазыңыз. Тізім: [айнымалылар]

3) Әділдік тұрғысынан шешімнің қысқаша мазмұны (бейтарап, түсінікті):

Сіздің рөліңіз: түсіндірілетін шешімнің негіздемесін дайындайтын көмекші. Тек заңды, кемсітпейтін критерийлерге (қарыздың кіріске қатынасы, төлем тарихы, кепілзат) сүйеніңіз. Қорғалған сипатқа және суррогат айнымалыға СІЛТКЕ КЕРМЕҢІЗ. Негіздемені тұтынушы түсінетін қарапайым тілде жазыңыз. Мен рұқсат беремін.

4) Қарсылыққа жауап беру жобасы:

Клиент несие беруден бас тартуға шағымданды және негізді талап етеді. Заңды критерийлерге негізделген құрметті және сипаттамалық жауап жобасын жасаңыз; Тұтынушыға оның адами тексеру мен түзету құқығын еске түсіріңіз. Ешқандай кемсітушілік салдарын қолданбаңыз. Расталған бас тарту себебі: [себеп]

Әлсіз шақыру / Күшті шақыру

Әлсіз шақыру:

Бұл аймақтағы қолданбалар өте қауіпті, дәлдікті арттыру үшін үлгіде аудандық ақпаратты көбірек қолданайық.

Бұл тәсіл аудан бойынша жанама кемсітушілікті күшейтеді; Ол «соққы» деген атпен заңсыз нәтижені заңдасады.

Күшті шақыру:

Сіздің рөліңіз: әділет аудитінің көмекшісі. Суррогат айнымалылар қаупін тудыратын пайдаланылған айнымалы мәндерді белгілеңіз. Мақұлдау/қабылдамау деңгейі бойынша топтар арасындағы шешімдерді салыстыру үшін қандай көрсеткіштерді орындау керектігін ұсыныңыз. Ешқашан кемсітушілік критерийді күшейтпеңіз; заңды және түсінікті критерийлерге қайта бағыттау.

Күшті ерік прокси тәуекелін іздейді, әділдік көрсеткіштерін енгізеді және кемсітуді қабылдамайды.

үш шағын іс

1-жағдай – Тарихи көзқарас. Бір модель белгілі бір кәсіптік топқа жүйелі түрде төмен балл береді, өйткені оған бұрын несие берілген. Әділдік аудиті осы топ үшін бас тарту деңгейі ұқсас кіріс деңгейіндегі басқаларға қарағанда 30%-ға жоғары екенін көрсетеді. Модель заңды кіріс пен төлем критерийлерімен қайта теңгерілген.

2-жағдай — суррогат айнымалы. Пошта индексі модельдегі қуатты айнымалы болып табылады. Тексеру көрсеткендей, пошталық индекс белгілі бір этникалық шоғырланған аудандармен қабаттасады, бұл жанама шыққан кемсітушілікке әкеледі. Айнымалы жойылады және заңды қаржылық көрсеткіштермен ауыстырылады; өнімділік қолайлы деңгейде қалады, кемсітушілік жойылады.

3-жағдай – Қарсылық білдіру құқығы. Қабылданбаған клиент негіздеуді сұрайды. Банк түсіндірілетін негіздеме береді (қарыздың кіріске қатынасы жоғары) және адамның қарауына сұрауды қабылдайды. Қарап шығу құжаттың қате оқылғанын анықтайды; Шешім түзетілді. Түсіндіру және қарсылық білдіру құқығы қатені әділдікпен өтейді.

Әділдік көрсеткіштері: біз нені және қалай өлшейміз

«Модель әділ бе?» Сұраққа жалғыз жауап жоқ; Әділдіктің бірнеше анықтамалары бар және олар кейде бір-бірімен қайшы келеді. Міне, банктік қызметте іс жүзінде қолданылатын бірнеше тәсілдер:

Бекіту/қабылдамау деңгейін салыстыру: қаржылық профильдері ұқсас әртүрлі топтар арасында (мысалы, гендерлік топтар) мақұлдау деңгейі жүйелі түрде ерекшеленеді ме? Үлкен және түсіндірілмеген айырмашылық біржақтылықтың белгісі болып табылады.
Қате деңгейінің теңдігі: Үлгіні жалған қабылдамау (заңды өтінімді қабылдамау) деңгейі топтар арасында теңдестірілген бе? Егер бір топ екіншісіне қарағанда жиі әділетсіз қабылданса, мәселе бар.
Калибрлеу: модель «жоғары тәуекел» деп атайтын тұтынушылар әр топтағы ұқсас мөлшерлемелерде шынымен әдепкі бола ма? Ұпайдың мағынасы топтан топқа ауыспауы керек.

Бұл көрсеткіштер кейде бір уақытта берілмейді; Әділдіктің қандай анықтамасы басымдыққа ие болуы техникалық емес, этикалық және заңды шешім болып табылады және адами басқаруды талап етеді.

Кеңес: Үлгіні құрастырған кезде ғана емес, әділдік көрсеткішін тұрақты аралықпен өлшеңіз. Модель уақыт өте келе деректердің дрейфіне байланысты әділ өмір сүре алады және біржақты болуы мүмкін. Әділдік «орнату» емес, «бақылау» мәселесі.

Жалпы қателер

«Объективті деректер» қателігі. Модельді бейтарап деп алсақ; деректер тарихи қисындылыққа ие.
Тек сезімтал бағанды жойыңыз. Қорғалған сипатты жою және прокси айнымалы мәндерді елемеу.
Әділдік көрсеткіштерін қадағаламау. Топтар арасындағы қабылдамау/қате деңгейін мүлдем салыстырмау.
Қара жәшік шешімін қорғау. Заңды деп ақтауға болмайтын шешімді қарастыру.
Қарсылық білдіру құқығын алып тастау. Адамның шолуын өшіру, себебі "бұл процесті баяулатады".

Назар аударыңыз: кемсітушілік көбінесе зұлымдықтан емес, абайсыздықтан туындайды. Қосылған айнымалы, себебі ол "дәлдікті арттырады" топты білместен шығарып тастауы мүмкін. Сондықтан әділдік адалдыққа емес, тұрақты сынаққа негізделеді.

Қысқаша

Жасанды интеллект үлгілері олардан үйренетін деректердің қисындылығын көрсетеді және банк ісіндегі кемсітушілік заңды, этикалық және беделді тәуекел болып табылады. Тікелей кемсітушілік - қорғалған мүмкіндікті пайдалану; Жанама кемсітушілік, керісінше, прокси айнымалылармен бірдей нәтиже береді (почта индексі, аты). Әділдік сезімтал бағанды өшіру емес; Әділдік көрсеткіштерімен, прокси бақылауымен, түсініктілігімен және қарсылық білдіру құқығымен қамтамасыз етілген. Бір сөйлемде: Үлгі өткенді қайталайды; Әділдік пен кемсітушіліктен бас тарту адамның міндеті.

Қолданбалы тапсырма

Несиелік үлгі үшін 8-10 айнымалылар тізімін жазыңыз (кейбіреулері қасақана прокси тәуекелі бар: пошта индексі, аты, сауда санаты). 2. Үлгі арқылы проксиді тексеруді орындаңыз және қауіптілерін себептерімен белгілеңіз. Одан кейін кемсітушілік негіздеме мәтінін жазыңыз және оны 1 үлгімен сканерлеңіз. Соңында, топтар арасында үлгінің қабылданбау деңгейін салыстыру үшін қандай әділдік көрсеткіштерін бақылайтыныңызды абзацта жоспарлаңыз.

бақылау парағы

[ ] Үлгі/негіздеме қорғалған сипаттарды қолданбайтынын тексердім.
[ ] Мен сондай-ақ прокси айнымалылардың тәуекелін тексердім.
[ ] Мен топтар арасындағы мақұлдау/қабылдамау және қателік деңгейін салыстыруды жоспарладым.
[ ] Мен әрбір шешімнің түсіндірілетін негіздемесі болуын қамтамасыз еттім.
[ ] Мен тұтынушыға қарсылық білдіру және адамдық тексеру құқығын бердім.
[ ] Мен «соқты» деген сылтаумен кемсітушіліктің қызыл сызығынан да өткен жоқпын.