Бейтараптык, калыстык жана дискриминация: моделдин сокур тактары

Пайдалар:

• Жасалма интеллект моделдериндеги бир тараптуулук маалыматтардан жана дизайндан кантип пайда болоорун жана эмне үчүн банк ишинде юридикалык жана этикалык тобокелдиктерди жаратаарын түшүнүү
• Корголгон өзгөчөлүктөрдү, прокси өзгөрмөлөрдү жана кыйыр басмырлоону таануу жана калыстык жагынан моделдик чечимдерди суроо жөндөмдүүлүгү
• Адилеттик көрсөткүчтөрү, четтетилген топтор жана каршы чыгуу укугу башкаруунун моделине кантип кошулганын түшүнүү жана дискриминациянын кызыл сызыгын сактоо

AI модели нейтралдуу эмес; Бул үйрөнгөн маалыматтардын күзгүсү. Эгерде маалыматтар өткөн теңсиздикти алып жүрсө, модель аларды үйрөнүп, келечекке алып барат. Банк ишинде бул абстракттуу этикалык талаш-тартыш эмес: эгерде кредиттик модель белгилүү бир топту системалуу түрдө начарлатса, бул мыйзамсыз (басмырлоого тыюу салуу) жана банкка репутация жана санкциялык тобокелдиктерди алып келе турган этикалык бузуу болуп саналат. Бул бөлүмдүн максаты – моделдин кантип бир жактуу, түз жана кыйыр түрдө басмырлоо формаларын, прокси өзгөрмө тузагын жана моделдик башкарууга калыстыкты киргизүүнүн жолдорун көрсөтүү. Бир кызыл сызыкты башынан эле айтуу керек: дискриминация канчалык «статистикалык» көрүнбөсүн, ал кабыл алынгыс нерсе.

Бейтараптык кайдан келип чыгат?

• Маалыматтын бир жактуулугу: Эгер мурунку чечимдер адилетсиз болсо (мисалы, белгилүү бир топко мурда азыраак кредит берилген), модель муну "нормалдуу" деп эсептейт жана улантат. Бул тарыхый тенденция деп аталат.
• Тандоолордун бир жактуулугу: Эгерде кээ бир топтор маалыматтарда аз көрсөтүлсө, модель алар жөнүндө начар жана так эмес үйрөнөт.
• Энбелгилердин кыйшаюусу: Эгерде "жакшы кардар" аныктамасы бир жактуу болсо, модель бир тараптуулукка оптималдаштырат.
• Дизайндын бир жактуулугу: Кайсы өзгөрмөлөрдү колдонуу керектиги жөнүндө адамдын тандоосу да бир тараптуу болушу мүмкүн.

Кеңеш: "Модель маалыматтарга негизделген, ошондуктан объективдүү" деген туура эмес түшүнүк. Берилиштер - бул өткөндүн сүрөтү; Өткөн адилетсиз болсо, "объективдүү" модель адилетсиздикти математика менен актайт. Объективдүүлүк калыстыктын кепилдиги эмес.

Түз жана кыйыр дискриминация

• Түздөн-түз басмырлоо: моделдин корголгон белгини (жынысы, этникалык таандыгы, дини, жашы) тикелей колдонуусу. Бул ачык тыюу салынган.
• Кыйыр дискриминация (суррогат өзгөрмө / прокси): Модель корголгон өзгөчөлүктү түздөн-түз колдонбосо дагы, ага катуу байланыштуу болгон башка өзгөрмөнү (почта индекси, аталышы, соода категориясы, жумушчу району) колдонуу менен ошол эле натыйжаны берет. Почта индекси көбүнчө улуттун же киреше деңгээлинин проксиси болуп саналат. Моделде "коңшулук" дейт, бирок натыйжада "келип чыгуу" дискриминациясы.

Variable

көрүнөт

прокси боло алат

Почта индекси / район

география

Улуту, киреше деңгээли

аты

ID

теги, жынысы

Соода категориясы

жүрүм-турум

жашоо образы, ишеним

мектепти бүтүргөн

Билим берүү

Социалдык-экономикалык келип чыгышы

Ошондуктан негиздөөдө "коңшулук кооптуу" деген сөздү көргөндө коңгуроо кагылышы керек: бул мыйзамдуу критерий болуп көрүнүшү мүмкүн, бирок кыйыр басмырлоону камтышы мүмкүн.

Эскертүү: Берилиштерден корголгон функцияны алып салуу дискриминацияны токтотпойт. Суррогат өзгөрмөлөр аны кайтара алат. Адилеттикке "мен сезгич тилкени өчүрдүм" деп жетишпейт; Бул топтордун ортосундагы моделдик чечимдердин натыйжаларын сыноо аркылуу жетишилет.

Бийликке адилеттүүлүк орнотулат

1. Калыстык көрсөткүчтөрү. Топтордун ортосундагы моделдин жактыруу/четке кагуу көрсөткүчтөрүн жана ката чендерин салыштырыңыз. Бир топ системалуу түрдө жогорку четке кагууларды башынан өткөрөбү?
2. Прокси башкаруу. Корголгон касиеттерге колдонулган өзгөрмөлөрдүн байланышын карап көрүңүз.
3. Түшүндүрүү. Ар бир чечим үчүн негиздеме келтирилиши керек; "Кара кутудан" баш тартуу мүмкүн эмес.
4. Каршы чыгуу укугу. Кардарга чечимдин жүйөсүн билүү жана адам тарабынан текшерүүнү талап кылуу укугу берилиши керек.
5. Чыгарылган топтор. Ошондой эле маалыматтарда аз көрсөтүлгөн топторго катаал мамиле кылынбагандыгын текшерүү керек.

Көчүрүү үчүн төрт шаблон

1) Негиздөөдө дискриминацияны текшерүү:

Төмөнкү кредиттик чечимдин жүйөсүн текшериңиз: корголгон мүнөздөмө (курагы, жынысы, теги, дини) же прокси өзгөрмө (почта индекси, коңшулук, аты-жөнү, соода түрү) боюнча түз/кыйыр шилтеме барбы? Коркунучтуу билдирүүлөрдү белгилеңиз жана эмне үчүн алар басмырлоо коркунучун туудурарын түшүндүрүңүз. Себеби: [текст]

2) Өзгөрмө тизмеси прокси башкаруу:

Кредиттик моделде колдонулган өзгөрмөлөрдүн бул тизмесин карап көрүңүз. Алардын кайсынысы корголгон мүнөздөмөнүн проксиси болуп, кыйыр басмырлоо коркунучун жаратышы мүмкүн? Ар бир кооптуу вариант үчүн өзүңүздүн негиздемеңизди жазыңыз. Тизме: [өзгөрмөлөр]

3) Калыстык (нейтралдуу, түшүнүктүү) жагынан чечимдин кыскача мазмуну:

Сиздин ролуңуз: чечүүчү чечимдин негизин иштеп чыгуучу жардамчы. Мыйзамдуу, дискриминацияланбаган критерийлерге гана таяныңыз (карыздын кирешеге катышы, төлөм тарыхы, күрөөлүк камсыздоо). Корголгон мүлккө жана суррогат өзгөрмөгө шилтеме КЫЛБА. Негиздемени кардар түшүнө турган жөнөкөй тилде жазыңыз. Мен макулдук берем.

4) Каршылык билдирүүнүн долбоору:

Кардар насыя берүүдөн баш тартууга апелляциялык арыз менен кайрылып, негиздөө талап кылынат. Мыйзамдуу критерийлердин негизинде сыйлоочу жана сыпаттоочу жоопту иштеп чыгуу; Кардарга адам тарабынан карап чыгууга жана оңдоого болгон укугун эскертиңиз. Эч кандай басмырлоочу кесепеттерди колдонбоңуз. Текшерилген баш тартуу себеби: [себеп]

Алсыз тездик / Күчтүү тездик

Алсыз билдирүү:

Бул аймактагы тиркемелер абдан кооптуу, келгиле, тактыкты жогорулатуу үчүн үлгүдө райондук маалыматты көбүрөөк колдонолу.

Бул ыкма райондун негизинде кыйыр дискриминацияны күчөтөт; Ал “сок” деген ат менен мыйзамсыз жыйынтыкты мыйзамдаштырат.

Күчтүү билдирүү:

Сиздин ролуңуз: сот адилеттигинин аудитинин жардамчысы. Суррогат өзгөрмөлөр коркунучун жараткан өзгөрмөлөрдү белгилеңиз. Топтордун ортосундагы чечимдерди жактыруу/четке кагуу көрсөткүчү боюнча салыштыруу үчүн кайсы метрикага баш ийишим керектигин сунуштаңыз. Эч качан басмырлоочу критерийди бекемдебеңиз; мыйзамдуу жана түшүнүктүү критерийлерге багыттоо.

Күчтүү эрк прокси тобокелдигин издейт, калыстык көрсөткүчтөрүн киргизет жана басмырлоону четке кагат.

үч мини учурлар

1-жагдай - Тарыхый көз караш. Бир модель белгилүү бир кесиптик топко системалуу түрдө төмөн балл берет, анткени буга чейин ага азыраак кредит берилген. Адилеттүүлүк аудити көрсөткөндөй, бул топ үчүн четке кагуу көрсөткүчү окшош киреше деңгээлиндеги башкаларга караганда 30% жогору. Модель мыйзамдуу киреше жана төлөм критерийлери менен балансталган.

2-жагдай - Суррогат өзгөрмө. Почта индекси моделдеги күчтүү өзгөрмө болуп саналат. Аудит көрсөткөндөй, почта индекси этникалык жактан топтолгон айрым райондор менен дал келип, кыйыр теги боюнча дискриминацияны пайда кылат. Өзгөрмө алынып салынат жана мыйзамдуу финансылык көрсөткүчтөр менен алмаштырылат; аткаруу алгылыктуу деңгээлде калууда, дискриминация жок кылынат.

3-жагдай - Каршы чыгуу укугу. Четке кагылган кардар актоо сурайт. Банк түшүндүрүлүүчү негиздемени (карыздын кирешеге катышы жогору) берет жана адамдын кароосуна өтүнүчтү кабыл алат. Карап чыгуу документтин туура эмес окулушун аныктайт; Чечим оңдолот. Түшүнүктүүлүк жана каршылык көрсөтүү укугу адилеттүүлүк менен катанын ордун толтурат.

Калыстык көрсөткүчтөрү: биз эмнени жана кантип өлчөйбүз

"Модель адилеттүүбү?" суроого бир жооп жок; Адилеттүүлүктүн бир нече аныктамалары бар жана алар кээде бири-бирине карама-каршы келет. Бул жерде банк ишинде иш жүзүндө колдонулган бир нече ыкмалар бар:

• Кабыл алуу/баш тартуу чендерин салыштыруу: Каржылык профилдери окшош түрдүү топтордун (мисалы, гендердик топтордун) ортосунда жактыруу коэффициенти системалуу түрдө айырмаланабы? Чоң жана түшүндүрүлбөгөн айырма бир жактуулуктун белгиси.
• Ката ылдамдыгынын бирдейлиги: моделдин жалган баш тартуусу (мыйзамдуу өтүнмөнү четке кагуу) топтор боюнча тең салмактуубу? Эгерде бир топ башкасына караганда адилетсиз түрдө четке кагылса, анда көйгөй бар.
• Калибрлөө: Модель "жогорку тобокелдик" деп атаган кардарлар чындап эле ар бир топто окшош тарифтер боюнча демейки болобу? Упайдын мааниси топтон топко өтпөшү керек.

Бул көрсөткүчтөр кээде бир эле учурда берилиши мүмкүн эмес; Адилеттүүлүктүн кайсы аныктамасына артыкчылык берүү техникалык эмес, этикалык жана укуктук чечим болуп саналат жана адамдык башкарууну талап кылат.

Кеңеш: Калыстык көрсөткүчүн моделди түзгөндө эле эмес, үзгүлтүксүз аралыкта өлчөңүз. Модель калыс иштеп, убакыттын өтүшү менен берилиштердин дрейфине байланыштуу бир жактуу болуп калышы мүмкүн. Адилеттүүлүк “орнотуу” эмес, “көзөмөлдөө” маселеси.

Жалпы каталар

• "Объективдүү маалыматтар" жаңылышы. Модель нейтралдуу болсо; маалыматтар тарыхый тенденцияга ээ.
• Жөн гана сезимтал тилкени жок кылыңыз. Корголгон мүлктү алып салуу жана прокси өзгөрмөлөрдү кароо.
• Адилеттүүлүк көрсөткүчтөрүнө көз салбоо. Дегеле топтордун ортосундагы четке кагуу/ката көрсөткүчтөрүн салыштыруу.
• Кара куту чечимин коргоо. Мыйзамдуу деп актоого болбой турган чечимди кароо.
• Каршы чыгуу укугун алып салуу. Адамдын кароосун өчүрүү, анткени "бул процессти жайлатат".

Көңүл буруңуз: Дискриминация көбүнчө кара ниеттиктен эмес, этиятсыздыктан келип чыгат. Кошулган өзгөрмө, анткени "тактыгын жогорулатат" топту билбестен чыгарып салышы мүмкүн. Демек, адилеттүүлүк ак ниетке эмес, үзгүлтүксүз сыноого негизделет.

Кыскача айтканда

AI моделдери алардан үйрөнгөн маалыматтардын бир жактуулугун алып жүрүшөт жана банк ишинде дискриминация юридикалык, этикалык жана репутациялык тобокелдик болуп саналат. Түздөн-түз дискриминация корголгон функцияны колдонуу; Кыйыр дискриминация, экинчи жагынан, прокси өзгөрмөлөр (почта индекси, аты) менен бир эле натыйжаны берип жатат. Адилеттик сезимтал тилкени өчүрүү эмес; Калыстык көрсөткүчтөрү, прокси көзөмөлү, түшүндүрүү жана каршы чыгуу укугу менен камсыздалган. Бир сүйлөм менен: Үлгү өткөндү кайталайт; Адилеттүүлүктү сактоо жана басмырлоону четке кагуу адамдын милдети.

Колдонмо тапшырмасы

Кредиттик модель үчүн 8-10 өзгөрмөлөрдүн тизмесин жазыңыз (айрымдары атайылап прокси коркунучу бар: почта индекси, аты, соода категориясы). 2. Үлгү менен прокси текшерүүнү жүргүзүп, тобокелдиктерди себептери менен белгилеңиз. Андан соң дискриминациялоочу негиздөө текстин жазып, аны 1 шаблон менен сканерлеңиз. Акырында, топтордун ортосундагы моделдин четке кагылышын салыштыруу үчүн кайсы калыстык көрсөткүчтөрүнө көз салаарыңызды бир абзацта пландаштырыңыз.

текшерүү тизмеси

• [ ] Мен модель/негиздеме корголгон касиеттерди колдонбой турганын текшердим.
• [ ] Мен ошондой эле прокси өзгөрмөлөрүнүн тобокелдигин текшердим.
• [ ] Мен топтордун ортосундагы жактыруу/четке алуу жана ката санын салыштырууну пландаштырдым.
• [ ] Мен ар бир чечимдин түшүндүрүлүүчү жүйөсү болушун камсыз кылдым.
• [ ] Мен кардарга каршы жана адам кароо укугун бердим.
• [ ] Мен "сокту" деген негизде басмырлоонун кызыл сызыгынан да өткөн жокмун.