Xurofot, adolat va diskriminatsiya: Modelning ko'r nuqtalari

Daromadlar:

• Sun'iy intellekt modellaridagi tarafkashlik ma'lumotlar va dizayndan qanday kelib chiqishini va nima uchun bank ishida huquqiy va axloqiy xavflarni keltirib chiqarishini tushunish
• Himoyalangan xususiyatlarni, proksi-server o'zgaruvchilarni va bilvosita kamsitish va model qarorlarini adolat nuqtai nazaridan so'roq qilish qobiliyati
• Adolat ko'rsatkichlari, istisno qilingan guruhlar va e'tiroz bildirish huquqi boshqaruv modeliga qanday to'qilganligini tushunish va diskriminatsiyaning qizil chizig'ini saqlab qolish qobiliyati

AI modeli neytral emas; Bu o'rganilgan ma'lumotlarning ko'zgusidir. Agar ma'lumotlar o'tmishdagi tengsizliklarni olib yursa, model ularni o'rganadi va kelajakka olib boradi. Bank ishida bu mavhum axloqiy munozara emas: agar kredit modeli tizimli ravishda ma'lum bir guruhga zarar yetkazsa, bu ham noqonuniy (kamsitishni taqiqlash), ham axloqiy qoidabuzarlik bo'lib, bank uchun obro' va sanktsiya xavfini keltirib chiqaradi. Ushbu bo'limning maqsadi modelning qanday qilib noxolis bo'lishini, kamsitishning to'g'ridan-to'g'ri va bilvosita shakllarini, proksi o'zgaruvchilar tuzog'ini va model boshqaruvida adolatni to'qish usullarini ko'rsatishdir. Bir qizil chiziqni boshidan aytish kerak: kamsitish, qanchalik "statistik" ko'rinmasin, qabul qilib bo'lmaydi.

Xudbinlik qayerdan keladi?

• Ma'lumotlarga zid: agar o'tmishdagi qarorlar adolatsiz bo'lsa (masalan, o'tmishda ma'lum bir guruhga kamroq kredit berilgan bo'lsa), model buni "normal" deb hisoblaydi va davom etadi. Bu tarixiy tarafkashlik deyiladi.
• Namuna tarafkashligi: Agar ba'zi guruhlar ma'lumotlarda kam ifodalangan bo'lsa, model ular haqida yomon va noto'g'ri o'rganadi.
• Yorliqning noto'g'riligi: "Yaxshi mijoz" ta'rifining o'zi noto'g'ri bo'lsa, model noto'g'rilikni optimallashtiradi.
• Dizayn nuqtai nazari: Qaysi o'zgaruvchilardan foydalanish to'g'risida inson tanlovi ham noto'g'ri bo'lishi mumkin.

Maslahat: "Model ma'lumotlarga asoslangan, shuning uchun u ob'ektiv" - bu noto'g'ri tushuncha. Ma'lumotlar o'tmishning oniy tasviridir; Agar o'tmish adolatsiz bo'lsa, "ob'ektiv" model adolatsizlikni matematika bilan oqlaydi. Ob'ektivlik xolislik kafolati emas.

To'g'ridan-to'g'ri va bilvosita kamsitish

• To'g'ridan-to'g'ri diskriminatsiya: Modelning himoyalangan xususiyatdan (jins, etnik kelib chiqishi, dini, yoshi) bevosita foydalanishi. Bu aniq taqiqlangan.
• Bilvosita diskriminatsiya (surrogat o'zgaruvchi / proksi): Model to'g'ridan-to'g'ri himoyalangan xususiyatdan foydalanmasa ham, u bilan kuchli bog'liq bo'lgan boshqa o'zgaruvchidan (pochta indeksi, ism, xarid qilish toifasi, ishlaydigan hudud) foydalanish orqali bir xil natijani beradi. Pochta indeksi ko'pincha etnik kelib chiqishi yoki daromad darajasi uchun proksi hisoblanadi. Modelda "qo'shnichilik" deyiladi, ammo natija "kelib chiqishi" kamsitishdir.

Oʻzgaruvchan

aftidan

proksi bo'lishi mumkin

Pochta indeksi / tuman

geografiya

Etnik kelib chiqishi, daromad darajasi

Ism

ID

kelib chiqishi, jinsi

Xarid qilish toifasi

xulq-atvor

turmush tarzi, e'tiqod

maktabni tugatgan

Ta'lim

Ijtimoiy-iqtisodiy kelib chiqishi

Shuning uchun asoslashda "qo'shnichilik xavfli" kabi bayonotni ko'rsangiz, signal chalinishi kerak: bu qonuniy mezon bo'lib ko'rinishi mumkin, lekin bilvosita kamsitishdir.

Diqqat: Ma'lumotlardan himoyalangan xususiyatni olib tashlash diskriminatsiyani tugatmaydi. Surrogat o'zgaruvchilar uni qaytarishi mumkin. “Men nozik ustunni o‘chirib tashladim” bilan adolatga erishilmaydi; Bunga guruhlar o'rtasida namunaviy qarorlar natijalarini sinovdan o'tkazish orqali erishiladi.

Boshqaruvda adolatni to'qish

1. Adolat ko'rsatkichlari. Modelni tasdiqlash/rad etish stavkalarini va guruhlar o'rtasida xatolik darajasini solishtiring. Bir guruh muntazam ravishda yuqori rad etishlarni boshdan kechiradimi?
2. Proksi nazorati. Qo'llaniladigan o'zgaruvchilarning himoyalangan xususiyatlarga munosabatini ko'rib chiqing.
3. Tushuntirish qobiliyati. Har bir qaror uchun asoslash kerak; “Qora quti”ni inkor etish mumkin emas.
4. E'tiroz bildirish huquqi. Buyurtmachiga qarorning mantiqiy asoslarini o'rganish va inson tomonidan ko'rib chiqishni talab qilish huquqi berilishi kerak.
5. Cheklangan guruhlar. Bundan tashqari, ma'lumotlarda kam ifodalangan guruhlar noto'g'ri munosabatda bo'lmasligini tekshirish kerak.

To'rt nusxa ko'chirish shablonlari

1) Asoslashda kamsitishni tekshirish:

Quyidagi kredit qarorining asosini tekshiring: himoyalangan xususiyatga (yoshi, jinsi, kelib chiqishi, dini) yoki proksi o'zgaruvchiga (pochta indeksi, mahalla, ism, xarid turi) bevosita/bilvosita havola bormi? Xavfli bayonotlarni belgilang va nima uchun ular kamsitish xavfi borligini tushuntiring. Sababi: [matn]

2) O'zgaruvchan ro'yxat proksi boshqaruvi:

Kredit modelida ishlatiladigan o'zgaruvchilarning ushbu ro'yxatini ko'rib chiqing. Qaysi biri himoyalangan xususiyat uchun proksi bo'lishi va bilvosita kamsitish xavfini tug'dirishi mumkin? Har bir xavfli variant uchun asosingizni yozing. Roʻyxat: [oʻzgaruvchilar]

3) Odillik nuqtai nazaridan qarorning qisqacha mazmuni (neytral, tushuntirilishi mumkin):

Sizning rolingiz: tushuntirish mumkin bo'lgan qarorning asosini ishlab chiqadigan yordamchi. Faqat qonuniy, kamsitmaydigan mezonlarga tayaning (qarzning daromadga nisbati, to'lov tarixi, garov). Himoyalangan mulk va surrogat o'zgaruvchiga havola EMAS. Buning sababini mijoz tushunadigan sodda tilda yozing. Men rozilikni beraman.

4) E'tirozga javob loyihasi:

Mijoz kreditni rad etish ustidan shikoyat qildi va asoslanmoqchi. Qonuniy mezonlarga asoslangan hurmatli va tavsiflovchi javobni ishlab chiqish; Xaridorga inson tomonidan ko'rib chiqish va tuzatish huquqini eslatib turing. Hech qanday kamsituvchi ta'sirlardan foydalanmang. Tasdiqlangan rad etish sababi: [sabab]

Zaif taklif / Kuchli taklif

Zaif taklif:

Ushbu mintaqadagi ilovalar juda xavflidir, aniqlikni oshirish uchun modelda tuman ma'lumotlaridan ko'proq foydalanaylik.

Bu yondashuv tuman asosida bilvosita kamsitishni kuchaytiradi; Bu "urish" nomi bilan noqonuniy natijani qonuniylashtiradi.

Kuchli so'rov:

Sizning rolingiz: adliya tekshiruvi yordamchisi. Surrogat o'zgaruvchilar xavfini tug'diradigan ishlatiladigan o'zgaruvchilarni belgilang. Guruhlar o'rtasidagi qarorlarni tasdiqlash/rad etish darajasi bo'yicha solishtirish uchun qaysi ko'rsatkichlarga amal qilishimni taklif qiling. Hech qachon kamsituvchi mezonni kuchaytirmang; qonuniy va tushuntirilishi mumkin bo'lgan mezonlarga yo'naltirish.

Kuchli iroda proksi xavfini qidiradi, adolat o'lchovlarini kiritadi va kamsitishni rad etadi.

uchta mini holat

1-holati - Tarixiy tarafkashlik. Bir model ma'lum bir kasb guruhiga tizimli ravishda past ball beradi, chunki o'tmishda unga kamroq kredit berilgan. Adolatlilik auditi shuni ko'rsatadiki, ushbu guruh uchun rad etish darajasi shunga o'xshash daromad darajasidagi boshqalarga qaraganda 30% yuqori. Model qonuniy daromad va to'lov mezonlari bilan qayta muvozanatlangan.

2-holat - Surrogat o'zgaruvchi. Pochta indeksi modeldagi kuchli o'zgaruvchidir. Audit shuni ko'rsatadiki, pochta indeksi ma'lum etnik jihatdan to'plangan mahallalar bilan bir-biriga mos keladi va bu bilvosita kelib chiqishi kamsitilishiga olib keladi. O'zgaruvchi olib tashlanadi va qonuniy moliyaviy ko'rsatkichlar bilan almashtiriladi; ishlash maqbul darajada qolmoqda, kamsitishlar bartaraf etiladi.

3-holat - E'tiroz bildirish huquqi. Rad etilgan mijoz asos so'raydi. Bank tushuntirish mumkin bo'lgan asosni taqdim etadi (qarzning daromadga nisbati yuqori) va inson tomonidan ko'rib chiqish uchun so'rovni qabul qiladi. Ko'rib chiqish hujjatning noto'g'ri o'qilganligini aniqlaydi; Qaror tuzatildi. Tushuntirish va e'tiroz bildirish huquqi xatoni adolat bilan qoplaydi.

Adolat ko'rsatkichlari: biz nimani va qanday o'lchaymiz

"Model adolatlimi?" Savolga bitta javob yo'q; Adolatning bir nechta ta'riflari mavjud va ular ba'zan bir-biriga zid keladi. Bank ishida amalda qo'llaniladigan bir necha yondashuvlar:

• Tasdiqlash/rad etish stavkasini taqqoslash: ma'qullash darajasi o'xshash moliyaviy profilga ega bo'lgan turli guruhlar (masalan, gender guruhlari) o'rtasida tizimli ravishda farq qiladimi? Katta va tushunarsiz farq - bu tarafkashlik belgisi.
• Xato darajasining tengligi: modelning noto'g'ri rad etish (qonuniy arizani rad etish) darajasi guruhlar o'rtasida muvozanatlanganmi? Agar bir guruh boshqasiga qaraganda tez-tez nohaq rad etilsa, muammo bor.
• Kalibrlash: Model "yuqori xavf" deb ataydigan mijozlar har bir guruhda xuddi shunday stavkalarda sukut bo'ladimi? Balning ma'nosi guruhdan guruhga o'tmasligi kerak.

Bu ko'rsatkichlarni ba'zan bir vaqtning o'zida taqdim etib bo'lmaydi; Adolatning qaysi ta'rifiga ustunlik berish texnik emas, balki axloqiy va huquqiy qaror bo'lib, inson boshqaruvini talab qiladi.

Maslahat: Adolatlilik ko'rsatkichini faqat modelni yaratishda emas, balki muntazam ravishda o'lchang. Model adolatli jonli bo'lishi va vaqt o'tishi bilan ma'lumotlarning siljishi tufayli noto'g'ri bo'lishi mumkin. Adolat “o‘rnatish” masalasi emas, balki “nazorat” masalasidir.

Umumiy xatolar

• "Obyektiv ma'lumotlar" xatosi. Modelni neytral deb hisoblasak; ma'lumotlar tarixiy ma'noga ega.
• Faqat sezgir ustunni o'chiring. Himoyalangan xususiyatni olib tashlash va proksi o'zgaruvchilarga e'tibor bermaslik.
• Adolat ko'rsatkichlarini kuzatmaslik. Guruhlar o'rtasidagi rad etish/xatolik darajasini umuman solishtirmaslik.
• Qora quti qarorini himoya qilish. Asoslanishi mumkin bo'lmagan qarorni qonuniy deb hisoblash.
• E'tiroz bildirish huquqini olib tashlash. Inson tekshiruvini o'chirib qo'yish, chunki "bu jarayonni sekinlashtiradi".

Diqqat: Diskriminatsiya ko'pincha yovuzlikdan emas, balki ehtiyotsizlikdan kelib chiqadi. "Aniqlikni oshirganligi" sababli qo'shilgan o'zgaruvchi guruhni bilmagan holda chiqarib tashlashi mumkin. Shuning uchun adolat yaxshi niyatga emas, balki muntazam sinovga asoslanadi.

qisqa bayoni; yakunida

AI modellari ular o'rganadigan ma'lumotlarning noto'g'ri tomonlarini o'z ichiga oladi va bank ishidagi kamsitish huquqiy, axloqiy va obro'ga xavf tug'diradi. To'g'ridan-to'g'ri diskriminatsiya himoyalangan xususiyatdan foydalanish; Boshqa tomondan, bilvosita diskriminatsiya proksi-server o'zgaruvchilari (pochta indeksi, nom) bilan bir xil natijani keltirib chiqaradi. Adolat nozik ustunni o'chirish emas; Adolat ko'rsatkichlari, proksi nazorati, tushuntirish mumkinligi va e'tiroz bildirish huquqi bilan ta'minlanadi. Bir gapda: Naqsh o‘tmishni takrorlaydi; Adolatni ta'minlash va kamsitishlarni rad etish insonning burchidir.

Ilova vazifasi

Kredit modeli uchun 8-10 o'zgaruvchilar ro'yxatini yozing (ba'zilari qasddan proksi xavf bilan: pochta indeksi, ism, xarid toifasi). 2. Shablon bilan proksi-server tekshiruvini o'tkazing va xavfli bo'lganlarni sabablari bilan belgilang. Keyin kamsituvchi asoslash matnini yozing va uni shablon 1 bilan skanerlang. Nihoyat, guruhlar o'rtasida modelni rad etish darajasini solishtirish uchun qaysi adolat ko'rsatkichlarini kuzatishingizni paragrafda rejalashtiring.

nazorat ro'yxati

• [ ] Men model/mantiqiy himoyalangan xususiyatlardan foydalanmasligini tekshirdim.
• [ ] Men proksi-server o'zgaruvchilari xavfini ham tekshirdim.
• [ ] Guruhlar orasidagi tasdiqlash/rad etish va xatolik darajasini solishtirishni rejalashtirdim.
• [ ] Men har bir qarorning tushuntirilishi mumkin bo'lgan mantiqiy asosga ega bo'lishini ta'minladim.
• [ ] Men mijozga e'tiroz bildirish va inson tomonidan ko'rib chiqish huquqini berdim.
• [ ] Men "urdi" degan bahonada kamsitish qizil chizig'ini ham kesib o'tmadim.