Prasangka, Kesaksamaan dan Diskriminasi: Bintik Buta Model — Kecerdasan Buatan dalam Perbankan

Keuntungan:

Memahami bagaimana berat sebelah dalam model kecerdasan buatan timbul daripada data dan reka bentuk dan sebab ia mewujudkan risiko undang-undang dan etika dalam perbankan
Keupayaan untuk mengenali ciri yang dilindungi, pembolehubah proksi dan diskriminasi tidak langsung dan keputusan model soalan dari segi keadilan
Keupayaan untuk memahami cara metrik keadilan, kumpulan yang dikecualikan dan hak untuk membantah digabungkan ke dalam tadbir urus model dan mengekalkan garis merah diskriminasi

Model AI tidak neutral; Ia adalah cermin data yang dipelajari. Jika data membawa ketidaksamaan masa lalu, model mempelajarinya dan membawanya ke masa hadapan. Dalam perbankan, ini bukan perbahasan etika abstrak: jika model kredit secara sistematik merugikan kumpulan tertentu, ini adalah menyalahi undang-undang (larangan diskriminasi) dan pelanggaran etika, yang membawa risiko reputasi dan sekatan kepada bank. Tujuan unit ini adalah untuk menunjukkan cara model menjadi berat sebelah, bentuk diskriminasi langsung dan tidak langsung, perangkap pembolehubah proksi, dan cara untuk menjalinkan keadilan ke dalam tadbir urus model. Satu garis merah mesti dikatakan dari awal: diskriminasi, tidak kira betapa "statistik" ia kelihatan, tidak boleh diterima.

Dari mana datangnya prasangka?

Kecondongan data: Jika keputusan lalu tidak adil (mis. kumpulan tertentu diberi kurang kredit pada masa lalu), model menganggap ini "biasa" dan berterusan. Ini dipanggil bias sejarah.
Kecondongan pensampelan: Jika sesetengah kumpulan kurang diwakili dalam data, model belajar dengan kurang baik dan tidak tepat tentang mereka.
Bias label: Jika takrifan "pelanggan yang baik" itu sendiri berat sebelah, model mengoptimumkan untuk berat sebelah.
Kecondongan reka bentuk: Pilihan manusia tentang pembolehubah yang hendak digunakan juga boleh membawa berat sebelah.

Petua: "Model adalah berdasarkan data, jadi ia adalah objektif" ialah tanggapan yang salah. Data ialah gambaran masa lalu; Jika masa lalu tidak adil, model "objektif" membenarkan ketidakadilan dengan matematik. Objektiviti bukanlah jaminan kesaksamaan.

Diskriminasi langsung dan tidak langsung

Diskriminasi langsung: Penggunaan langsung model terhadap ciri yang dilindungi (jantina, etnik, agama, umur). Ini dilarang secara nyata.
Diskriminasi tidak langsung (pembolehubah pengganti / proksi): Walaupun model tidak menggunakan ciri yang dilindungi secara langsung, ia menghasilkan hasil yang sama dengan menggunakan pembolehubah lain yang sangat berkaitan dengannya (kod pos, nama, kategori beli-belah, daerah kerja). Poskod selalunya proksi untuk peringkat etnik atau pendapatan. Model itu mengatakan "kejiranan" tetapi hasilnya adalah diskriminasi "asal".

Pembolehubah

nampaknya

boleh jadi proksi

Poskod / daerah

geografi

Etnik, tingkat pendapatan

Nama

asal usul, jantina

Kategori membeli-belah

tingkah laku

gaya hidup, kepercayaan

tamat pengajian

Pendidikan

Asal usul sosioekonomi

Itulah sebabnya penggera harus berbunyi apabila anda melihat pernyataan seperti "kejiranan berisiko" dalam justifikasi: ia mungkin kelihatan sebagai kriteria yang sah tetapi membawa diskriminasi tidak langsung.

Awas: Mengalih keluar ciri yang dilindungi daripada data tidak menamatkan diskriminasi. Pembolehubah pengganti boleh mengembalikannya. Keadilan tidak dicapai dengan "Saya memadam ruangan sensitif"; Ini dicapai dengan menguji keputusan keputusan model antara kumpulan.

Menenun keadilan dalam pemerintahan

Metrik keadilan. Bandingkan kadar kelulusan/penolakan model dan kadar ralat antara kumpulan. Adakah satu kumpulan secara sistematik mengalami penolakan yang lebih tinggi?
Kawalan proksi. Periksa hubungan pembolehubah yang digunakan dengan sifat yang dilindungi.
Kebolehjelasan. Justifikasi mesti dikemukakan untuk setiap keputusan; Penafian "kotak hitam" tidak boleh dipertahankan.
Hak untuk membantah. Pelanggan harus diberi hak untuk mempelajari rasional keputusan itu dan meminta semakan manusia.
Kumpulan yang dikecualikan. Ia juga harus disemak bahawa kumpulan yang kurang diwakili dalam data tidak dianiaya.

Empat templat yang boleh disalin

1) Penapisan untuk diskriminasi dalam justifikasi:

Semak rasional keputusan kredit berikut: adakah terdapat rujukan langsung/tidak langsung kepada ciri yang dilindungi (umur, jantina, asal usul, agama) atau pembolehubah proksi (poskod, kejiranan, nama, jenis beli-belah)? Benderakan kenyataan berisiko dan terangkan sebab ia menimbulkan risiko diskriminasi. Sebab: [teks]

2) Kawalan proksi senarai boleh ubah:

Periksa senarai pembolehubah yang digunakan dalam model kredit ini. Yang manakah boleh menjadi proksi untuk ciri yang dilindungi dan menimbulkan risiko diskriminasi tidak langsung? Tulis justifikasi anda untuk setiap varian berisiko. Senarai: [pembolehubah]

3) Ringkasan keputusan dari segi keadilan (neutral, boleh dijelaskan):

Peranan anda: pembantu yang merangka rasional keputusan yang boleh dijelaskan. Bergantung hanya pada kriteria yang sah dan tidak diskriminasi (nisbah hutang kepada pendapatan, sejarah pembayaran, cagaran). JANGAN rujuk harta yang dilindungi dan pembolehubah pengganti. Tulis rasional dalam bahasa mudah yang pelanggan akan faham. Saya akan beri kelulusan.

4) Draf respons bantahan:

Seorang pelanggan merayu penafian kredit dan mahukan justifikasi. Draf respons yang hormat dan deskriptif berdasarkan kriteria yang sah; Ingatkan pelanggan tentang haknya untuk semakan dan pembetulan manusia. Jangan gunakan sebarang implikasi diskriminasi. Sebab penolakan yang disahkan: [sebab]

Gesaan lemah / Gesaan kuat

Gesaan yang lemah:

Aplikasi di rantau ini sangat berisiko, mari gunakan maklumat daerah dengan lebih banyak dalam model supaya ketepatan dapat ditingkatkan.

Pendekatan ini mengukuhkan diskriminasi tidak langsung berdasarkan daerah; Ia menghalalkan keputusan yang menyalahi undang-undang atas nama "hit".

Gesaan kuat:

Peranan anda: pembantu audit keadilan. Tandakan pembolehubah yang digunakan yang menimbulkan risiko pembolehubah pengganti. Cadangkan metrik yang harus saya ikuti untuk membandingkan keputusan antara kumpulan dari segi kadar kelulusan/penolakan. Jangan sekali-kali mengukuhkan kriteria diskriminasi; ubah hala kepada kriteria yang sah dan boleh dijelaskan.

Kuat akan mencari risiko proksi, memperkenalkan metrik keadilan dan menolak diskriminasi.

tiga kes mini

Kes 1 — Kecondongan sejarah. Satu model memberikan kumpulan pekerjaan tertentu skor yang rendah secara sistematik kerana ia telah diberikan kurang kredit pada masa lalu. Audit keadilan menunjukkan bahawa kadar penolakan untuk kumpulan ini adalah 30% lebih tinggi daripada yang lain pada tahap pendapatan yang sama. Model ini diseimbangkan semula dengan pendapatan dan kriteria pembayaran yang sah.

Kes 2 — Pembolehubah pengganti. Poskod ialah pembolehubah berkuasa dalam model. Audit menunjukkan bahawa kod pos bertindih dengan kawasan kejiranan tertumpu etnik tertentu, menghasilkan diskriminasi asal tidak langsung. Pembolehubah dialih keluar dan digantikan dengan penanda aras kewangan yang sah; prestasi kekal pada tahap yang boleh diterima, diskriminasi dihapuskan.

Kes 3 — Hak untuk membantah. Pelanggan yang ditolak meminta justifikasi. Bank menyediakan justifikasi yang boleh dijelaskan (nisbah hutang kepada pendapatan yang tinggi) dan menerima permintaan untuk semakan manusia. Semakan mendedahkan salah baca dokumen; Keputusan itu diperbetulkan. Kebolehjelasan dan hak untuk membantah mengimbangi kesilapan dengan keadilan.

Metrik kesaksamaan: apa dan cara kami mengukur

"Adakah model itu adil?" Tiada jawapan tunggal untuk soalan itu; Terdapat pelbagai definisi keadilan, dan kadangkala bercanggah antara satu sama lain. Berikut adalah beberapa pendekatan yang praktikal diikuti dalam perbankan:

Perbandingan kadar kelulusan/penolakan: Adakah kadar kelulusan berbeza secara sistematik antara kumpulan berbeza dengan profil kewangan yang serupa (mis. kumpulan jantina)? Perbezaan yang besar dan tidak dapat dijelaskan adalah tanda berat sebelah.
Kesamaan kadar ralat: Adakah kadar penolakan palsu model (menolak permohonan yang sah) seimbang merentas kumpulan? Jika satu kumpulan ditolak secara tidak adil lebih kerap daripada kumpulan lain, ada masalah.
Penentukuran: Adakah pelanggan model yang dipanggil "berisiko tinggi" benar-benar lalai pada kadar yang sama dalam setiap kumpulan? Maksud skor tidak boleh beralih dari kumpulan ke kumpulan.

Metrik ini kadangkala tidak boleh disediakan pada masa yang sama; Takrif keadilan yang mana yang perlu diutamakan bukanlah keputusan teknikal tetapi keputusan beretika dan undang-undang dan memerlukan tadbir urus manusia.

Petua: Ukur metrik kesaksamaan pada selang masa yang tetap, bukan hanya apabila anda membina model. Model mungkin disiarkan secara adil dan menjadi berat sebelah dari semasa ke semasa disebabkan oleh hanyut data. Keadilan bukan soal "establishment" tetapi soal "monitoring".

Kesilapan biasa

Kekeliruan "data objektif". Dengan mengandaikan model itu neutral; data membawa bias sejarah.
Hanya padamkan lajur sensitif. Mengalih keluar harta yang dilindungi dan menghadap pembolehubah proksi.
Tidak menjejaki metrik kesaksamaan. Tidak membandingkan kadar penolakan/ralat antara kumpulan sama sekali.
Mempertahankan keputusan kotak hitam. Mempertimbangkan keputusan yang tidak boleh dibenarkan sebagai sah.
Mengeluarkan hak untuk membantah. Melumpuhkan semakan manusia kerana "ia melambatkan proses."

Perhatian: Diskriminasi selalunya timbul bukan dari niat jahat tetapi dari kecuaian. Pembolehubah yang ditambahkan kerana "meningkatkan ketepatan" mungkin tanpa disedari mengecualikan kumpulan. Oleh itu keadilan bukan berdasarkan niat baik tetapi pada ujian yang kerap.

Secara ringkasnya

Model AI membawa bias data yang mereka pelajari, dan diskriminasi dalam perbankan adalah risiko undang-undang, etika dan reputasi. Diskriminasi langsung menggunakan ciri yang dilindungi; Diskriminasi tidak langsung, sebaliknya, menghasilkan keputusan yang sama dengan pembolehubah proksi (kod pos, nama). Keadilan bukan tentang memadam ruangan sensitif; Dipastikan oleh metrik kesaksamaan, kawalan proksi, kebolehjelasan dan hak untuk membantah. Dalam satu ayat: Corak mengulangi masa lalu; Adalah menjadi tanggungjawab manusia untuk menegakkan keadilan dan menolak diskriminasi.

Tugasan permohonan

Tulis senarai 8-10 pembolehubah untuk model kredit (beberapa dengan risiko proksi yang disengajakan: poskod, nama, kategori beli-belah). 2. Lakukan semakan proksi dengan templat dan tandakan yang berisiko dengan alasannya. Kemudian tulis teks justifikasi diskriminasi dan imbas dengan templat 1. Akhir sekali, rancang dalam perenggan metrik kesaksamaan yang akan anda jejaki untuk membandingkan kadar penolakan model antara kumpulan.

senarai semak

[ ] Saya telah menyemak bahawa model/rasional tidak menggunakan sifat yang dilindungi.
[ ] Saya juga menapis risiko pembolehubah proksi.
[ ] Saya merancang untuk membandingkan kadar kelulusan/penolakan dan ralat antara kumpulan.
[ ] Saya memastikan bahawa setiap keputusan mempunyai rasional yang boleh dijelaskan.
[ ] Saya memberi pelanggan hak untuk membantah dan ulasan manusia.
[ ] Saya tidak pun melepasi garis merah diskriminasi atas alasan "pukul".