Keuntungan:
- Memahami bagaimana bias dalam model kecerdasan buatan muncul dari data dan desain serta mengapa hal tersebut menimbulkan risiko hukum dan etika di perbankan
- Kemampuan untuk mengenali fitur-fitur yang dilindungi, variabel proksi dan diskriminasi tidak langsung serta mempertanyakan keputusan model dalam hal keadilan
- Kemampuan untuk memahami bagaimana metrik keadilan, kelompok yang dikecualikan dan hak untuk menolak dijalin ke dalam model tata kelola dan mempertahankan garis merah diskriminasi
Model AI tidaklah netral; Ini adalah cerminan dari data yang dipelajari. Jika data membawa kesenjangan di masa lalu, model akan mempelajari kesenjangan tersebut dan membawanya ke masa depan. Di perbankan, hal ini bukanlah perdebatan etis yang abstrak: jika suatu model kredit secara sistematis merugikan kelompok tertentu, maka hal ini merupakan pelanggaran hukum (larangan diskriminasi) dan juga merupakan pelanggaran etika, yang membawa risiko reputasi dan sanksi bagi bank. Tujuan dari unit ini adalah untuk menunjukkan bagaimana model tersebut menjadi bias, bentuk diskriminasi langsung dan tidak langsung, jebakan variabel proksi, dan cara memasukkan keadilan ke dalam model tata kelola. Ada satu hal yang harus ditegaskan sejak awal: diskriminasi, tidak peduli seberapa “statistiknya” hal tersebut, tidak dapat diterima.
Dari mana datangnya prasangka?
- Bias data: Jika keputusan di masa lalu tidak adil (misalnya kelompok tertentu kurang mendapat penghargaan di masa lalu), model akan menganggap hal ini “normal” dan akan terus berlanjut. Hal ini disebut bias sejarah.
- Bias pengambilan sampel: Jika beberapa kelompok kurang terwakili dalam data, model mempelajari kelompok tersebut dengan buruk dan tidak akurat.
- Bias label: Jika definisi “pelanggan baik” itu sendiri bias, model akan mengoptimalkan bias tersebut.
- Bias desain: Pilihan manusia mengenai variabel mana yang akan digunakan juga dapat membawa bias.
Tip: “Modelnya berdasarkan data, jadi objektif” adalah kesalahpahaman. Data adalah gambaran masa lalu; Jika masa lalu tidak adil, model “objektif” membenarkan ketidakadilan tersebut dengan matematika. Objektivitas bukanlah jaminan ketidakberpihakan.
Diskriminasi langsung dan tidak langsung
- Diskriminasi langsung: Model ini menggunakan secara langsung karakteristik yang dilindungi (gender, etnis, agama, usia). Hal ini jelas dilarang.
- Diskriminasi tidak langsung (variabel pengganti/proksi): Meskipun model tidak menggunakan fitur yang dilindungi secara langsung, model akan memberikan hasil yang sama dengan menggunakan variabel lain yang terkait erat dengannya (kode pos, nama, kategori belanja, wilayah kerja). Kode pos sering kali mewakili etnis atau tingkat pendapatan. Modelnya mengatakan “lingkungan” tetapi akibatnya adalah diskriminasi “asal”.
Variabel
rupanya
bisa menjadi proksi
Kode pos/distrik
geografi
Etnis, tingkat pendapatan
Nama
tanda pengenal
asal, jenis kelamin
kategori belanja
perilaku
gaya hidup, kepercayaan
lulus sekolah
Pendidikan
Asal usul sosial ekonomi
Itu sebabnya alarm harus berbunyi ketika Anda melihat pernyataan seperti "lingkungan itu berisiko" sebagai pembenaran: ini mungkin tampak sebagai kriteria yang sah tetapi membawa diskriminasi tidak langsung.
Perhatian: Menghapus fitur yang dilindungi dari data tidak mengakhiri diskriminasi. Variabel pengganti dapat mengembalikannya. Keadilan tidak tercapai dengan "Saya menghapus kolom sensitif"; Hal ini dicapai dengan menguji hasil keputusan model antar kelompok.
Menenun keadilan ke dalam pemerintahan
- Metrik keadilan. Bandingkan tingkat persetujuan/penolakan model dan tingkat kesalahan antar kelompok. Apakah satu kelompok secara sistematis mengalami penolakan yang lebih tinggi?
- Kontrol proksi. Periksa hubungan variabel yang digunakan dengan properti yang dilindungi.
- Penjelasan. Pembenaran harus dihasilkan untuk setiap keputusan; Penyangkalan “kotak hitam” tidak dapat dipertahankan.
- Hak untuk menolak. Pelanggan harus diberi hak untuk mempelajari alasan keputusan tersebut dan meminta peninjauan manusia.
- Grup yang dikecualikan. Perlu juga dipastikan bahwa kelompok-kelompok yang kurang terwakili dalam data tidak dianiaya.
Empat templat yang dapat disalin
1) Penyaringan diskriminasi dalam hal pembenaran:
Periksa alasan keputusan kredit berikut: apakah ada referensi langsung/tidak langsung terhadap karakteristik yang dilindungi (usia, jenis kelamin, asal, agama) atau variabel proksi (kode pos, lingkungan, nama, jenis belanja)? Tandai pernyataan yang berisiko dan jelaskan mengapa pernyataan tersebut menimbulkan risiko diskriminasi. Alasan: [teks]
2) Kontrol proxy daftar variabel:
Periksa daftar variabel yang digunakan dalam model kredit. Manakah yang dapat mewakili karakteristik yang dilindungi dan menimbulkan risiko diskriminasi tidak langsung? Tuliskan pembenaran Anda untuk setiap varian berisiko. Daftar: [variabel]
3) Ringkasan keputusan dalam hal keadilan (netral, dapat dijelaskan):
Peran Anda: asisten yang menyusun alasan keputusan yang dapat dijelaskan. Hanya mengandalkan kriteria yang sah dan tidak diskriminatif (rasio utang terhadap pendapatan, riwayat pembayaran, jaminan). JANGAN mereferensikan properti yang dilindungi dan variabel pengganti. Tulis alasannya dalam bahasa sederhana yang dapat dipahami pelanggan. Saya akan memberikan persetujuannya.
4) Draf tanggapan keberatan:
Pelanggan mengajukan banding atas penolakan kredit dan menginginkan pembenaran. Menyusun tanggapan yang sopan dan deskriptif berdasarkan kriteria yang sah; Ingatkan pelanggan akan haknya atas peninjauan dan koreksi manusia. Jangan menggunakan implikasi diskriminatif. Alasan penolakan terverifikasi: [alasan]
Perintah lemah / Perintah kuat
Perintah yang lemah:
Penerapan di wilayah ini sangat berisiko, mari kita gunakan lebih banyak informasi distrik dalam model sehingga keakuratannya dapat ditingkatkan.
Pendekatan ini memperkuat diskriminasi tidak langsung berdasarkan distrik; Ini melegitimasi hasil yang melanggar hukum atas nama "pukulan".
Perintah yang kuat:
Peran Anda: asisten audit keadilan. Tandai variabel-variabel yang digunakan yang mempunyai risiko sebagai variabel pengganti. Sarankan metrik mana yang harus saya ikuti untuk membandingkan keputusan antar kelompok dalam hal tingkat persetujuan/penolakan. Jangan pernah memperkuat kriteria yang bersifat diskriminatif; mengarahkan ke kriteria yang sah dan dapat dijelaskan.
Kemauan yang kuat akan mencari proksi risiko, memperkenalkan metrik keadilan, dan menolak diskriminasi.
tiga kasus mini
Kasus 1 — Bias sejarah. Salah satu model memberikan skor yang rendah secara sistematis kepada kelompok pekerjaan tertentu karena kelompok tersebut kurang diberi penghargaan di masa lalu. Audit kewajaran menunjukkan bahwa tingkat penolakan pada kelompok ini 30% lebih tinggi dibandingkan kelompok lain pada tingkat pendapatan yang sama. Model ini diseimbangkan kembali dengan kriteria pendapatan dan pembayaran yang sah.
Kasus 2 — Variabel pengganti. Kode pos adalah variabel yang kuat dalam suatu model. Audit tersebut menunjukkan bahwa kode pos tumpang tindih dengan lingkungan yang terkonsentrasi secara etnis tertentu, sehingga menimbulkan diskriminasi asal usul secara tidak langsung. Variabel tersebut dihapus dan digantikan dengan tolok ukur keuangan yang sah; kinerja tetap pada tingkat yang dapat diterima, diskriminasi dihilangkan.
Kasus 3 — Hak untuk menolak. Klien yang ditolak meminta pembenaran. Bank memberikan justifikasi yang dapat dijelaskan (rasio utang terhadap pendapatan yang tinggi) dan menerima permintaan peninjauan manusia. Tinjauan mengungkapkan kesalahan membaca dokumen; Keputusan itu diperbaiki. Penjelasan dan hak untuk menolak mengkompensasi kesalahan dengan keadilan.
Metrik keadilan: apa dan bagaimana kami mengukurnya
“Apakah modelnya adil?” Tidak ada jawaban tunggal atas pertanyaan tersebut; Ada banyak definisi tentang keadilan, dan terkadang definisi tersebut bertentangan satu sama lain. Berikut beberapa pendekatan yang secara praktis diikuti di perbankan:
- Perbandingan tingkat persetujuan/penolakan: Apakah tingkat persetujuan berbeda secara sistematis antara berbagai kelompok dengan profil keuangan serupa (misalnya kelompok gender)? Perbedaan yang besar dan tidak dapat dijelaskan merupakan tanda bias.
- Kesetaraan tingkat kesalahan: Apakah tingkat penolakan model yang salah (menolak penerapan yang sah) seimbang di seluruh kelompok? Jika satu kelompok lebih sering ditolak secara tidak adil dibandingkan kelompok lainnya, maka timbul masalah.
- Kalibrasi: Apakah pelanggan yang disebut model “berisiko tinggi” benar-benar mengalami gagal bayar dengan tingkat yang sama di setiap kelompok? Arti skor tidak boleh berpindah dari satu kelompok ke kelompok lainnya.
Metrik ini terkadang tidak dapat diberikan secara bersamaan; Definisi keadilan mana yang harus diprioritaskan bukanlah suatu keputusan teknis melainkan keputusan etis dan legal serta memerlukan tata kelola manusia.
Tips: Ukur metrik kewajaran secara berkala, bukan hanya saat Anda membuat model. Suatu model mungkin ditayangkan secara adil dan menjadi bias seiring berjalannya waktu karena penyimpangan data. Keadilan bukan soal “penetapan” tapi soal “pengawasan”.
Kesalahan umum
- Kekeliruan "data objektif". Dengan asumsi modelnya netral; data membawa bias historis.
- Hapus saja kolom sensitifnya. Menghapus properti yang dilindungi dan mengabaikan variabel proksi.
- Tidak melacak metrik keadilan. Tidak membandingkan tingkat penolakan/kesalahan antar kelompok sama sekali.
- Mempertahankan keputusan kotak hitam. Mengingat suatu keputusan yang tidak dapat dipertanggungjawabkan sahnya.
- Menghapus hak untuk menolak. Menonaktifkan tinjauan manusia karena "memperlambat proses".
Perhatian: Diskriminasi sering kali muncul bukan karena kedengkian, melainkan karena kecerobohan. Variabel yang ditambahkan karena "meningkatkan akurasi" mungkin secara tidak sadar mengecualikan suatu grup. Oleh karena itu keadilan tidak didasarkan pada itikad baik tetapi pada pengujian yang teratur.
Singkatnya
Model AI membawa bias dari data yang mereka pelajari, dan diskriminasi dalam perbankan merupakan risiko hukum, etika, dan reputasi. Diskriminasi langsung adalah penggunaan fitur yang dilindungi; Diskriminasi tidak langsung, sebaliknya, menghasilkan hasil yang sama dengan variabel proksi (kode pos, nama). Keadilan bukanlah tentang menghapus kolom sensitif; Dijamin oleh metrik keadilan, kontrol proxy, penjelasan, dan hak untuk menolak. Dalam satu kalimat: Polanya mengulangi masa lalu; Tanggung jawab manusia adalah menegakkan keadilan dan menolak diskriminasi.
Tugas aplikasi
Tuliskan daftar 8-10 variabel untuk model kredit (beberapa dengan risiko proksi yang disengaja: kode pos, nama, kategori belanja). 2. Lakukan pengecekan proxy dengan template dan tandai yang berisiko beserta alasannya. Kemudian tulis teks pembenaran diskriminatif dan pindai dengan template 1. Terakhir, rencanakan dalam paragraf metrik keadilan mana yang akan Anda lacak untuk membandingkan tingkat penolakan model antar kelompok.
daftar periksa
- [] Saya telah memeriksa bahwa model/alasannya tidak menggunakan properti yang dilindungi.
- [ ] Saya juga menyaring risiko variabel proksi.
- [ ] Saya berencana membandingkan persetujuan/penolakan dan tingkat kesalahan antar kelompok.
- [ ] Saya memastikan bahwa setiap keputusan memiliki alasan yang dapat dijelaskan.
- [ ] Saya memberi pelanggan hak untuk menolak dan meninjau manusia.
- [ ] Saya bahkan tidak melewati garis merah diskriminasi dengan alasan "memukul".