Keuntungan:
- Keupayaan untuk mengenali risiko diskriminasi, berat sebelah dan diskriminasi tidak langsung dalam penentuan harga dan pengunderaitan dan mengujinya dalam output kecerdasan buatan
- Keupayaan untuk mematuhi hak untuk menjelaskan kebolehterangan dan bantahan dalam rangka kerja peraturan SEDDK, KVKK dan prinsip membuat keputusan automatik
- Keupayaan untuk menggunakan kawalan manusia dan kewajipan justifikasi dalam keputusan automatik berisiko tinggi
Insurans ialah perniagaan yang kumpulan dan harga berisiko; tetapi perkumpulan ini haruslah adil. Memberi premium yang lebih tinggi atau menafikan perlindungan kepada seseorang kerana ciri-ciri yang dilindungi seperti jantina, etnik, kepercayaan, wilayah tempat tinggal mereka adalah diskriminasi yang tidak adil dan dilarang. Kecerdasan buatan (perisian yang belajar daripada data sejarah dan menjana harga dan syor keputusan) menimbulkan bahaya tertentu dalam bidang ini: ia boleh mempelajari corak tidak adil dalam data sejarah dan tanpa disedari mengekalkan atau bahkan menyembunyikan diskriminasi. Selain itu, ia boleh melakukan ini bukan secara langsung tetapi secara tidak langsung (melalui pembolehubah proksi). Dalam unit ini, anda akan belajar cara mengenali risiko berat sebelah dan diskriminasi dalam penentuan harga dan pengunderaitan, cara menguji output kecerdasan buatan untuk keadilan, dan cara mematuhi hak untuk menjelaskan dan bantahan dalam rangka SEDDK (Agensi Peraturan dan Pengawasan Pencen Swasta dan Insurans), KVKK dan prinsip membuat keputusan automatik. Unit ini bukan perundingan undang-undang; Ia menerangkan prinsip umum, dalam mana-mana kes konkrit, pastikan anda berunding dengan unit undang-undang/pematuhan.
Dari mana datangnya prasangka dan diskriminasi?
Bias AI timbul daripada tiga sumber utama:
- Kecondongan data: Model ini mempelajari tentang ketidakadilan dalam data sejarah. Sebagai contoh, jika kumpulan tertentu telah diberikan premium yang tinggi secara sistematik pada masa lalu, model tersebut terus menganggap ini sebagai "biasa".
- Pembolehubah pengganti (proksi): Walaupun model tidak secara langsung menggunakan ciri yang dilindungi (jantina, asal), ia mendiskriminasi secara tidak langsung dengan menggunakan pembolehubah yang sangat berkaitan dengannya (kejiranan, nama, corak beli-belah).
- Bias pensampelan: Oleh kerana sesetengah kumpulan kurang diwakili dalam data, model tersebut menghasilkan pertimbangan yang tidak boleh dipercayai dan tidak adil tentang mereka.
Terdapat dua jenis diskriminasi. Diskriminasi langsung: penggunaan secara terang-terangan ciri yang dilindungi. Diskriminasi tidak langsung: apabila kriteria yang kelihatan neutral mempengaruhi kumpulan tertentu secara tidak seimbang. Yang kedua adalah lebih berbahaya kerana ia berlaku tanpa disengajakan dan sukar untuk dikesan.
Awas: Pembelaan bahawa "model itu berdasarkan statistik, jadi ia objektif" adalah salah. Statistik juga termasuk ketidakadilan masa lalu; Model itu tidak menghalalkannya, ia mengekalkannya. Keadilan adalah sesuatu yang perlu diuji secara aktif.
Menguji output untuk keadilan
Uji output AI (cadangan harga, sebab penolakan, skor risiko) dengan tiga soalan untuk keadilan:
- Adakah alasan itu sah? Adakah keputusan itu berdasarkan kriteria yang mempunyai hubungan yang nyata dan wajar dengan risiko, atau pada harta yang dilindungi atau proksinya?
- Adakah terdapat proksi? Bolehkah salah satu pembolehubah yang digunakan (kejiranan, nama, pekerjaan, status perkahwinan) dikaitkan kuat dengan ciri yang dilindungi?
- Bolehkah ia dijelaskan? Bolehkah anda menerangkan keputusan kepada pelanggan dan juruaudit dengan cara yang jelas dan boleh dipertahankan? "Model itu berkata begitu" bukanlah satu kenyataan.
Jika justifikasi tidak melepasi tiga ujian ini, ia ditolak dan keputusannya adalah berdasarkan kriteria yang sah.
Petua: Uji rasional untuk penolakan atau premium yang tinggi dengan ayat ini: "Adakah saya akan malu jika saya menerangkan perkara ini kepada pelanggan dan juruaudit?" Justifikasi yang memalukan atau tidak boleh dipertahankan (kejiranan, nama, asal usul) tidak boleh digunakan.
Rangka kerja perundangan: SEDDK, KVKK, keputusan automatik
Penggunaan kecerdasan buatan dalam insurans tertakluk kepada pelbagai peraturan. Prinsip utama:
- Prinsip SEDDK: Aktiviti insurans hendaklah dijalankan secara adil, telus dan melindungi pengguna; Penetapan harga mestilah wajar dan tidak boleh ada diskriminasi yang tidak adil.
- KVKK: Data peribadi mesti diproses mengikut undang-undang, terhad kepada tujuan dan selamat. Data khas, seperti kesihatan, tertakluk kepada perlindungan tertinggi.
- Prinsip membuat keputusan automatik: Dalam keputusan yang hanya berdasarkan pemprosesan automatik dan memberi kesan ketara kepada orang itu (contohnya, penolakan yang dibuat oleh kecerdasan buatan sahaja), orang itu; Hak untuk membantah keputusan itu, untuk meminta campur tangan manusia dan untuk mempelajari rasional keputusan itu diketengahkan.
Oleh itu, kebolehjelasan, kawalan manusia, dan justifikasi adalah penting dalam keputusan berimpak tinggi. Keputusan yang tidak wajar bagi model "kotak hitam" tidak boleh dikawal dan bercanggah dengan hak ini.
Langkah demi langkah: Keputusan yang adil dan harmoni
- Kenal pasti harta yang dilindungi. Jantina, asal usul, kepercayaan, kesihatan, wilayah tempat tinggal, dsb.
- Lakukan imbasan proksi. Persoalkan hubungan pembolehubah yang digunakan dengan sifat yang dilindungi.
- Letakkan justifikasi untuk menguji kesahihan. Adakah terdapat hubungan sebenar dengan risiko? Bolehkah ia dijelaskan?
- Tambah kawalan manusia. Biarkan manusia menyemak keputusan automatik dalam keputusan berimpak tinggi.
- Dokumenkan rasionalnya. Catatkan kriteria yang sah berdasarkan keputusan itu.
- Tahu cara untuk membuat rayuan. Berikan pelanggan hak untuk membantah, semakan manusia dan justifikasi.
tiga kes mini
Kes 1 — Menolak proksi. Model penetapan harga perumahan mencadangkan premium yang tinggi secara sistematik untuk poskod tertentu. Pakar memeriksa: poskod bertindih dengan kawasan dengan kepekatan etnik tertentu; ini ialah pembolehubah proksi. Apabila risiko sebenar (umur bangunan, jenis struktur, sejarah kerosakan) dipecahkan, kebanyakan peningkatan tidak lagi wajar. Harga telah ditetapkan semula berdasarkan kriteria risiko yang sah.
Kes 2 — Kumpulan kurang diwakili. Untuk produk penjagaan kesihatan, model itu menawarkan premium yang terlalu tinggi kepada kumpulan umur yang kecil. Sebab: kumpulan ini kurang diwakili dalam data sehinggakan beberapa kerosakan yang tinggi menyebabkan keseluruhan kumpulan kelihatan "berisiko". Pakar melakukan pembetulan kredibiliti (kebolehpercayaan statistik) dan mendokumenkan bahawa cadangan itu tidak boleh dipercayai; Kenaikan tidak adil tidak digunakan.
Kes 3 — Hak untuk membantah. Permohonan ditolak secara automatik dengan skor dikuasakan AI. Pelanggan itu membantah. Sebagai sebahagian daripada proses penyesuaian, keputusan itu telah diperiksa semula oleh pakar; Skor nampaknya berdasarkan data yang hilang (kerosakan lalu yang tidak sepadan). Keputusan telah diperbetulkan. Tanpa kawalan manusia dan hak untuk membantah, penolakan yang tidak adil akan kekal.
Empat gesaan yang boleh disalin
1) Pengimbasan proksi dan diskriminasi:
Semak justifikasi penentuan harga/keputusan berikut untuk keadilan: [justifikasi]Cari: adakah ciri yang dilindungi (jantina, asal usul, kepercayaan, kesihatan, wilayah tempat tinggal) digunakan secara langsung atau tidak langsung (proksi: kejiranan, nama, profesion, dsb.)? Bagi setiap pembolehubah yang boleh dipersoalkan, terangkan mengapa ia boleh menjadi proksi dan cadangkan alternatif yang sah.
2) Ujian kesahihan justifikasi:
Uji rasional penafian/bonus tinggi berikut dengan tiga soalan: [justifikasi]1. Adakah terdapat hubungan yang nyata dan wajar dengan risiko?2. Adakah ia berdasarkan harta yang dilindungi atau proksinya?3. Bolehkah ia dijelaskan kepada pelanggan dan juruaudit? Jawab setiap soalan dengan jelas; Tandakan sebab yang tidak lulus ujian sebagai "REJECT".
3) Draf justifikasi yang boleh dijelaskan:
Draf rasional yang dinyatakan kepada pelanggan untuk keputusan berdasarkan kriteria risiko yang DISAHKAN dan sah berikut: [kriteria sah]Nada: hormat, jelas. Menggunakan harta/proksi yang dilindungi. Nyatakan hak pelanggan untuk membantah dan meminta semakan manusia. Ini adalah draf; pakar mengesahkan.
4) Senarai semak pemeriksaan manusia:
Buat senarai semak audit manusia untuk keputusan automatik berimpak tinggi:Jenis keputusan: [penolakan/premium tinggi/kekangan cagaran]Senarai: semakan pakar berkelayakan, data disemak, keadilan/kawalan proksi, dokumen justifikasi, notis rayuan pelanggan, rekod jejak.
Gesaan lemah / Gesaan kuat
Lemah: "Tentukan harga yang paling menguntungkan dengan data ini dan tulis justifikasinya."
Masalah: Keadilan, proksi dan kebolehjelasan tidak dihormati; model itu boleh mengekalkan dan mewajarkan diskriminasi masa lalu.
Kuat: "Semak justifikasi ini untuk proksi dan diskriminasi; tandakan titik yang bergantung pada ciri yang dilindungi atau proksinya dan gantikan dengan kriteria risiko yang sah. Gariskan justifikasi yang boleh dijelaskan."
Mengapa ia bagus: Diskriminasi diuji secara aktif, keputusan adalah berdasarkan kriteria yang sah dan boleh dijelaskan.
carta perbandingan
Subjek
pendekatan berisiko
pendekatan yang betul
Keluaran model
"Statistik adalah objektif"
Aktif menguji keadilan
Pemilihan boleh ubah
Gunakan setiap data
Ekstrak proksi
justifikasi
"Itulah yang model itu katakan"
Kriteria yang sah dan boleh dijelaskan
Keputusan berimpak tinggi
automatik sepenuhnya
Pengawasan manusia adalah wajib
Pelanggan betul
Tidak dilaporkan
Bantahan + ulasan manusia + justifikasi
Kesilapan biasa
- Pertahanan "statistik adalah objektif". Mewajarkan ketidakadilan masa lalu.
- Mengabaikan proksi. Diskriminasi tidak langsung berdasarkan kejiranan/nama/profesion.
- Keputusan yang tidak boleh dipercayai untuk kumpulan yang kurang diwakili. Dengan mengandaikan bahawa kadar yang diperoleh daripada sampel kecil adalah tepat.
- Keputusan kotak hitam. Melaksanakan keputusan automatik yang sebabnya tidak dapat dijelaskan.
- Tidak mengiktiraf hak untuk membantah. Tidak memberi hak kepada pelanggan untuk semakan dan justifikasi manusia.
Secara ringkasnya
Kecerdasan buatan boleh mempelajari diskriminasi dalam data sejarah dan meneruskannya secara tidak langsung (melalui proksi) dalam penentuan harga dan pengunderaitan. Menguji kesaksamaan secara aktif: mengenal pasti sifat dan proksi yang dilindungi, menguji justifikasi untuk kesahihan dan kebolehjelasan. SEDDK, KVKK dan prinsip membuat keputusan automatik; Penetapan harga yang adil memerlukan kebolehjelasan, semakan manusia dan hak untuk membantah. Kawalan manusia adalah penting dalam keputusan berimpak tinggi. Dalam kes tertentu, rujuk jabatan undang-undang/pematuhan; Diskriminasi adalah garis merah.
Tugasan permohonan
Tulis senarai 10 pembolehubah yang digunakan oleh model penentuan harga (sebenar atau contoh). Untuk setiap satu, jawab soalan "bolehkah ini menjadi proksi untuk harta yang dilindungi"; Tandai mereka yang mencurigakan. Kemudian letakkan justifikasi penolakan sampel melalui ujian kesahihan #2: adakah ia lulus ujian, dan jika tidak, bagaimanakah anda menggantikannya dengan kriteria yang sah?
senarai semak
- [ ] Saya telah menyatakan sifat yang dilindungi.
- [ ] Saya mengimbas pembolehubah untuk mendapatkan proksi.
- [ ] Saya meletakkan justifikasi untuk menguji kesahihan dan kebolehjelasan.
- [ ] Saya menjalankan semakan kebolehpercayaan untuk kumpulan yang kurang diwakili.
- [ ] Saya menambah kawalan manusia dalam keputusan berimpak tinggi.
- [ ] Saya mendokumentasikan rasional dan memberi pelanggan hak untuk membantah/semakan manusia.
- [ ] Apabila ragu-ragu, saya berunding dengan jabatan undang-undang/pematuhan.