Keuntungan:
- Ia mengiktiraf data, reka bentuk dan sumber penggunaan bias algoritma dan menguji output berdasarkan kumpulan.
- Terangkan bagaimana gelung maklum balas dan ralat perwakilan membesarkan ketidaksamaan dan mewujudkan kawalan impak.
- Ia memastikan akauntabiliti dengan memastikan kebolehjelasan dan rayuan dalam setiap keputusan automatik.
Orang ramai mesti menggunakan kuasanya secara sama rata kepada semua: layanan yang sama kepada dua rakyat dalam situasi yang sama, perbezaan yang berkadar dengan situasi yang berbeza. Prinsip kesaksamaan ini adalah kewajipan perlembagaan. Kecerdasan buatan boleh menambah baik dan secara senyap-senyap mengganggu bidang ini. Ia boleh bertambah baik kerana peraturan yang digunakan secara konsisten dapat mengurangkan sikap sewenang-wenang dan berat sebelah manusia. Ia boleh merosakkan kerana model AI belajar daripada data masa lalu, dan data masa lalu membawa diskriminasi masa lalu. Jika sistem dilatih mengenai data yang telah merugikan kumpulan tertentu dari segi sejarah, ia membawa kelemahan itu ke masa hadapan—dan dalam bentuk yang lebih sukar untuk dikesan, di bawah samaran "algoritma objektif". Dalam unit ini, anda akan belajar cara mengenali bias algoritma (berat sebelah sistematik output model terhadap kumpulan tertentu) apabila menggunakan AI dalam sektor awam, cara mengurangkannya dan, yang paling penting, cara memastikan akauntabiliti algoritma (rasional untuk keputusan automatik boleh dijelaskan, boleh diaudit dan boleh dipertandingkan).
Dari mana datangnya bias?
Terdapat beberapa sumber bias algoritma, dan kesemuanya berisiko di khalayak ramai:
- Bias sejarah: Data latihan mengandungi ketidaksamaan masa lalu. Sebagai contoh, jika sesuatu kawasan mempunyai perkhidmatan yang kurang pada masa lalu, "data permintaan" mungkin menunjukkan kawasan itu mempunyai keperluan yang rendah — sedangkan sebenarnya permintaan adalah rendah kerana tiada perkhidmatan.
- Bias perwakilan: Sesetengah kumpulan kurang diwakili dalam data (mereka yang tidak mempunyai akses digital, kumpulan bahasa minoriti) dan model itu berfungsi dengan baik untuk mereka.
- Bias proksi: Walaupun model itu tidak melihat secara langsung kriteria terlarang (etnik, agama), ia boleh menghasilkan diskriminasi yang sama dengan melihat proksi yang dikaitkan dengannya (kejiranan, nama, poskod).
- Bias pengukuran: Apa yang kita ukur bukanlah apa yang sebenarnya kita mahu ukur. "Bilangan aduan" mengukur keupayaan untuk mengadu dan bukannya keperluan.
Awas: Adalah mengelirukan untuk mengatakan "Saya mengalih keluar data sensitif (jantina, etnik) daripada model, kini ia adil". Diskriminasi melalui pembolehubah proksi mungkin berterusan. Keadilan dicapai bukan dengan memadamkan input, tetapi dengan menguji output antara kumpulan.
Menguji keadilan: lihat output
Sama ada sistem itu adil atau tidak boleh difahami dengan melihat hasilnya, bukan niatnya. Kaedah asas: bahagikan keputusan kepada kumpulan dan bandingkan. Adakah output seperti kadar penerimaan/penolakan, kadar ralat, masa menunggu berbeza dengan ketara antara kumpulan yang berbeza (jantina, umur, wilayah, pendapatan)? Jika terdapat perbezaan, adakah perbezaan ini berdasarkan alasan yang sah atau diskriminasi? Memandangkan analisis ini mungkin memerlukan data peribadi, ia mesti diagregatkan dan dijalankan mengikut KVKK.
Petua: Sebelum melancarkan sistem keputusan berkuasa AI baharu, pecahkan keputusannya mengikut kumpulan demografi dan hasilkan "laporan keadilan." Jika anda mendapati perbezaan, "bolehkah perbezaan ini dijelaskan?" Bawa soalan kepada jawatankuasa orang.
Kebolehjelasan dan rayuan: nadi kebertanggungjawaban
Dalam sektor awam, tiada rakyat boleh dilucutkan haknya dengan jawapan "sistem memutuskan begitu." Untuk setiap keputusan automatik atau bantuan AI, tiga perkara mesti dipastikan:
- Kebolehjelasan: Keputusan berdasarkan apa, faktor yang berkesan, harus dijelaskan dalam bahasa yang mudah.
- Cara untuk merayu: Rakyat sepatutnya boleh membantah keputusan itu dan meminta manusia menyemaknya.
- Jejak audit: Data yang mana, model/versi mana yang harus direkodkan dan dengan orang yang bertanggungjawab membuat keputusan itu.
tiga kes mini
Kes 1 — Varian pengganti ditangkap. Satu model keutamaan bantuan tidak menggunakan data sensitif tetapi melihat "kod pos". Dalam ujian kesaksamaan, kawasan kejiranan tertentu didapati menerima keutamaan yang rendah secara sistematik — dikaitkan dengan poskod, pendapatan dan kepadatan etnik. Pembolehubah telah dialih keluar dan keutamaan terikat terus kepada penunjuk keperluan.
Kes 2 — Jurang perwakilan. Bot sembang adalah 41% lebih berkemungkinan untuk mengelirukan soalan daripada warganegara dengan bahasa ibunda bukan Turki; Data latihan mengandungi sedikit kumpulan ini. Apabila sokongan berbilang bahasa dan ambang penyerahan manusia ditambah, jurang itu ditutup.
Kes 3 — Penolakan tanpa sebab. Institusi secara automatik menolak permohonan; warganegara "kenapa?" Apabila ditanya, pegawai tersebut tidak dapat menjelaskan kerana alasan model tersebut tidak dapat difahami. Insiden itu menunjukkan bahawa model dengan kebolehjelasan yang lemah tidak boleh digunakan untuk membuat keputusan yang mempunyai hak; Sistem ini telah diubah menjadi model yang menjana justifikasi dan memerlukan kelulusan manusia.
Empat templat yang boleh disalin
1) Sumber pengimbasan bias:
Peranan anda: pakar keadilan algoritma. Lihat proses keputusan yang dikuasakan AI di bawah. Senaraikan sumber bias yang mungkin: (1) bias sejarah, (2) bias perwakilan (kumpulan kurang diwakili), (3) pembolehubah proksi (lajur yang dikaitkan dengan kriteria terlarang), (4) berat sebelah ukuran. Berikan contoh konkrit untuk setiap satu dan beritahu saya cara mengujinya. PROSES: [proses keputusan dan data yang digunakan]
2) Pelan ujian keadilan:
Hasilkan pelan ujian kesaksamaan untuk keluaran keputusan berikut: kumpulan (umur, jantina, wilayah, pendapatan) yang harus saya pecahkan, metrik (kadar penerimaan, kadar ralat, masa menunggu) yang harus saya bandingkan, bagaimana cara saya memutuskan sama ada perbezaan itu sah atau diskriminasi? Tambah amaran KVKK. KEPUTUSAN: [apa keputusan]
3) Kenyataan keputusan (kepada warganegara):
Tulis draf penjelasan yang boleh difahami oleh rakyat untuk keputusan berikut: apakah faktor yang mempengaruhi, dalam bahasa mudah. Tambahkan hak untuk merayu pada penghujung dan kemungkinan mengadakan semakan manusia [dengan masa untuk disahkan]. Menggunakan ungkapan yang tidak jelas seperti "Sistem memutuskan begitu." KEPUTUSAN: [ringkasan dan faktor yang mempengaruhi]
4) Semakan akauntabiliti sebelum disebarkan:
Hasilkan senarai semak akauntabiliti sebelum melancarkan sistem keputusan yang dikuasakan AI: adakah ia boleh dijelaskan, adakah terdapat cara untuk merayu, adakah jejak audit (versi data/model/bertanggungjawab) dikekalkan, adakah ujian kesaksamaan telah dilakukan, di manakah titik kelulusan manusia. Benderakan item yang hilang sebagai bendera merah.SYSTEM: [resipi]
Gesaan lemah / Gesaan kuat
Lemah: "Adakah model keputusan ini adil?"
Kuat: "Peranan anda ialah pakar keadilan algoritmik. Untuk model keutamaan bantuan ini, imbas dahulu sumber bias (sejarah, perwakilan, pembolehubah pengganti, ukuran) dan berikan contoh konkrit untuk setiap satu. Kemudian buat pelan ujian kesaksamaan: pecahan kumpulan mana, metrik yang manakah, cara memutuskan kesahihan perbezaan; tambahkan amaran KVKK, untuk menjelaskan kebolehpercayaan, sebelum melancarkan sistem rayuan. dan bendera merahkan kekurangan."
Perbezaannya: segera yang kuat mencari berat sebelah pada sumbernya, mempunyai output yang diuji oleh kumpulan, dan menjadikan akauntabiliti meluas.
Dimensi dan kawalan keadilan
Saiz
risiko
kawalan
data sejarah
Masa lalu membawa ketidaksamaan
Uji output mengikut kumpulan
perwakilan
Berfungsi dengan teruk untuk sesetengah kumpulan
Kadar ralat berasaskan kumpulan
pembolehubah pengganti
diskriminasi terselindung
Hubungan kriteria sensitif boleh ubah
Kebolehjelasan
keputusan yang tidak wajar
Hasilkan penjelasan mudah
bantahan
rampasan
Laluan semakan manusia
Gelung maklum balas dan ralat perwakilan
Bentuk diskriminasi algoritma yang paling berbahaya berlaku bukan dalam satu keputusan yang salah tetapi dalam gelung maklum balas yang mengukuhkan dirinya dari semasa ke semasa (output model mempengaruhi data latihan seterusnya, mengukuhkan kecenderungan sedia ada). Sebagai contoh, jika model pemeriksaan membenderakan kejiranan tertentu sebagai "berisiko", lebih banyak pemeriksaan dilakukan di sana, lebih banyak rekod dibuat, model itu melihat kejiranan itu lebih berisiko — walaupun perbezaan telah meningkat dalam lokasi yang dilihat, bukan dalam risiko sebenar. Perkara yang membuka jalan untuk ini selalunya adalah ralat perwakilan (data latihan yang mencerminkan beberapa kumpulan secara tidak lengkap atau diherotkan). Dalam sektor awam, kitaran ini boleh meletakkan kumpulan yang kurang bernasib baik di bawah pengawasan dan sekatan yang semakin teruk. Cara untuk melindungi diri anda adalah dengan memantau kesan model, bukan hanya outputnya: untuk sentiasa memantau pengedaran keputusan berdasarkan kumpulan dan tidak melaksanakan pengesyoran model secara membuta tuli.
Kes mini — keraguan yang membesarkan diri. Model pengesanan penipuan kebajikan membenderakan kawasan yang telah diperiksa dengan lebih teliti pada masa lalu sebagai berisiko tinggi. Apabila pasukan mengekstrak intensiti penguatkuasaan daripada data dan mengukur "kadar pengesanan sebenar berbanding populasi," mereka mendapati bahawa perbezaan antara wilayah sebahagian besarnya hilang; Model itu menganggap ketidaksamaan sebagai risiko sebenar.
Templat kawalan impak berasaskan kumpulan:
Tugas: Periksa data keputusan berikut mengikut kumpulan (tiada data peribadi, ringkasan kategori).Data: [kumpulan | keputusan total | kadar keputusan negatif | intensiti pemeriksaan]Output: 1) Adakah kadar keputusan negatif menunjukkan perbezaan yang ketara antara kumpulan? 2) Bolehkah perbezaan itu disebabkan oleh risiko sebenar atau keamatan kawalan/perwakilan? 3) Adakah terdapat sebarang tanda gelung maklum balas? 4) Syor untuk kawalan manusia. Peraturan: Mewujudkan tuntutan sebab akibat; Senaraikan penjelasan yang mungkin dan cara untuk menguji.
Awas: Hujah bahawa "model itu neutral kerana ia menggunakan peraturan yang sama kepada semua orang" adalah mengelirukan. Peraturan yang sama, apabila digunakan pada data miring, mengekalkan dan membesarkan ketidaksamaan. Keadilan diukur dengan kesamaan hasil, bukan peraturan.
Kesilapan biasa
- Memadam data sensitif dan berfikir "ia adil". Pembolehubah pengganti mengekalkan diskriminasi; menguji output.
- Mengukur keadilan dengan niat. Keadilan muncul pada akhirnya; Susun keputusan ke dalam kumpulan dan bandingkan.
- Melupakan kumpulan yang kurang diwakili. Model ini mungkin berfungsi dengan baik untuk kumpulan minoriti; Lihat ralat berasaskan kumpulan.
- Menggunakan model yang tidak dapat dijelaskan dalam keputusan pemberian hak. Sistem yang tidak dapat menghasilkan justifikasi tidak boleh membuat keputusan awam.
- Tidak menyediakan sebarang cara bantahan. Setiap keputusan automatik harus tertakluk kepada semakan manusia.
- Tidak menyimpan jejak audit. Ia harus direkodkan dengan data/model/orang yang bertanggungjawab membuat keputusan itu.
Secara ringkasnya
Dalam sektor awam, AI boleh meningkatkan konsistensi tetapi juga secara senyap-senyap meneruskan diskriminasi masa lalu. Bias datang daripada data sejarah, jurang perwakilan, pembolehubah proksi dan pengukuran yang tidak tepat; Memadam data sensitif tidak akan menyelesaikannya. Keadilan dicapai dengan menguji hasil merentas kumpulan. Dan tiada warganegara boleh dicabut hak oleh "sistem berkata demikian": setiap keputusan mesti boleh dijelaskan, boleh dipertikaikan dan boleh diaudit. Institusi yang bertanggungjawab, bukan algoritma.
Tugasan permohonan
Pilih proses keputusan berkuasa AI atau automatik dalam unit anda. Senaraikan kemungkinan bias dan cari sekurang-kurangnya satu pengganti risiko pembolehubah dengan templat "Sumber imbasan berat sebelah". Tentukan pecahan kumpulan yang hendak dilihat dengan "pelan ujian keadilan". Untuk contoh keputusan, hasilkan penjelasan yang dihadapi rakyat dengan templat "Penjelasan keputusan".
senarai semak
- [ ] Saya mengimbas sumber bias (sejarah, perwakilan, proksi, ukuran).
- [ ] Saya bukan sahaja memadamkan data sensitif; Saya menguji output mengikut kumpulan.
- [ ] Saya mengawal kadar ralat untuk kumpulan yang kurang diwakili.
- [ ] Saya telah memberikan justifikasi yang mudah dan boleh dijelaskan untuk setiap keputusan.
- [ ] Saya telah menentukan bantahan dan laluan semakan manusia.
- [ ] Jejak audit (versi data/model/bertanggungjawab) dikekalkan.