Keuntungan:
- Ini mengenali data, desain, dan sumber penggunaan bias algoritmik dan menguji keluarannya secara kelompok.
- Menjelaskan bagaimana putaran umpan balik dan kesalahan representasi memperbesar kesenjangan dan menciptakan pengendalian dampak.
- Hal ini memastikan akuntabilitas dengan memastikan penjelasan dan banding dalam setiap keputusan otomatis.
Masyarakat harus menerapkan kekuasaannya secara setara kepada semua orang: perlakuan serupa terhadap dua warga negara dalam situasi serupa, perbedaan proporsional dalam situasi berbeda. Prinsip kesetaraan ini merupakan kewajiban konstitusional. Kecerdasan buatan dapat meningkatkan sekaligus mengganggu bidang ini secara diam-diam. Hal ini dapat ditingkatkan karena aturan yang diterapkan secara konsisten dapat mengurangi kesewenang-wenangan dan bias manusia. Hal ini dapat merusak karena model AI belajar dari data masa lalu, dan data masa lalu membawa diskriminasi terhadap masa lalu. Jika suatu sistem dilatih berdasarkan data yang secara historis merugikan kelompok tertentu, maka kerugian tersebut akan dibawa ke masa depan—dan dalam bentuk yang bahkan lebih sulit dideteksi, dengan kedok “algoritme objektif”. Dalam unit ini, Anda akan mempelajari cara mengenali bias algoritmik (bias sistematis keluaran model terhadap kelompok tertentu) saat menggunakan AI di sektor publik, cara menguranginya, dan yang paling penting, cara memastikan akuntabilitas algoritmik (alasan pengambilan keputusan otomatis dapat dijelaskan, diaudit, dan dapat diperdebatkan).
Biasnya dari mana?
Ada beberapa sumber bias algoritmik, dan semuanya berisiko di depan umum:
- Bias historis: Data pelatihan mengandung ketidaksetaraan di masa lalu. Misalnya, jika suatu wilayah mempunyai layanan yang lebih sedikit di masa lalu, “data permintaan” mungkin menunjukkan bahwa wilayah tersebut mempunyai kebutuhan yang rendah – padahal kenyataannya permintaan rendah karena tidak ada layanan.
- Bias keterwakilan: Beberapa kelompok kurang terwakili dalam data (kelompok yang tidak memiliki akses digital, kelompok bahasa minoritas) dan model ini tidak memberikan hasil yang baik bagi mereka.
- Bias proksi: Meskipun model tersebut tidak secara langsung melihat kriteria yang dilarang (etnis, agama), model ini dapat menghasilkan diskriminasi yang sama dengan melihat proksi yang terkait dengannya (lingkungan, nama, kode pos).
- Bias pengukuran: Apa yang kita ukur bukanlah apa yang sebenarnya ingin kita ukur. "Jumlah keluhan" mengukur kemampuan untuk mengeluh, bukan kebutuhan.
Perhatian: Mengatakan "Saya menghapus data sensitif (gender, etnis) dari model adalah hal yang menyesatkan, sekarang sudah adil". Diskriminasi melalui variabel proksi dapat terus berlanjut. Keadilan dicapai bukan dengan menghapus masukan, namun dengan menguji keluaran antar kelompok.
Menguji kewajaran: lihat hasilnya
Adil atau tidaknya suatu sistem dapat dipahami dengan melihat hasilnya, bukan niatnya. Metode dasar: bagilah keputusan menjadi beberapa kelompok dan bandingkan. Apakah keluaran seperti tingkat penerimaan/penolakan, tingkat kesalahan, waktu tunggu berbeda secara signifikan antar kelompok (jenis kelamin, usia, wilayah, pendapatan)? Jika terjadi perbedaan, apakah perbedaan tersebut didasari alasan yang sah ataukah merupakan diskriminasi? Karena analisis ini mungkin memerlukan data pribadi, maka harus dikumpulkan dan dilakukan sesuai dengan KVKK.
Tip: Sebelum meluncurkan sistem pengambilan keputusan baru yang didukung AI, bagi keputusan berdasarkan kelompok demografis dan buatlah “laporan keadilan”. Jika Anda menemukan perbedaan, “apakah perbedaan ini dapat dijelaskan?” Bawa pertanyaan itu ke komite orang.
Penjelasan dan daya tarik: inti dari akuntabilitas
Di sektor publik, tidak ada warga negara yang dapat dirampas haknya dengan jawaban “sistem memutuskan demikian”. Untuk setiap keputusan otomatis atau bantuan AI, ada tiga hal yang harus dipastikan:
- Penjelasan: Berdasarkan apa keputusan tersebut, faktor apa yang efektif, harus dijelaskan dengan bahasa yang sederhana.
- Cara mengajukan banding: Warga negara harus bisa menolak keputusan tersebut dan meminta seseorang untuk meninjaunya.
- Jejak audit: Harus dicatat data apa, model/versi apa, dan dengan orang yang bertanggung jawab mengambil keputusan.
tiga kasus mini
Kasus 1 — Varian pengganti ditangkap. Salah satu model penentuan prioritas bantuan tidak menggunakan data sensitif namun memperhatikan “kode pos.” Dalam uji keadilan, lingkungan tertentu ternyata mendapat prioritas rendah secara sistematis – terkait dengan kode pos, pendapatan, dan kepadatan etnis. Variabel tersebut dihilangkan dan prioritasnya dikaitkan langsung dengan indikator kebutuhan.
Kasus 2 — Kesenjangan representasi. Chatbot 41% lebih mungkin menyesatkan pertanyaan dari warga yang bahasa aslinya bukan Turki; Data pelatihan hanya berisi sedikit kelompok ini. Ketika dukungan multibahasa dan ambang batas penyerahan manusia ditambahkan, kesenjangan tersebut tertutup.
Kasus 3 — Penolakan yang tidak dapat dijelaskan. Suatu institusi secara otomatis menolak permohonan; warga “mengapa?” Saat ditanya, petugas tidak bisa menjelaskan karena alasan model tersebut tidak dapat dipahami. Insiden tersebut menunjukkan bahwa model dengan kemampuan menjelaskan yang buruk tidak dapat digunakan untuk membuat keputusan mengenai hak; Sistem telah diubah menjadi model yang menghasilkan pembenaran dan memerlukan persetujuan manusia.
Empat templat yang dapat disalin
1) Sumber pemindaian bias:
Peran Anda: pakar keadilan algoritmik. Lihat proses pengambilan keputusan yang didukung AI di bawah ini. Cantumkan kemungkinan sumber bias: (1) bias historis, (2) bias representasi (kelompok yang kurang terwakili), (3) variabel proksi (kolom yang dikaitkan dengan kriteria terlarang), (4) bias pengukuran. Berikan contoh konkrit untuk masing-masingnya dan beri tahu saya cara mengujinya. PROSES: [proses pengambilan keputusan dan data yang digunakan]
2) Rencana uji kewajaran:
Buatlah rencana pengujian keadilan untuk keluaran keputusan berikut: kelompok mana (usia, jenis kelamin, wilayah, pendapatan) yang harus saya uraikan, metrik mana (tingkat penerimaan, tingkat kesalahan, waktu tunggu) yang harus saya bandingkan, bagaimana cara memutuskan apakah perbedaan tersebut sah atau diskriminatif? Tambahkan peringatan KVKK. KEPUTUSAN: [keputusan apa]
3) Pernyataan keputusan (kepada warga):
Tuliskan draf penjelasan yang dapat dipahami masyarakat untuk keputusan berikut: faktor apa saja yang berpengaruh, dengan bahasa yang sederhana. Tambahkan hak untuk mengajukan banding di akhir dan kemungkinan untuk melakukan peninjauan manusia [dengan waktu untuk dikonfirmasi]. Menggunakan ekspresi yang tidak jelas seperti "Sistem memutuskan demikian." KEPUTUSAN: [ringkasan dan faktor yang mempengaruhi]
4) Pemeriksaan akuntabilitas sebelum sosialisasi:
Buatlah daftar periksa akuntabilitas sebelum meluncurkan sistem keputusan yang didukung AI: apakah dapat dijelaskan, apakah ada cara untuk mengajukan banding, apakah jejak audit (versi data/model/dapat dipertanggungjawabkan) dipertahankan, apakah pengujian keadilan telah dilakukan, di mana titik persetujuan manusia. Tandai item yang hilang sebagai bendera merah. SISTEM: [resep]
Perintah lemah / Perintah kuat
Lemah: “Apakah model keputusan ini adil?”
Kuat: "Peran Anda adalah pakar keadilan algoritmik. Untuk model penentuan prioritas bantuan ini, pertama-tama pindai sumber bias (historis, representasi, variabel pengganti, pengukuran) dan berikan contoh konkrit untuk setiap bias tersebut. Kemudian buatlah rencana pengujian keadilan: perincian berdasarkan kelompok mana, metrik apa, bagaimana menentukan legitimasi perbedaan; tambahkan peringatan KVKK. Terakhir, sebelum meluncurkan sistem, berikan daftar periksa untuk penjelasan, jalur banding dan jejak audit, dan tandai kekurangannya."
Perbedaannya: dorongan yang kuat mencari bias pada sumbernya, keluarannya diuji oleh kelompok, dan membuat akuntabilitas tersebar luas.
Dimensi dan kontrol keadilan
Ukuran
Resiko
kontrol
data historis
Masa lalu membawa kesenjangan
Hasil tes berdasarkan kelompok
representasi
Berfungsi buruk untuk beberapa kelompok
Tingkat kesalahan berdasarkan grup
variabel pengganti
diskriminasi terselubung
Hubungan kriteria yang sensitif terhadap variabel
Penjelasan
keputusan yang tidak dapat dibenarkan
Hasilkan penjelasan sederhana
keberatan
penyitaan
Jalur peninjauan manusia
Putaran umpan balik dan kesalahan representasi
Bentuk diskriminasi algoritmik yang paling berbahaya terjadi bukan dalam satu keputusan yang salah, melainkan dalam putaran umpan balik yang semakin kuat seiring berjalannya waktu (keluaran model memengaruhi data pelatihan berikutnya, sehingga memperkuat bias yang sudah ada). Misalnya, jika model inspeksi menandai suatu lingkungan tertentu sebagai “berisiko”, semakin banyak inspeksi dilakukan di sana, semakin banyak catatan yang dibuat, model akan menganggap lingkungan tersebut lebih berisiko — meskipun perbedaannya meningkat pada lokasi yang diperiksa, bukan pada risiko sebenarnya. Hal ini sering kali disebabkan oleh kesalahan representasi (data pelatihan mencerminkan beberapa kelompok secara tidak lengkap atau terdistorsi). Di sektor publik, siklus ini dapat menempatkan kelompok yang kurang beruntung di bawah pengawasan dan sanksi yang semakin ketat. Cara untuk melindungi diri Anda sendiri adalah dengan memantau dampak model tersebut, bukan hanya keluarannya: dengan secara teratur memantau distribusi keputusan berdasarkan kelompok dan tidak menerapkan rekomendasi model secara membabi buta.
Kasus kecil - keraguan yang membesar-besarkan diri sendiri. Model deteksi penipuan kesejahteraan menandai wilayah yang sebelumnya telah diperiksa lebih ketat sebagai wilayah berisiko tinggi. Ketika tim tersebut mengekstraksi intensitas penegakan hukum dari data dan mengukur “tingkat deteksi sebenarnya dibandingkan dengan populasi,” mereka menemukan bahwa perbedaan antar wilayah sebagian besar telah hilang; Model tersebut salah mengartikan kesenjangan sebagai risiko nyata.
Templat pengendalian dampak berbasis kelompok:
Tugas: Periksa data keputusan berikut berdasarkan kelompok (tidak ada data pribadi, ringkasan kategoris).Data: [grup | keputusan total | tingkat keputusan negatif | intensitas pemeriksaan]Output: 1) Apakah tingkat keputusan negatif menunjukkan perbedaan yang signifikan antar kelompok? 2) Mungkinkah perbedaan tersebut disebabkan oleh risiko aktual atau intensitas pengendalian/representasi? 3) Apakah ada tanda-tanda putaran umpan balik? 4) Rekomendasi untuk pengendalian manusia. Aturan: Menetapkan klaim kausalitas; Buat daftar kemungkinan penjelasan dan cara untuk mengujinya.
Perhatian: Argumen bahwa "model ini netral karena menerapkan aturan yang sama kepada semua orang" adalah menyesatkan. Aturan yang sama, ketika diterapkan pada data yang tidak seimbang, akan mempertahankan dan memperbesar ketimpangan. Keadilan diukur dengan kesetaraan hasil, bukan aturan.
Kesalahan umum
- Menghapus data sensitif dan berpikir “itu adil”. Variabel pengganti melanggengkan diskriminasi; menguji hasilnya.
- Mengukur keadilan dengan niat. Keadilan muncul pada akhirnya; Urutkan keputusan ke dalam kelompok dan bandingkan.
- Melupakan kelompok yang kurang terwakili. Model ini mungkin tidak berjalan baik bagi kelompok minoritas; Lihat kesalahan berbasis grup.
- Menggunakan model yang tidak dapat dijelaskan dalam keputusan pemberian hak. Sistem yang tidak bisa menghasilkan justifikasi tidak bisa mengambil keputusan publik.
- Tidak memberikan sarana keberatan apa pun. Setiap keputusan otomatis harus ditinjau oleh manusia.
- Tidak menyimpan jejak audit. Harus dicatat dengan data/model/penanggung jawab mana keputusan itu diambil.
Singkatnya
Di sektor publik, AI dapat meningkatkan konsistensi namun juga secara diam-diam meneruskan diskriminasi di masa lalu. Bias berasal dari data historis, kesenjangan representasi, variabel proksi, dan pengukuran yang tidak akurat; Menghapus data sensitif tidak akan menyelesaikannya. Keadilan dicapai dengan menguji hasil antar kelompok. Dan tidak ada warga negara yang dapat dicabut haknya oleh “sistem yang berkata demikian”: setiap keputusan harus dapat dijelaskan, dapat digugat, dan dapat diaudit. Yang bertanggung jawab adalah institusinya, bukan algoritmanya.
Tugas aplikasi
Pilih proses pengambilan keputusan yang didukung AI atau otomatis di unit Anda. Buat daftar kemungkinan bias dan temukan setidaknya satu risiko variabel pengganti dengan templat “Sumber pemindaian bias”. Tentukan pengelompokan kelompok mana yang akan dilihat dengan "rencana uji kewajaran". Untuk contoh keputusan, buatlah penjelasan yang dapat dilihat oleh masyarakat dengan templat "Penjelasan keputusan".
daftar periksa
- [ ] Saya memindai sumber bias (historis, representasi, proksi, pengukuran).
- [ ] Saya tidak hanya menghapus data sensitif; Saya menguji hasilnya secara berkelompok.
- [ ] Saya mengontrol tingkat kesalahan untuk kelompok yang kurang terwakili.
- [ ] Saya telah memberikan pembenaran yang sederhana dan dapat dijelaskan untuk setiap keputusan.
- [ ] Saya telah menentukan jalur keberatan dan peninjauan manusia.
- [ ] Jejak audit (versi data/model/penanggung jawab) dipertahankan.