Keuntungan:
- Membedakan tiga model kendali manusia (in loop, on loop, in command)
- Mengenali dan memitigasi risiko bias dan diskriminasi dalam keluaran AI
- Menerjemahkan prinsip transparansi dan penjelasan ke dalam aplikasi nyata
Sistem AI mungkin secara teknis berfungsi dengan baik, namun tetap saja salah: sistem tersebut mungkin secara sistematis menghilangkan suatu kelompok, gagal menjelaskan alasan keputusannya, atau membuat orang menerimanya tanpa bertanya. Dalam unit ini, kami menerjemahkan sisi tata kelola yang “lunak” namun paling menentukan—kontrol manusia, manajemen bias, transparansi, dan etika—ke dalam praktik nyata. Tujuannya bukanlah slogan-slogan yang tidak jelas seperti "jangan percaya AI"; Ini adalah mekanisme kerja yang menunjukkan cara mengaudit keluaran, mengurangi bias, dan membangun transparansi.
Tiga model pengendalian manusia
Pengawasan manusia berarti manusia tetap memegang kendali atas keputusan yang dibuat oleh AI. Ada tiga model dasar dan perlu dipilih model yang tepat sesuai dengan risikonya.
model
Artinya
Dimana itu cocok
Manusia dalam lingkaran
Seseorang menyetujui setiap keputusan
Keputusan yang berisiko tinggi dan berdampak
Manusia dalam lingkaran
AI berfungsi, manusia memantau dan melakukan intervensi jika perlu
Risiko sedang, transaksi volume tinggi
Orang yang memegang komando
Manusia merancang sistem, menetapkan batasannya, dapat menutupnya
Tingkat tata kelola secara keseluruhan
Untuk pengambilan keputusan yang berdampak signifikan terhadap seseorang (ketenagakerjaan, kredit, layanan kesehatan), model human-in-the-loop lebih disukai: AI memberikan saran, namun manusia yang kompeten mengambil keputusan akhir. “AI bilang begitu” tidak pernah menjadi alasan; Tanggung jawab selalu ada pada orangnya.
Perhatian: Pengendalian manusia tidak cukup hanya dilakukan “di atas kertas”. Jika manusia secara otomatis menyetujui saran AI (stempel karet), tidak ada kendali nyata. Agar audit menjadi bermakna, seseorang harus mampu melihat alasannya, mempertanyakannya, dan benar-benar mengatakan “tidak”.
Risiko prasangka dan diskriminasi
Bias adalah ketika AI secara sistematis merugikan atau menguntungkan kelompok tertentu. Sumbernya seringkali berupa data pelatihan: jika ada diskriminasi dalam data historis, AI mempelajari dan memeliharanya — bahkan menskalakannya.
Langkah-langkah praktis untuk mengurangi bias:
- Tinjau variabel sensitif: Periksa dampak berbagai bidang seperti gender, usia, etnis terhadap keputusan.
- Hasil pengujian per kelompok: Apakah sistem menghasilkan tingkat penolakan/penerimaan yang berbeda pada kelompok yang berbeda?
- Waspadai variabel proksi: Bidang seperti “lingkungan” atau “sekolah” mungkin secara implisit menunjukkan perbedaan etnis/kelas.
- Lakukan pemantauan rutin: Bias diuji terus menerus, tidak hanya sekali; Ini mungkin muncul kembali seiring perubahan data.
tiga kasus mini
Kasus 1 — Stempel karet. Di satu bank, petugas bagian pinjaman menyetujui skor AI tanpa meninjaunya; Mereka mengatakan "sistem sudah menghitungnya". Audit menunjukkan bahwa dalam 498 dari 500 pengajuan, manusia membuat keputusan yang sama persis dengan AI — jadi tidak ada peninjauan yang sebenarnya. Solusi: mengharuskan orang untuk melihat alasannya, menebak-nebak keputusan tersebut sampai batas tertentu, dan memerlukan catatan “mengapa setuju/tidak setuju”.
Kasus 2 — Bias implisit. AI yang melakukan rekrutmen memberi skor lebih rendah pada kandidat perempuan, meskipun tidak menggunakan gender sama sekali. Dari mana? Karena data masa lalu sebagian besar mencakup laki-laki pada posisi tertentu, model ini mempelajari diskriminasi tidak langsung melalui variabel proksi seperti “karir tanpa gangguan”. Pengujian berbasis kelompok mengungkapkan hal ini; Tim mengekstrak variabel pengganti dan memantau hasilnya.
Kasus 3 — Percaya dengan transparansi. Dalam penilaian kerusakan yang didukung AI, sebuah perusahaan asuransi memberi tahu setiap pelanggan bahwa “keputusan tersebut didukung AI, mereka dapat mengajukan banding dan meminta peninjauan manusia.” Tingkat keberatan lebih rendah dari yang diharapkan karena pelanggan memahami dan mempercayai prosesnya. Transparansi meningkatkan kepercayaan sekaligus mengurangi risiko.
Transparansi dan penjelasan
Transparansi adalah tentang memperjelas kepada orang-orang yang relevan bahwa AI sedang beraksi dan cara kerjanya. Dapat dijelaskan berarti mampu menjelaskan alasan suatu keputusan dengan cara yang dapat dimengerti. Aplikasi konkrit:
- Notifikasi "Anda sedang berbicara dengan AI" pada AI yang berinteraksi dengan orang tersebut.
- Keputusan ini didasarkan pada penjelasan faktor-faktor berikut dalam keputusan otomatis.
- Tunjukkan dengan jelas jalur untuk mengajukan banding dan meminta peninjauan manusia.
- Untuk tim internal: dokumentasi dan pencatatan tentang apa yang dilakukan model.
Petunjuk: Tanyakan pada keputusan AI “apa tiga faktor utama yang memengaruhi keputusan ini?” Ujilah dengan pertanyaan itu. Jika sistem tidak dapat memahami hal ini dan keputusan tersebut berdampak signifikan terhadap orang tersebut, maka sistem tersebut belum siap untuk digunakan secara bertanggung jawab.
Bias otomasi: jebakannya sendiri
Sekalipun transparansi dan pengawasan manusia sudah diterapkan, terdapat risiko berbahaya di sisi manusia: bias otomatisasi. Ini adalah kecenderungan orang untuk lebih memercayai keluaran mesin daripada penilaiannya sendiri. Karena usulan AI di layar tampak “objektif dan penuh perhitungan,” kita tergoda untuk menerimanya tanpa mempertanyakannya – inilah asal mula psikologis dari stempel tersebut.
Ada cara konkrit untuk mengurangi hal ini. Dorong opini tandingan terlebih dahulu: tanyakan kepada orang yang menyetujui keputusan “Mengapa saya mungkin tidak setuju dengan AI?” Minta dia memikirkan pertanyaannya. Kemudian tunjukkan skor kepercayaan diri: tunjukkan seberapa yakin AI tersebut; Tandai keluaran dengan keyakinan rendah secara terpisah. Kemudian atur peringatan konflik: Jika rekomendasi AI melanggar aturan institusi atau data yang tersedia untuk manusia, sistem akan menyorotnya. Terakhir, terapkan dua prinsip kemanusiaan dalam pengambilan keputusan penting; Satu pemberi persetujuan lebih rentan terhadap bias otomatisasi.
Perhatian: Mengatakan “ada persetujuan manusia” tidak berarti bebas dari bias otomatisasi. Manusia harus memiliki wewenang, waktu, dan informasi yang tepat untuk mempertanyakan AI. Sistem yang memaksa pemberi persetujuan membuat 200 keputusan dalam 3 detik sebenarnya tidak menawarkan kendali manusia yang sebenarnya.
Templat yang dapat disalin
TEMPLATE 1 - Pemilihan model kendali manusia: "Model kendali manusia mana yang sesuai untuk penggunaan AI berikut [jelaskan penggunaannya]: dalam loop, pada loop, atau dalam perintah? Rekomendasikan dengan justifikasi, dengan mempertimbangkan risiko dan dampak terhadap individu. Tentukan kontrol apa yang harus saya tambahkan untuk menghindari risiko stempel karet."
TEMPLATE 2 - Rencana pengujian bias: "Buatlah rencana pengujian bias [jelaskan penggunaan] untuk AI pendukung keputusan berikut: kelompok mana yang harus saya bandingkan, metrik apa yang harus saya ukur (tingkat penolakan/penerimaan, dll.), variabel pengganti apa yang harus saya cari, seberapa sering saya harus mengulangi pengujian? Tuliskan langkah demi langkah."
TEMPLATE 3 — Teks deskripsi keputusan: "Tulis teks deskripsi sederhana untuk keputusan otomatis yang dipersonalisasi: apakah keputusan tersebut didukung oleh AI, faktor-faktor utama yang mempengaruhi keputusan tersebut, cara untuk mengajukan banding dan meminta peninjauan manusia. Nada yang tidak menuduh dan penuh hormat, 120 kata atau kurang."
TEMPLATE 4 — Daftar periksa tinjauan etis: "Siapkan daftar periksa tinjauan etika sebelum mempublikasikan penggunaan AI: keadilan/diskriminasi, transparansi, kontrol manusia, privasi, keamanan, akuntabilitas. Sertakan 1-2 pertanyaan jelas untuk dijawab di bawah setiap judul."
Perintah lemah / Perintah kuat
LEMAH: “Apakah perekrutan AI ini adil?”-> Model memberikan jawaban umum seperti 'seharusnya adil'; tidak memberikan metode yang dapat diuji dan pengukuran bias. KUAT: "Siapkan rencana pengujian bias untuk AI dukungan perekrutan ini: sebuah metode untuk membandingkan tingkat penerimaan antar gender dan kelompok usia, variabel proksi yang perlu dipertimbangkan, ambang batas perbedaan yang dapat diterima, dan frekuensi pemantauan. Tambahkan juga kontrol untuk memastikan manusia mengambil keputusan akhir." -> Model menghasilkan mekanisme keadilan yang terukur dan dapat diulang.
Kesalahan umum
- Membiarkan kendali manusia “di atas kertas” dan secara otomatis menyetujui rekomendasi AI (stempel karet).
- Membiarkan keputusan yang secara signifikan memengaruhi orang tersebut tanpa pengawasan, bukannya terus-menerus.
- Mengingat bias terselesaikan hanya karena "Saya menghapus variabel sensitif"; melewatkan variabel proksi.
- Menguji bias sekali dan tidak terus-menerus memantaunya.
- Melewatkan transparansi karena "ini adalah detail teknis, pengguna tidak akan mengerti".
- Menggunakan sistem yang tidak dapat menjelaskan alasan pengambilan keputusan dalam pengambilan keputusan kritis.
- Meninggalkan evaluasi etis sampai setelah publikasi, dengan mengatakan "kita lihat saja nanti".
Singkatnya
- Pengendalian manusia diimplementasikan dalam tiga model; Dalam keputusan yang mempengaruhi orang, orang diutamakan dalam siklus tersebut.
- Pengendalian harus bermakna; Stempel karet (auto-approve) bukanlah audit sebenarnya.
- Bias sering kali berasal dari data pelatihan; Variabel sensitif dan pengganti harus diuji dan terus dipantau.
- Transparansi dan penjelasan memerlukan presentasi yang jelas kepada pengguna bahwa AI sedang berperan dan alasan keputusan tersebut.
- Tinjauan etis dilakukan sebelum publikasi; tanggung jawab selalu ada pada manusia, "kata AI" bukanlah alasan.
Tugas aplikasi
Pilih proses pengambilan keputusan AI yang berdampak pada orang-orang di organisasi Anda (misalnya, evaluasi aplikasi). Tentukan model pengendalian manusia yang sesuai untuk proses ini dengan justifikasi dan rancang pengendalian konkrit untuk mencegah stempel karet (misalnya persyaratan untuk melihat justifikasi, tinjauan sampel). Kemudian tulis rencana pengujian bias: tentukan kelompok mana yang akan Anda bandingkan, dengan metrik apa, seberapa sering, dan variabel proksi mana yang akan Anda perhatikan. Terakhir, buat draf teks penjelasan keputusan yang akan ditunjukkan kepada orang tersebut selama proses ini dan sertakan jalur banding/tinjauan manusia.
daftar periksa
- [ ] Saya memilih model kendali manusia yang sesuai dengan proses tersebut.
- [ ] Saya merancang kontrol konkret yang akan mencegah stempel karet.
- [] Saya menyiapkan rencana pengujian bias (grup, metrik, frekuensi).
- [ ] Saya mengevaluasi risiko variabel pengganti.
- [ ] Saya menulis teks penjelasan keputusan untuk orang tersebut.
- [ ] Saya telah dengan jelas menjelaskan jalur banding dan peninjauan manusia.
- [ ] Saya melakukan tinjauan etika sebelum dipublikasikan.