Keuntungan:
- Kemampuan untuk mengenali risiko spesifik AI seperti halusinasi, bias, kebocoran data, penyimpangan model, ketergantungan, dan ketidakjelasan yang berdampak pada bisnis
- Mencetak risiko dalam dimensi probabilitas dan dampak dan menjaganya agar tetap sesuai dengan selera risiko institusi dengan langkah-langkah mitigasi
- Kemampuan untuk menyesuaikan pengawasan berdasarkan tingkat risiko dan bukan keseragaman, memastikan keputusan akhir dari manusia dan pemantauan berkelanjutan dalam pengambilan keputusan yang berisiko tinggi
Nilai dan risiko adalah dua sisi dari mata uang yang sama. AI membuka sumber nilai baru, namun juga menimbulkan jenis risiko baru yang tidak dimiliki oleh perangkat lunak tradisional. Bagi seorang manajer senior, persoalannya bukanlah menghindari risiko, namun mengelola risiko secara sadar (manajemen risiko; disiplin dalam mengenali, mengukur, mengurangi risiko, dan menjaganya pada batas yang dapat diterima). Di unit ini, Anda akan belajar tentang risiko khusus AI, dampak bisnisnya, dan metode mitigasi praktis. Tujuannya bukan untuk “tidak melakukannya karena ada risikonya” atau “bertindak seolah-olah tidak ada risiko”; Hal ini berarti melaksanakan setiap inisiatif dengan selera risiko yang sadar; tingkat risiko yang bersedia diambil oleh institusi tersebut.
Risiko khusus AI
Risiko TI tradisional (kerentanan, pemadaman listrik) masih berlaku; Namun kecerdasan buatan juga mempunyai risiko tersendiri:
Jenis risiko
Apa maksudmu?
Contoh dampak bisnis
halusinasi
Itu dibuat-buat tetapi ternyata dapat dipercaya
Informasi yang salah kepada pelanggan, tanggung jawab hukum
prasangka
Refleksi ketidakadilan pada data output
Keputusan perekrutan/kredit yang diskriminatif
kebocoran data
Data rahasia bocor ke dalam kendaraan
Pelanggaran KVKK, hilangnya reputasi
Penyimpangan model
Penurunan kinerja seiring waktu
Pembatalan keputusan secara diam-diam
kecanduan
Terkunci dalam satu pemasok
Guncangan harga/akses
tidak dapat dijelaskan
Tidak mengetahui alasan keputusan tersebut
Kesulitan audit dan keberatan
Ada dua istilah yang penting di sini: bias adalah ketika kecerdasan buatan mempelajari pola yang tidak adil dalam data pelatihan dan mencerminkannya dalam keputusannya; Misalnya, jika data perekrutan historis menguntungkan satu kelompok, maka modelnya pun demikian. Penyimpangan model adalah ketika model menjadi usang dan kinerjanya menurun secara diam-diam seiring dengan perubahan dunia (produk baru, perilaku baru).
Tip: Pikirkan risiko bukan dalam istilah "mungkin/tidak akan terjadi" namun dalam dua dimensi: probabilitas (seberapa besar kemungkinannya) dan dampaknya (seberapa besar kerugian jika hal itu terjadi). Hal-hal yang mempunyai dampak tinggi + probabilitas tinggi ditangani terlebih dahulu; mereka yang memiliki nilai rendah+rendah diterima dan dipantau.
Pengawasan sesuai tingkat risiko
Tidak semua area penggunaan memiliki risiko yang sama. Pendekatan yang cerdas adalah menyesuaikan pengawasan dengan tingkat risiko:
- Risiko rendah (inset draft, brainstorming): pengawasan ringan, prioritas kecepatan.
- Risiko sedang (konten untuk pelanggan, pendukung keputusan): persetujuan manusia, kontrol pengambilan sampel.
- Risiko tinggi (kredit, rekrutmen, kesehatan, hukum): penilaian manusia wajib, registrasi penuh, audit rutin.
Pendekatan “berbasis risiko” ini juga merupakan tulang punggung UU AI UE (Unit 9).
Langkah demi langkah: siklus manajemen risiko
1. Kenali risikonya. Buat daftar risiko spesifik AI untuk setiap inisiatif.
2. Skor kemungkinan dan dampaknya. Evaluasi dan prioritaskan setiap risiko dalam dua dimensi.
3. Menentukan langkah-langkah mitigasi. Seperti persetujuan manusia, anonimisasi data, pelacakan, diversifikasi pemasok.
4. Menerima atau menghentikan risiko yang tersisa. Risiko yang tersisa setelah pengurangan diterima jika masih sesuai dengan selera; Jika tidak, upaya tersebut terhenti.
5. Tonton dan ulas. Risiko tidak bersifat statis; Pemantauan terus-menerus terhadap penyimpangan dan ancaman baru sangat penting.
tiga kasus mini
Kasus 1 — Akibat halusinasi. Chatbot pelanggan sebuah maskapai penerbangan "membuat" kebijakan pengembalian uang yang tidak ada untuk penumpang; Pelanggan mempercayai ini dan melakukan transaksi. Pengadilan menyatakan perusahaan bertanggung jawab atas pernyataan botnya sendiri. Pelajaran: Output AI kepada pelanggan memiliki risiko sedang/tinggi; verifikasi dan pembatasan sangat penting. Bot kemudian dibatasi untuk hanya merespons dari teks kebijakan yang disetujui.
Kasus 2 — Bias diam. Model penyaringan perekrutan di sebuah perusahaan secara sistematis lebih memilih rekrutan dari sekolah tertentu karena ketidakseimbangan dalam data historis. Perbedaannya terungkap dalam audit; Ada risiko reputasi dan hukum. Model ini dipisahkan dari karakteristik yang dilindungi dan dihubungkan dengan pemantauan keadilan secara berkala. Jika uji bias dilakukan sejak awal, hal ini tidak akan terjadi.
Kasus 3 — Penangkapan Drift. Model pendeteksian penipuan di bank secara diam-diam melemah ketika pola penipuan baru muncul; Tingkat kesalahan meningkat dari 8% menjadi 19% dalam 3 bulan. Kabar baiknya: lembaga tersebut telah menerapkan pemantauan kinerja bulanan, penyimpangan terdeteksi sejak dini, dan model dilatih ulang. Tanpa pengawasan, kerugian akan berlipat ganda.
Empat templat yang dapat disalin
1) Inventarisasi risiko:
Peran Anda: manajer risiko AI. Buat daftar risiko khusus AI untuk kasus penggunaan berikut: halusinasi, bias, kebocoran data, penyimpangan, ketergantungan, tidak dapat dijelaskan. Untuk setiap risiko, tuliskan dalam satu kalimat kemungkinan manifestasi dan dampak bisnisnya dalam skenario ini. Area penggunaan: [teks]
2) Penilaian probabilitas/dampak:
Prioritaskan risiko-risiko berikut dengan menilai dan mengalikannya sebagai probabilitas (1-5) dan dampak (1-5). Jelaskan mengapa Anda memprioritaskan tiga risiko teratas. Risiko: [daftar]
3) Rencana mitigasi:
Usulkan langkah-langkah mitigasi praktis untuk risiko-risiko prioritas berikut: [risiko]. Untuk setiap tindakan: apa yang harus dilakukan, siapa yang bertanggung jawab, pada tingkat risiko apa yang wajib dilakukan. Gunakan pengawasan manusia, anonimisasi data, pemantauan, dan diversifikasi pemasok jika diperlukan.
4) Matriks pengawasan berbasis risiko:
Tetapkan area penggunaan berikut ke tingkat risiko (rendah/sedang/tinggi) dan tentukan pengawasan yang diperlukan untuk setiap tingkat: apakah persetujuan manusia diperlukan, apakah catatan akan disimpan, berapa frekuensi inspeksi? Kegunaan: [daftar]
Perintah lemah / Perintah kuat
Lemah: “Apa risiko dari proyek AI ini?”
Kesimpulan: Daftar umum risiko; probabilitas, dampak, dan tidak adanya mitigasi, Anda tidak dapat memutuskan.
Güçlü: "Kami akan menggunakan AI dalam evaluasi awal permohonan pinjaman di bank (manusia akan membuat keputusan akhir). Buat daftar risiko spesifik untuk skenario ini (bias, ketidakjelasan, halusinasi, privasi data); nilai masing-masing berdasarkan kemungkinan dan dampak; sarankan persyaratan mitigasi dan pengawasan yang konkrit untuk tiga risiko paling kritis. Juga nyatakan apa artinya bagi kepatuhan bahwa hal ini dianggap berisiko tinggi."
Hasilnya: analisis risiko yang spesifik terhadap skenario, penilaian, mitigasi, dan kepatuhan.
Kesalahan umum
- Menerapkan pengawasan yang sama pada semua inisiatif. Memperlambat pekerjaan yang berisiko rendah sama berbahayanya dengan mengabaikan pekerjaan yang berisiko tinggi; Pengawasan harus didasarkan pada tingkat risiko.
- Mengira halusinasi sebagai "kesalahan kecil". Output yang salah kepada pelanggan dapat mengakibatkan tanggung jawab hukum.
- Bukan menguji bias. Model yang diterapkan tanpa pengujian keadilan dapat menghasilkan diskriminasi diam-diam.
- Tidak menonton Drift. Sebuah model yang bekerja dengan baik sekali tidak akan bekerja dengan baik selamanya; Diperlukan pemantauan yang konstan.
- Mengunci satu pemasok. Tanpa rencana keluar, kecanduan membuat Anda terbuka terhadap kejutan harga dan akses.
Perhatian: Manajemen risiko tidak bersifat sekali dan untuk selamanya; Sistem kecerdasan buatan adalah sistem yang hidup. Hanya karena suatu model aman saat ini tidak menjamin bahwa model tersebut akan aman besok. Pemantauan terus-menerus, inspeksi berkala, dan tombol pemutus yang jelas harus menjadi bagian dari setiap sistem yang berisiko tinggi.
Singkatnya
Selain risiko TI tradisional, AI juga menambahkan risiko unik seperti halusinasi, bias, kebocoran data, penyimpangan, ketergantungan, dan ketidakjelasan. Risiko-risiko ini harus dievaluasi dan diprioritaskan dalam hal kemungkinan dan dampaknya, dan harus tetap sesuai dengan selera risiko lembaga melalui langkah-langkah mitigasi. Pengawasan tidak dilakukan secara seragam namun harus disesuaikan dengan tingkat risiko; Dalam pengambilan keputusan yang berisiko tinggi, masyarakatlah yang harus mengambil keputusan akhir. Manajemen risiko merupakan siklus yang berkesinambungan; tidak lengkap tanpa pemantauan dan pengendalian. Pada unit berikutnya, kami akan menetapkan tata kelola dan struktur kebijakan yang menjadikan disiplin risiko ini permanen.
Tugas aplikasi
Pilih kasus penggunaan AI dan buat daftar risiko spesifiknya dengan templat 1. Nilai setiap risiko berdasarkan kemungkinan dan dampaknya, lalu identifikasi tiga risiko yang paling penting. Tuliskan langkah-langkah mitigasi yang konkrit dan tingkat pengawasan yang diperlukan untuk ketiga risiko ini. Terakhir, klasifikasikan penggunaan tersebut sebagai risiko rendah/sedang/tinggi dan catat bagaimana hal ini mengubah persyaratan pengawasan.
daftar periksa
- [ ] Saya telah membuat daftar risiko khusus untuk skenario kecerdasan buatan.
- [ ] Saya menilai setiap risiko berdasarkan kemungkinan dan dampaknya.
- [ ] Saya telah menetapkan langkah-langkah mitigasi untuk risiko yang paling kritis.
- [ ] Saya telah mengklasifikasikan area penggunaan berdasarkan tingkat risikonya.
- [ ] Saya menyesuaikan pengawasan sesuai dengan tingkat risikonya.
- [ ] Saya merencanakan pengujian/pemantauan untuk bias dan penyimpangan.
- [ ] Saya telah menetapkan otoritas penghentian untuk sistem berisiko tinggi.