Keuntungan:
- Keupayaan untuk mengenali risiko khusus AI seperti halusinasi, berat sebelah, kebocoran data, hanyut model, kebergantungan dan tidak dapat diterangkan dengan kesan perniagaan
- Menskor risiko dalam dimensi kebarangkalian dan impak dan memastikannya berada dalam selera risiko institusi dengan langkah-langkah mitigasi
- Keupayaan untuk menyesuaikan pengawasan mengikut tahap risiko dan bukannya keseragaman, memastikan kata akhir manusia dan pemantauan berterusan dalam keputusan berisiko tinggi
Nilai dan risiko adalah dua sisi syiling yang sama. AI membuka sumber nilai baharu, tetapi ia juga memperkenalkan jenis risiko baharu yang tidak dibawa oleh perisian tradisional. Bagi pengurus kanan, isunya bukan untuk mengelakkan risiko, tetapi untuk menguruskan risiko secara sedar (pengurusan risiko; disiplin mengenali, mengukur, mengurangkan risiko dan mengekalkannya pada had yang boleh diterima). Dalam unit ini, anda akan mempelajari tentang risiko khusus untuk AI, kesan perniagaannya dan kaedah pengurangan praktikal. Matlamatnya bukan untuk "tidak melakukannya kerana ada risiko" atau "bertindak seolah-olah tiada risiko"; Ia adalah untuk melaksanakan setiap inisiatif dengan selera risiko yang sedar; tahap risiko yang sanggup diambil oleh institusi.
Risiko khusus AI
Risiko IT tradisional (kelemahan, gangguan) masih dikenakan; Tetapi kecerdasan buatan menambah risikonya sendiri:
Jenis risiko
apa maksud awak?
Contoh impak perniagaan
halusinasi
Ia dibuat-buat tetapi ternyata boleh dipercayai
Maklumat yang salah kepada pelanggan, liabiliti undang-undang
prasangka
Refleksi ketidakadilan dalam data pada output
Keputusan pengambilan/kredit yang diskriminasi
kebocoran data
Data sulit bocor ke dalam kenderaan
Pelanggaran KVKK, kehilangan reputasi
Model drift
Kemerosotan prestasi dari semasa ke semasa
Pembalikan keputusan secara senyap
ketagihan
Dikunci ke dalam satu pembekal
kejutan harga/akses
tidak dapat diterangkan
Tidak tahu sebab keputusan itu
Kesukaran audit dan bantahan
Dua istilah penting di sini: berat sebelah ialah apabila kecerdasan buatan mempelajari corak tidak adil dalam data latihan dan mencerminkannya dalam keputusannya; Contohnya, jika data sejarah pengambilan pekerja memihak kepada satu kumpulan, model itu juga. Model drift ialah apabila model menjadi usang dan prestasinya menurun secara senyap apabila dunia berubah (produk baharu, gelagat baharu).
Petua: Fikirkan risiko bukan dari segi "mungkin/tidak akan berlaku" tetapi dalam dua dimensi: kebarangkalian (berkemungkinan besar) dan kesan (berapa banyak bahaya jika ia berlaku). Mereka yang mempunyai impak tinggi + kebarangkalian tinggi ditangani terlebih dahulu; mereka yang mempunyai nilai rendah+rendah diterima dan dipantau.
Pengawasan mengikut tahap risiko
Tidak setiap kawasan penggunaan membawa risiko yang sama. Pendekatan pintar adalah untuk menyesuaikan pengawasan dengan tahap risiko:
- Risiko rendah (draf sisipan, sumbang saran): pengawasan ringan, keutamaan kelajuan.
- Risiko sederhana (kandungan kepada pelanggan, sokongan keputusan): kelulusan manusia, kawalan pensampelan.
- Risiko tinggi (kredit, pengambilan, kesihatan, undang-undang): pertimbangan manusia mandatori, pendaftaran penuh, audit tetap.
Pendekatan "berasaskan risiko" ini juga merupakan tulang belakang Undang-undang AI EU (Unit 9).
Langkah demi langkah: kitaran pengurusan risiko
1. Kenali risiko. Senaraikan risiko khusus AI untuk setiap inisiatif.
2. Skor kemungkinan dan kesan. Menilai dan mengutamakan setiap risiko dalam dua dimensi.
3. Tentukan langkah mitigasi. Seperti kelulusan manusia, tanpa nama data, penjejakan, kepelbagaian pembekal.
4. Terima atau hentikan baki risiko. Risiko yang tinggal selepas pengurangan diterima jika ia mengikut selera; Jika tidak, percubaan berhenti.
5. Tonton dan semak semula. Risiko tidak statik; Pemantauan berterusan untuk hanyut dan ancaman baharu adalah penting.
tiga kes mini
Kes 1 — Kos halusinasi. Chatbot pelanggan syarikat penerbangan "membuat" dasar bayaran balik yang tidak wujud untuk penumpang; Pelanggan mempercayai ini dan membuat transaksi. Mahkamah menganggap syarikat itu bertanggungjawab ke atas pengisytiharan botnya sendiri. Pengajaran: Output AI kepada pelanggan adalah berisiko sederhana/tinggi; pengesahan dan pengehadan adalah penting. Bot kemudiannya dihadkan untuk hanya membalas daripada teks dasar yang diluluskan.
Kes 2 — Bias senyap. Model pemeriksaan pengambilan pekerja secara sistematik mengutamakan rekrut dari sekolah tertentu kerana ketidakseimbangan dalam data sejarah. Perbezaannya didedahkan dalam audit; Terdapat risiko reputasi dan undang-undang. Model itu dipisahkan daripada ciri-ciri yang dilindungi dan dikaitkan dengan pemantauan keadilan biasa. Sekiranya ujian berat sebelah dilakukan dari awal, ini tidak akan berlaku.
Kes 3 — Tangkapan Drift. Model pengesanan penipuan bank secara senyap-senyap lemah apabila corak penipuan baharu muncul; Kadar kehilangan meningkat daripada 8% kepada 19% dalam 3 bulan. Berita baik: agensi telah melaksanakan pemantauan prestasi bulanan, drift dikesan awal, dan model telah dilatih semula. Tanpa pemantauan, kerugian akan berganda.
Empat templat yang boleh disalin
1) Inventori risiko:
Peranan anda: Pengurus risiko AI. Senaraikan risiko khusus AI untuk kes penggunaan berikut: halusinasi, berat sebelah, kebocoran data, hanyut, kebergantungan, tidak dapat diterangkan. Untuk setiap risiko, tulis dalam satu ayat kemungkinan manifestasi dan kesan perniagaannya dalam senario ini. Kawasan penggunaan: [teks]
2) Pemarkahan kebarangkalian/impak:
Utamakan risiko berikut dengan menjaringkan dan mendarabkannya sebagai kebarangkalian (1-5) dan kesan (1-5). Terangkan mengapa anda mengutamakan tiga risiko teratas. Risiko: [senarai]
3) Pelan mitigasi:
Cadangkan langkah mitigasi praktikal untuk risiko keutamaan berikut: [risiko]. Untuk setiap langkah: apa yang perlu dilakukan, siapa yang bertanggungjawab, pada tahap risiko yang mana wajib. Gunakan pengawasan manusia, pennamaan data, pemantauan dan kepelbagaian pembekal jika sesuai.
4) Matriks pengawasan berasaskan risiko:
Tetapkan kawasan penggunaan berikut kepada tahap risiko (rendah/sederhana/tinggi) dan tentukan pengawasan yang diperlukan untuk setiap tahap: adakah kelulusan manusia diperlukan, adakah rekod akan disimpan, apakah kekerapan pemeriksaan? Kegunaan: [senarai]
Gesaan lemah / Gesaan kuat
Lemah: "Apakah risiko projek AI ini?"
Kesimpulan: Senarai umum risiko; kebarangkalian, impak dan tiada pengurangan, anda tidak boleh membuat keputusan.
Güçlü: "Kami akan menggunakan AI dalam penilaian awal permohonan pinjaman di bank (manusia akan membuat keputusan muktamad). Senaraikan risiko khusus untuk senario ini (berat sebelah, tidak dapat diterangkan, halusinasi, privasi data); skor setiap satu mengikut kemungkinan dan impak; cadangkan keperluan mitigasi dan pengawasan yang konkrit untuk tiga yang paling kritikal. Nyatakan juga maksud ini untuk pematuhan yang tinggi."
Hasilnya: analisis risiko yang berkaitan dengan senario, skor, pengurangan dan pematuhan.
Kesilapan biasa
- Menggunakan pengawasan yang sama untuk semua inisiatif. Memperlahankan kerja berisiko rendah adalah sama berbahaya seperti mengabaikan kerja berisiko tinggi; Pengawasan hendaklah berdasarkan tahap risiko.
- Menganggap halusinasi sebagai "kesilapan kecil". Output yang salah kepada pelanggan boleh mengakibatkan liabiliti undang-undang.
- Bukan menguji berat sebelah. Model yang digunakan tanpa ujian kesaksamaan boleh menghasilkan diskriminasi senyap.
- Tidak menonton Drift. Model yang berfungsi dengan baik sekali tidak berfungsi dengan baik selama-lamanya; Pemantauan berterusan diperlukan.
- Mengunci dalam satu pembekal. Tanpa pelan keluar, ketagihan membuat anda terbuka kepada kejutan harga dan akses.
Awas: Pengurusan risiko bukan sekali sahaja; Sistem kecerdasan buatan adalah sistem hidup. Hanya kerana model selamat hari ini tidak menjamin bahawa ia akan selamat esok. Pemantauan berterusan, pemeriksaan tetap dan suis bunuh yang jelas harus menjadi sebahagian daripada setiap sistem berisiko tinggi.
Secara ringkasnya
Di samping risiko IT tradisional, AI menambah risiko unik seperti halusinasi, berat sebelah, kebocoran data, hanyut, kebergantungan dan tidak dapat diterangkan. Risiko-risiko ini harus dinilai dan diberi keutamaan dari segi kebarangkalian dan impak, dan harus disimpan dalam tahap selera risiko institusi dengan langkah-langkah mitigasi. Pengawasan tidak seragam tetapi harus disesuaikan dengan tahap risiko; Dalam keputusan berisiko tinggi, orang harus mempunyai kata putus. Pengurusan risiko adalah kitaran berterusan; tidak lengkap tanpa pemantauan dan kawalan. Dalam unit seterusnya, kami akan mewujudkan struktur tadbir urus dan dasar yang menjadikan disiplin risiko ini kekal.
Tugasan permohonan
Pilih kes penggunaan AI dan senaraikan risiko khususnya dengan templat 1. Skor setiap risiko mengikut kemungkinan dan kesan, mengenal pasti tiga yang paling kritikal. Tulis langkah-langkah pengurangan konkrit dan tahap pengawasan yang diperlukan untuk ketiga-tiga risiko ini. Akhir sekali, klasifikasikan penggunaan sebagai risiko rendah/sederhana/tinggi dan perhatikan bagaimana ini mengubah keperluan pengawasan.
senarai semak
- [ ] Saya telah menyenaraikan risiko khusus untuk khusus senario kecerdasan buatan.
- [ ] Saya menjaringkan setiap risiko mengikut kemungkinan dan kesan.
- [ ] Saya telah menentukan langkah-langkah mitigasi untuk risiko yang paling kritikal.
- [ ] Saya telah mengklasifikasikan kawasan penggunaan mengikut tahap risiko.
- [ ] Saya melaraskan pengawasan mengikut tahap risiko.
- [ ] Saya merancang ujian/pemantauan untuk bias dan drift.
- [ ] Saya telah menetapkan kuasa berhenti untuk sistem berisiko tinggi.