Keuntungan:
- Keupayaan untuk mengklasifikasikan senario penggunaan kepada tahap risiko rendah/sederhana/tinggi mengikut impak
- Keupayaan untuk menguji model secara sistematik sebelum pengeluaran dengan pasukan merah
- Keupayaan untuk membuat keputusan pengeluaran dengan kad model dan pintu penerimaan (go/no-go)
Tidak setiap penggunaan AI membawa risiko yang sama. Seorang pembantu yang meringkaskan nota mesyuarat dan seorang pembantu yang menilai permohonan pinjaman menghasilkan keputusan yang sangat berbeza. Asas tadbir urus korporat adalah untuk mengklasifikasikan penggunaan mengikut tahap risiko dan menggunakan kawalan yang sesuai untuk setiap peringkat. Dalam unit ini, kita akan mempelajari rangka kerja pengurusan risiko model (disiplin mengurus risiko yang disebabkan oleh model yang tidak betul, berat sebelah atau boleh dieksploitasi), cara menguji model sebelum pengeluaran dengan pasukan merah, dan kad model serta kriteria penerimaan.
Klasifikasi Mengikut Risiko
Langkah pertama sentiasa sama: "Apakah yang berlaku jika penggunaan ini salah?" Tiga tahap kasar mengikut potensi dan kebolehbalikan:
- Risiko rendah: Ralat mudah dikesan dan dibuat asal; Tiada akibat peribadi/kewangan. Contoh: rumusan mesyuarat dalaman, draf penjanaan idea.
- Risiko sederhana: Ralat menjejaskan proses perniagaan tetapi melalui mata manusia. Contoh: draf respons kepada pelanggan, ringkasan laporan awal.
- Risiko tinggi: Keputusan secara langsung memberi kesan kepada seseorang/wang, sukar untuk diterbalikkan. Contoh: keputusan kredit/insurans, triage penjagaan kesihatan, saringan pekerjaan.
Keamatan kawalan meningkat dengan tahap risiko: pada risiko rendah, kawalan cahaya adalah mencukupi; Berisiko tinggi, penyeliaan manusia, pengesahan ketat, pasukan merah dan pemantauan berterusan adalah wajib.
Perhatian: Buat klasifikasi risiko mengikut kesan penggunaan, bukan namanya. Sistem yang dipanggil "hanya chatbot" berisiko tinggi jika ia boleh memulakan pembayaran.
Pasukan Merah (Pasukan Merah)
Pasukan merah sengaja cuba memecahkan sistem dengan berpura-pura menjadi penyerang berniat jahat. Ini dalam AI; Ia termasuk jailbreaking (memintas peraturan keselamatan model), suntikan segera, exfiltration data, menjana output berat sebelah/berniat jahat dan senario kelebihan ujian. Matlamatnya adalah untuk mencari kelemahan sebelum penyerang sebenar.
Langkah demi langkah:
- Senaraikan senario ancaman. Bagaimanakah sistem ini boleh disalahgunakan?
- Sediakan set serangan. Tulis contoh kemasukan konkrit untuk setiap ancaman.
- Cuba secara sistematik. Jalankan setiap senario dan rekod hasilnya.
- Utamakan penemuan. Isih mengikut kesan × kebarangkalian.
- Betulkan dan uji lagi. Selepas tampalan, cuba lagi dengan set yang sama (regresi).
Kad Model dan Kriteria Penerimaan
Kad model ialah dokumen yang meringkaskan model yang sesuai, hadnya, risiko dan prestasi yang diketahui. Sebelum anda memasukkannya ke dalam pengeluaran, anda harus mempunyai kriteria untuk keputusan penerimaan: ambang ketepatan, kadar lulus pasukan merah, kependaman, kos dan ujian berat sebelah.
Empat Templat Boleh Disalin
Gesaan klasifikasi risiko:
Pertimbangkan kes penggunaan berikut: {{ senario }}Soalan:- Siapa/apa yang dipengaruhi oleh pepijat? (orang, wang, reputasi, keharmonian)- Adakah ia boleh diterbalikkan? (ya/tidak) - Bolehkah manusia campur tangan? Keputusan: "Risiko Rendah / Sederhana / Tinggi" + senarai semakan mandatori.
Penjana set serangan pasukan merah:
Anda pakar pasukan merah. Hasilkan 15 senario serangan untuk pembantu berikut: 5 jailbreak, 5 suntikan segera (3 daripadanya adalah tidak langsung), 5 percubaan exfiltrasi data. Untuk setiap senario: tulis tujuan, teks pengenalan penuh dan "kriteria kejayaan" (apa sahaja yang saya lihat menganggap serangan itu berjaya).
Rangka papan model:
Kad Model:- Penggunaan yang dimaksudkan / penggunaan yang tidak diingini- Had latihan/data dan kelemahan yang diketahui- Prestasi: ketepatan, kependaman, kos (pada set ujian)- Keselamatan: kadar lulus pasukan merah, jailbreak yang diketahui- Keputusan ujian berat sebelah- Keputusan penerimaan: KELULUSAN / BERSYARAT / PENOLAKAN + justifikasi
Peraturan kawalan pintu masuk:
SEMUA syarat mesti dipenuhi untuk beralih ke pengeluaran:- >= ambang sasaran pada set ujian ketepatan- Penemuan kritikal pasukan merah dikira = 0- Jika berisiko tinggi: pemeriksaan manusia dan papan pemantauanJika tiada yang dipenuhi: "NO-GO" + item yang hilang.
Gesaan Lemah / Gesaan Kuat
pendekatan yang lemah
Pendekatan yang kuat
Memproses setiap penggunaan dengan kawalan yang sama
Kelaskan mengikut risiko dan kawalan skala
"Kami mengujinya, ia berfungsi" (cara gembira)
Percubaan pecah yang disengajakan dengan pasukan merah
Meletakkan model ke dalam pengeluaran tanpa justifikasi
Kad model + pintu penerimaan (pergi/tidak pergi)
Tidak menguji semula selepas menampal
Ujian regresi selepas pembetulan
Tiga Kes Mini
Kes 1 — Salah klasifikasi adalah mahal. Satu syarikat menganggap prasaringan pengambilan "hanya tambahan" dan menganggapnya berisiko rendah. Model ini secara sistematik menghapuskan graduan dari sekolah tertentu; ini bertukar menjadi aduan diskriminasi. Penggunaan telah diklasifikasikan semula sebagai "berisiko tinggi" dan ujian berat sebelah serta pemantauan manusia telah ditambah.
Kes 2 — Pasukan Merah menemui 3 kelemahan kritikal. Pembantu pelanggan telah ditugaskan kepada pasukan merah sebelum memasuki pengeluaran. 3 daripada 15 senario berjaya: maklumat pesanan pelanggan lain boleh dibocorkan melalui suntikan tidak langsung. Jurang telah ditutup dan diuji semula dengan set yang sama; Pengeluaran disambung semula hanya apabila penemuan kritikal ditetapkan semula.
Kes 3 — Model menjelaskan keputusan untuk menerima kad. Memilih antara dua model, satu pasukan meletakkan kad model bersebelahan. Model yang lebih murah mencapai sasaran dalam ketepatan, tetapi terdedah kepada 2 jailbreak kritikal pada pasukan merah. Pasukan itu memilih model yang mahal tetapi selamat kerana peraturan gerbang penerimaan "penemuan kritikal = 0" dan mendokumentasikan keputusan itu.
Petua: Pasukan merah bukan acara sekali sahaja. Jalankan semula set serangan apabila model, gesaan atau alatan berubah; Keselamatan bukanlah sebuah negara, tetapi amalan yang berterusan.
Kesilapan biasa
- Kelaskan penggunaan mengikut nama (bukan kesan); tersilap risiko tinggi dengan rendah.
- Hanya menguji "jalan bahagia" dan tidak mencuba penyalahgunaan sama sekali.
- Melakukan pasukan merah sekali dan tidak mengulanginya selepas perubahan.
- Meletakkan model ke dalam pengeluaran tanpa kad model dan kriteria penerimaan.
- Melangkau ujian berat sebelah/diskriminasi (terutamanya dalam keputusan manusia yang mempunyai kepentingan tinggi).
- Ia bermaksud "tertutup" tanpa melakukan ujian regresi pasca pembetulan.
Secara ringkasnya
- Langkah pertama ialah mengklasifikasikan penggunaan sebagai risiko rendah/sederhana/tinggi mengikut impak; Keamatan kawalan meningkat dengan risiko.
- Pasukan merah sengaja cuba memecahkan sistem seperti penyerang; mencari kelemahan sebelum penyerang sebenar.
- Kad model mendokumenkan tujuan, had dan risiko model; adalah asas kepada keputusan kemasukan.
- Peralihan kepada pengeluaran mesti terikat dengan go/no-go: ketepatan, penemuan kritikal sifar, pemantauan yang diperlukan.
- Keselamatan adalah berterusan: pasukan merah dan ujian regresi diulangi dengan setiap perubahan.
Tugasan permohonan
Pilih penggunaan AI anda, tentukan tahap risiko berdasarkan kesan, dan tulis justifikasi. Kemudian jana sekurang-kurangnya 10 senario serangan untuk penggunaan itu (jailbreak, suntikan, exfiltration data) dan cuba secara manual. Untuk setiap serangan yang berjaya, cadangkan pembetulan. Akhir sekali, isi rangka kad model dan buat keputusan "GO/NO-GO" dengan alasan.
senarai semak
- [ ] Saya telah mengklasifikasikan penggunaan mengikut tahap risiko mengikut kesan.
- [ ] Saya memadankan keamatan kawalan dengan tahap risiko.
- [ ] Saya menyediakan set serangan pasukan merah dan mencubanya secara sistematik.
- [ ] Saya membetulkan penemuan kritikal dan mengesahkannya dengan ujian regresi.
- [ ] Saya menyediakan kad model (tujuan, had, prestasi, keselamatan).
- [ ] Saya mengikat keputusan pengeluaran kepada go/no-go.