Keuntungan:
- Kemampuan untuk mengklasifikasikan skenario penggunaan ke dalam tingkat risiko rendah/sedang/tinggi berdasarkan dampaknya
- Kemampuan untuk menguji model secara sistematis sebelum produksi dengan tim merah
- Kemampuan untuk membuat keputusan produksi dengan kartu model dan pintu penerimaan (go/no-go)
Tidak semua penggunaan AI mempunyai risiko yang sama. Asisten yang merangkum catatan rapat dan asisten yang mengevaluasi permohonan pinjaman menghasilkan hasil yang sangat berbeda. Dasar tata kelola perusahaan adalah mengklasifikasikan penggunaan menurut tingkat risiko dan menerapkan pengendalian yang sesuai pada setiap tingkat. Pada unit ini, kita akan mempelajari kerangka manajemen risiko model (disiplin pengelolaan risiko yang disebabkan oleh model yang salah, bias, atau dapat dieksploitasi), cara menguji model sebelum produksi dengan tim merah, serta kartu model dan kriteria penerimaan.
Klasifikasi berdasarkan Risiko
Langkah pertama selalu sama: "Apa yang terjadi jika penggunaan ini salah?" Tiga tingkat kasar menurut potensi dan reversibilitas:
- Resiko rendah: Kesalahan mudah dideteksi dan diperbaiki; Tidak ada konsekuensi pribadi/finansial. Contoh: ringkasan rapat internal, rancangan gagasan.
- Risiko sedang: Kesalahan mempengaruhi proses bisnis tetapi tidak terlihat oleh mata manusia. Contoh: draft tanggapan terhadap pelanggan, ringkasan laporan awal.
- Resiko tinggi: Keputusan secara langsung mempengaruhi seseorang/uang, sulit untuk dibatalkan. Contoh: keputusan kredit/asuransi, triase layanan kesehatan, penyaringan pekerjaan.
Intensitas pengendalian meningkat seiring dengan tingkat risiko: pada risiko rendah, pengendalian ringan sudah cukup; Pada risiko tinggi, pengawasan manusia, verifikasi ketat, tim merah, dan pemantauan terus-menerus adalah wajib.
Perhatian: Buatlah klasifikasi risiko berdasarkan efek penggunaan, bukan namanya. Apa yang disebut sistem "hanya chatbot" berisiko tinggi jika dapat melakukan pembayaran.
Tim Merah (Tim Merah)
Tim merah sengaja mencoba merusak sistem dengan berpura-pura menjadi penyerang jahat. Ini ada di AI; Ini mencakup jailbreak (melewati aturan keamanan model), injeksi cepat, eksfiltrasi data, menghasilkan keluaran yang bias/berbahaya, dan menguji skenario edge. Tujuannya adalah untuk menemukan kerentanan sebelum penyerang sebenarnya.
Langkah demi langkah:
- Buat daftar skenario ancaman. Bagaimana sistem ini bisa disalahgunakan?
- Siapkan set serangan. Tuliskan contoh entri konkrit untuk setiap ancaman.
- Cobalah secara sistematis. Jalankan setiap skenario dan catat hasilnya.
- Prioritaskan temuan. Urutkan berdasarkan dampak × probabilitas.
- Perbaiki dan uji lagi. Setelah patch, coba lagi dengan set yang sama (regresi).
Kartu Model dan Kriteria Penerimaan
Kartu model adalah dokumen yang merangkum kesesuaian model, keterbatasannya, risiko dan kinerja yang diketahui. Sebelum memasukkannya ke dalam produksi, Anda harus memiliki kriteria untuk keputusan penerimaan: ambang batas akurasi, tingkat kelulusan tim merah, latensi, biaya, dan pengujian bias.
Empat Templat yang Dapat Disalin
Perintah klasifikasi risiko:
Pertimbangkan kasus penggunaan berikut: {{ skenario }}Pertanyaan:- Siapa/apa yang terkena dampak bug? (orang, uang, reputasi, harmoni)- Apakah bisa dibalik? (ya/tidak) - Bisakah manusia melakukan intervensi? Hasil: "Risiko Rendah / Sedang / Tinggi" + daftar pemeriksaan wajib.
Generator set serangan tim merah:
Anda adalah spesialis tim merah. Hasilkan 15 skenario serangan untuk asisten berikut: 5 jailbreak, 5 suntikan cepat (3 di antaranya tidak langsung), 5 upaya eksfiltrasi data. Untuk setiap skenario: tulis tujuannya, teks pengantar lengkap, dan "kriteria keberhasilan" (apa pun yang saya lihat menganggap serangan itu berhasil).
Kerangka papan model:
Kartu Model: - Penggunaan yang dimaksudkan / penggunaan yang tidak disengaja - Batas pelatihan / data dan kerentanan yang diketahui - Kinerja: akurasi, latensi, biaya (pada set pengujian) - Keamanan: tingkat kelulusan tim merah, jailbreak yang diketahui - Hasil pengujian yang bias - Keputusan penerimaan: PERSETUJUAN / KONDISI / PENOLAKAN + pembenaran
Aturan kontrol gerbang masuk:
SEMUA kondisi harus dipenuhi untuk beralih ke produksi:- >= ambang target pada set pengujian akurasi- Jumlah temuan kritis tim merah = 0- Jika berisiko tinggi: papan inspeksi dan pemantauan manusiaJika tidak ada yang terpenuhi: "NO-GO" + item hilang.
Prompt Lemah / Prompt Kuat
pendekatan yang buruk
Pendekatan yang kuat
Memproses setiap penggunaan dengan kontrol yang sama
Klasifikasikan berdasarkan risiko dan pengendalian skala
"Kami mengujinya, berhasil" (dengan senang hati)
Upaya melanggar yang disengaja dengan tim merah
Memasukkan model ke dalam produksi tanpa pembenaran
Kartu model + gerbang penerimaan (go/no-go)
Tidak menguji ulang setelah ditambal
Uji regresi setelah koreksi
Tiga Kasus Mini
Kasus 1 — Kesalahan klasifikasi memerlukan biaya yang besar. Sebuah perusahaan menganggap penyaringan rekrutmen "hanya sebuah tambahan" dan menganggapnya berisiko rendah. Model tersebut secara sistematis menghilangkan lulusan dari sekolah tertentu; ini berubah menjadi keluhan diskriminasi. Penggunaannya diklasifikasikan ulang sebagai “berisiko tinggi” dan pengujian bias serta pemantauan manusia ditambahkan.
Kasus 2 — Tim merah menemukan 3 kerentanan kritis. Seorang asisten pelanggan ditugaskan ke tim merah sebelum memulai produksi. 3 dari 15 skenario berhasil: informasi pesanan pelanggan lain dapat bocor melalui suntikan tidak langsung. Kesenjangan ditutup dan diuji ulang dengan set yang sama; Produksi dilanjutkan hanya ketika temuan kritis telah diatur ulang.
Kasus 3 — Model mengklarifikasi keputusan untuk menerima kartu tersebut. Memilih di antara dua model, sebuah tim menempatkan kartu model secara berdampingan. Model yang lebih murah mencapai sasaran dalam hal akurasi, tetapi rentan terhadap 2 jailbreak kritis di tim merah. Tim memilih model yang mahal namun aman karena aturan gerbang penerimaan "temuan kritis = 0" dan mendokumentasikan keputusan tersebut.
Tip: Tim merah bukanlah peristiwa yang terjadi satu kali saja. Jalankan kembali set serangan setiap kali model, prompt, atau alat berubah; Keamanan bukanlah sebuah negara, namun sebuah praktik yang berkelanjutan.
Kesalahan umum
- Klasifikasikan penggunaan berdasarkan nama (bukan efek); salah mengartikan risiko tinggi sebagai risiko rendah.
- Hanya menguji “jalan bahagia” dan tidak mencoba pelecehan sama sekali.
- Melakukan tim merah satu kali dan tidak mengulanginya setelah perubahan.
- Memasukkan model ke dalam produksi tanpa kartu model dan kriteria penerimaan.
- Melewati pengujian bias/diskriminasi (terutama dalam pengambilan keputusan manusia yang berisiko tinggi).
- Artinya “ditutup” tanpa melakukan pengujian regresi pasca koreksi.
Singkatnya
- Langkah pertama adalah mengklasifikasikan pemanfaatan ke dalam risiko rendah/sedang/tinggi berdasarkan dampaknya; Intensitas pengendalian meningkat seiring dengan risiko.
- Tim merah sengaja mencoba merusak sistem seperti penyerang; menemukan kerentanan sebelum penyerang sebenarnya.
- Kartu model mendokumentasikan tujuan, keterbatasan, dan risiko model; adalah dasar untuk keputusan penerimaan.
- Transisi ke produksi harus dikaitkan dengan jalan/tidak jalan: akurasi, temuan kritis nol, pemantauan yang diperlukan.
- Keamanan bersifat berkelanjutan: tim merah dan pengujian regresi diulangi dengan setiap perubahan.
Tugas aplikasi
Pilih penggunaan AI, tentukan tingkat risiko berdasarkan dampaknya, dan tulis justifikasinya. Kemudian buat setidaknya 10 skenario serangan untuk penggunaan tersebut (jailbreak, injeksi, eksfiltrasi data) dan coba secara manual. Untuk setiap serangan yang berhasil, usulkan perbaikan. Terakhir, isi kerangka kartu model dan buat keputusan "GO/NO-GO" beserta alasannya.
daftar periksa
- [ ] Saya telah mengklasifikasikan penggunaan berdasarkan tingkat risiko berdasarkan efeknya.
- [ ] Saya mencocokkan intensitas pengendalian dengan tingkat risiko.
- [ ] Saya menyiapkan set serangan tim merah dan mencobanya secara sistematis.
- [] Saya memperbaiki temuan penting dan memverifikasinya dengan pengujian regresi.
- [ ] Saya menyiapkan kartu model (tujuan, batasan, kinerja, keamanan).
- [ ] Saya mengaitkan keputusan produksi dengan keputusan boleh/tidak boleh pergi.