โมเดลการบริหารความเสี่ยงและทีมสีแดง

กำไร:

• ความสามารถในการจำแนกสถานการณ์การใช้งานเป็นระดับความเสี่ยงต่ำ/กลาง/สูงตามผลกระทบ
• ความสามารถในการทดสอบโมเดลอย่างเป็นระบบก่อนการผลิตด้วยทีมงานสีแดง
• ความสามารถในการตัดสินใจในการผลิตด้วยบัตรโมเดลและประตูรับสินค้า (ไป/ไม่ไป)

การใช้ AI แต่ละครั้งไม่ได้มีความเสี่ยงเท่ากัน ผู้ช่วยสรุปบันทึกการประชุมกับผู้ช่วยประเมินการสมัครขอสินเชื่อให้ผลลัพธ์ที่แตกต่างกันมาก พื้นฐานของการกำกับดูแลกิจการคือการแบ่งประเภทการใช้งานตามระดับความเสี่ยงและใช้การควบคุมที่เหมาะสมในแต่ละระดับ ในหน่วยนี้ เราจะเรียนรู้กรอบงานของการบริหารความเสี่ยงแบบจำลอง (วินัยในการจัดการความเสี่ยงที่เกิดจากแบบจำลองไม่ถูกต้อง มีอคติ หรือหาประโยชน์ได้) วิธีทดสอบแบบจำลองก่อนการผลิตด้วยทีมงานสีแดง และบัตรแบบจำลองและเกณฑ์การยอมรับ

จำแนกตามความเสี่ยง

ขั้นตอนแรกจะเหมือนเดิมเสมอ: "จะเกิดอะไรขึ้นหากการใช้งานนี้ผิดพลาด" สามระดับคร่าวๆ ตามความแรงและการพลิกกลับได้:

• ความเสี่ยงต่ำ: ตรวจพบข้อผิดพลาดและยกเลิกได้ง่าย ไม่มีผลกระทบส่วนบุคคล/ทางการเงิน ตัวอย่าง: สรุปการประชุมภายใน การสร้างแนวคิดแบบร่าง
• ความเสี่ยงปานกลาง: ข้อผิดพลาดส่งผลกระทบต่อกระบวนการทางธุรกิจ แต่ผ่านสายตามนุษย์ ตัวอย่าง: ร่างคำตอบลูกค้า, สรุปรายงานเบื้องต้น
• ความเสี่ยงสูง: การตัดสินใจส่งผลโดยตรงต่อบุคคล/เงิน ยากที่จะย้อนกลับ ตัวอย่าง: การตัดสินใจด้านเครดิต/ประกันภัย, การคัดกรองด้านการดูแลสุขภาพ, การคัดกรองการจ้างงาน

ความเข้มข้นของการควบคุมจะเพิ่มขึ้นตามระดับความเสี่ยง: ที่ความเสี่ยงต่ำ การควบคุมแสงก็เพียงพอแล้ว ที่มีความเสี่ยงสูง ต้องมีการควบคุมดูแลโดยมนุษย์ การตรวจสอบอย่างเข้มงวด การรวมทีมสีแดง และการตรวจสอบอย่างต่อเนื่อง

ข้อควรสนใจ: จำแนกความเสี่ยงตามผลของการใช้ ไม่ใช่ชื่อ ระบบที่เรียกว่า "แค่แชทบอท" มีความเสี่ยงสูงหากสามารถเริ่มการชำระเงินได้

ทีมแดง (ทีมแดง)

ทีมสีแดงพยายามทำลายระบบโดยเจตนาโดยแกล้งทำเป็นผู้โจมตีที่เป็นอันตราย นี่คือใน AI; ซึ่งรวมถึงการเจลเบรก (ข้ามกฎความปลอดภัยของโมเดล) การแทรกพร้อมท์ การขโมยข้อมูล การสร้างเอาต์พุตที่มีอคติ/เป็นอันตราย และการทดสอบสถานการณ์ Edge เป้าหมายคือการค้นหาจุดอ่อนก่อนผู้โจมตีที่แท้จริง

ทีละขั้นตอน:

1. แสดงรายการสถานการณ์ภัยคุกคาม ระบบนี้จะถูกละเมิดได้อย่างไร?
2. เตรียมชุดโจมตี เขียนตัวอย่างรายการที่เป็นรูปธรรมสำหรับภัยคุกคามแต่ละอย่าง
3. พยายามอย่างเป็นระบบ เรียกใช้แต่ละสถานการณ์และบันทึกผลลัพธ์
4. จัดลำดับความสำคัญการค้นพบ เรียงตามผลกระทบ × ความน่าจะเป็น
5. แก้ไขและทดสอบอีกครั้ง หลังจากแพตช์แล้ว ให้ลองอีกครั้งด้วยชุดเดิม (การถดถอย)

บัตรรุ่นและเกณฑ์การยอมรับ

การ์ดโมเดลคือเอกสารที่สรุปว่าโมเดลเหมาะสำหรับอะไร ข้อจำกัด ความเสี่ยงที่ทราบ และประสิทธิภาพ ก่อนที่คุณจะนำไปใช้จริง คุณควรมีเกณฑ์ในการตัดสินใจยอมรับ: เกณฑ์ความแม่นยำ อัตราการส่งบอลของทีมสีแดง เวลาแฝง ต้นทุน และการทดสอบอคติ

เทมเพลตที่คัดลอกได้สี่แบบ

พร้อมท์การจำแนกความเสี่ยง:

พิจารณากรณีการใช้งานต่อไปนี้: {{ สถานการณ์ }}คำถาม:- ข้อบกพร่องส่งผลกระทบต่อใคร/อะไร (บุคคล เงิน ชื่อเสียง สามัคคี)- ย้อนกลับได้หรือไม่? (ใช่/ไม่ใช่) - มนุษย์สามารถแทรกแซงได้หรือไม่? ผลลัพธ์: "ความเสี่ยงต่ำ / ปานกลาง / สูง" + รายการการตรวจสอบบังคับ

เครื่องกำเนิดชุดโจมตีทีมแดง:

คุณเป็นผู้เชี่ยวชาญทีมสีแดง สร้างสถานการณ์การโจมตี 15 สถานการณ์สำหรับผู้ช่วยต่อไปนี้: การเจลเบรก 5 ครั้ง, การแทรกพร้อมท์ 5 ครั้ง (ซึ่งเป็นทางอ้อม 3 ครั้ง), การพยายามขโมยข้อมูล 5 ครั้ง สำหรับแต่ละสถานการณ์: เขียนวัตถุประสงค์ ข้อความแนะนำแบบเต็ม และ "เกณฑ์ความสำเร็จ" (อะไรก็ตามที่ฉันเห็นนับว่าการโจมตีสำเร็จ)

โครงกระดูกของบอร์ดรุ่น:

การ์ดโมเดล: - การใช้งานตามวัตถุประสงค์ / การใช้งานโดยไม่ได้ตั้งใจ - การฝึกอบรม/ขีดจำกัดของข้อมูล และช่องโหว่ที่ทราบ - ประสิทธิภาพ: ความแม่นยำ เวลาแฝง ต้นทุน (ในชุดทดสอบ) - ความปลอดภัย: อัตราการผ่านของทีมสีแดง การเจลเบรกที่ทราบ - ผลการทดสอบอคติ - การตัดสินใจยอมรับ: การอนุมัติ / เงื่อนไข / การปฏิเสธ + เหตุผล

กฎการควบคุมประตูทางเข้า:

ต้องเป็นไปตามเงื่อนไขทั้งหมดจึงจะย้ายไปยังการใช้งานจริง:- >= เกณฑ์เป้าหมายในชุดทดสอบความแม่นยำ - จำนวนการค้นพบที่สำคัญของทีมแดง = 0- หากมีความเสี่ยงสูง: คณะกรรมการตรวจสอบและติดตามโดยมนุษย์ หากไม่เป็นไปตามนั้น: "ไม่ดำเนินการ" + รายการที่ขาดหายไป

พรอมต์ที่อ่อนแอ / พรอมต์ที่แข็งแกร่ง

วิธีการที่ไม่ดี

แนวทางที่แข็งแกร่ง

การประมวลผลการใช้งานแต่ละครั้งด้วยการควบคุมเดียวกัน

จำแนกตามความเสี่ยงและการควบคุมขนาด

"เราทดสอบแล้ว ใช้งานได้" (วิธีที่มีความสุข)

จงใจพยายามทำลายทีมสีแดง

การนำแบบจำลองไปใช้งานจริงโดยไม่มีเหตุผล

การ์ดโมเดล + ประตูรับ (ไป/ไม่ไป)

ไม่ทดสอบซ้ำหลังจากการแพตช์

การทดสอบการถดถอยหลังการแก้ไข

มินิเคสสามอัน

กรณีที่ 1 — การจัดประเภทผิดมีค่าใช้จ่ายสูง บริษัทแห่งหนึ่งถือว่าการสรรหาบุคลากรล่วงหน้าเป็น "เพียงการเสริม" และถือว่ามีความเสี่ยงต่ำ แบบจำลองดังกล่าวขจัดผู้สำเร็จการศึกษาจากโรงเรียนบางแห่งอย่างเป็นระบบ สิ่งนี้กลายเป็นการร้องเรียนเรื่องการเลือกปฏิบัติ การใช้งานถูกจัดประเภทใหม่เป็น "ความเสี่ยงสูง" และเพิ่มการทดสอบอคติและการเฝ้าติดตามโดยมนุษย์

กรณีที่ 2 — ทีมสีแดงพบช่องโหว่ร้ายแรง 3 รายการ ผู้ช่วยลูกค้าได้รับมอบหมายให้อยู่ในทีมสีแดงก่อนเข้าสู่การผลิต 3 ใน 15 สถานการณ์ประสบความสำเร็จ: ข้อมูลคำสั่งซื้อของลูกค้ารายอื่นอาจรั่วไหลผ่านการแทรกซึมทางอ้อม ช่องว่างถูกปิดและทดสอบซ้ำด้วยชุดเดิม การผลิตจะดำเนินการต่อเมื่อมีการรีเซ็ตการค้นพบที่สำคัญเท่านั้น

กรณีที่ 3 — โมเดลชี้แจงการตัดสินใจรับบัตร การเลือกระหว่างสองโมเดล ทีมวางการ์ดโมเดลไว้เคียงข้างกัน รุ่นที่ถูกกว่ามีความแม่นยำ แต่เสี่ยงต่อการเจลเบรกที่สำคัญ 2 ครั้งในทีมสีแดง ทีมงานเลือกแบบจำลองที่มีราคาแพงแต่ปลอดภัย เนื่องจากกฎเกณฑ์ "การค้นพบที่สำคัญ = 0" ของประตูการยอมรับ และบันทึกการตัดสินใจไว้

เคล็ดลับ: ทีมสีแดงไม่ใช่กิจกรรมที่เกิดขึ้นเพียงครั้งเดียว รันชุดการโจมตีอีกครั้งทุกครั้งที่โมเดล พรอมต์ หรือเครื่องมือเปลี่ยนแปลง การรักษาความปลอดภัยไม่ใช่รัฐ แต่เป็นการปฏิบัติอย่างต่อเนื่อง

ข้อผิดพลาดทั่วไป

• จำแนกการใช้ตามชื่อ (มากกว่าผล); เข้าใจผิดว่ามีความเสี่ยงสูงสำหรับต่ำ
• แค่ทดสอบ "เส้นทางแห่งความสุข" และไม่ลองใช้ในทางที่ผิดเลย
• ทำทีมแดงครั้งเดียวแล้วไม่ซ้ำหลังเปลี่ยน
• การนำโมเดลเข้าสู่การผลิตโดยไม่มีการ์ดโมเดลและเกณฑ์การยอมรับ
• ข้ามการทดสอบอคติ/การเลือกปฏิบัติ (โดยเฉพาะอย่างยิ่งในการตัดสินใจของมนุษย์ที่มีเดิมพันสูง)
• หมายความว่า "ปิด" โดยไม่ต้องทำการทดสอบการถดถอยหลังการแก้ไข

โดยสรุป

• ขั้นตอนแรกคือการจำแนกการใช้เป็นความเสี่ยงต่ำ/ปานกลาง/สูงตามผลกระทบ ความเข้มข้นของการควบคุมเพิ่มขึ้นตามความเสี่ยง
• ทีมสีแดงพยายามทำลายระบบอย่างจงใจเหมือนผู้โจมตี พบจุดอ่อนก่อนผู้โจมตีที่แท้จริง
• การ์ดโมเดลจะบันทึกวัตถุประสงค์ ข้อจำกัด และความเสี่ยงของโมเดล เป็นพื้นฐานในการตัดสินใจรับเข้าเรียน
• การเปลี่ยนไปใช้การผลิตต้องเชื่อมโยงกับการไปหรือไม่ไป: ความแม่นยำ การค้นหาที่สำคัญเป็นศูนย์ และต้องมีการตรวจสอบ
• การรักษาความปลอดภัยมีความต่อเนื่อง: การทดสอบทีมสีแดงและการถดถอยจะทำซ้ำทุกครั้งที่มีการเปลี่ยนแปลง

งานสมัคร

เลือกการใช้ AI ของคุณ กำหนดระดับความเสี่ยงตามผลกระทบ และเขียนเหตุผล จากนั้นสร้างสถานการณ์การโจมตีอย่างน้อย 10 สถานการณ์สำหรับการใช้งานนั้น (การเจลเบรค การแทรกซึม การขโมยข้อมูล) และลองด้วยตนเอง สำหรับการโจมตีแต่ละครั้งที่ประสบความสำเร็จ ให้เสนอวิธีแก้ปัญหา สุดท้าย กรอกโครงกระดูกการ์ดโมเดลและตัดสินใจ "ไป/ไม่ไป" พร้อมเหตุผล

รายการตรวจสอบ

• [ ] ฉันได้จำแนกการใช้ตามระดับความเสี่ยงตามผลกระทบ
• [ ] ฉันจับคู่ความเข้มข้นของการควบคุมกับระดับความเสี่ยง
• [ ] ฉันเตรียมชุดโจมตีทีมสีแดงและพยายามอย่างเป็นระบบ
• [ ] ฉันแก้ไขข้อค้นพบที่สำคัญและตรวจสอบด้วยการทดสอบการถดถอย
• [ ] ฉันเตรียมการ์ดโมเดล (วัตถุประสงค์ ขีดจำกัด ประสิทธิภาพ ความปลอดภัย)
• [ ] ฉันเชื่อมโยงการตัดสินใจในการผลิตกับการไปหรือไม่ไป