سود:
- توانایی تشخیص خطرات خاص هوش مصنوعی مانند توهم، سوگیری، نشت داده ها، جابجایی مدل، وابستگی و غیرقابل توضیح با تأثیر تجاری
- امتیازدهی ریسک ها در ابعاد احتمال و تاثیر و حفظ آنها در محدوده ریسک پذیری موسسه با اقدامات کاهشی
- توانایی تنظیم نظارت بر اساس سطح خطر به جای یکنواختی، اطمینان از حرف آخر انسان و نظارت مستمر در تصمیم گیری های پرخطر
ارزش و ریسک دو روی یک سکه هستند. هوش مصنوعی منابع جدیدی از ارزش را باز می کند، اما انواع جدیدی از خطرات را نیز معرفی می کند که نرم افزارهای سنتی حامل آن نیستند. برای یک مدیر ارشد، مسئله اجتناب از ریسک نیست، بلکه مدیریت آگاهانه ریسک است (مدیریت ریسک؛ نظم و انضباط شناخت، اندازه گیری، کاهش ریسک ها و نگه داشتن آنها در حد قابل قبول). در این بخش، با خطرات خاص هوش مصنوعی، تأثیر تجاری آنها و روشهای کاهش عملی آشنا میشوید. هدف این نیست که «این کار را انجام ندهید زیرا خطری وجود دارد» یا «به گونهای عمل کنید که گویی خطری وجود ندارد». انجام هر ابتکار با ریسک آگاهانه است. سطح ریسکی که موسسه مایل به پذیرش آن است.
خطرات خاص هوش مصنوعی
خطرات سنتی IT (آسیب پذیری، قطعی) همچنان وجود دارد. اما هوش مصنوعی خطرات خود را اضافه می کند:
نوع ریسک
منظورت چیه؟
نمونه تاثیر کسب و کار
توهم
ساخته شده بود اما باورپذیر شد
اطلاعات نادرست به مشتری، مسئولیت قانونی
تعصب
بازتاب بی عدالتی در داده های خروجی
تصمیم تبعیض آمیز استخدام / اعتبار
نشت داده ها
نشت اطلاعات محرمانه به داخل خودرو
نقض KVKK، از دست دادن شهرت
دریفت مدل
کاهش عملکرد در طول زمان
لغو بی سر و صدا تصمیمات
اعتیاد
در یک تامین کننده قفل شده است
شوک قیمت/دسترسی
غیر قابل توضیح
ندانستن دلیل تصمیم
سختی حسابرسی و اعتراض
دو عبارت در اینجا مهم است: سوگیری زمانی است که هوش مصنوعی الگوهای ناعادلانه در آموزش داده ها را یاد می گیرد و آنها را در تصمیمات خود منعکس می کند. برای مثال، اگر دادههای استخدامی تاریخی به نفع یک گروه باشد، مدل نیز این کار را میکند. رانش مدل زمانی است که مدل منسوخ می شود و با تغییر جهان (محصولات جدید، رفتارهای جدید) عملکرد آن بی سر و صدا کاهش می یابد.
نکته: ریسک را نه بر حسب «ممکن است/نمیشود» بلکه در دو بعد در نظر بگیرید: احتمال (چقدر احتمال دارد) و تأثیر (در صورت وقوع چقدر ضرر). آنهایی که تاثیر زیاد + احتمال زیاد دارند ابتدا مورد بررسی قرار می گیرند. آنهایی که مقادیر کم + پایین دارند پذیرفته شده و نظارت می شوند.
نظارت بر اساس سطح ریسک
هر منطقه استفاده ای خطر یکسانی ندارد. رویکرد هوشمند این است که نظارت را متناسب با سطح خطر تنظیم کند:
- کم خطر (پیش نویس درونی، طوفان فکری): نظارت سبک، اولویت سرعت.
- ریسک متوسط (محتوا برای مشتری، پشتیبانی تصمیم): تایید انسانی، کنترل نمونه.
- ریسک بالا (اعتبار، استخدام، بهداشت، حقوقی): قضاوت انسانی اجباری، ثبت نام کامل، ممیزی منظم.
این رویکرد «مبتنی بر ریسک» همچنین ستون فقرات قانون هوش مصنوعی اتحادیه اروپا (واحد 9) است.
گام به گام: چرخه مدیریت ریسک
1. خطرات را بشناسید. خطرات خاص هوش مصنوعی را برای هر ابتکار فهرست کنید.
2. احتمال و تأثیر امتیاز. هر ریسک را در دو بعد ارزیابی و اولویت بندی کنید.
3. اقدامات کاهشی را تعریف کنید. مانند تایید انسانی، ناشناس سازی داده ها، ردیابی، تنوع تامین کننده.
4. ریسک باقیمانده را بپذیرید یا متوقف کنید. خطر باقی مانده پس از کاهش در صورتی که در اشتها باشد پذیرفته می شود. اگر نه، تلاش متوقف می شود.
5. تماشا و مرور کنید. ریسک ها ثابت نیستند. نظارت مداوم برای رانش و تهدیدهای جدید ضروری است.
سه کیف کوچک
مورد 1 - هزینه توهم. چت ربات مشتری یک شرکت هواپیمایی یک خط مشی غیرقابل بازپرداخت را برای مسافر ایجاد کرده است. مشتری به این موضوع اعتماد کرد و معامله را انجام داد. دادگاه شرکت را مسئول اعلامیه ربات خود دانست. درس: خروجی هوش مصنوعی برای مشتری ریسک متوسط/بالا است. تأیید و محدودیت ضروری بود. سپس ربات محدود شد تا فقط از متون خط مشی تایید شده پاسخ دهد.
مورد 2 - سوگیری خاموش. مدل غربالگری استخدام یکی از شرکتها بهدلیل عدم تعادل در دادههای تاریخی، بهطور سیستماتیک از استخدامکنندگان برخی مدارس حمایت میکرد. تفاوت در حسابرسی آشکار شد. خطر شهرت و حقوقی وجود داشت. این مدل از ویژگی های محافظت شده جدا شد و به نظارت منظم عدالت مرتبط شد. اگر تست سوگیری از ابتدا انجام می شد، این اتفاق نمی افتاد.
مورد 3 - گرفتن دریفت. با ظهور الگوی کلاهبرداری جدید، مدل کشف تقلب یک بانک بی سر و صدا تضعیف شد. میزان اشتباه از 8 درصد به 19 درصد در 3 ماه افزایش یافت. خبر خوب: آژانس نظارت بر عملکرد ماهانه را اجرا کرده بود، رانش زودهنگام شناسایی شد و مدل مجددا آموزش دید. بدون نظارت، ضرر چند برابر می شد.
چهار قالب قابل کپی
1) موجودی ریسک:
نقش شما: مدیر ریسک هوش مصنوعی. خطرات خاص هوش مصنوعی را برای موارد استفاده زیر فهرست کنید: توهم، سوگیری، نشت داده، رانش، وابستگی، غیرقابل توضیح. برای هر ریسک، در یک جمله جلوه احتمالی و تاثیر تجاری آن را در این سناریو بنویسید. منطقه استفاده: [متن]
2) امتیاز احتمال/تاثیر:
خطرات زیر را با امتیازدهی و ضرب آنها به صورت احتمال (1-5) و تأثیر (1-5) اولویت بندی کنید. توضیح دهید که چرا سه خطر اصلی را در اولویت قرار می دهید. خطرات: [فهرست]
3) طرح کاهش:
پیشنهاد اقدامات کاهشی عملی برای خطرات اولویت زیر: [خطرات]. برای هر معیار: چه کاری باید انجام شود، چه کسی مسئول است، در چه سطحی از خطر اجباری است. در صورت لزوم از نظارت انسانی، ناشناس سازی داده ها، نظارت و تنوع تامین کنندگان استفاده کنید.
4) ماتریس نظارت مبتنی بر ریسک:
حوزه های استفاده زیر را به سطح ریسک (کم/متوسط/بالا) اختصاص دهید و نظارت مورد نیاز برای هر سطح را تعیین کنید: آیا تایید انسانی مورد نیاز است، آیا سوابق نگهداری می شود، دفعات بازرسی چقدر است؟ موارد استفاده: [لیست]
اعلان ضعیف / اعلان قوی
ضعیف: "خطرات این پروژه هوش مصنوعی چیست؟"
نتیجه گیری: فهرست کلی از خطرات. احتمال، تاثیر و بدون کاهش، شما نمی توانید تصمیم بگیرید.
گوچلو: "ما در ارزیابی اولیه درخواست وام در بانک از هوش مصنوعی استفاده خواهیم کرد (انسان تصمیم نهایی را خواهد گرفت). خطرات خاص این سناریو (سوگیری، غیرقابل توضیح، توهم، حریم خصوصی داده ها) را فهرست کنید؛ هر کدام را بر اساس احتمال و تاثیر امتیاز دهید؛ پیشنهاد کاهش ملزومات و نظارت دقیق برای سه مورد از مهم ترین ریسک ها را نیز بیان کنید.
نتیجه: تجزیه و تحلیل ریسک مربوط به سناریو، امتیازدهی شده، کاهش دهنده و مرتبط با انطباق.
اشتباهات رایج
- اعمال نظارت یکسان بر همه ابتکارات. کند کردن کار کم خطر به همان اندازه مضر است که غفلت از کار پرخطر. نظارت باید بر اساس سطح ریسک باشد.
- اشتباه گرفتن توهم به عنوان یک "اشتباه کوچک". خروجی نادرست به مشتری ممکن است منجر به مسئولیت قانونی شود.
- تست نکردن برای تعصب مدلی که بدون آزمایش انصاف به کار گرفته میشود، میتواند تبعیض بیصدا ایجاد کند.
- دریفت را تماشا نمی کنم. مدلی که یک بار خوب کار می کند، برای همیشه خوب کار نمی کند. نظارت مستمر لازم است.
- قفل کردن در یک تامین کننده واحد بدون برنامه خروج، اعتیاد شما را در معرض شوک قیمت و دسترسی قرار می دهد.
احتیاط: مدیریت ریسک یکبار برای همیشه نیست. سیستم های هوش مصنوعی سیستم های زنده هستند. فقط به این دلیل که یک مدل امروز ایمن است، تضمین نمی کند که فردا ایمن خواهد بود. نظارت مستمر، بازرسی منظم و سوئیچ کشتن واضح باید بخشی از هر سیستم پرخطر باشد.
به طور خلاصه
علاوه بر خطرات سنتی فناوری اطلاعات، هوش مصنوعی خطرات منحصر به فردی مانند توهم، سوگیری، نشت داده ها، رانش، وابستگی و غیرقابل توضیح را اضافه می کند. این ریسک ها باید از نظر احتمال و تاثیر ارزیابی و اولویت بندی شوند و با اقدامات کاهشی در محدوده ریسک پذیری موسسه نگهداری شوند. نظارت یکسان نیست، اما باید متناسب با سطح خطر تنظیم شود. در تصمیم گیری های پرخطر، مردم باید حرف آخر را بزنند. مدیریت ریسک یک چرخه پیوسته است. بدون نظارت و کنترل کامل نمی شود. در واحد بعدی، ساختار حاکمیت و سیاستی را ایجاد خواهیم کرد که این رشته ریسک را دائمی می کند.
وظیفه کاربردی
یک مورد استفاده از هوش مصنوعی را انتخاب کنید و خطرات خاص آن را با الگوی 1 فهرست کنید. هر خطر را بر اساس احتمال و تأثیر امتیاز دهید، و سه مورد از مهمترین آنها را شناسایی کنید. اقدامات کاهش دقیق و سطح نظارت مورد نیاز برای این سه خطر را بنویسید. در نهایت، استفاده را بهعنوان ریسک کم/متوسط/بالا طبقهبندی کنید و توجه داشته باشید که چگونه الزامات نظارت را تغییر میدهد.
چک لیست
- [ ] من خطرات ویژه سناریوهای هوش مصنوعی را فهرست کرده ام.
- [ ] من هر ریسک را بر اساس احتمال و تاثیر نمره دادم.
- [ ] من اقدامات کاهشی را برای بحرانی ترین خطرات تعریف کرده ام.
- [ ] من منطقه استفاده را بر اساس سطح خطر طبقه بندی کرده ام.
- [ ] من نظارت را با توجه به سطح خطر تنظیم کردم.
- [ ] من آزمایش/نظارت برای سوگیری و رانش را برنامه ریزی کردم.
- [ ] من برای سیستم پرخطر صلاحیت توقف تعیین کرده ام.