Прибуток:
- Здатність розпізнавати специфічні ризики штучного інтелекту, такі як галюцинації, упередження, витік даних, дрейф моделі, залежність і незрозумілість із впливом на бізнес
- Оцінка ризиків за вимірами ймовірності та впливу та утримання їх у межах ризик-апетиту установи за допомогою заходів пом’якшення
- Здатність коригувати спостереження відповідно до рівня ризику, а не одноманітності, забезпечуючи останнє слово людини та постійний моніторинг у рішеннях з високим ризиком
Цінність і ризик – дві сторони однієї медалі. ШІ відкриває нові джерела цінності, але також створює нові типи ризиків, яких традиційне програмне забезпечення не несе. Для керівника вищої ланки питання полягає не в уникненні ризику, а в свідомому управлінні ризиком (управління ризиками; дисципліна розпізнавання, вимірювання, зменшення ризиків і утримання їх у прийнятних межах). У цьому розділі ви дізнаєтеся про ризики, характерні для штучного інтелекту, їхній вплив на бізнес і практичні методи пом’якшення. Мета полягає не в тому, щоб «не робити цього, тому що є ризик» або «діяти так, ніби ризику немає»; Це означає виконувати кожну ініціативу зі свідомим ризиком; рівень ризику, який установа готова прийняти.
Специфічні ризики ШІ
Традиційні ІТ-ризики (вразливість, збій) все ще діють; Але штучний інтелект додає свої ризики:
Тип ризику
Що ви маєте на увазі?
Приклад впливу на бізнес
галюцинація
Це було вигадано, але виявилося правдоподібним
Неправдива інформація замовнику, юридична відповідальність
упередження
Відображення несправедливості в даних на виході
Дискримінаційне рішення про найм/кредит
витік даних
Витік конфіденційних даних у транспортний засіб
Порушення КВКК, втрата репутації
Модельний дрейф
Зниження продуктивності з часом
Тихе скасування рішень
залежність
Замкнені на одного постачальника
Шок ціни/доступу
незрозумілість
Не знаючи причини рішення
Складність аудиту та заперечень
Тут важливі два терміни: упередження – це коли штучний інтелект вивчає несправедливі моделі в навчальних даних і відображає їх у своїх рішеннях; Наприклад, якщо історичні дані про прийом на роботу віддають перевагу одній групі, модель також робить це. Дрейф моделі — це коли модель застаріває, а її продуктивність мовчки знижується, коли світ змінюється (нові продукти, нова поведінка).
Порада: думайте про ризик не в термінах «може/не станеться», а в двох вимірах: ймовірність (наскільки ймовірна) і вплив (скільки шкоди, якщо це станеться). Ті, що мають великий вплив + висока ймовірність, розглядаються в першу чергу; ті з низькими+низькими значеннями приймаються та контролюються.
Спостереження за рівнем ризику
Не кожна сфера використання несе однаковий ризик. Розумний підхід полягає в адаптації стеження до рівня ризику:
- Низький ризик (чернетка вставок, мозковий штурм): легкий недогляд, пріоритет швидкості.
- Середній ризик (контент для клієнта, підтримка прийняття рішень): схвалення людини, контроль вибірки.
- Високий ризик (кредит, найм, здоров'я, юридичний): обов'язковий людський суд, повна реєстрація, регулярний аудит.
Цей «ризик-орієнтований» підхід також є основою Закону ЄС про штучний інтелект (розділ 9).
Крок за кроком: цикл управління ризиками
1. Визнайте ризики. Перелічіть специфічні ризики ШІ для кожної ініціативи.
2. Оцініть вірогідність і вплив. Оцініть і визначте пріоритетність кожного ризику в двох вимірах.
3. Визначте заходи пом'якшення. Такі як схвалення персоналом, анонімізація даних, відстеження, диверсифікація постачальників.
4. Прийняти або припинити решту ризику. Ризик, що залишається після зменшення, приймається, якщо він знаходиться в межах апетиту; Якщо ні, спроба припиняється.
5. Подивіться та перегляньте. Ризики не статичні; Необхідно постійно стежити за дрейфом і новими загрозами.
три міні-чохла
Випадок 1 — Ціна галюцинації. Клієнтський чат-бот авіакомпанії «придумав» неіснуючу політику повернення пасажиру; Клієнт повірив у це і здійснив операцію. Суд визнав компанію відповідальною за декларацію власного бота. Урок: вихід ШІ на клієнта є середнім/високим ризиком; перевірка та обмеження були важливими. Тоді боту було заборонено відповідати лише на затверджені тексти політики.
Випадок 2 — Тихе упередження. Модель перевірки найму однієї компанії систематично віддавала перевагу новобранцям із певних шкіл через дисбаланс історичних даних. Різниця була виявлена під час аудиту; Був репутаційний і юридичний ризик. Модель було відокремлено від захищених характеристик і пов’язано з регулярним моніторингом правосуддя. Якби тест на упередження проводився з самого початку, цього б не сталося.
Випадок 3 — Захоплення Дрифта. Модель виявлення шахрайства в банку була тихо ослаблена, коли з’явилася нова модель шахрайства; Відсоток промахів зріс з 8% до 19% за 3 місяці. Хороші новини: агентство запровадило щомісячний моніторинг ефективності, дрейф було виявлено на ранніх стадіях, і модель перекваліфікована. Без моніторингу втрати б зросли в рази.
Чотири шаблони, які можна копіювати
1) Інвентаризація ризиків:
Ваша роль: ризик-менеджер ШІ. Перелічіть специфічні ризики штучного інтелекту для наступного випадку використання: галюцинація, упередженість, витік даних, дрейф, залежність, незрозумілість. Для кожного ризику запишіть одним реченням його можливий прояв і вплив на бізнес у цьому сценарії. Область використання: [текст]
2) Оцінка ймовірності/впливу:
Розташуйте наступні ризики за пріоритетністю, оцінивши та помноживши їх на ймовірність (1-5) і вплив (1-5). Поясніть, чому ви віддаєте пріоритет трьом найбільшим ризикам. Ризики: [список]
3) План пом'якшення наслідків:
Запропонуйте практичні заходи пом'якшення наступних пріоритетних ризиків: [ризики]. Для кожного заходу: що робити, хто відповідальний, на якому рівні ризику є обов’язковим. Використовуйте людське спостереження, анонімізацію даних, моніторинг і диверсифікацію постачальників, де це доречно.
4) Матриця нагляду на основі ризиків:
Призначте такі сфери використання до рівня ризику (низький/середній/високий) і визначте нагляд, необхідний для кожного рівня: чи потрібен дозвіл людини, чи зберігатимуться записи, яка частота перевірок? Використання: [список]
Слабка підказка / Сильна підказка
Слабкий: «Які ризики цього проекту ШІ?»
Висновок: Загальний перелік ризиків; ймовірність, вплив і відсутність пом’якшення, ви не можете вирішити.
Гючлю: «Ми використовуватимемо штучний інтелект під час попередньої оцінки кредитної заявки в банку (остаточне рішення прийматиме людина). Перелічіть ризики, характерні для цього сценарію (упередженість, незрозумілість, галюцинації, конфіденційність даних); оцініть кожен за ймовірністю та впливом; запропонуйте конкретні вимоги щодо пом’якшення та нагляду для трьох найбільш критичних. Також вкажіть, що це означає для відповідності, що це вважається високим ризиком».
Результат: специфічний для конкретного сценарію аналіз ризиків із оцінкою, пом’якшенням і відповідністю.
Поширені помилки
- Застосування однакового контролю за всіма ініціативами. Уповільнення роботи з низьким ризиком так само шкідливо, як і нехтування роботою з високим ризиком; Спостереження має базуватися на рівні ризику.
- Помилково приймаючи галюцинацію за «маленьку помилку». Неправильна інформація для клієнта може призвести до юридичної відповідальності.
- Без перевірки на упередженість. Модель, застосована без тестування на справедливість, може призвести до мовчазної дискримінації.
- Не дивлюсь Drift. Модель, яка добре працює один раз, не працює добре завжди; Потрібен постійний контроль.
- Блокування в одному постачальнику. Без плану виходу залежність залишає вас відкритими для шоку від ціни та доступу.
Застереження: управління ризиками не раз і назавжди; Системи штучного інтелекту є живими системами. Те, що модель безпечна сьогодні, не гарантує, що вона буде безпечною завтра. Постійний моніторинг, регулярні перевірки та чіткий вимикач повинні бути частиною кожної системи високого ризику.
Підсумовуючи
Окрім традиційних ІТ-ризиків, штучний інтелект додає такі унікальні ризики, як галюцинації, упередженість, витік даних, дрейф, залежність і незрозумілість. Ці ризики слід оцінювати та визначати пріоритети з точки зору ймовірності та впливу, і їх слід утримувати в межах ризик-апетиту установи за допомогою заходів щодо пом’якшення. Спостереження не є однорідним, але має бути пристосованим до рівня ризику; У прийнятті ризикованих рішень останнє слово має бути за людьми. Управління ризиками є безперервним циклом; не є повним без моніторингу та контролю. У наступному підрозділі ми створимо структуру управління та політики, яка зробить цю дисципліну ризиків постійною.
Аплікаційне завдання
Виберіть варіант використання ШІ та перелічіть його конкретні ризики за шаблоном 1. Оцініть кожен ризик за ймовірністю та впливом, визначивши три найбільш критичні. Напишіть конкретні заходи пом’якшення та рівень контролю, необхідний для цих трьох ризиків. Нарешті, класифікуйте використання як низький/середній/високий ризик і зауважте, як це змінює вимоги до нагляду.
контрольний список
- [ ] Я перерахував ризики, характерні для конкретного сценарію штучного інтелекту.
- [ ] Я оцінив кожен ризик за ймовірністю та впливом.
- [ ] Я визначив заходи пом’якшення найбільш критичних ризиків.
- [ ] Я класифікував область використання відповідно до рівня ризику.
- [ ] Я налаштував спостереження відповідно до рівня ризику.
- [ ] Я запланував тестування/моніторинг упередженості та дрейфу.
- [ ] Я встановив право зупинки для системи високого ризику.