Прибыль:
- Способность распознавать специфические риски ИИ, такие как галлюцинации, предвзятость, утечка данных, дрейф модели, зависимость и необъяснимость, влияющие на бизнес.
- Оценка рисков по измерениям вероятности и воздействия и поддержание их в пределах аппетита к риску учреждения с помощью мер по смягчению последствий.
- Возможность корректировать эпиднадзор в соответствии с уровнем риска, а не единообразием, гарантируя, что последнее слово будет за человеком, и непрерывный мониторинг при принятии решений, связанных с высоким риском.
Ценность и риск — две стороны одной медали. ИИ открывает новые источники стоимости, но также привносит новые виды рисков, которые не несет в себе традиционное программное обеспечение. Для старшего менеджера проблема заключается не в том, чтобы избежать риска, а в том, чтобы сознательно управлять риском (риск-менеджмент; дисциплина распознавания, измерения, снижения рисков и удержания их в приемлемых пределах). В этом модуле вы узнаете о рисках, характерных для ИИ, их влиянии на бизнес и практических методах их снижения. Цель состоит не в том, чтобы «не делать этого, потому что существует риск» или «действовать так, как будто риска нет»; Это значит осуществлять каждую инициативу с осознанной склонностью к риску; уровень риска, который организация готова принять.
Риски, связанные с ИИ
Традиционные ИТ-риски (уязвимости, сбои в работе) по-прежнему актуальны; Но искусственный интеллект добавляет свои риски:
Тип риска
Что ты имеешь в виду?
Пример влияния на бизнес
галлюцинация
Это было придумано, но получилось правдоподобно
Неверная информация клиенту, юридическая ответственность
предубеждение
Отражение несправедливости в данных на выходе
Дискриминационное решение о найме/кредитовании
утечка данных
Конфиденциальные данные просочились в автомобиль
Нарушение КВКК, потеря репутации
Дрейф модели
Снижение производительности со временем
Тихая отмена решений
зависимость
Привязанность к одному поставщику
Шок цен/доступа
необъяснимость
Не зная причины решения
Аудит и сложность возражений
Здесь важны два термина: предвзятость — это когда искусственный интеллект изучает несправедливые закономерности в обучающих данных и отражает их в своих решениях; Например, если исторические данные о найме отдают предпочтение одной группе, модель тоже. Дрейф модели — это когда модель устаревает, а ее производительность незаметно снижается по мере изменения мира (новые продукты, новое поведение).
Совет: думайте о риске не с точки зрения «может/не произойдет», а в двух измерениях: вероятность (насколько вероятно) и влияние (насколько велик вред, если это произойдет). Те, которые имеют большое влияние + высокую вероятность, рассматриваются в первую очередь; те, у кого значения low+low, принимаются и контролируются.
Надзор в зависимости от уровня риска
Не каждая область использования несет одинаковый риск. Разумный подход заключается в том, чтобы адаптировать надзор к уровню риска:
- Низкий риск (врезной черновик, мозговой штурм): небольшой надзор, приоритет скорости.
- Средний риск (контент для клиента, поддержка принятия решений): одобрение человека, выборочный контроль.
- Высокий риск (кредитный, рекрутинговый, медицинский, юридический): обязательное человеческое мнение, полная регистрация, регулярный аудит.
Этот «риск-ориентированный» подход также лежит в основе Закона ЕС об искусственном интеллекте (раздел 9).
Шаг за шагом: цикл управления рисками
1. Осознайте риски. Перечислите риски, связанные с ИИ, для каждой инициативы.
2. Оцените вероятность и влияние. Оцените и расставьте приоритеты для каждого риска в двух измерениях.
3. Определить меры по смягчению последствий. Такие как одобрение человека, анонимизация данных, отслеживание, диверсификация поставщиков.
4. Примите или прекратите остающийся риск. Риск, остающийся после снижения, принимается, если он находится в пределах аппетита; В противном случае попытка прекращается.
5. Смотрите и анализируйте. Риски не статичны; Крайне важен постоянный мониторинг дрейфа и новых угроз.
три мини-кейса
Случай 1 — Цена галлюцинаций. Чат-бот авиакомпании для клиентов «придумал» несуществующую политику возврата средств для пассажира; Клиент поверил этому и совершил сделку. Суд признал компанию ответственной за заявление собственного бота. Урок: вывод ИИ клиенту сопряжен со средним/высоким риском; проверка и ограничение имеют важное значение. Затем боту было разрешено отвечать только на утвержденные тексты политики.
Случай 2 — Тихая предвзятость. Модель отбора персонала одной компании систематически отдавала предпочтение новобранцам из определенных школ из-за дисбаланса в исторических данных. Разница была выявлена в ходе проверки; Был репутационный и юридический риск. Модель была отделена от защищаемых характеристик и связана с регулярным мониторингом правосудия. Если бы тест на предвзятость проводился с самого начала, этого бы не произошло.
Случай 3 — Поимка Дрифта. Модель обнаружения мошенничества в банке незаметно ослабла, когда возникла новая схема мошенничества; Процент промахов увеличился с 8% до 19% за 3 месяца. Хорошие новости: агентство внедрило ежемесячный мониторинг производительности, дрейф был обнаружен заранее, и модель была переобучена. Без мониторинга потери были бы многократно увеличены.
Четыре копируемых шаблона
1) Инвентаризация рисков:
Ваша роль: менеджер по рискам ИИ. Перечислите специфические риски ИИ для следующего варианта использования: галлюцинации, предвзятость, утечка данных, дрейф, зависимость, необъяснимость. Для каждого риска напишите в одном предложении его возможное проявление и влияние на бизнес в данном сценарии. Область использования: [текст]
2) Оценка вероятности/воздействия:
Расставьте приоритеты для следующих рисков, оценив их и умножив на вероятность (1–5) и воздействие (1–5). Объясните, почему вы отдаете приоритет трем основным рискам. Риски: [список]
3) План смягчения последствий:
Предложить практические меры по смягчению следующих приоритетных рисков: [риски]. По каждой мере: что делать, кто несет ответственность, при каком уровне риска обязательна. При необходимости используйте наблюдение за людьми, анонимизацию данных, мониторинг и диверсификацию поставщиков.
4) Матрица надзора на основе рисков:
Назначьте следующие области использования уровню риска (низкий/средний/высокий) и определите необходимый надзор для каждого уровня: требуется ли одобрение человека, будут ли вестись записи, какова частота проверок? Использование: [список]
Слабая подсказка / Сильная подсказка
Слабый: «Каковы риски этого проекта ИИ?»
Вывод: Общий список рисков; вероятность, влияние и отсутствие смягчения последствий, вы не можете решить.
Гючлю: «Мы будем использовать ИИ при предварительной оценке заявки на кредит в банке (окончательное решение примет человек). Перечислите риски, характерные для этого сценария (предвзятость, необъяснимость, галлюцинации, конфиденциальность данных); оцените каждый по вероятности и воздействию; предложите конкретные требования по смягчению последствий и надзору для трех наиболее важных. Также укажите, что для соответствия означает, что это считается высоким риском».
Результат: анализ рисков, связанных с конкретным сценарием, с оценкой, смягчением и соблюдением требований.
Распространенные ошибки
- Применение одного и того же надзора ко всем инициативам. Замедление выполнения работ с низким уровнем риска так же вредно, как и пренебрежение работами с высоким риском; Надзор должен основываться на уровне риска.
- Принятие галлюцинации за «маленькую ошибку». Неправильный вывод данных клиенту может привести к юридической ответственности.
- Не проверяю на предвзятость. Модель, используемая без проверки на справедливость, может привести к молчаливой дискриминации.
- Не смотрю Дрифт. Модель, которая хорошо сработала однажды, не будет работать хорошо всегда; Требуется постоянный контроль.
- Зацикливание на одном поставщике. Без плана выхода зависимость оставляет вас открытыми для ценового шока и шока доступа.
Внимание: управление рисками не осуществляется раз и навсегда; Системы искусственного интеллекта — это живые системы. Тот факт, что модель безопасна сегодня, не гарантирует, что она будет безопасна завтра. Непрерывный мониторинг, регулярные проверки и четкий аварийный выключатель должны быть частью каждой системы высокого риска.
В заключение
Помимо традиционных ИТ-рисков, ИИ добавляет уникальные риски, такие как галлюцинации, предвзятость, утечка данных, дрейф, зависимость и необъяснимость. Эти риски должны быть оценены и расставлены по приоритетам с точки зрения вероятности и воздействия, и их следует поддерживать в пределах аппетита к риску учреждения с помощью мер по смягчению последствий. Надзор не является единообразным, но должен быть адаптирован к уровню риска; При принятии решений, связанных с высоким риском, последнее слово должно оставаться за людьми. Управление рисками представляет собой непрерывный цикл; не обходится без мониторинга и контроля. В следующем разделе мы создадим структуру управления и политики, которая сделает эту дисциплину управления рисками постоянной.
Задача приложения
Выберите вариант использования ИИ и перечислите его конкретные риски с помощью шаблона 1. Оцените каждый риск по вероятности и влиянию, выделив три наиболее важных. Напишите конкретные меры по смягчению последствий и уровень надзора, необходимый для этих трех рисков. Наконец, классифицируйте использование как низкий/средний/высокий риск и отметьте, как это меняет требования надзора.
контрольный список
- [ ] Я перечислил риски, характерные для конкретного сценария искусственного интеллекта.
- [ ] Я оценил каждый риск по вероятности и влиянию.
- [ ] Я определил меры по смягчению наиболее критических рисков.
- [ ] Я классифицировал область использования в соответствии с уровнем риска.
- [ ] Я скорректировал наблюдение в соответствии с уровнем риска.
- [ ] Я планировал тестирование/мониторинг на предмет предвзятости и дрейфа.
- [ ] Я установил полномочия на остановку системы высокого риска.