Печалби:
- Способност за разпознаване на специфични за AI рискове като халюцинации, пристрастия, изтичане на данни, отклонение на модела, зависимост и необяснимост с бизнес въздействие
- Оценяване на рисковете в измеренията на вероятността и въздействието и поддържането им в рамките на рисковия апетит на институцията с мерки за смекчаване
- Възможност за регулиране на наблюдението според нивото на риска, а не според еднообразието, като се гарантира крайната дума на човека и непрекъснат мониторинг при високорискови решения
Стойността и рискът са двете страни на една и съща монета. AI отваря нови източници на стойност, но също така въвежда нови видове рискове, които традиционният софтуер не носи. За висшия мениджър проблемът не е да избягва риска, а съзнателно да управлява риска (управление на риска; дисциплината за разпознаване, измерване, намаляване на рисковете и поддържането им в приемливи граници). В този раздел ще научите за рисковете, специфични за ИИ, тяхното въздействие върху бизнеса и практически методи за смекчаване. Целта не е „да не го правиш, защото има риск“ или „да действаш така, сякаш няма риск“; Това е да изпълнявате всяка инициатива със съзнателен апетит за риск; нивото на риск, което институцията е готова да поеме.
Специфични за AI рискове
Традиционните ИТ рискове (уязвимост, прекъсване) все още се прилагат; Но изкуственият интелект добавя своите рискове:
Тип риск
какво искаш да кажеш
Примерно въздействие върху бизнеса
халюцинация
Беше измислено, но се оказа правдоподобно
Невярна информация към клиента, правна отговорност
предразсъдъци
Отражението на несправедливостта в данните за изхода
Дискриминационно решение за наемане/кредит
изтичане на данни
Изтичане на поверителни данни в автомобила
Нарушение на KVKK, загуба на репутация
Моделен дрифт
Влошаване на производителността с течение на времето
Тиха отмяна на решения
пристрастяване
Заключен в един доставчик
Шок от цена/достъп
необяснимост
Не знаейки причината за решението
Трудност при одит и възражение
Два термина са важни тук: пристрастие е, когато изкуственият интелект научава несправедливи модели в данните за обучение и ги отразява в своите решения; Например, ако историческите данни за наемане са в полза на една група, моделът също го прави. Дрейфът на модела е, когато моделът остарее и неговата производителност тихо намалява с промените в света (нови продукти, ново поведение).
Съвет: Мислете за риска не от гледна точка на „може/няма да се случи“, а в две измерения: вероятност (колко вероятно) и въздействие (колко вреда, ако се случи). Тези със силно въздействие + висока вероятност се разглеждат първо; тези с ниски+ниски стойности се приемат и наблюдават.
Наблюдение според степента на риск
Не всяка област на използване носи същия риск. Интелигентният подход е да се приспособи наблюдението към нивото на риск:
- Нисък риск (вмъкната чернова, мозъчна атака): лек пропуск, приоритет на скоростта.
- Среден риск (съдържание за клиента, подкрепа за вземане на решения): човешко одобрение, контрол на вземане на проби.
- Висок риск (кредит, набиране на персонал, здраве, правен): задължителна човешка преценка, пълна регистрация, редовен одит.
Този „базиран на риска“ подход е и гръбнакът на Закона за ИИ на ЕС (раздел 9).
Стъпка по стъпка: цикъл на управление на риска
1. Разпознайте рисковете. Избройте специфичните за ИИ рискове за всяка инициатива.
2. Оценка на вероятността и въздействието. Оценете и приоритизирайте всеки риск в две измерения.
3. Определете смекчаваща мярка. Като одобрение от хора, анонимизиране на данните, проследяване, диверсификация на доставчиците.
4. Приемете или спрете оставащия риск. Рискът, оставащ след намалението, се приема, ако е в рамките на апетита; Ако не, опитът спира.
5. Гледайте и преглеждайте. Рисковете не са статични; Постоянното наблюдение за дрейф и нови заплахи е от съществено значение.
три мини калъфа
Случай 1 — Цената на халюцинациите. Клиентският чатбот на авиокомпания „измисли“ несъществуваща политика за възстановяване на средства за пътник; Клиентът се довери на това и направи транзакцията. Съдът държи компанията отговорна за декларацията на собствения си бот. Урок: Изходът на AI към клиента е среден/висок риск; проверката и ограничаването бяха от съществено значение. След това ботът беше ограничен да отговаря само от одобрени текстове на политики.
Случай 2 — Мълчаливо отклонение. Моделът за скрининг на наемане на една компания систематично предпочиташе новобранци от определени училища поради дисбаланс в историческите данни. Разликата беше разкрита при одит; Имаше репутационен и правен риск. Моделът беше отделен от защитените характеристики и свързан с редовен мониторинг на правосъдието. Ако тестът за отклонение беше направен от самото начало, това нямаше да се случи.
Случай 3 — Улавяне на Дрифт. Моделът на банката за откриване на измами беше тихо отслабен, когато се появи нов модел на измами; Процентът на пропуски се увеличи от 8% на 19% за 3 месеца. Добра новина: агенцията е внедрила месечен мониторинг на ефективността, отклонението е открито рано и моделът е преквалифициран. Без мониторинг загубата би се умножила.
Четири копируеми шаблона
1) Инвентаризация на риска:
Вашата роля: AI риск мениджър. Избройте специфичните за AI рискове за следния случай на употреба: халюцинации, пристрастия, изтичане на данни, отклонение, зависимост, необяснимост. За всеки риск напишете с едно изречение възможното му проявление и въздействие върху бизнеса при този сценарий. Област на използване: [текст]
2) Оценяване на вероятността/въздействието:
Дайте приоритет на следните рискове, като ги оцените и умножите като вероятност (1-5) и въздействие (1-5). Обяснете защо давате приоритет на първите три риска. Рискове: [списък]
3) План за смекчаване:
Предложете практически мерки за смекчаване на следните приоритетни рискове: [рискове]. За всяка мярка: какво да се прави, кой е отговорен, при какво ниво на риск е задължително. Използвайте човешко наблюдение, анонимизиране на данните, наблюдение и диверсификация на доставчиците, когато е подходящо.
4) Матрица за наблюдение, базирана на риска:
Присвойте следните области на употреба на ниво на риск (ниско/средно/високо) и определете надзора, необходим за всяко ниво: необходимо ли е одобрение от хора, ще се водят ли записи, каква е честотата на проверките? Използва: [списък]
Слаба подкана / Силна подкана
Слаб: „Какви са рисковете от този AI проект?“
Заключение: Общ списък на рисковете; вероятност, въздействие и без смекчаване, не можете да решите.
Güçlü: „Ще използваме AI при предварителната оценка на заявление за заем в банка (човекът ще вземе окончателното решение). Избройте рисковете, специфични за този сценарий (пристрастност, необяснимост, халюцинации, поверителност на данните); оценете всеки по вероятност и въздействие; предложете конкретни смекчаващи и надзорни изисквания за трите най-критични. Също така посочете какво означава за съответствието, че това се счита за висок риск.“
Резултатът: специфичен за сценария, оценен, смекчаващ и свързан със съответствието анализ на риска.
Често срещани грешки
- Прилагане на един и същ надзор към всички инициативи. Забавянето на работата с нисък риск е също толкова вредно, колкото пренебрегването на работата с висок риск; Наблюдението трябва да се основава на нивото на риска.
- Погрешно приемане на халюцинацията като "малка грешка". Неправилният изход към клиента може да доведе до правна отговорност.
- Без тестване за пристрастия. Моделът, разгърнат без тестване за справедливост, може да доведе до тиха дискриминация.
- Не гледам Дрифт. Модел, който работи добре веднъж, не работи добре завинаги; Необходимо е постоянно наблюдение.
- Заключване в един доставчик. Без план за излизане, пристрастяването ви оставя отворени за шок от цената и достъпа.
Внимание: Управлението на риска не е веднъж завинаги; Системите с изкуствен интелект са живи системи. Това, че един модел е безопасен днес, не гарантира, че ще бъде безопасен и утре. Непрекъснатият мониторинг, редовните инспекции и ясният прекъсвач трябва да бъдат част от всяка система с висок риск.
В обобщение
В допълнение към традиционните ИТ рискове, AI добавя уникални рискове като халюцинации, пристрастия, изтичане на данни, отклонение, зависимост и необяснимост. Тези рискове трябва да бъдат оценени и приоритизирани от гледна точка на вероятност и въздействие и трябва да бъдат поддържани в рамките на апетита за риск на институцията с мерки за смекчаване. Наблюдението не е еднообразно, а трябва да бъде съобразено с нивото на риск; При високорискови решения хората трябва да имат последната дума. Управлението на риска е непрекъснат цикъл; не е пълно без наблюдение и контрол. В следващата част ще установим структурата на управление и политика, която прави тази рискова дисциплина постоянна.
Задача за приложение
Изберете случай на използване на AI и избройте неговите специфични рискове с шаблон 1. Оценете всеки риск по вероятност и въздействие, като идентифицирате трите най-критични. Напишете конкретни мерки за смекчаване и нивото на надзор, необходимо за тези три риска. И накрая, класифицирайте употребата като нисък/среден/висок риск и отбележете как това променя изискванията за надзор.
контролен списък
- [ ] Изброих рисковете, специфични за конкретния сценарий с изкуствен интелект.
- [ ] Оцених всеки риск по вероятност и въздействие.
- [ ] Определих мерки за смекчаване на най-критичните рискове.
- [ ] Класифицирах зоната на използване според нивото на риск.
- [ ] Настроих наблюдението според нивото на риска.
- [ ] Планирах тестване/мониторинг за отклонение и дрейф.
- [ ] Зададох пълномощия за спиране за системата с висок риск.