Табыстар:
- Галлюцинация, бұрмалану, деректердің ағуы, модельдің ауытқуы, тәуелділік және бизнеске әсер ететін түсініксіздігі сияқты AI-ға тән тәуекелдерді тану мүмкіндігі
- Ықтималдық пен әсер ету өлшемдеріндегі тәуекелдерді бағалау және оларды азайту шараларымен мекеменің тәуекелдік аппетитінде ұстау
- Қадағалауды біркелкі емес, тәуекел деңгейіне қарай реттеу мүмкіндігі, адамның соңғы сөзін және жоғары тәуекелді шешімдерде үздіксіз бақылауды қамтамасыз ету
Құндылық пен тәуекел – бір тиынның екі жағы. AI құндылықтың жаңа көздерін ашады, бірақ ол дәстүрлі бағдарламалық жасақтама көтермейтін тәуекелдердің жаңа түрлерін де енгізеді. Аға басшы үшін мәселе тәуекелді болдырмау емес, тәуекелді саналы түрде басқару (тәуекелді басқару; тәуекелдерді тану, өлшеу, азайту және оларды қолайлы шектерде ұстау тәртібі). Бұл бөлімде сіз AI-ға тән тәуекелдер, олардың бизнеске әсері және іс жүзінде азайту әдістері туралы білесіз. Мақсат – «тәуекел бар деп жасамау» немесе «тәуекел жоқ сияқты әрекет ету» емес; Ол әрбір бастаманы саналы тәуекел тәбетімен жүзеге асыру; мекеме қабылдауға дайын тәуекел деңгейі.
AI-ға тән тәуекелдер
Дәстүрлі АТ тәуекелдері (осалдық, үзіліс) әлі де қолданылады; Бірақ жасанды интеллект өзінің тәуекелдерін қосады:
Тәуекел түрі
Сіз нені білдіреді?
Іскерлік әсердің мысалы
галлюцинация
Ол ойдан шығарылды, бірақ ол сенімді болып шықты
Тапсырыс берушіге дұрыс емес ақпарат, заңды жауапкершілік
алалаушылық
Шығарылған деректердегі әділетсіздіктің көрінісі
Дискриминациялық жұмысқа қабылдау/несиелік шешім
деректердің ағып кетуі
Құпия деректердің көлікке ағып кетуі
КВКК бұзу, беделін түсіру
Модельді дрейф
Уақыт өте келе өнімділіктің төмендеуі
Шешімдерді тыныш бұзу
тәуелділік
Бір жеткізушіге құлыпталған
Баға/қолжетімділік шок
түсініксіздігі
Шешімнің себебін білмеу
Аудит және қарсылық қиындығы
Мұнда екі термин маңызды: біржақтылық жасанды интеллект оқыту деректеріндегі әділетсіз үлгілерді үйреніп, оларды шешімдерінде көрсетеді; Мысалы, егер тарихи жалдау деректері бір топқа ұнаса, үлгі де солай етеді. Модельдің дрейфі - әлем өзгерген сайын (жаңа өнімдер, жаңа мінез-құлықтар) модель ескірсе және оның өнімділігі үнсіз төмендейді.
Кеңес: Тәуекелді «болуы мүмкін/болмайды» тұрғысынан емес, екі өлшемде ойлаңыз: ықтималдық (қаншалықты ықтимал) және әсер (егер ол орын алса, қаншалықты зиян). Әсері жоғары + ықтималдығы жоғарылар бірінші кезекте шешіледі; төмен+төмен мәндері барлар қабылданады және бақыланады.
Тәуекел деңгейіне сәйкес қадағалау
Әрбір пайдалану аймағы бірдей қауіпке ие емес. Тәуекел деңгейіне қадағалауды бейімдеу ақылды тәсіл болып табылады:
- Төмен тәуекел (ішкі жоба, миға шабуыл): жеңіл қадағалау, жылдамдық басымдығы.
- Орташа тәуекел (тұтынушыға арналған мазмұн, шешімді қолдау): адамның мақұлдауы, сынаманы бақылау.
- Тәуекел деңгейі жоғары (несие, жұмысқа қабылдау, денсаулық, заң): міндетті адам пікірі, толық тіркеу, тұрақты аудит.
Бұл «тәуекелге негізделген» тәсіл де ЕО AI заңының негізі болып табылады (9-бөлім).
Қадамдық: тәуекелдерді басқару циклі
1. Тәуекелдерді тану. Әрбір бастама үшін AI-ға тән тәуекелдерді тізімдеңіз.
2. Ықтималдық пен әсерді бағалаңыз. Әрбір тәуекелді екі өлшемде бағалаңыз және басымдық беріңіз.
3. Жеңілдету шарасын анықтаңыз. Адамды мақұлдау, деректерді анонимдеу, қадағалау, жеткізушілерді әртараптандыру сияқты.
4. Қалған тәуекелді қабылдаңыз немесе тоқтатыңыз. Азайғаннан кейін қалған тәуекел тәбет шегінде болса қабылданады; Олай болмаса, әрекет тоқтатылады.
5. Қарау және шолу. Тәуекелдер тұрақты емес; Дрейф пен жаңа қауіптерді үнемі бақылау өте маңызды.
үш шағын іс
1-жағдай - Галлюцинация құны. Әуе компаниясының тұтынушы чатботы жолаушы үшін жоқ қайтару саясатын «ойдан шығарды»; Клиент бұған сеніп, транзакцияны жасады. Сот компанияны өз роботының мәлімдемесі үшін жауапты деп тапты. Сабақ: Тұтынушыға AI шығысы орташа/жоғары тәуекел; тексеру және шектеу маңызды болды. Содан кейін бот тек бекітілген саясат мәтіндеріне жауап берумен шектелді.
2-жағдай — Үнсіз бейімділік. Бір компанияның жалдау скринингтік үлгісі тарихи деректердегі теңгерімсіздікке байланысты белгілі бір мектептерден жұмысқа қабылдауды жүйелі түрде қолдады. Айырмашылық аудитте анықталды; Репутация мен заңды тәуекел болды. Модель қорғалған сипаттамалардан ажыратылды және тұрақты әділеттілік мониторингімен байланысты болды. Егер қиғаштық сынағы басынан бері жүргізілсе, мұндай жағдай болмас еді.
3-жағдай - Дрифттің түсірілуі. Жаңа алаяқтық үлгісі пайда болған кезде банктің алаяқтықты анықтау моделі тыныш әлсіреді; 3 айда жіберіп алу көрсеткіші 8%-дан 19%-ға дейін өсті. Жақсы жаңалық: агенттік ай сайынғы өнімділік мониторингін енгізді, дрейф ерте анықталды және модель қайта оқытылды. Бақылау болмаса, шығын еселенер еді.
Көшірілетін төрт үлгі
1) Тәуекелді түгендеу:
Сіздің рөліңіз: AI тәуекел менеджері. Келесі пайдалану жағдайлары үшін AI-ға тән тәуекелдерді тізімдеңіз: галлюцинация, қиғаштық, деректердің ағып кетуі, дрейф, тәуелділік, түсініксіз. Әрбір тәуекел үшін бір сөйлеммен оның ықтимал көрінісін және осы сценарийдегі іскерлік әсерін жазыңыз. Қолдану аймағы: [мәтін]
2) Ықтималдық/әсерді бағалау:
Ықтималдық (1-5) және әсер ету (1-5) ретінде балл қою және көбейту арқылы келесі тәуекелдерге басымдық беріңіз. Неліктен негізгі үш тәуекелге басымдық беретініңізді түсіндіріңіз. Тәуекелдер: [тізім]
3) Әсер ету жоспары:
Келесі басымдықты тәуекелдер үшін іс жүзінде азайту шараларын ұсыныңыз: [тәуекелдер]. Әрбір шара бойынша: не істеу керек, кім жауапты, тәуекелдің қандай деңгейінде міндетті. Қажет болған жағдайда адамдарды бақылауды, деректерді анонимизациялауды, мониторингті және жеткізушілерді әртараптандыруды пайдаланыңыз.
4) Тәуекелге негізделген қадағалау матрицасы:
Тәуекел деңгейіне (төмен/орта/жоғары) пайдаланудың келесі бағыттарын тағайындаңыз және әрбір деңгей үшін қажетті қадағалауды анықтаңыз: адамның рұқсаты қажет пе, жазбалар жүргізіле ме, тексеру жиілігі қандай? Қолданады: [тізім]
Әлсіз шақыру / Күшті шақыру
Әлсіз: «Бұл AI жобасының тәуекелдері қандай?»
Қорытынды: Тәуекелдердің жалпы тізімі; ықтималдық, әсер және жұмсарту жоқ, сіз шеше алмайсыз.
Гүчлү: "Біз банктегі несие өтінімін алдын ала бағалауда AI-ды қолданамыз (соңғы шешімді адам қабылдайды). Осы сценарийге тән тәуекелдерді тізіңіз (біржақтылық, түсініксіздігі, галлюцинация, деректердің құпиялылығы); ықтималдық пен әсер бойынша әрқайсысын бағалаңыз; үшеуі үшін нақты жеңілдету және қадағалау талаптарын ұсыныңыз. Бұл ең маңызды тәуекел үшін нені білдіреді деп есептеңіз."
Нәтиже: сценарийге қатысты, баллдық, жеңілдететін және сәйкестікке байланысты тәуекелді талдау.
Жалпы қателер
- Барлық бастамаларға бірдей қадағалауды қолдану. Тәуекелділігі төмен жұмысты бәсеңдету қауіптілігі жоғары жұмысты елемеу сияқты зиянды; Бақылау тәуекел деңгейіне негізделуі керек.
- Галлюцинацияны «кішкентай қателік» деп қателесу. Тұтынушыға дұрыс емес шығу заңды жауапкершілікке әкелуі мүмкін.
- Біржақтылықты сынамау. Әділдік сынағысыз орналастырылған модель үнсіз кемсітушілікті тудыруы мүмкін.
- Drift қолданбасын. Бір рет жақсы жұмыс істейтін модель мәңгі жұмыс істемейді; Тұрақты бақылау қажет.
- Бір жеткізушіде құлыптау. Шығу жоспарынсыз, нашақорлық сізді баға мен соққыға ашық қалдырады.
Абайлаңыз: тәуекелдерді басқару біржола емес; Жасанды интеллект жүйелері тірі жүйелер болып табылады. Модельдің бүгін қауіпсіз болуы оның ертең қауіпсіз болатынына кепілдік бермейді. Үздіксіз бақылау, жүйелі тексеру және анық өшіру қосқышы әрбір жоғары тәуекелді жүйенің бөлігі болуы керек.
Қысқаша айтқанда
Дәстүрлі АТ тәуекелдерінің үстіне AI галлюцинация, қиғаштық, деректердің ағып кетуі, дрейф, тәуелділік және түсініксіздігі сияқты бірегей тәуекелдерді қосады. Бұл тәуекелдер ықтималдық пен әсер ету тұрғысынан бағалануы және басымдылығы болуы керек және азайту шараларымен мекеменің тәуекел тәбетінде сақталуы керек. Бақылау біркелкі емес, бірақ тәуекел деңгейіне бейімделуі керек; Тәуекелділігі жоғары шешімдерде соңғы сөзді адамдар айтуы керек. Тәуекелдерді басқару үздіксіз цикл болып табылады; бақылаусыз және бақылаусыз аяқталмайды. Келесі бөлімде біз осы тәуекел тәртібін тұрақты ететін басқару және саясат құрылымын орнатамыз.
Қолданбалы тапсырма
AI пайдалану жағдайын таңдап, 1-үлгі арқылы оның нақты тәуекелдерін тізімдеңіз. Ең маңызды үшеуін анықтай отырып, әрбір тәуекелді ықтималдық пен әсерге қарай бағалаңыз. Осы үш тәуекелді азайтудың нақты шараларын және қажетті қадағалау деңгейін жазыңыз. Соңында, пайдалануды төмен/орташа/жоғары тәуекел ретінде жіктеңіз және оның қадағалау талаптарын қалай өзгертетінін ескеріңіз.
бақылау парағы
- [ ] Мен жасанды интеллект сценарийіне тән тәуекелдерді тізімдедім.
- [ ] Мен әрбір тәуекелді ықтималдық пен әсерге қарай бағаладым.
- [ ] Мен ең маңызды тәуекелдер үшін азайту шараларын анықтадым.
- [ ] Мен пайдалану аймағын қауіп деңгейіне қарай жіктедім.
- [ ] Қауіп деңгейіне сәйкес қадағалауды реттедім.
- [ ] Мен қиғаштық пен дрейфке тестілеуді/бақылауды жоспарладым.
- [ ] Мен жоғары тәуекел жүйесі үшін тоқтату өкілеттігін белгіледім.