Zyski:
- Umiejętność rozpoznawania zagrożeń związanych ze sztuczną inteligencją, takich jak halucynacje, stronniczość, wyciek danych, dryf modelu, zależność i niewytłumaczalność mająca wpływ na działalność biznesową
- Ocena ryzyk w wymiarach prawdopodobieństwa i wpływu oraz utrzymywanie ich w ramach apetytu na ryzyko instytucji za pomocą środków łagodzących
- Możliwość dostosowania nadzoru w zależności od poziomu ryzyka, a nie jednolitości, zapewniając ostateczne zdanie człowieka i ciągłe monitorowanie w przypadku decyzji wysokiego ryzyka
Wartość i ryzyko to dwie strony tej samej monety. Sztuczna inteligencja otwiera nowe źródła wartości, ale wprowadza też nowe rodzaje zagrożeń, których nie niesie ze sobą tradycyjne oprogramowanie. Dla menedżera wyższego szczebla nie chodzi o unikanie ryzyka, ale o jego świadome zarządzanie (zarządzanie ryzykiem; dyscyplina polegająca na rozpoznawaniu, mierzeniu, ograniczaniu ryzyka i utrzymywaniu go na akceptowalnym poziomie). W tej części dowiesz się o ryzykach specyficznych dla sztucznej inteligencji, ich wpływie na biznes i praktycznych metodach ograniczania. Celem nie jest „nie rób tego, ponieważ istnieje ryzyko” lub „działaj tak, jakby ryzyka nie było”; Oznacza to realizację każdej inicjatywy ze świadomym apetytem na ryzyko; poziom ryzyka, jakie instytucja jest skłonna podjąć.
Ryzyko związane ze sztuczną inteligencją
Tradycyjne zagrożenia IT (luki w zabezpieczeniach, przestoje) nadal występują; Ale sztuczna inteligencja dodaje własne ryzyko:
Rodzaj ryzyka
Co masz na myśli?
Przykładowy wpływ na biznes
halucynacja
To było zmyślone, ale okazało się wiarygodne
Nieprawdziwe informacje dla klienta, odpowiedzialność prawna
uprzedzenia
Odbicie niesprawiedliwości w danych wyjściowych
Dyskryminująca decyzja o zatrudnieniu/kredytie
wyciek danych
Poufne dane wyciekły do pojazdu
Naruszenie KVKK, utrata reputacji
Dryf modelu
Spadek wydajności w miarę upływu czasu
Ciche unieważnianie decyzji
uzależnienie
Zamknięci w jednym dostawcy
Szok cenowy/dostępny
niewytłumaczalność
Nie znając powodów swojej decyzji
Trudność w zakresie audytu i sprzeciwu
Ważne są tu dwa terminy: stronniczość ma miejsce wtedy, gdy sztuczna inteligencja uczy się nieuczciwych wzorców w danych szkoleniowych i odzwierciedla je w swoich decyzjach; Na przykład, jeśli historyczne dane dotyczące zatrudnienia faworyzują jedną grupę, model również to robi. Dryfowanie modelu ma miejsce wtedy, gdy model staje się przestarzały, a jego wydajność cicho spada wraz ze zmianami świata (nowe produkty, nowe zachowania).
Wskazówka: Myśl o ryzyku nie w kategoriach „może/nie stanie się”, ale w dwóch wymiarach: prawdopodobieństwo (jakie jest prawdopodobieństwo) i wpływ (jak duże szkody, jeśli wystąpią). W pierwszej kolejności uwzględniane są te, które mają duży wpływ i duże prawdopodobieństwo; te o wartościach niskich+niskich są akceptowane i monitorowane.
Nadzór według poziomu ryzyka
Nie każdy obszar użytkowania niesie ze sobą to samo ryzyko. Inteligentne podejście polega na dostosowaniu nadzoru do poziomu ryzyka:
- Niskie ryzyko (wstawka robocza, burza mózgów): lekki nadzór, priorytet szybkości.
- Średnie ryzyko (treść dla klienta, wsparcie decyzji): zatwierdzenie przez człowieka, kontrola pobierania próbek.
- Wysokie ryzyko (kredytowe, rekrutacyjne, zdrowotne, prawne): obowiązkowy ludzki osąd, pełna rejestracja, regularne audyty.
To podejście „oparte na ryzyku” stanowi również podstawę unijnego prawa dotyczącego sztucznej inteligencji (część 9).
Krok po kroku: cykl zarządzania ryzykiem
1. Rozpoznaj ryzyko. Wymień ryzyko specyficzne dla sztucznej inteligencji dla każdej inicjatywy.
2. Oceń prawdopodobieństwo i wpływ. Oceń i ustal priorytety każdego ryzyka w dwóch wymiarach.
3. Zdefiniuj środek łagodzący. Takie jak zatwierdzenie przez człowieka, anonimizacja danych, śledzenie, dywersyfikacja dostawców.
4. Zaakceptuj lub zaprzestań pozostałego ryzyka. Ryzyko pozostające po redukcji jest akceptowane, jeżeli mieści się w apetycie; Jeśli nie, próba zostanie zatrzymana.
5. Oglądaj i recenzuj. Ryzyko nie jest statyczne; Niezbędne jest ciągłe monitorowanie dryfu i nowych zagrożeń.
trzy mini etui
Przypadek 1 — Koszt halucynacji. Chatbot klienta linii lotniczej „wymyślił” nieistniejącą politykę zwrotu kosztów pasażerowi; Klient zaufał temu i dokonał transakcji. Sąd uznał firmę za odpowiedzialną za oświadczenie własnego bota. Lekcja: Wyniki AI przekazywane klientowi wiążą się ze średnim/wysokim ryzykiem; weryfikacja i ograniczanie były niezbędne. Następnie bot został ograniczony do odpowiadania wyłącznie na zatwierdzone teksty zasad.
Przypadek 2 – Cicha stronniczość. Model kontroli zatrudnienia stosowany przez jedną firmę systematycznie faworyzował rekrutów z niektórych szkół ze względu na brak równowagi w danych historycznych. Różnica została wykryta podczas audytu; Istniało ryzyko reputacyjne i prawne. Model oddzielono od cech chronionych i powiązano z regularnym monitorowaniem wymiaru sprawiedliwości. Gdyby test stronniczości został przeprowadzony od początku, do takiej sytuacji by nie doszło.
Przypadek 3 — schwytanie Drifta. Bankowy model wykrywania oszustw został po cichu osłabiony, gdy pojawił się nowy wzorzec oszustwa; Wskaźnik nieudanych prób wzrósł z 8% do 19% w ciągu 3 miesięcy. Dobra wiadomość: agencja wdrożyła miesięczny monitoring wyników, wcześnie wykryto dryf, a modelka została przekwalifikowana. Bez monitoringu straty by się zwielokrotniły.
Cztery szablony do kopiowania
1) Inwentaryzacja ryzyka:
Twoja rola: menedżer ryzyka AI. Wymień ryzyka specyficzne dla sztucznej inteligencji dla następującego przypadku użycia: halucynacje, stronniczość, wyciek danych, dryf, zależność, niewytłumaczalność. Dla każdego ryzyka napisz jednym zdaniem jego możliwe przejawy i wpływ na działalność biznesową w tym scenariuszu. Obszar zastosowania: [tekst]
2) Punktacja prawdopodobieństwa/wpływu:
Ustal priorytety następujących ryzyk, oceniając je i mnożąc je jako prawdopodobieństwo (1-5) i wpływ (1-5). Wyjaśnij, dlaczego priorytetowo traktujesz trzy najważniejsze ryzyka. Ryzyka: [lista]
3) Plan łagodzenia:
Zaproponuj praktyczne środki łagodzące następujące priorytetowe ryzyka: [ryzyka]. Dla każdego środka: co robić, kto jest odpowiedzialny, jaki poziom ryzyka jest obowiązkowy. W stosownych przypadkach stosuj nadzór ludzi, anonimizację danych, monitorowanie i dywersyfikację dostawców.
4) Matryca nadzoru opartego na ryzyku:
Przypisz następujące obszary zastosowań do poziomu ryzyka (niski/średni/wysoki) i określ wymagany nadzór dla każdego poziomu: czy wymagana jest zgoda człowieka, czy będą prowadzone zapisy, jaka jest częstotliwość inspekcji? Zastosowania: [lista]
Słaba zachęta/silna zachęta
Słabe: „Jakie ryzyko wiąże się z tym projektem sztucznej inteligencji?”
Wniosek: Ogólna lista zagrożeń; prawdopodobieństwo, wpływ i brak łagodzenia, nie możesz się zdecydować.
Güçlü: „Wykorzystamy sztuczną inteligencję we wstępnej ocenie wniosku kredytowego w banku (ostateczną decyzję podejmie człowiek). Wymień ryzyka specyficzne dla tego scenariusza (stronniczość, niewytłumaczalność, halucynacje, prywatność danych); oceń każde z nich pod względem prawdopodobieństwa i wpływu; zasugeruj konkretne wymogi w zakresie łagodzenia i nadzoru w przypadku trzech najbardziej krytycznych. Podaj również, co dla zgodności oznacza, że jest to uważane za wysokie ryzyko”.
Wynik: analiza ryzyka dostosowana do scenariusza, punktowana, ograniczająca i związana z przestrzeganiem przepisów.
Typowe błędy
- Stosowanie tego samego nadzoru nad wszystkimi inicjatywami. Spowolnienie pracy obarczonej niskim ryzykiem jest tak samo szkodliwe, jak zaniedbywanie pracy obarczonej wysokim ryzykiem; Nadzór powinien opierać się na poziomie ryzyka.
- Mylenie halucynacji z „małym błędem”. Nieprawidłowe przesłanie klientowi może skutkować odpowiedzialnością prawną.
- Nie testuję stronniczości. Model wdrożony bez badania uczciwości może skutkować cichą dyskryminacją.
- Nie oglądam Drifta. Model, który sprawdził się raz, nie będzie działał dobrze wiecznie; Wymagany jest stały monitoring.
- Zablokowanie jednego dostawcy. Bez planu wyjścia uzależnienie naraża Cię na szok cenowy i dostępowy.
Uwaga: Zarządzanie ryzykiem nie jest sprawą raz na zawsze; Systemy sztucznej inteligencji to systemy żyjące. To, że dany model jest dziś bezpieczny, nie gwarantuje, że będzie bezpieczny jutro. Ciągłe monitorowanie, regularne inspekcje i wyraźny wyłącznik awaryjny powinny być częścią każdego systemu wysokiego ryzyka.
Podsumowując
Oprócz tradycyjnych zagrożeń IT sztuczna inteligencja dodaje unikalne zagrożenia, takie jak halucynacje, stronniczość, wyciek danych, dryf, zależność i niewytłumaczalność. Ryzyka te należy ocenić i nadać im priorytetowy charakter pod względem prawdopodobieństwa i skutków, a także powinny one mieścić się w ramach apetytu na ryzyko instytucji wraz ze środkami łagodzącymi. Nadzór nie jest jednolity, ale powinien być dostosowany do poziomu ryzyka; W przypadku decyzji obarczonych wysokim ryzykiem ostatnie słowo powinno należeć do ludzi. Zarządzanie ryzykiem to cykl ciągły; nie jest kompletna bez monitorowania i kontroli. W następnej części ustalimy strukturę zarządzania i polityki, która zapewni trwałość tej dyscypliny ryzyka.
Zadanie aplikacji
Wybierz przypadek użycia sztucznej inteligencji i wypisz związane z nim konkretne ryzyko za pomocą szablonu 1. Oceń każde ryzyko według prawdopodobieństwa i wpływu, identyfikując trzy najbardziej krytyczne. Zapisz konkretne środki łagodzące i poziom nadzoru wymagany w przypadku tych trzech ryzyk. Na koniec należy sklasyfikować zastosowanie jako ryzyko niskie/średnie/wysokie i zwrócić uwagę, jak zmienia to wymogi dotyczące nadzoru.
lista kontrolna
- [ ] Wymieniłem ryzyka specyficzne dla scenariusza związanego ze sztuczną inteligencją.
- [ ] Oceniłem każde ryzyko według prawdopodobieństwa i wpływu.
- [ ] Zdefiniowałem środki łagodzące dla najbardziej krytycznych ryzyk.
- [ ] Sklasyfikowałem obszar użytkowania według poziomu ryzyka.
- [ ] Dostosowałem nadzór do poziomu ryzyka.
- [ ] Zaplanowałem testowanie/monitorowanie pod kątem stronniczości i dryfu.
- [ ] Ustawiłem uprawnienia zatrzymujące dla systemu wysokiego ryzyka.