Dobici:
- Sposobnost prepoznavanja rizika specifičnih za umjetnu inteligenciju kao što su halucinacije, pristranost, curenje podataka, odstupanje modela, ovisnost i neobjašnjivost s utjecajem na poslovanje
- Bodovanje rizika u dimenzijama vjerojatnosti i utjecaja i njihovo zadržavanje unutar sklonosti prema riziku institucije uz mjere ublažavanja
- Sposobnost prilagodbe nadzora prema razini rizika, a ne uniformnosti, osiguravajući ljudsku zadnju riječ i kontinuirano praćenje u visokorizičnim odlukama
Vrijednost i rizik dvije su strane istog novčića. AI otvara nove izvore vrijednosti, ali također uvodi nove vrste rizika koje tradicionalni softver ne nosi. Za višeg menadžera nije pitanje izbjegavanja rizika, već svjesnog upravljanja rizikom (upravljanje rizicima; disciplina prepoznavanja, mjerenja, smanjivanja rizika i njihovog držanja na prihvatljivim granicama). U ovoj ćete jedinici naučiti o rizicima specifičnim za AI, njihovom utjecaju na poslovanje i praktičnim metodama ublažavanja. Cilj nije "ne činiti to jer postoji rizik" ili "ponašati se kao da nema rizika"; To znači provoditi svaku inicijativu sa svjesnom sklonošću riziku; razinu rizika koju je institucija spremna preuzeti.
Rizici specifični za umjetnu inteligenciju
Tradicionalni IT rizici (ranjivost, prekid rada) i dalje se primjenjuju; Ali umjetna inteligencija dodaje svoje rizike:
Vrsta rizika
kako to misliš
Primjer utjecaja na poslovanje
halucinacija
Bilo je izmišljeno, ali je ispalo uvjerljivo
Netočne informacije kupcu, zakonska odgovornost
predrasuda
Odraz nepravde u podacima o izlazu
Diskriminirajuća odluka o zapošljavanju/kreditu
curenje podataka
Povjerljivi podaci cure u vozilo
Kršenje KVKK, gubitak ugleda
Model drift
Smanjenje performansi tijekom vremena
Tiho rušenje odluka
ovisnost
Vezan za jednog dobavljača
Šok cijena/pristup
neobjašnjivost
Ne znajući razlog odluke
Poteškoće s revizijom i prigovorom
Ovdje su važna dva pojma: pristranost je kada umjetna inteligencija uči nepoštene obrasce u podacima o obuci i odražava ih u svojim odlukama; Na primjer, ako povijesni podaci o zapošljavanju favoriziraju jednu grupu, to čini i model. Odstupanje modela je kada model zastari i njegova izvedba tiho opada kako se svijet mijenja (novi proizvodi, nova ponašanja).
Savjet: Ne razmišljajte o riziku u smislu "može/neće se dogoditi", već u dvije dimenzije: vjerojatnosti (koliko je vjerojatno) i utjecaja (koliko štete ako se dogodi). Prvo se rješavaju oni s velikim utjecajem + velikom vjerojatnošću; one s niskim+niskim vrijednostima prihvaćaju se i prate.
Nadzor prema stupnju rizika
Ne nosi svako područje uporabe isti rizik. Pametan pristup je prilagoditi nadzor razini rizika:
- Nizak rizik (umetnuti nacrt, brainstorming): mali previd, prioritet brzine.
- Srednji rizik (sadržaj za kupca, podrška odlučivanju): ljudsko odobrenje, kontrola uzorkovanja.
- Visoki rizik (kredit, zapošljavanje, zdravlje, pravni): obvezna ljudska prosudba, potpuna registracija, redovita revizija.
Ovaj pristup „temeljen na riziku” također je okosnica zakona EU-a o umjetnoj inteligenciji (Jedinica 9).
Korak po korak: ciklus upravljanja rizikom
1. Prepoznajte rizike. Navedite rizike specifične za AI za svaku inicijativu.
2. Ocijenite vjerojatnost i učinak. Procijenite i odredite prioritete svakog rizika u dvije dimenzije.
3. Definirajte mjeru ublažavanja. Kao što je ljudsko odobrenje, anonimizacija podataka, praćenje, diverzifikacija dobavljača.
4. Prihvatite ili prestanite s preostalim rizikom. Rizik koji ostaje nakon smanjenja je prihvaćen ako je unutar apetita; Ako nije, pokušaj se zaustavlja.
5. Pogledajte i pregledajte. Rizici nisu statični; Neophodno je stalno nadziranje zbog odstupanja i novih prijetnji.
tri mini kućišta
Slučaj 1 — Cijena halucinacije. Chatbot za klijente jedne zrakoplovne kompanije "izmislio" je nepostojeću politiku povrata novca za putnika; Kupac je vjerovao tome i izvršio transakciju. Sud je tvrtku smatrao odgovornom za izjavu vlastitog bota. Lekcija: AI izlaz za kupca je srednji/visoki rizik; provjera i ograničenje bili su bitni. Botu je tada bilo ograničeno da odgovara samo na odobrene tekstove pravila.
Slučaj 2 — Tiha pristranost. Model provjere zapošljavanja jedne tvrtke sustavno je favorizirao novake iz određenih škola zbog neravnoteže u povijesnim podacima. Razlika je otkrivena u reviziji; Postojao je reputacijski i pravni rizik. Model je odvojen od zaštićenih karakteristika i povezan s redovitim praćenjem pravosuđa. Da je test pristranosti napravljen od početka, ovo se ne bi dogodilo.
Slučaj 3 — Driftovo hvatanje. Bankov model otkrivanja prijevare tiho je oslabljen kada se pojavio novi obrazac prijevare; Stopa promašaja porasla je s 8% na 19% u 3 mjeseca. Dobre vijesti: agencija je uvela mjesečno praćenje performansi, pomak je rano otkriven, a model je ponovno obučen. Bez nadzora gubitak bi se višestruko povećao.
Četiri predloška za kopiranje
1) Inventar rizika:
Vaša uloga: upravitelj rizika AI. Navedite rizike specifične za umjetnu inteligenciju za sljedeći slučaj upotrebe: halucinacija, pristranost, curenje podataka, odstupanje, ovisnost, neobjašnjivost. Za svaki rizik u jednoj rečenici napišite njegovu moguću manifestaciju i utjecaj na poslovanje u ovom scenariju. Područje upotrebe: [tekst]
2) Bodovanje vjerojatnosti/utjecaja:
Odredite prioritete sljedećih rizika tako da ih ocjenjujete i množite kao vjerojatnost (1-5) i učinak (1-5). Objasnite zašto dajete prioritet trima najvećim rizicima. Rizici: [popis]
3) Plan ublažavanja:
Predložiti praktične mjere za ublažavanje sljedećih prioritetnih rizika: [rizici]. Za svaku mjeru: što učiniti, tko je odgovoran, na kojoj je razini rizika obvezna. Koristite ljudski nadzor, anonimizaciju podataka, praćenje i diverzifikaciju dobavljača gdje je to prikladno.
4) Matrica nadzora temeljena na riziku:
Dodijelite sljedeća područja uporabe razini rizika (niska/srednja/visoka) i odredite nadzor potreban za svaku razinu: je li potrebno ljudsko odobrenje, hoće li se voditi evidencija, koja je učestalost pregleda? Koristi: [popis]
Slab upit / Jak upit
Slab: "Koji su rizici ovog AI projekta?"
Zaključak: Opći popis rizika; vjerojatnosti, utjecaja i bez ublažavanja, ne možete odlučiti.
Güçlü: "Koristit ćemo AI u preliminarnoj procjeni zahtjeva za kredit u banci (ljud će donijeti konačnu odluku). Navedite rizike specifične za ovaj scenarij (pristranost, neobjašnjivost, halucinacije, privatnost podataka); ocijenite svaki prema vjerojatnosti i utjecaju; predložite konkretne zahtjeve za ublažavanje i nadzor za tri najkritičnija. Također navedite što za usklađenost znači da se ovo smatra visokim rizikom."
Rezultat: analiza rizika specifična za scenarij, s bodovanjem, ublažavanjem i usklađenošću.
Uobičajene greške
- Primjena istog nadzora na sve inicijative. Usporavanje rada niskog rizika jednako je štetno kao i zanemarivanje rada visokog rizika; Nadzor bi se trebao temeljiti na razini rizika.
- Mišljenje halucinacije kao "male greške". Neispravan izlaz kupcu može rezultirati zakonskom odgovornošću.
- Bez testiranja pristranosti. Model koji se primjenjuje bez testiranja pravednosti može proizvesti tihu diskriminaciju.
- Ne gledam Drift. Model koji jednom dobro funkcionira, ne funkcionira dobro zauvijek; Potreban je stalni nadzor.
- Zaključavanje jednog dobavljača. Bez plana izlaza, ovisnost vas ostavlja otvorenima za šok cijene i pristupa.
Oprez: upravljanje rizikom nije jednom zauvijek; Sustavi umjetne inteligencije su živi sustavi. Samo zato što je model siguran danas ne jamči da će biti siguran i sutra. Kontinuirano praćenje, redovita inspekcija i jasan prekidač za isključivanje trebali bi biti dio svakog visokorizičnog sustava.
Ukratko
Povrh tradicionalnih IT rizika, AI dodaje jedinstvene rizike kao što su halucinacije, pristranost, curenje podataka, odstupanje, ovisnost i neobjašnjivost. Ove rizike treba procijeniti i odrediti im prioritete u smislu vjerojatnosti i utjecaja te ih treba držati unutar sklonosti institucije riziku uz mjere za ublažavanje. Nadzor nije jednoobrazan već bi trebao biti prilagođen razini rizika; U visokorizičnim odlukama ljudi bi trebali imati posljednju riječ. Upravljanje rizikom je kontinuirani ciklus; nije potpun bez praćenja i kontrole. U sljedećoj cjelini uspostavit ćemo strukturu upravljanja i politike koja ovu disciplinu rizika čini trajnom.
Zadatak aplikacije
Odaberite slučaj upotrebe umjetne inteligencije i navedite njegove specifične rizike pomoću predloška 1. Ocijenite svaki rizik prema vjerojatnosti i utjecaju, identificirajući tri najkritičnija. Napišite konkretne mjere ublažavanja i razinu nadzora koja je potrebna za ova tri rizika. Na kraju, klasificirajte korištenje kao nizak/srednji/visoki rizik i zabilježite kako to mijenja zahtjeve nadzora.
popis za provjeru
- [ ] Naveo sam rizike specifične za scenarije umjetne inteligencije.
- [ ] Svaki rizik sam ocijenio prema vjerojatnosti i utjecaju.
- [ ] Definirao sam mjere ublažavanja za najkritičnije rizike.
- [ ] Klasificirao sam područje upotrebe prema razini rizika.
- [ ] Prilagodio sam nadzor prema razini rizika.
- [ ] Planirao sam testiranje/monitoring za pristranost i drift.
- [ ] Postavio sam ovlaštenje za zaustavljanje za sustav visokog rizika.