zisky:
- Schopnost rozpoznat specifická rizika AI, jako jsou halucinace, zkreslení, únik dat, posun modelu, závislost a nevysvětlitelnost s dopadem na podnikání
- Bodování rizik v dimenzích pravděpodobnosti a dopadu a jejich udržení v rámci rizikového apetitu instituce pomocí opatření ke zmírnění
- Schopnost upravit dohled spíše podle úrovně rizika než podle jednotnosti, což zajišťuje konečné slovo člověka a nepřetržité sledování při vysoce rizikových rozhodnutích
Hodnota a riziko jsou dvě strany téže mince. Umělá inteligence otevírá nové zdroje hodnoty, ale také zavádí nové typy rizik, které tradiční software nenese. Pro vrcholového manažera nejde o to vyhýbat se riziku, ale vědomě je řídit (řízení rizik; disciplína rozpoznávání, měření, snižování rizik a jejich udržování na přijatelných mezích). V této části se dozvíte o rizicích specifických pro AI, jejich obchodním dopadu a praktických metodách zmírňování. Cílem není „nedělat to, protože existuje riziko“ nebo „chovat se, jako by žádné riziko neexistovalo“; Znamená to provádět každou iniciativu s vědomou chutí riskovat; úroveň rizika, kterou je instituce ochotna podstoupit.
Rizika specifická pro AI
Tradiční IT rizika (zranitelnost, výpadek) stále platí; Ale umělá inteligence přináší svá vlastní rizika:
Typ rizika
co tím myslíš?
Příklad obchodního dopadu
halucinace
Bylo to vymyšlené, ale dopadlo to věrohodně
Nesprávné informace zákazníkovi, právní odpovědnost
předsudky
Odraz nespravedlnosti v datech na výstupu
Diskriminační rozhodnutí o náboru/úvěru
únik dat
Únik důvěrných dat do vozidla
Porušení KVKK, ztráta reputace
Unášení modelu
Snižování výkonu v průběhu času
Tiché převracení rozhodnutí
závislost
Uzamčeno u jediného dodavatele
Šok cena/přístup
nevysvětlitelnosti
Neznalost důvodu rozhodnutí
Obtížnost auditu a námitek
Zde jsou důležité dva pojmy: zkreslení je, když se umělá inteligence učí nefér vzorce v trénovacích datech a odráží je ve svých rozhodnutích; Pokud například historické údaje o náboru upřednostňují jednu skupinu, model také. Model drift je, když model zastará a jeho výkon tiše klesá, jak se svět mění (nové produkty, nové chování).
Tip: Přemýšlejte o riziku ne ve smyslu „může/nestane se“, ale ve dvou dimenzích: pravděpodobnost (jak je pravděpodobné) a dopad (jaká škoda, pokud k němu dojde). Jako první jsou osloveny ty s vysokým dopadem + vysokou pravděpodobností; ty s nízkými + nízkými hodnotami jsou přijímány a sledovány.
Dohled podle úrovně rizika
Ne každá oblast použití nese stejné riziko. Chytrý přístup spočívá v přizpůsobení dohledu úrovni rizika:
- Nízké riziko (vložený návrh, brainstorming): lehké přehlédnutí, priorita rychlosti.
- Střední riziko (obsah pro zákazníka, podpora rozhodování): schválení člověkem, kontrola odběru vzorků.
- Vysoké riziko (úvěrové, náborové, zdravotní, právní): povinný lidský úsudek, plná registrace, pravidelný audit.
Tento přístup „založený na riziku“ je také páteří zákona EU o umělé inteligenci (oddíl 9).
Krok za krokem: cyklus řízení rizik
1. Rozpoznejte rizika. U každé iniciativy uveďte specifická rizika AI.
2. Pravděpodobnost skóre a dopad. Vyhodnoťte a upřednostněte každé riziko ve dvou dimenzích.
3. Definujte zmírňující opatření. Jako je schvalování člověkem, anonymizace dat, sledování, diverzifikace dodavatelů.
4. Přijměte nebo zastavte zbývající riziko. Riziko zbývající po snížení je akceptováno, pokud je v rámci chuti k jídlu; Pokud ne, pokus se zastaví.
5. Sledujte a kontrolujte. Rizika nejsou statická; Neustálé sledování posunu a nových hrozeb je zásadní.
tři mini pouzdra
Případ 1 — Náklady na halucinace. Zákaznický chatbot letecké společnosti „vymyslel“ neexistující politiku vrácení peněz pro cestujícího; Zákazník tomu důvěřoval a provedl transakci. Soud považoval společnost za odpovědnou za prohlášení vlastního robota. Ponaučení: Výstup umělé inteligence k zákazníkovi představuje střední/vysoké riziko; ověření a omezení byly zásadní. Robot pak mohl reagovat pouze na schválené texty zásad.
Případ 2 – Tichá zaujatost. Model prověřování náboru jedné společnosti systematicky upřednostňoval rekruty z určitých škol kvůli nerovnováze v historických datech. Rozdíl byl odhalen při auditu; Existovalo reputační a právní riziko. Model byl oddělen od chráněných charakteristik a propojen s pravidelným monitorováním justice. Kdyby se test zkreslení dělal od začátku, nestalo by se to.
Případ 3 – Zajetí Driftu. Model banky odhalování podvodů byl tiše oslaben, když se objevil nový model podvodu; Chybovost se za 3 měsíce zvýšila z 8 % na 19 %. Dobrá zpráva: agentura zavedla měsíční monitorování výkonu, posun byl zjištěn brzy a model byl přeškolen. Bez monitorování by se ztráta znásobila.
Čtyři kopírovatelné šablony
1) Inventář rizik:
Vaše role: AI risk manager. Uveďte specifická rizika AI pro následující případ použití: halucinace, zaujatost, únik dat, drift, závislost, nevysvětlitelnost. U každého rizika napište jednou větou jeho možný projev a obchodní dopad v tomto scénáři. Oblast použití: [text]
2) Skóre pravděpodobnosti/dopadu:
Upřednostněte následující rizika tak, že je vyhodnotíte a vynásobíte jako pravděpodobnost (1-5) a dopad (1-5). Vysvětlete, proč upřednostňujete tři hlavní rizika. Rizika: [seznam]
3) Plán zmírnění:
Navrhněte praktická opatření ke zmírnění následujících prioritních rizik: [rizika]. Pro každé opatření: co dělat, kdo je odpovědný, při jaké úrovni rizika je povinné. V případě potřeby používejte lidský dohled, anonymizaci dat, monitorování a diverzifikaci dodavatelů.
4) Matice sledování založená na riziku:
Přiřaďte následující oblasti použití k úrovni rizika (nízká/střední/vysoká) a určete požadovaný dohled pro každou úroveň: je vyžadován souhlas člověka, budou vedeny záznamy, jaká je frekvence kontrol? Použití: [seznam]
Slabá výzva / Silná výzva
Slabý: "Jaká jsou rizika tohoto projektu AI?"
Závěr: Obecný seznam rizik; pravděpodobnost, dopad a žádné zmírnění, nemůžete se rozhodnout.
Güçlü: "Umělou inteligenci použijeme při předběžném hodnocení žádosti o půjčku v bance (konečné rozhodnutí učiní člověk). Vyjmenujte rizika specifická pro tento scénář (předpojatost, nevysvětlitelnost, halucinace, soukromí dat); ohodnoťte každé podle pravděpodobnosti a dopadu; navrhněte konkrétní zmírnění a požadavky na dohled u tří nejkritičtějších. Uveďte také, co pro dodržování předpisů znamená, že se to považuje za vysoké riziko."
Výsledek: analýza rizik specifických pro scénář, bodovaná, zmírňující a související s dodržováním předpisů.
Časté chyby
- Uplatňování stejného dohledu na všechny iniciativy. Zpomalení práce s nízkým rizikem je stejně škodlivé jako zanedbávání vysoce rizikové práce; Dohled by měl být založen na úrovni rizika.
- Zaměnit halucinaci za "malou chybu". Nesprávný výstup zákazníkovi může mít za následek právní odpovědnost.
- Netestovat zaujatost. Model nasazený bez testování spravedlivosti může způsobit tichou diskriminaci.
- Nedívám se na Drift. Model, který funguje dobře jednou, nefunguje dobře navždy; Je nutné neustálé sledování.
- Uzamčení jednoho dodavatele. Bez plánu odchodu vás závislost ponechává otevřené cenovému a přístupovému šoku.
Pozor: Řízení rizik není jednou provždy; Systémy umělé inteligence jsou živé systémy. To, že je model bezpečný dnes, ještě nezaručuje, že bude bezpečný i zítra. Nepřetržité sledování, pravidelná kontrola a jasný vypínač by měly být součástí každého vysoce rizikového systému.
V souhrnu
Kromě tradičních IT rizik přidává AI jedinečná rizika, jako jsou halucinace, zkreslení, únik dat, posun, závislost a nevysvětlitelnost. Tato rizika by měla být vyhodnocena a upřednostněna z hlediska pravděpodobnosti a dopadu a měla by být udržována v rámci rizikového apetitu instituce pomocí opatření ke zmírnění. Dohled není jednotný, ale měl by být přizpůsoben úrovni rizika; Ve vysoce rizikových rozhodnutích by lidé měli mít poslední slovo. Řízení rizik je nepřetržitý cyklus; není kompletní bez monitorování a kontroly. V další jednotce vytvoříme strukturu řízení a politiky, díky níž bude tato disciplína v oblasti rizika trvalá.
Aplikační úkol
Vyberte případ použití umělé inteligence a uveďte jeho konkrétní rizika pomocí šablony 1. Vyhodnoťte každé riziko podle pravděpodobnosti a dopadu a určete tři nejkritičtější. Napište konkrétní zmírňující opatření a úroveň dohledu, která je pro tato tři rizika nezbytná. Nakonec klasifikujte použití jako nízké/střední/vysoké riziko a poznamenejte si, jak se tím mění požadavky na dohled.
kontrolní seznam
- [ ] Uvedl jsem rizika specifická pro scénář specifické pro umělou inteligenci.
- [ ] Každé riziko jsem ohodnotil podle pravděpodobnosti a dopadu.
- [ ] Definoval jsem opatření ke zmírnění nejkritičtějších rizik.
- [ ] Oblast použití jsem klasifikoval podle úrovně rizika.
- [ ] Dohled jsem upravil podle míry rizika.
- [ ] Plánoval jsem testování/monitorování zkreslení a driftu.
- [ ] Nastavil jsem zastavovací oprávnění pro vysoce rizikový systém.