zisky:
- Schopnosť rozpoznať riziká špecifické pre AI, ako sú halucinácie, zaujatosť, únik údajov, posun modelu, závislosť a nevysvetliteľnosť s dopadom na podnikanie
- Bodovanie rizík v dimenziách pravdepodobnosti a dopadu a ich udržiavanie v rámci rizikového apetítu inštitúcie pomocou opatrení na zmiernenie
- Schopnosť upraviť dohľad skôr podľa úrovne rizika než podľa jednotnosti, čím sa zabezpečí konečné slovo človeka a nepretržité monitorovanie pri vysokorizikových rozhodnutiach
Hodnota a riziko sú dve strany tej istej mince. Umelá inteligencia otvára nové zdroje hodnoty, ale prináša aj nové typy rizík, ktoré tradičný softvér nenesie. Pre vyššieho manažéra nie je problém vyhýbať sa riziku, ale vedome riadiť riziko (riadenie rizík; disciplína rozpoznávať, merať, znižovať riziká a udržiavať ich na prijateľných hraniciach). V tejto časti sa dozviete o rizikách špecifických pre AI, ich dopade na podnikanie a praktických metódach zmierňovania. Cieľom nie je „nerobiť to, pretože existuje riziko“ alebo „konať tak, ako keby žiadne riziko neexistovalo“; Je to vykonávať každú iniciatívu s vedomým ochotou riskovať; úroveň rizika, ktoré je inštitúcia ochotná podstúpiť.
riziká špecifické pre AI
Tradičné IT riziká (zraniteľnosť, výpadok) stále platia; Umelá inteligencia však pridáva svoje riziká:
Typ rizika
čo tým myslíš?
Príklad obchodného vplyvu
halucinácia
Bolo to vymyslené, ale ukázalo sa to vierohodne
Nesprávne informácie zákazníkovi, zákonná zodpovednosť
predsudok
Odraz nespravodlivosti v údajoch o výstupe
Diskriminačné rozhodnutie o prijatí/úvere
únik dát
Únik dôverných údajov do vozidla
Porušenie KVKK, strata dobrého mena
Modelový drift
Zhoršenie výkonu v priebehu času
Tiché prevracanie rozhodnutí
závislosť
Uzamknuté u jedného dodávateľa
Šok cena/prístup
nevysvetliteľnosť
Nepoznať dôvod rozhodnutia
Náročnosť auditu a námietky
Dôležité sú tu dva pojmy: zaujatosť je, keď sa umelá inteligencia učí nespravodlivé vzorce v tréningových dátach a odráža ich vo svojich rozhodnutiach; Napríklad, ak historické údaje o nábore uprednostňujú jednu skupinu, model to robí tiež. Model drift je, keď sa model stáva zastaraným a jeho výkon ticho klesá, keď sa svet mení (nové produkty, nové správanie).
Tip: Myslite na riziko nie z hľadiska „môže/nestane sa“, ale v dvoch dimenziách: pravdepodobnosť (aká je pravdepodobná) a dopad (koľko škody, ak sa to stane). Tie s vysokým dopadom + vysokou pravdepodobnosťou sú oslovené ako prvé; tie s nízkymi + nízkymi hodnotami sú akceptované a monitorované.
Dohľad podľa úrovne rizika
Nie každá oblasť použitia nesie rovnaké riziko. Inteligentným prístupom je prispôsobiť dohľad úrovni rizika:
- Nízke riziko (vložený návrh, brainstorming): ľahké prehliadnutie, priorita rýchlosti.
- Stredné riziko (obsah pre zákazníka, podpora rozhodovania): súhlas človeka, kontrola odberu vzoriek.
- Vysoké riziko (úver, nábor, zdravie, právne): povinný ľudský úsudok, úplná registrácia, pravidelný audit.
Tento prístup „založený na riziku“ je tiež základom zákona EÚ o umelej inteligencii (oddiel 9).
Krok za krokom: cyklus riadenia rizík
1. Rozpoznať riziká. Uveďte špecifické riziká AI pre každú iniciatívu.
2. Pravdepodobnosť skóre a vplyv. Vyhodnoťte a uprednostnite každé riziko v dvoch dimenziách.
3. Definujte zmierňujúce opatrenie. Ako napríklad schvaľovanie človekom, anonymizácia údajov, sledovanie, diverzifikácia dodávateľov.
4. Prijmite alebo zastavte zostávajúce riziko. Riziko zostávajúce po znížení sa akceptuje, ak je v rámci chuti do jedla; Ak nie, pokus sa zastaví.
5. Sledujte a recenzujte. Riziká nie sú statické; Nevyhnutné je neustále monitorovanie posunu a nových hrozieb.
tri mini prípady
Prípad 1 – Náklady na halucinácie. Zákaznícky chatbot leteckej spoločnosti „vymyslel“ neexistujúcu politiku vrátenia peňazí pre cestujúceho; Zákazník tomu dôveroval a uskutočnil transakciu. Súd považoval spoločnosť za zodpovednú za vyhlásenie vlastného bota. Ponaučenie: Výstup umelej inteligencie pre zákazníka predstavuje stredné/vysoké riziko; overenie a obmedzenie boli nevyhnutné. Robot potom mohol odpovedať iba zo schválených textov zásad.
Prípad 2 – Tichá zaujatosť. Model skríningu náboru jednej spoločnosti systematicky uprednostňoval náborov z určitých škôl z dôvodu nerovnováhy v historických údajoch. Rozdiel odhalil audit; Existovalo reputačné a právne riziko. Model bol oddelený od chránených charakteristík a prepojený s pravidelným monitorovaním justície. Ak by sa test zaujatosti robil od začiatku, nestalo by sa to.
Prípad 3 – Zajatie Driftu. Bankový model odhaľovania podvodov bol potichu oslabený, keď sa objavil nový model podvodu; Miera chybovosti sa za 3 mesiace zvýšila z 8 % na 19 %. Dobrá správa: agentúra zaviedla mesačné monitorovanie výkonu, posun bol zistený včas a model bol preškolený. Bez monitorovania by sa strata znásobila.
Štyri kopírovateľné šablóny
1) Zoznam rizík:
Vaša úloha: manažér rizika AI. Uveďte špecifické riziká AI pre nasledujúci prípad použitia: halucinácie, zaujatosť, únik údajov, posun, závislosť, nevysvetliteľnosť. Ku každému riziku napíšte jednou vetou jeho možný prejav a obchodný dopad v tomto scenári. Oblasť použitia: [text]
2) Skóre pravdepodobnosti/vplyvu:
Uprednostnite nasledujúce riziká tak, že ich ohodnotíte a vynásobíte ako pravdepodobnosť (1-5) a dopad (1-5). Vysvetlite, prečo uprednostňujete tri hlavné riziká. Riziká: [zoznam]
3) Plán na zmiernenie:
Navrhnite praktické opatrenia na zmiernenie týchto prioritných rizík: [riziká]. Pre každé opatrenie: čo robiť, kto je zodpovedný, pri akej úrovni rizika je povinné. V prípade potreby používajte ľudský dohľad, anonymizáciu údajov, monitorovanie a diverzifikáciu dodávateľov.
4) Matica dohľadu na základe rizika:
Priraďte nasledujúce oblasti použitia k úrovni rizika (nízka/stredná/vysoká) a určite dohľad požadovaný pre každú úroveň: vyžaduje sa súhlas človeka, budú sa viesť záznamy, aká je frekvencia kontrol? Použitie: [zoznam]
Slabá výzva / Silná výzva
Slabé: "Aké sú riziká tohto projektu AI?"
Záver: Všeobecný zoznam rizík; pravdepodobnosť, dopad a žiadne zmiernenie, nemôžete sa rozhodnúť.
Güçlü: "Umelú inteligenciu použijeme pri predbežnom hodnotení žiadosti o úver v banke (konečné rozhodnutie urobí človek). Uveďte riziká špecifické pre tento scenár (predpojatosť, nevysvetliteľnosť, halucinácie, súkromie údajov); ohodnotte každé podľa pravdepodobnosti a dopadu; navrhnite konkrétne požiadavky na zmiernenie a dohľad pre tri najkritickejšie. Uveďte tiež, čo to znamená pre dodržiavanie, že sa to považuje za vysoké riziko."
Výsledok: analýza rizík špecifická pre daný scenár, bodovaná, zmierňujúca a súvisiaca s dodržiavaním predpisov.
Časté chyby
- Uplatňovanie rovnakého dohľadu na všetky iniciatívy. Spomalenie práce s nízkym rizikom je rovnako škodlivé ako zanedbávanie vysokorizikovej práce; Dohľad by mal byť založený na úrovni rizika.
- Pomýliť si halucináciu ako „malú chybu“. Nesprávny výstup zákazníkovi môže mať za následok právnu zodpovednosť.
- Netestuje zaujatosť. Model nasadený bez testovania spravodlivosti môže spôsobiť tichú diskrimináciu.
- Nepozerám Drift. Model, ktorý funguje dobre raz, nefunguje dobre navždy; Vyžaduje sa neustále sledovanie.
- Uzamknutie jedného dodávateľa. Bez plánu odchodu vás závislosť otvorí cenovému a prístupovému šoku.
Pozor: Riadenie rizika nie je raz a navždy; Systémy umelej inteligencie sú živé systémy. To, že je model bezpečný dnes, ešte nezaručuje, že bude bezpečný aj zajtra. Nepretržité monitorovanie, pravidelná kontrola a jasný vypínač by mali byť súčasťou každého vysoko rizikového systému.
V súhrne
Okrem tradičných IT rizík pridáva AI jedinečné riziká, ako sú halucinácie, zaujatosť, únik dát, posun, závislosť a nevysvetliteľnosť. Tieto riziká by sa mali hodnotiť a uprednostňovať z hľadiska pravdepodobnosti a vplyvu a mali by sa udržiavať v rámci rizikového apetítu inštitúcie pomocou opatrení na zmiernenie. Dohľad nie je jednotný, ale mal by byť prispôsobený úrovni rizika; Pri vysoko rizikových rozhodnutiach by ľudia mali mať posledné slovo. Riadenie rizika je nepretržitý cyklus; nie je úplná bez monitorovania a kontroly. V ďalšom oddelení vytvoríme štruktúru riadenia a politiky, vďaka ktorej bude táto disciplína v oblasti rizika trvalá.
Aplikačná úloha
Vyberte si prípad použitia AI a uveďte jeho špecifické riziká pomocou šablóny 1. Ohodnoťte každé riziko podľa pravdepodobnosti a dopadu, pričom identifikujte tri najkritickejšie. Napíšte konkrétne opatrenia na zmiernenie a úroveň dohľadu, ktorý je potrebný pre tieto tri riziká. Nakoniec klasifikujte použitie ako nízke/stredné/vysoké riziko a všimnite si, ako sa tým menia požiadavky na dohľad.
kontrolný zoznam
- [ ] Uviedol som riziká špecifické pre scenár umelej inteligencie.
- [ ] Každé riziko som ohodnotil podľa pravdepodobnosti a dopadu.
- [ ] Definoval som opatrenia na zmiernenie najkritickejších rizík.
- [ ] Oblasť použitia som klasifikoval podľa úrovne rizika.
- [ ] Dohľad som upravil podľa miery rizika.
- [ ] Plánoval som testovanie/monitorovanie zaujatosti a posunu.
- [ ] Nastavil som oprávnenie na zastavenie vysoko rizikového systému.