Nyereség:
- Képes felismerni az AI-specifikus kockázatokat, mint például a hallucináció, az elfogultság, az adatszivárgás, a modelleltolódás, a függőség és az üzleti hatásokkal járó megmagyarázhatatlanság
- A kockázatok valószínűségi és hatásdimenziós pontozása és az intézmény kockázatvállalási hajlandóságán belül tartása mérséklő intézkedésekkel
- Képes a felügyeletet az egységesség helyett a kockázati szinthez igazítani, biztosítva az emberi végső szót és a folyamatos ellenőrzést a magas kockázatú döntéseknél
Az érték és a kockázat ugyanannak az éremnek a két oldala. Az AI új értékforrásokat nyit meg, de új típusú kockázatokat is bevezet, amelyeket a hagyományos szoftverek nem hordoznak. A felsővezető számára nem a kockázat elkerülése a kérdés, hanem a kockázat tudatos kezelése (kockázatkezelés; a kockázatok felismerésének, mérésének, csökkentésének és elfogadható határokon tartásának fegyelme). Ebben az egységben megismerheti az AI-ra jellemző kockázatokat, azok üzleti hatását és a gyakorlati kockázatcsökkentési módszereket. Nem az a cél, hogy „ne tedd, mert fennáll a kockázat” vagy „úgy viselkedj, mintha nem lenne kockázat”; Minden kezdeményezést tudatos kockázati étvággyal kell végrehajtani; azt a kockázatot, amelyet az intézmény hajlandó vállalni.
AI-specifikus kockázatok
A hagyományos informatikai kockázatok (sebezhetőség, leállás) továbbra is fennállnak; A mesterséges intelligencia azonban saját kockázatokkal jár:
Kockázat típusa
hogy érted?
Példa az üzleti hatásokra
hallucináció
Ki volt találva, de hihetőre sikerült
Az ügyfél téves tájékoztatása, jogi felelősség
előítélet
Az igazságtalanság tükröződése a kimeneti adatokban
Diszkriminatív felvételi/hitelhatározat
adatszivárgás
Bizalmas adatok szivárognak a járműbe
KVKK megsértése, hírnévvesztés
Modellsodródás
A teljesítmény időbeli romlása
A döntések csendes megdöntése
függőség
Egyetlen szállítóba zárva
Ár/hozzáférés sokk
megmagyarázhatatlanság
Nem tudni a döntés okát
Ellenőrzési és kifogásolási nehézség
Két kifejezés fontos itt: az elfogultság az, amikor a mesterséges intelligencia igazságtalan mintákat tanul a betanítási adatokban, és tükrözi azokat döntéseiben; Például, ha a korábbi felvételi adatok egy csoportnak kedveznek, a modell is ezt teszi. A modelleltolódás az, amikor a modell elavulttá válik, és teljesítménye csendben csökken, ahogy a világ változik (új termékek, új viselkedések).
Tipp: A kockázatot ne a "lehet/nem fog megtörténni" fogalmakban gondolni, hanem két dimenzióban: valószínűség (mennyire valószínű) és hatás (mekkora kár, ha megtörténik). A nagy hatású + nagy valószínűségűekkel foglalkoznak először; az alacsony+alacsony értékkel rendelkezőket elfogadjuk és figyeljük.
Felügyelet a kockázati szint szerint
Nem minden felhasználási terület jár ugyanolyan kockázattal. Az intelligens megközelítés az, hogy a felügyeletet a kockázat szintjéhez igazítjuk:
- Alacsony kockázat (inset draft, brainstorming): könnyű felügyelet, sebesség prioritás.
- Közepes kockázat (tartalom az ügyfél felé, döntéstámogatás): emberi jóváhagyás, mintavételi ellenőrzés.
- Magas kockázatú (hitel, toborzás, egészségügyi, jogi): kötelező emberi megítélés, teljes körű regisztráció, rendszeres audit.
Ez a „kockázatalapú” megközelítés az EU mesterséges intelligenciatörvényének (9. fejezet) is a gerincét képezi.
Lépésről lépésre: kockázatkezelési ciklus
1. Ismerje fel a kockázatokat. Sorolja fel az AI-specifikus kockázatokat minden kezdeményezéshez.
2. Pontszám valószínűsége és hatása. Értékelje és rangsorolja az egyes kockázatokat két dimenzióban.
3. Határozza meg a mérséklő intézkedést. Ilyen például az emberi jóváhagyás, az adatok anonimizálása, a nyomon követés, a beszállítók diverzifikálása.
4. Fogadja el vagy állítsa le a fennmaradó kockázatot. A csökkentés után fennmaradó kockázatot elfogadjuk, ha az étvágyon belül van; Ha nem, a kísérlet leáll.
5. Nézze meg és tekintse át. A kockázatok nem statikusak; Elengedhetetlen az elsodródás és az új fenyegetések folyamatos figyelése.
három mini tok
1. eset – A hallucináció költségei. Egy légitársaság ügyfél-chatbotja nem létező visszatérítési politikát „talált ki” egy utas számára; Az ügyfél megbízott ebben, és lebonyolította a tranzakciót. A bíróság a céget tette felelősnek saját bot nyilatkozatáért. Tanulság: Az ügyfélnek szánt mesterséges intelligencia közepes/magas kockázatú; az ellenőrzés és a korlátozás elengedhetetlen volt. A bot ezután arra korlátozódott, hogy csak a jóváhagyott irányelvszövegekből válaszoljon.
2. eset – Néma elfogultság. Az egyik vállalat munkaerő-felvételi szűrési modellje szisztematikusan előnyben részesítette bizonyos iskolákból érkező újoncokat a korábbi adatok kiegyensúlyozatlansága miatt. A különbség egy audit során derült ki; Fennállt a hírnév és a jogi kockázat. A modellt leválasztották a védett jellemzőkről, és rendszeres igazságügyi ellenőrzéshez kapcsolták. Ha az elfogultsági tesztet a kezdetektől elvégezték volna, ez nem történt volna meg.
3. eset – Drift elfogása. Egy bank csalásfelderítési modellje csendesen meggyengült, amikor új csalási minta jelent meg; A mulasztások aránya 8%-ról 19%-ra nőtt 3 hónap alatt. Jó hír: az ügynökség havi teljesítményfigyelést vezetett be, az elsodródást korán észlelték, és a modellt áttanították. Ellenőrzés nélkül a veszteség megsokszorozódott volna.
Négy másolható sablon
1) Kockázati leltár:
Az Ön szerepe: AI kockázatkezelő. Sorolja fel a mesterséges intelligencia-specifikus kockázatokat a következő használati esetre: hallucináció, torzítás, adatszivárgás, sodródás, függőség, megmagyarázhatatlanság. Minden kockázathoz írja le egy mondatban annak lehetséges megnyilvánulását és üzleti hatását ebben a forgatókönyvben. Felhasználási terület: [szöveg]
2) Valószínűség/hatás pontozás:
A következő kockázatokat rangsorolja úgy, hogy pontozza és szorozza meg őket valószínűséggel (1-5) és hatással (1-5). Magyarázza el, miért a három legfontosabb kockázatot részesíti előnyben. Kockázatok: [lista]
3) Mérséklési terv:
Javaslatot tegyen gyakorlati mérséklő intézkedésekre a következő kiemelt kockázatokra: [kockázatok]. Minden intézkedésnél: mit kell tenni, ki a felelős, milyen kockázati szinten kötelező. Adott esetben alkalmazza az emberi megfigyelést, az adatok anonimizálását, a monitoringot és a szállítók diverzifikálását.
4) Kockázatalapú felügyeleti mátrix:
A kockázati szinthez (alacsony/közepes/magas) rendelje hozzá a következő felhasználási területeket, és határozza meg az egyes szintekhez szükséges felügyeletet: szükséges-e az emberi jóváhagyás, vezetnek-e nyilvántartást, milyen gyakorisággal kell ellenőrizni? Felhasználás: [lista]
Gyenge felszólítás / Erős felszólítás
Gyenge: "Milyen kockázatai vannak ennek az AI-projektnek?"
Következtetés: A kockázatok általános listája; valószínűség, hatás és nincs enyhítés, nem tudod eldönteni.
Güçlü: "A mesterséges intelligenciát fogjuk használni a hiteligénylés előzetes értékelése során egy banknál (a végső döntést az ember hozza meg). Sorolja fel az erre a forgatókönyvre jellemző kockázatokat (elfogultság, megmagyarázhatatlanság, hallucinációk, adatvédelem); mindegyiket értékelje valószínűség és hatás alapján; javasoljon konkrét mérséklési és felügyeleti követelményeket a három legkritikusabb esetében. Mondja el azt is, hogy mit jelent a magas kockázatnak számító megfelelés."
Az eredmény: forgatókönyv-specifikus, pontozott, mérséklő és megfeleléssel kapcsolatos kockázatelemzés.
Gyakori hibák
- Ugyanazt a felügyeletet kell alkalmazni minden kezdeményezésre. Az alacsony kockázatú munka lelassítása ugyanolyan káros, mint a magas kockázatú munka elhanyagolása; A felügyeletnek a kockázati szint alapján kell történnie.
- A hallucinációt "kis tévedésnek" tévesztve. A vevő hibás kiadása jogi felelősséget vonhat maga után.
- Nem az elfogultság tesztelése. A méltányossági teszt nélkül alkalmazott modell csendes diszkriminációt eredményezhet.
- Nem nézi a Driftet. Egy modell, amely egyszer jól működik, nem működik jól örökké; Folyamatos megfigyelés szükséges.
- Bezárás egyetlen szállítóba. Kilépési terv nélkül a függőség nyitottá tesz az ár- és hozzáférési sokkra.
Figyelem: A kockázatkezelés nem egyszer és mindenkorra való; A mesterséges intelligencia rendszerek élő rendszerek. Csak azért, mert egy modell ma biztonságos, még nem garantálja, hogy holnap is biztonságos lesz. A folyamatos felügyelet, a rendszeres ellenőrzés és az egyértelmű leállítási kapcsoló minden magas kockázatú rendszer részét kell, hogy képezze.
Összefoglalva
A hagyományos informatikai kockázatok mellett a mesterséges intelligencia olyan egyedi kockázatokat is tartalmaz, mint a hallucináció, az elfogultság, az adatszivárgás, a sodródás, a függőség és a megmagyarázhatatlanság. Ezeket a kockázatokat a valószínűség és a hatás szempontjából értékelni és rangsorolni kell, és mérséklő intézkedésekkel az intézmény kockázatvállalási hajlandóságán belül kell tartani. A felügyelet nem egységes, hanem a kockázat szintjéhez kell igazítani; A magas kockázatú döntéseknél az embereknek kell kimondani a végső szót. A kockázatkezelés folyamatos ciklus; ellenőrzés és ellenőrzés nélkül nem teljes. A következő egységben kialakítjuk azt az irányítási és szakpolitikai struktúrát, amely ezt a kockázati fegyelmet állandóvá teszi.
Pályázati feladat
Válasszon ki egy mesterséges intelligencia felhasználási esetet, és sorolja fel a konkrét kockázatait az 1. sablon segítségével. Pontozzon minden kockázatot valószínűség és hatás alapján, és azonosítsa a három legkritikusabbat. Írjon konkrét mérséklési intézkedéseket és e három kockázathoz szükséges felügyeleti szintet. Végül osztályozza a felhasználást alacsony/közepes/magas kockázatú kategóriába, és figyelje meg, hogy ez hogyan változtatja meg a felügyeleti követelményeket.
ellenőrző lista
- [ ] Felsoroltam a mesterséges intelligencia forgatókönyv-specifikus kockázatait.
- [ ] Minden kockázatot valószínűség és hatás alapján értékeltem.
- [ ] Mérséklő intézkedéseket határoztam meg a legkritikusabb kockázatokra.
- [ ] A felhasználási területet kockázati szint szerint osztályoztam.
- [ ] A felügyeletet a kockázati szinthez igazítottam.
- [ ] Terveztem a torzítás és a sodródás tesztelését/figyelését.
- [ ] Leállító jogosultságot állítottam be a magas kockázatú rendszerhez.