Mga nadagdag:
- Kakayahang kilalanin ang mga panganib na partikular sa AI gaya ng guni-guni, bias, pagtagas ng data, pag-anod ng modelo, dependency, at hindi maipaliwanag na may epekto sa negosyo
- Pagmamarka ng mga panganib sa probabilidad at mga sukat ng epekto at pinapanatili ang mga ito sa loob ng risk appetite ng institusyon na may mga hakbang sa pagpapagaan
- Kakayahang ayusin ang pagsubaybay ayon sa antas ng panganib sa halip na pagkakapareho, tinitiyak ang huling say ng tao at patuloy na pagsubaybay sa mga desisyong may mataas na peligro
Ang halaga at panganib ay dalawang panig ng parehong barya. Nagbubukas ang AI ng mga bagong pinagmumulan ng halaga, ngunit nagpapakilala rin ito ng mga bagong uri ng mga panganib na hindi dala ng tradisyonal na software. Para sa isang senior manager, ang isyu ay hindi ang pag-iwas sa panganib, ngunit ang sinasadyang pamamahala sa panganib (pamamahala sa peligro; ang disiplina sa pagkilala, pagsukat, pagbabawas ng mga panganib at pagpapanatili sa mga ito sa mga katanggap-tanggap na limitasyon). Sa unit na ito, matututunan mo ang tungkol sa mga panganib na partikular sa AI, ang epekto nito sa negosyo, at mga praktikal na paraan ng pagpapagaan. Ang layunin ay hindi "huwag gawin ito dahil may panganib" o "gumawa na parang walang panganib"; Ito ay upang isakatuparan ang bawat inisyatiba na may malay na gana sa panganib; ang antas ng panganib na handang gawin ng institusyon.
Mga panganib na partikular sa AI
Ang mga tradisyunal na panganib sa IT (kahinaan, pagkawala) ay nalalapat pa rin; Ngunit ang artificial intelligence ay nagdaragdag ng sarili nitong mga panganib:
Uri ng panganib
Anong ibig mong sabihin?
Halimbawa ng epekto sa negosyo
guni-guni
Ito ay ginawa ngunit ito ay naging kapani-paniwala
Maling impormasyon sa customer, legal na pananagutan
pagtatangi
Ang salamin ng kawalan ng katarungan sa data sa output
Diskriminasyon sa pag-hire/pagpapautang
data leak
Kumpidensyal na data na tumutulo sa sasakyan
Paglabag sa KVKK, pagkawala ng reputasyon
Model drift
Pagbaba ng pagganap sa paglipas ng panahon
Tahimik na pagbaligtad ng mga desisyon
pagkagumon
Naka-lock sa iisang supplier
Presyo/access shock
hindi maipaliwanag
Hindi alam ang dahilan ng desisyon
Kahirapan sa pag-audit at pagtutol
Dalawang termino ang mahalaga dito: ang bias ay kapag ang artificial intelligence ay natututo ng mga hindi patas na pattern sa data ng pagsasanay at ipinapakita ang mga ito sa mga desisyon nito; Halimbawa, kung ang makasaysayang data sa pag-hire ay pinapaboran ang isang pangkat, ginagawa din ito ng modelo. Ang pag-anod ng modelo ay kapag ang modelo ay nagiging hindi na ginagamit at ang pagganap nito ay tahimik na bumababa habang nagbabago ang mundo (mga bagong produkto, mga bagong pag-uugali).
Tip: Isipin ang panganib hindi sa mga tuntunin ng "maaaring / hindi mangyayari" ngunit sa dalawang dimensyon: probabilidad (gaano kalamang) at epekto (kung gaano kalaki ang pinsala kung mangyari ito). Ang mga may mataas na epekto + mataas na posibilidad ay unang tinutugunan; ang mga may mababang+mababang halaga ay tinatanggap at sinusubaybayan.
Pagsubaybay ayon sa antas ng panganib
Hindi lahat ng lugar ng paggamit ay may parehong panganib. Ang matalinong diskarte ay upang maiangkop ang pagsubaybay sa antas ng panganib:
- Mababang panganib (inset draft, brainstorming): light oversight, speed priority.
- Katamtamang panganib (content sa customer, suporta sa desisyon): pag-apruba ng tao, kontrol sa sampling.
- Mataas na panganib (kredito, recruitment, kalusugan, legal): mandatoryong paghatol ng tao, buong pagpaparehistro, regular na pag-audit.
Ang diskarteng ito na "batay sa panganib" ay ang backbone din ng EU AI Law (Unit 9).
Hakbang-hakbang: cycle ng pamamahala ng peligro
1. Kilalanin ang mga panganib. Ilista ang mga panganib na partikular sa AI para sa bawat inisyatiba.
2. Posibilidad at epekto. Suriin at bigyang-priyoridad ang bawat panganib sa dalawang dimensyon.
3. Tukuyin ang panukalang pagpapagaan. Gaya ng pag-apruba ng tao, pag-anonymize ng data, pagsubaybay, sari-saring uri ng supplier.
4. Tanggapin o ihinto ang natitirang panganib. Ang panganib na natitira pagkatapos ng pagbabawas ay tinatanggap kung ito ay nasa loob ng gana; Kung hindi, ang pagtatangka ay hihinto.
5. Panoorin at suriin. Ang mga panganib ay hindi static; Ang patuloy na pagsubaybay para sa drift at mga bagong banta ay mahalaga.
tatlong mini case
Case 1 — Ang halaga ng hallucination. Ang customer chatbot ng isang airline ay "binuo" ang isang hindi umiiral na patakaran sa refund para sa isang pasahero; Pinagkatiwalaan ito ng customer at ginawa ang transaksyon. Pinanagutan ng korte ang kumpanya para sa deklarasyon ng sarili nitong bot. Aralin: Ang output ng AI sa customer ay medium/high risk; ang pagpapatunay at limitasyon ay mahalaga. Pagkatapos ay pinaghigpitan ang bot na tumugon lamang mula sa mga naaprubahang text ng patakaran.
Kaso 2 — Silent bias. Sistematikong pinapaboran ng modelo ng screening sa pagkuha ng isang kumpanya ang mga recruit mula sa ilang partikular na paaralan dahil sa kawalan ng balanse sa makasaysayang data. Ang pagkakaiba ay ipinahayag sa isang pag-audit; Nagkaroon ng reputasyon at legal na panganib. Ang modelo ay nahiwalay sa mga protektadong katangian at nakaugnay sa regular na pagsubaybay sa hustisya. Kung ang bias test ay ginawa mula sa simula, hindi ito mangyayari.
Case 3 — Pagkuha ng Drift. Tahimik na humina ang modelo ng pagtuklas ng panloloko ng bangko nang may lumitaw na bagong pattern ng pandaraya; Tumaas ang miss rate mula 8% hanggang 19% sa loob ng 3 buwan. Magandang balita: nagpatupad ang ahensya ng buwanang pagsubaybay sa performance, maagang natukoy ang drift, at muling sinanay ang modelo. Kung walang pagsubaybay, ang pagkalugi ay dadami sana.
Apat na maaaring kopyahin na mga template
1) Imbentaryo ng peligro:
Ang iyong tungkulin: AI risk manager. Ilista ang mga panganib na partikular sa AI para sa sumusunod na kaso ng paggamit: guni-guni, bias, pagtagas ng data, drift, dependency, hindi maipaliwanag. Para sa bawat panganib, isulat sa isang pangungusap ang posibleng pagpapakita nito at epekto sa negosyo sa sitwasyong ito. Lugar ng paggamit: [teksto]
2) Probability/epekto ng pagmamarka:
Unahin ang mga sumusunod na panganib sa pamamagitan ng pagmamarka at pagpaparami ng mga ito bilang probabilidad (1-5) at epekto (1-5). Ipaliwanag kung bakit mo inuuna ang tatlong nangungunang panganib. Mga Panganib: [listahan]
3) Plano sa pagpapagaan:
Magmungkahi ng mga praktikal na hakbang sa pagpapagaan para sa mga sumusunod na priyoridad na panganib: [mga panganib]. Para sa bawat panukala: ano ang gagawin, sino ang responsable, sa anong antas ng panganib ang ipinag-uutos. Gumamit ng human surveillance, data anonymization, monitoring at sari-saring supplier kung naaangkop.
4) Matrix ng pagsubaybay na nakabatay sa panganib:
Italaga ang mga sumusunod na lugar ng paggamit sa antas ng panganib (mababa/medium/mataas) at tukuyin ang pangangasiwa na kinakailangan para sa bawat antas: kailangan ba ng pag-apruba ng tao, itatago ba ang mga talaan, ano ang dalas ng inspeksyon? Mga gamit: [listahan]
Mahinang prompt / Malakas na prompt
Mahina: "Ano ang mga panganib ng AI project na ito?"
Konklusyon: Isang pangkalahatang listahan ng mga panganib; probabilidad, epekto at walang pagpapagaan, hindi ka makapagpasya.
Güçlü: "Gagamitin namin ang AI sa paunang pagsusuri ng isang loan application sa isang bangko (ang tao ang gagawa ng pangwakas na desisyon). Ilista ang mga panganib na partikular sa sitwasyong ito (bias, inexplicability, hallucination, data privacy); puntos ang bawat isa ayon sa posibilidad at epekto; magmungkahi ng kongkretong mitigation at oversight na mga kinakailangan para sa tatlong pinaka kritikal. Sabihin din kung ano ang ibig sabihin nito para sa pagsunod."
Ang resulta: isang scenario-specific, scored, mitigating at compliance-related na risk analysis.
Mga karaniwang pagkakamali
- Paglalapat ng parehong pangangasiwa sa lahat ng mga hakbangin. Ang pagpapabagal sa mababang-panganib na trabaho ay kasing mapanganib ng pagpapabaya sa trabahong may mataas na panganib; Ang pagsubaybay ay dapat na nakabatay sa antas ng panganib.
- Napagkakamalang "maliit na pagkakamali" ang hallucination. Ang maling output sa customer ay maaaring magresulta sa legal na pananagutan.
- Hindi pagsubok para sa bias. Ang modelong na-deploy nang walang pagsubok sa pagiging patas ay maaaring magdulot ng tahimik na diskriminasyon.
- Hindi nanonood ng Drift. Ang isang modelo na mahusay na gumagana nang isang beses ay hindi gumagana nang maayos magpakailanman; Kinakailangan ang patuloy na pagsubaybay.
- Pag-lock sa iisang supplier. Kung walang exit plan, iniiwan ka ng addiction na bukas sa presyo at access shock.
Pag-iingat: Ang pamamahala sa peligro ay hindi minsan at para sa lahat; Ang mga artificial intelligence system ay mga buhay na sistema. Dahil lamang na ligtas ang isang modelo ngayon ay hindi ginagarantiyahan na magiging ligtas ito bukas. Ang patuloy na pagsubaybay, regular na inspeksyon at isang malinaw na kill switch ay dapat maging bahagi ng bawat high-risk system.
Sa buod
Sa itaas ng mga tradisyunal na panganib sa IT, nagdaragdag ang AI ng mga natatanging panganib tulad ng guni-guni, bias, pagtagas ng data, drift, dependency, at hindi maipaliwanag. Ang mga panganib na ito ay dapat suriin at bigyang-priyoridad sa mga tuntunin ng posibilidad at epekto, at dapat na panatilihin sa loob ng risk appetite ng institusyon na may mga hakbang sa pagpapagaan. Ang pagsubaybay ay hindi pare-pareho ngunit dapat na iayon sa antas ng panganib; Sa mga desisyong may mataas na peligro, ang mga tao ang dapat na may pangwakas na sasabihin. Ang pamamahala sa peligro ay isang tuluy-tuloy na ikot; ay hindi kumpleto nang walang pagsubaybay at kontrol. Sa susunod na yunit, itatatag natin ang istruktura ng pamamahala at patakaran na ginagawang permanente ang disiplinang panganib na ito.
Gawain ng aplikasyon
Pumili ng kaso ng paggamit ng AI at ilista ang mga partikular na panganib nito gamit ang template 1. Markahan ang bawat panganib ayon sa posibilidad at epekto, na tinutukoy ang tatlong pinaka kritikal. Sumulat ng mga kongkretong hakbang sa pagpapagaan at ang antas ng pangangasiwa na kinakailangan para sa tatlong panganib na ito. Panghuli, uriin ang paggamit bilang mababa/katamtaman/mataas na panganib at tandaan kung paano nito binabago ang mga kinakailangan sa pangangasiwa.
checklist
- [ ] Inilista ko ang mga panganib na partikular sa artificial intelligence scenario-specific.
- [ ] Naiskor ko ang bawat panganib ayon sa posibilidad at epekto.
- [ ] Tinukoy ko ang mga hakbang sa pagpapagaan para sa pinakamahalagang panganib.
- [ ] Inuri ko ang lugar ng paggamit ayon sa antas ng panganib.
- [ ] Inayos ko ang pagsubaybay ayon sa antas ng panganib.
- [ ] Nagplano ako ng pagsubok/pagsubaybay para sa bias at drift.
- [ ] Nagtakda ako ng awtoridad sa paghinto para sa high risk system.