收益：
- 能够识别人工智能特有的风险，例如幻觉、偏见、数据泄露、模型漂移、依赖性以及无法解释的业务影响
- 从概率和影响维度对风险进行评分，并通过缓解措施将其保持在机构的风险偏好范围内
- 能够根据风险水平而不是均匀性调整监控，确保高风险决策中的最终决定权和持续监控
价值和风险是同一枚硬币的两个方面。人工智能开辟了新的价值来源，但它也带来了传统软件所不具备的新型风险。对于高级管理人员来说，问题不是避免风险，而是有意识地管理风险（风险管理；识别、衡量、降低风险并将其保持在可接受限度的纪律）。在本单元中，您将了解人工智能特有的风险、其业务影响以及实用的缓解方法。目的不是“因为有风险而不做”或“像没有风险一样行事”；就是以有意识的风险偏好来实施每一项举措；该机构愿意承担的风险水平。
人工智能特定风险
传统 IT 风险（漏洞、中断）仍然存在；但人工智能也增加了其自身的风险：
风险类型
你什么意思？
业务影响示例
幻觉
这是编造的，但结果可信
向客户提供错误信息，承担法律责任
偏见
数据不公平的反映在输出上
歧视性雇用/信贷决定
数据泄露
机密数据泄露到车辆中
KVKK 违规，声誉受损
模型漂移
随着时间的推移，性能会下降
悄悄推翻决定
成瘾
锁定单一供应商
价格/访问冲击
莫名其妙
不知道该决定的原因
审核和异议难度
这里有两个术语很重要：偏见是指人工智能在训练数据中学习到不公平的模式并将其反映在其决策中；例如，如果历史招聘数据有利于某一群体，那么该模型也会有利于这一群体。模型漂移是指模型变得过时，并且随着世界的变化（新产品、新行为），其性能悄然下降。
提示：不要从“可能/不会发生”的角度来考虑风险，而是从两个维度来考虑：概率（可能性有多大）和影响（如果发生会造成多大伤害）。首先解决那些具有高影响力+高概率的问题；那些低+低值的被接受和监控。
根据风险级别进行监控
并非每个使用区域都具有相同的风险。明智的方法是根据风险级别调整监控：
- 低风险（插入草稿、头脑风暴）：轻度监督，速度优先。
- 中等风险（满足客户、决策支持）：人工批准、抽样控制。
- 高风险（信用、招聘、健康、法律）：强制人为判断、全面注册、定期审核。
这种“基于风险”的方法也是欧盟人工智能法（第 9 单元）的支柱。
循序渐进：风险管理周期
1. 认识风险。列出每项举措的人工智能特定风险。
2. 对可能性和影响进行评分。从两个维度评估每个风险并确定其优先级。
3. 定义缓解措施。例如人工审批、数据匿名化、跟踪、供应商多元化。
4. 接受或停止剩余风险。如果在胃口之内，则可以接受减少后剩余的风险；如果不是，则尝试停止。
5.观察和回顾。风险不是静态的；持续监控变化和新威胁至关重要。
三个迷你箱子
案例 1——幻觉的代价。一家航空公司的客户聊天机器人为乘客“编造”了一项不存在的退款政策；客户相信了这一点并进行了交易。法院要求该公司对其自己的机器人声明负责。教训：AI输出给客户是中/高风险；验证和限制至关重要。然后，机器人被限制只能对批准的政策文本做出响应。
案例 2——无声的偏见。由于历史数据不平衡，一家公司的招聘筛选模型系统性地偏向某些学校的新员工。审计中发现了这一差异；存在声誉和法律风险。该模型与受保护的特征脱钩，并与定期司法监测挂钩。如果从一开始就进行偏差测试，就不会发生这种情况。
案例 3 — 漂流被抓获。当新的欺诈模式出现时，银行的欺诈检测模型悄然被削弱； 3个月内，错过率从8%上升至19%。好消息：该机构实施了每月的绩效监控，早期发现了偏差，并对模型进行了重新训练。如果没有监控，损失将会成倍增加。
四个可复制模板
1）风险盘点：
您的角色：人工智能风险经理。列出以下用例的人工智能特定风险：幻觉、偏见、数据泄露、漂移、依赖、难以解释。对于每种风险，用一句话写出其在该场景中可能的表现形式和业务影响。使用范围：[文字]
2) 概率/影响力评分：
通过对以下风险进行评分并乘以概率 (1-5) 和影响 (1-5)，对这些风险进行优先级排序。解释为什么您优先考虑前三个风险。风险：[列表]
3）缓解计划：
针对以下优先风险提出切实可行的缓解措施：[风险]。对于每项措施：做什么、谁负责、什么级别的风险是强制性的。在适当的情况下使用人工监视、数据匿名化、监控和供应商多元化。
4) 基于风险的监测矩阵：
将以下使用领域分配给风险级别（低/中/高），并确定每个级别所需的监督：是否需要人工批准，是否保留记录，检查频率是多少？用途：[列表]
弱提示/强提示
弱者：“这个人工智能项目有什么风险？”
结论：风险的一般清单；概率、影响和没有缓解措施，你无法决定。
Güçlü：“我们将在银行贷款申请的初步评估中使用人工智能（人类将做出最终决定）。列出该场景特有的风险（偏见、莫名其妙、幻觉、数据隐私）；根据可能性和影响对每个风险进行评分；针对三个最关键的风险提出具体的缓解和监督要求。同时说明这被视为高风险对合规意味着什么。”
结果：针对特定场景的、评分的、缓解的和合规性相关的风险分析。
常见错误
- 对所有举措实施相同的监督。放慢低风险工作的速度与忽视高风险工作同样有害；监测应基于风险级别。
- 将幻觉误认为是“小错误”。向客户输出错误信息可能会导致法律责任。
- 不测试偏见。未经公平性测试而部署的模型可能会产生无声的歧视。
- 不看漂移。一次有效的模型不会永远有效；需要持续监控。
- 锁定单一供应商。如果没有退出计划，成瘾会让你面临价格和渠道冲击。
注意：风险管理不是一劳永逸的；人工智能系统是生命系统。仅仅因为模型今天安全并不能保证它明天也安全。持续监控、定期检查和明确的终止开关应该成为每个高风险系统的一部分。
综上所述
除了传统的IT风险之外，人工智能还增加了独特的风险，例如幻觉、偏见、数据泄露、漂移、依赖性和不可解释性。应根据概率和影响对这些风险进行评估和优先排序，并应采取缓解措施将其控制在机构的风险偏好范围内。监督并不统一，但应根据风险水平进行调整；在高风险决策中，人们应该有最终决定权。风险管理是一个持续循环的过程；没有监控和控制，就不完整。在下一个单元中，我们将建立治理和政策结构，使这种风险纪律永久化。
应用任务
选择一个人工智能用例并使用模板 1 列出其特定风险。根据可能性和影响对每个风险进行评分，确定三个最关键的风险。写下这三种风险的具体缓解措施和所需的监督级别。最后，将使用分类为低/中/高风险，并注意这如何改变监督要求。
清单
- [ ]我列出了人工智能特定场景的风险。
- [ ] 我根据可能性和影响对每个风险进行了评分。
- [ ] 我已针对最关键的风险制定了缓解措施。
- [ ] 我根据风险等级对使用区域进行了分类。
- [ ]我根据风险级别调整了监控。
- [ ] 我计划测试/监控偏差和漂移。
- [ ] 我已为高风险系统设置了停止权限。