收益：
- 评估 AI 使用是否需要 DPIA
- 将七步 DPIA 流程应用于人工智能项目
- 通过概率影响矩阵对风险进行优先级排序并设计缓解措施
人工智能的某些用途给个人带来了严重风险：大规模监控、敏感数据处理、自动化决策。在此类项目中，KVKK/GDPR 和欧盟人工智能法都希望在工作开始之前进行结构化风险评估。此评估的名称是数据保护影响评估 (DPIA)。在本单元中，我们将学习如何判断某个用途是否需要 DPIA、如何将七步 DPIA 流程应用于人工智能项目，以及如何使用概率影响矩阵对风险进行优先级排序。
什么是 DPIA？何时需要？
数据保护影响评估 (DPIA) 是一种结构化分析，可提前评估处理活动对个人权利和自由的风险并确定缓解措施。关键点：DPIA 是在设计阶段、处理开始之前完成的，而不是在问题发生之后。
在以下情况下通常需要 DPIA：
- 使用新技术（通常包括人工智能）。
- 大规模处理个人数据。
- 系统监控或分析。
- 特殊数据处理。
- 对人们产生重大影响的自动化决策。
提示：如果您不确定，请进行“筛选”：如果存在上述五项中的两项或多项，则默认执行 DPIA。做DPIA的成本低；如果不这样做，一次违规行为的代价就会非常高。
七步 DPIA 流程
您可以通过以下七个步骤将 DPIA 应用于 AI 项目：
步骤
你做什么？
1. 说明
描述处理：什么数据、目的、范围、流程
2. 必要性和相称性
人工智能真的有必要吗？有没有一种侵入性较小的方式？
3. 利益相关者意见
征求相关人士/代表的意见
4、风险识别
列出对个人可能造成的伤害
5. 风险评估
按概率和影响对每个风险进行评分
6. 缓解措施
针对每个风险设计预防措施，识别残余风险
七、审批与审核
记录结果，提交审批，定期更新
风险优先级：概率影响矩阵
您可以从两个维度评估每个风险：发生的可能性以及发生时的影响。两者结合优先。
<w:tcPr><w:tcW w:type="dxa" w:w="2160"/></w:tcPr><w:p><w:r><w:rPr><w:b/></w:rPr><w:t>低影响
中等效果
高影响力
高概率
中等
高
批评的
中等概率
低
中等
高
低概率
低
低
中等
关键风险和高风险是指在不采取预防措施的情况下不应继续项目的风险。目的不是消除所有风险；就是把每一个风险降低到可以接受的水平，并自觉地接受剩下的（剩余）风险。
三个迷你箱子
案例 1 — 省略 DPIA。一家零售连锁店实施了一个系统，无需 DPIA，即可通过 AI 跟踪店内客户行为。几个月后，一份投诉显示该系统做出了具体的推断（健康、怀孕预测）。审计中对于“为什么不做DPIA”的问题没有答案。从一开始就进行 DPIA 可以在设计阶段发现这种风险并确保项目安全。
案例 2 — DPIA 拯救的项目。 DPIA是为了银行的招聘支持AI而完成的。在风险识别阶段，历史数据造成性别偏见的风险被证明是“高”的。作为缓解措施，该团队从模型中删除了性别信息，将输出归因于定期偏差测试，并需要人工验证。现在风险降至“中等”，该项目变得可以接受。 DPIA 使项目变得安全，而不是扼杀它。
案例 3 — 比例性测试。一家公司希望利用人工智能扫描员工电子邮件进行“忠诚度分析”。在 DPIA 的必要性/相称性步骤中，发现这相对于目的来说过于侵入；还有侵入性较小的替代方案。该项目目前的形式尚未获得批准。比例测试区分“我们可以”和“我们必须”。
注意：DPIA 不是填写一次并放在一边的表格。当处理变化（新数据、新用途、新工具）时，必须更新 DPIA。死的 DPIA 比没有 DPIA 更具误导性，因为它给出了错误的信心。
DPIA 和风险登记与 DPIA 的关系由谁负责
一个人无法在办公桌上填写 DPIA；正确的 DPIA 需要团队的努力。通常，数据保护官执行流程 (Doer)，合规经理最终负责 (Accountable)，相关业务部门描述处理过程、评估 IT/安全技术措施并确认法律依据。征询相关人士的意见（第三步）不可忽视；然而，这是实践中最常被跳过的步骤。
DPIA 的输出并非凭空存在：已识别的风险记录在组织的风险登记册中。风险登记册是一个实时图表，捕获所有未解决的风险、其优先级、缓解措施、罪魁祸首和最后审查日期。这样，人工智能项目的风险与组织的整体风险管理使用相同的语言，并定期进行监控。
风险登记区
例子
风险定义
招聘人工智能中的性别偏见
优先级
高
缓解措施
替代变量提取+偏倚测试
负责
数据保护官
评论
每 3 个月一次
提示：以“风险记录和跟踪”的心态对待 DPIA，而不是“完成后忘记”的方法。是否实施了风险缓解措施，残余风险是否处于可接受的水平——如果没有记录跟踪这些内容，DPIA 就变成了一个窗口文件。
可复制模板
模板 1 — DPIA 预筛选：“这种 AI 用途是否需要 DPIA？[描述用途]。根据五个触发因素进行评估：新技术、大规模处理、系统监控、敏感数据、重要的自动化决策。有多少个触发因素，您是否推荐 DPIA，并有道理。”
模板 2 — 风险识别头脑风暴：“列出这个人工智能项目中可能对人们造成的伤害[描述该项目]：数据泄露、歧视、误判、侵犯隐私、缺乏透明度、目的偏差。为每种伤害写一个一句话场景。只检测，但不抵消。”
模板 3 — 可能性影响评分：“对以下风险 [列出风险] 进行评分，即概率（低/中/高）和影响（低/中/高）；每行显示优先级（低/中/高/关键）。在顶部列出关键和高。以表格形式呈现。”
模板 4 — 缓解设计：“对于以下风险 [写下风险]，提出至少 3 项缓解措施（技术、流程、组织）。估计每项措施后的‘剩余风险’水平。如果采取措施后风险仍然很高，则表明应重新设计项目。”
弱提示/强提示
弱：“这个人工智能项目有风险吗？”-> 模型给出了一个模糊的“也许”答案；不会对风险进行分类，不会对风险进行优先级排序，不会制定措施。强项：“对以下人工智能项目进行迷你 DPIA：(1) 描述处理过程，(2) 通过 5 个触发器评估 DPIA 的需求，(3) 列出 6 种可能对人员造成的伤害，(4) 按概率影响对每个风险进行评分，(5) 建议针对关键/高风险采取缓解措施。做出明确的法律决策；制定将提交法律批准的草案。”-> 该模型会制定一份结构化、可操作的 DPIA。
常见错误
- 在事务开始后（甚至在问题发生后）执行 DPIA。
- 跳过需要 DPIA 的高风险处理“没什么大不了的”。
- 未列出风险并按概率和影响对风险进行优先级排序。
- 考虑 DPIA“完整”，但没有针对每种风险制定措施。
- 跳过必要性/相称性步骤并说“我们可以做到，所以让我们这样做”。
- DPIA 填写一次，流程发生变化时不更新。
- 在没有明确记录残余（剩余）风险的情况下批准项目。
综上所述
- DPIA 是一种结构化分析，可在开始之前评估高风险处理对个人的影响。
- 如果有新技术、大规模处理、系统监控、敏感数据或重要的自动化决策，则需要 DPIA。
- 该过程由七个步骤组成：识别、必要性/相称性、利益相关者意见、风险识别、评估、行动、批准/审查。
- 通过概率影响矩阵对风险进行优先级排序；如果没有采取预防措施，则不会接受严重/高风险。
- DPIA 不会杀死项目，而是使其安全；它是一个动态文档，必须随着处理变化而更新。
应用任务
选择您的组织可能使用的高风险人工智能用途（例如，招聘支持、行为跟踪或信用评分）。首先考虑 DPIA 有五个触发条件是否有必要。然后为此用途进行迷你 DPIA：描述处理过程，列出至少六种可能对个人造成的伤害，在可能性影响矩阵上对每个伤害进行评分，并分配优先级。针对两个关键风险和高风险设计三项缓解措施，并估计措施后的剩余风险水平。最后，请注意何时需要更新此 DPIA。
清单
- [ ] 我用五个触发器评估了 DPIA 要求。
- [ ] 我定义了处理（数据、目的、范围、流程）。
- [ ] 我质疑必要性和相称性。
- [ ] 我列出了对个人可能造成的危害。
- [ ] 我对概率影响矩阵中的风险进行了优先排序。
- [ ] 我为关键/高风险设计了缓解措施。
- [ ] 我现在已经记录了风险并设置了审核条件。