单位 10 / 11

事件响应和业务连续性

收益:

  • 能够对 AI 特定事件类型进行分类并设计响应周期
  • 能够在活动前定义角色、权限和法律报告义务
  • 能够通过业务连续性和无责备事后分析建立永久改进

无论你保护得多么好,总有一天会出现问题:密钥会泄漏,注入会起作用,提供商会崩溃,或者输出会损害客户。一个成熟的机构之所以成熟,不是不发生事件,而是在事件发生时做好准备并迅速行动。在本单元中,我们将学习人工智能特定的事件响应计划、角色、步骤和业务连续性。

为什么人工智能中的事件响应有所不同?

在典型的安全事件中,“关闭系统,隔离”通常就足够了。人工智能事件还有其他维度:事件可能不在代码中,而是在模型的行为中(例如系统性不正确/有偏差的输出);证据在提示/响应日志中;而“撤消”有时是不可能的,因为错误的输出已经成为一个决定。因此,AI事件计划应该涵盖经典安全和模型行为。

注意:事件发生时,计划不是书面的,而是实施的。谁给谁打电话、谁有权“停止系统”以及如何进行沟通,都必须在事件发生之前决定。

AI 事件类型

  • 数据泄露:PII 或机密数据泄露(通过提示、日志或输出)。
  • 安全漏洞:密钥泄露、成功注入、未经授权的访问。
  • 有害/有偏见的输出:模型系统地产生了不正确的、歧视性的或危险的响应。
  • 服务中断:提供商崩溃或达到速度限制;系统无法响应。
  • 滥用:该系统被用于其设计目的之外的有害目的。

循序渐进:事件响应周期

  1. 检测。监控警报、用户投诉或审计结果揭示了该事件。
  2. 排序并确定优先级。根据影响和传播程度给出级别(例如 P1 严重 - P3 低)。
  3. 包含。阻止传播:撤销密钥、关闭功能、将系统拉至只读。
  4. 消灭并恢复。修复根本原因,恢复安全状态。
  5. 报告一下。及时告知法律/合同通知义务(例如 KVKK 72 小时)和受影响的人员。
  6. 事后检查(尸检)。不要指责,记录根本原因和永久解决方案。

角色和责任

应明确谁在事件中做什么:事件指挥官(唯一做出决定的人)、技术响应(停止/修复系统)、沟通(客户/管理层/监管机构)、法律/合规(报告义务)。在小团队中,一个人可以担任多个角色,但角色必须书面化。

四个可复制模板

事件分类提示:

对以下事件进行分类:{{ event_description }}识别:- 类型:数据泄漏/安全漏洞/恶意输出/中断/滥用- 影响:有多少人/记录、什么数据类别、金钱/合规后果?- 传播:停止还是正在进行?- 优先级:P1 / P2 / P3 + 理由- 第一个控制步骤:应该立即做什么?

第一响应(遏制)清单:

事件确认后的前30分钟内:- [ ] 禁用受影响的功能/工具或将其设置为只读- [ ] 取消可疑密钥/会话- [ ] 保留证据(冻结相关日志,记录trace_id)- [ ] 通知事件指挥官和所需角色- [ ] 部署临时安全模式/备份流程

通知草稿提示:

为以下事件编写一份内部通知草稿:{{ event_summary }}必须包括:发生了什么(用非技术语言)、何时注意到、哪些数据/谁受到了影响、到目前为止已完成的操作、后续步骤、可以从谁那里获得其他信息。请勿包含猜测或指控。

尸检骨架:

事件后审查(无责备):- 时间线:检测 -> 控制 -> 恢复(分钟) - 根本原因:技术 + 流程规模 - 哪些进展顺利/哪些进展不佳 - 永久修复(谁、何时)- 监控/控制以尽早捕获此事件

弱提示/强提示

糟糕的方法

强硬的做法

在没有计划的情况下即兴参加活动

预先写好的计划、角色和权限

先说“谁有罪”

首先是遏制,然后是无责备的事后剖析

延迟/跳过通知

法定期限内(如72小时)通知

等待同样的事件再次发生

从事后分析中提取永久控制权

三个迷你箱

案例 1——在 72 小时规则内被捕。一家公司的一名员工注意到,由于配置错误,日志中 1,200 条客户记录被暴露。由于有书面计划,事件指挥官很清楚;团队在40分钟内关闭了访问,法律在72小时内做出了KVKK通知。及时报告大大降低了犯罪风险和声誉损害。

案例 2 — 只读安全模式处理了中断。主模提供者外出3小时。该公司的业务连续性计划包括切换到备份提供商和“安全模式”(仅限关键功能)。尽管用户失去了全部功能,但系统仍然存在;关键行动并未停止。

案例 3 — 尸检防止复发。成功的间接注入将另一个用户的数据泄露给了助手。非责备事后分析表明,根本原因是缺乏<数据>隔离。添加了永久修复(隔离+输出扫描+回归测试);同级别的攻击再次没有成功。

提示:在不指责的情况下进行事后剖析。目的不是找人,而是加强系统,不允许同样的事件再次发生。指责文化会导致人们隐瞒事情,这是最危险的。

常见错误

  • 活动前没有准备书面计划和角色分配。
  • 在控制之前陷入争论/指责。
  • 缺少法律通知义务(KVKK/GDPR 截止日期)。
  • 重置系统而不保留证据(日志)。
  • 不考虑备份提供商/安全模式来实现业务连续性。
  • 不进行事后分析,为同一事件的重复留下空间。

综上所述

  • 成熟不是没有事件,而是没有事件。这意味着在事情发生时要做好准备并迅速行动。
  • AI事件可以在模型行为中而不是在代码中;证据在提示/响应日志中,并且逆转并不总是可能的。
  • 响应周期:检测、分类、遏制、恢复、报告、事后分析。
  • 角色和权限(事件指挥官、技术、通信、法律)应在事件发生前以书面形式确定。
  • 用于业务连续性的备份提供商/安全模式;无责备的事后剖析和永久纠正对于事件的后果至关重要。

应用任务

为您自己的 AI 系统编写一份事件响应计划草案:列出三种最有可能的事件类型,确定初始 30 分钟的遏制清单以及每种事件的角色。然后做一个桌面练习:逐步演练“密钥泄露”场景,指出并纠正计划中任何缺失/模糊的点。

清单

  • [ ] 有书面的事件响应计划和角色分配。
  • [ ] 谁有权“停止系统”,一目了然。
  • [ ] 前 30 分钟收容检查表已准备就绪。
  • [ ] 规定了法定通知期限和责任人。
  • [ ] 为业务连续性规划的备份提供商/安全模式。
  • [ ] 对每个事件进行无责事后剖析和永久纠正。