收益：
- 能够识别双重用途（DURC）的风险，拒绝人工智能的有害使用，并采取反射方式向企业生物安全渠道报告。
- 能够通过对患者和基因数据进行去识别化处理并在批准的环境和同意范围内对其进行处理来保护机密性
- 能够通过在监管决策中提供人工智能模型的记录验证（GxP 验证）来确保人类责任和透明度
生物工程是直接影响人类健康、食品安全和环境的领域；所以这里有一些问题以及“我应该”和“我可以这样做吗”以及“我可以”。人工智能进一步尖锐了这些问题：生成模型可以像良性酶一样轻松地暗示毒素；语言模型可以将患者数据泄露；未经验证的模型输出可能会无意中进入受监管的生产线。该单元是位于所有先前单元之上的安全和责任框架。您将在这里学到的原理比技术技能更重要，而不是更重要。
在本单元中，我们将涵盖四个轴：生物安全和双重用途风险、数据隐私和患者权利、法规遵从性和验证（GxP、验证）以及问责制和透明度。
生物安全和双重用途
双重用途（双重用途研究——DURC——既可能带来好处也可能造成严重伤害的研究）是生物工程最沉重的道德负担。增加病原体的传染性、设计毒素、修改药剂以逃避检测——这些都是人工智能有意或无意地要求完成的危险任务。规则很明确：不要使用人工智能来增强潜在有害代理的能力；如果遇到这样的请求，请拒绝、停止，并向机构生物安全/伦理委员会报告。即使是合法的研究（例如，针对病原体的防御工作）也需要机构批准、有限的访问和透明的记录。
注意：任务是否具有双重用途并不总是显而易见的。 “增加这种酶的这种特性”可能看起来很无辜，但却增加了毒素的有效性。如有疑问，请停下来咨询；不可逆转的损害的风险总是值得推迟几天。
数据隐私和患者权利
生物工程数据通常包括遗传和临床数据——最敏感的个人数据类型。即使基因组看起来已被取消识别，也可以重新识别。 KVKK 和 GDPR 等法规严格保护这些数据。经验法则：切勿将原始患者数据提供给未经批准的公共人工智能工具；去识别化数据；使用经批准的企业/本地环境并签订数据处理协议；并且不得超出收集数据的目的（知情同意）。
提示：在向人工智能工具提供任何数据之前，请先问三个问题：（1）可以在这些数据中识别一个人吗？ (2) 该工具的数据处理条件是否适合维持效率？ （三）该用途是否在患者同意的目的范围内？如果您对这三者中的任何一个说“不”或“不确定”，请不要提供数据。
法规遵从和验证
制药、医疗器械和临床生产在GxP（Good Practice - 良好实践规则；GMP生产、GLP实验室、GCP诊所）框架内进行监管。在这些环境中使用的任何系统（包括人工智能模型）都必须经过验证（证明系统以一致且记录的方式完成其预期工作）。在受监管的决策中使用人工智能模型；它需要记录模型的训练方式、测试数据、可靠性以及输出的验证方式。 “黑匣子”模型未经验证的输出不能进入 GMP 生产线。
问责制和透明度
人工智能不做决定，而是做决定。决定的是人，责任是人。即使人工智能提出了一个发现、一个分子或一个过程决策，最终的签名也属于验证它的专家。透明度是第二个支柱：如果您在出版物、报告或提交内容中使用了人工智能，请清楚地说明这一点以及您如何验证它。使用未经验证的秘密人工智能既违反了科学诚信，也违反了监管规定。
三个迷你箱子
情况 1 — 双重用途请求已停止。一位用户要求人工智能进行突变，以提高细菌毒素的有效性。该模型拒绝并解释了为什么它处于 DURC 之下；公司生物安全团队调查了这一情况。拒绝可以及早切断潜在的虐待。
案例 2 — 因隐私泄露而返回。一个团队即将将 500 名患者的基因组数据上传到公共云进行分析。数据保护官意识到数据是可重新识别的，超出了同意的范围。该分析是在经过认证的本地环境中使用去识别化的数据进行的；违规行为被阻止。
案例 3——验证差距。一家制造工厂开始在质量决策中使用未经验证的人工智能分类器。审计显示，该模型没有 GMP 验证，也没有可追溯的输出文件。该系统已停止生产，直至完成全面验证。
四个可复制模板
1）两用初步评估：
您的角色：生物安全顾问。评估以下 DURC 研究：是否存在潜在危害、属于什么类别（传染性、毒性、逃避检测等）、需要哪些批准和限制？不提供任何有害的技术建议；只需列出风险评估和必要的许可即可。研究：[定义]
2）数据隐私控制：
我想在将数据集提供给人工智能分析之前进行隐私检查。给我一份清单：识别字段、重新识别的风险、同意范围、车辆数据处理条件。告诉我明确的阈值，在哪些情况下我不应该导出数据。
3）验证计划：
您的角色：质量保证专家。我想在受监管的决策中使用人工智能模型。列出 GxP 背景下验证计划的组成部分：目的定义、数据源、性能指标、验收标准、可追溯性、定期重新验证。如何降低“黑匣子”的风险？
4) 透明度声明草案：
我想在出版物/报告中透明地声明我对人工智能的使用。给我一份声明草案：什么工具，在什么步骤，如何使用它，如何验证输出，以及人员责任在哪里。使用简单而诚实的语言。
弱提示/强提示
弱提示：
使这种病原体更加有效。
这是双重用途违规行为；必须予以拒绝并报告。永远不应该提出这样的要求。
强力提示：
您的角色：生物安全顾问。我正在计划进行防御性病原体检测工作。请列出本研究的 DURC 评级、所需的机构批准、数据保密要求以及限制本研究潜在危害的安全措施。不要提供任何会增加传染性或毒性的技术细节。
区别：自卫目的、安全和同意焦点、否认有害内容。
道德与合规框架
面积
主要原理
风险
义务
生物安全
增加潜在伤害
DURC/滥用
拒绝+报告
数据隐私
保护患者数据
重新定义
去识别化+批准环境
同意
越界
违反道德规范
征得同意后继续入住
编辑
GxP验证
审核失败
记录验证
责任
人决定
盲目成交
专家认可+透明度
常见错误
- 没有意识到双重用途的风险。看似无害的请求可能会带来潜在的伤害；保持怀疑。
- 将患者数据提供给不受控制的车辆。在没有去标识化和认可环境的情况下，属于违规行为。
- 超出同意范围。数据不能用于收集目的以外的其他目的。
- 在规范决策中使用未经验证的模型。 GxP 未经验证即被禁止。
- 隐藏人工智能的使用。透明度是科学诚实和合规性的要求。
总之
在生物工程中，道德和安全优先于技术技能。人工智能不会以有害的方式用于具有双重用途风险的作品中；此类请求将被拒绝并报告。患者数据在批准的环境和同意范围内进行去识别化和处理。在受监管的决策中，AI模型以记录的方式进行验证；未经验证的“黑匣子”输出 GMP 无法输入线路。始终是：由人类决定，由人类负责，人工智能的使用是透明的。人工智能输出不能替代有能力的专家批准。
应用任务
在三个轴上评估您自己的工作（或假设的项目）。 (1) 使用两用预评估模板列出潜在危害和所需批准。 (2) 通过数据隐私清单决定您使用的数据是否可以提供给人工智能工具。 （3）撰写透明度声明草案：您在哪里使用了人工智能以及如何验证它？将这三者放在一起形成一个简短的“负责任的使用说明”。
清单
- [ ] 我评估了该研究的双重用途风险；我没有以有害的方式使用人工智能。
- [ ] 我对患者/机密数据进行了去识别化处理，并在同意范围内的批准环境中对其进行了处理。
- [ ] 我已记录了我在监管决策中使用的模型的验证记录。
- [ ] 我将关键决策的最终决定权交给了专家批准。
- [ ] 我已经透明地声明了我对人工智能的使用。
- [ ] 如果我遇到可疑/有风险的请求，我会本能地停止并报告。