收益：
- 能够利用人工智能准备风险和保护因素清单以及安全计划框架，并且无需跳过任何区域即可工作
- 了解风险级别/评分和安全决策仅由专家、团队、监督和法律流程做出，人工智能无法产生决策。
- 看到人工智能可以将系统偏见归因于弱势群体，并应用绝不将其输出用作决策的纪律，并仅在安全系统中处理最敏感的数据
社会工作最重要的职责是风险评估——直接关系到生命安全的判断，例如儿童是否被忽视或虐待，个人是否有可能伤害自己或他人，老年人是否安全，或者暴力受害者的危险程度。本单元的第一个也是最大胆的规则是：风险决策不、不能也不应该属于人工智能。关于个人安全的决定；它需要专业权威、临床判断、多学科团队意见、监督和法律责任。人工智能在这里只是一个准备和提醒工具：它提醒你要审查哪些风险和保护因素，整理你的笔记，概述安全计划。它不会给出分数，不会说“风险低/高”，它不会做出决定。
为什么我们如此严厉地强调这一点？因为在风险领域，人工智能错误的成本是不可逆转的。人工智能将风险评级为“低”，导致儿童得不到保护；让风险显得不必要的“高”可能会导致家庭被不公平地分开。此外，人工智能在训练数据中存在偏差：世界各地都有记录将较高风险系统地归因于某些社会经济群体、种族或社区的算法。所以即使AI的输出是输入，它也永远无法凌驾于你的独立判断之上。
人工智能的合法作用：提醒与监管
您可以在三个地方安全地使用人工智能来应对风险：
1.因素提醒。风险评估中应考虑的风险因素（例如，既往暴力史、药物滥用、社会隔离、之前入院）和保护因素（例如，支持性成年人、正常上学、强大的社交网络）很长；人工智能可以通过调用适合您组织使用的框架的清单来帮助您避免遗漏任何区域。
2.注释编辑。它将您的观察和客户陈述转化为有组织的、事实性的文本——这样您就可以根据清晰的数据做出判断。
3.起草安全计划。安全计划（确定受害者在遇到危险时将做什么、他将联系谁、他将去哪里的具体计划）具有一定的结构。 AI可以生成一个草稿骨架供客户填写；但你和客户根据实际情况填写计划内容。
注意：永远不要问人工智能“这种情况下的风险级别是多少？”或者“孩子在家安全吗？”别问。即使您提出要求，也不要将输出用作决策。这些问题只能由授权专家、团队和监管人员通过机构的官方风险工具来回答。
一步一步：在风险流程中正确定位人工智能
- 安全第一。如果存在直接且严重的危险（生命安全），需要运行机构的应急程序，而不是处理人工智能。人工智能不应该拖延任何紧迫性。
- 辨别身份。风险评级是最敏感的数据；识别客户的信息不会输入到开放工具中，仅使用安全机构工具。
- 提醒我因素列表。请求一份适合制度框架的风险和保护因素清单。
- 做出你自己的判断。您权衡因素，与团队一起评估，并与主管协商。你不希望AI来“评估”。
- 与客户一起完成安全计划。草稿骨架可能来自AI；内容填充有客户的实际网络、资源和偏好。
三个迷你箱子
案例 1 — 缺少保护因素。一位专家关注家庭暴力案件中的危险因素。他要求人工智能提供的因素清单中，他在“保护因素”部分询问了客户工作中的安全支持网络——这是专家忽略的一个领域。该网络成为安全计划中最现实的部分。决定再次由专家做出。 AI只是提醒了这个问题。
情况 2 — 不信任错误的分数。一家机构看到一种试用人工智能工具将案件标记为“低风险”。然而，专家的观察和客户的陈述表明存在严重的危险。该团队拒绝了AI标签，并根据自己的评估启动了保护行动。后来证实危险确实存在。教训：AI 分数不是一个决定；而是一个决定。人类的判断优先。
案例 3——发现偏见。在一次审判中，同一案件被交给AI两次；唯一的区别是客户居住的社区。人工智能系统地为已知处于不利地位的社区生成了更高的“风险语言”。这表明人工智能训练数据存在偏见，并强化了该机构在风险决策中不使用人工智能的政策。
四个可复制模板
1）风险/防护因素提醒：
您的角色：社会工作主管助理。准备一份建议在[家庭暴力]案件风险评估中审查的风险因素和保护因素清单。将其作为提醒列表呈现；不产生任何分数、决策或“风险级别”。评估和决定属于专家。
2）安全计划草案框架：
你的角色：编辑。准备一份空白的安全计划大纲，由家庭暴力受害者填写：警告标志、安全场所、联系人员和机构、重要文件、儿童计划、数字安全。填写内容；每个标题下留有空白，以便客户填写。
3）编辑风险说明（不做出决定）：
将以下观察和陈述注释翻译成事实、有组织的文本。分别标记观察结果和客户陈述。陈述风险级别，做出决定，添加评论。仅编辑注释中的内容并标记缺失/模糊区域。注：【粘贴去标识化备注】
4）偏差自控：
在下面的风险说明草案中，是否存在因客户的社会经济地位、种族、邻里或类似特征而传达未经证实的偏见的陈述？标记每个基于刻板印象而不是证据的句子。不要更改文本，只是警告。注：[粘贴注]
弱提示/强提示
弱提示：
阅读此案例并确定孩子呆在家里是否安全以及风险级别是多少。
这是将人类生活中最重要的决定外包给软件。这是不道德的，违背职业责任的，并且将人工智能的偏见直接带入了孩子的命运。
强力提示：
你的角色：提醒助手。在阅读下面的去识别化注释之前，请准备一份风险和保护因素清单，以便在评估[儿童忽视]案件时进行审查。制定决策、评分或风险级别。我会和我的团队一起进行评估；你只是提醒我不应该跳过哪些领域。
区别在于：说“我不应该忘记哪些问题”而不是要求做出决定，可以让人工智能保持在安全和道德的前沿。
风险领域的角色边界
任务
人工智能能做到吗？
谁做的？
因素清单提醒
是的
人工智能（提醒）
如实编辑笔记
是的
AI+专家审批
安全计划空白骨架
是的
人工智能；内容客户+专家
风险级别/分数确定
不
专家+团队+督导
“安全吗？”决定
不
主管专家，法律程序
启动防护措施
不
机构、主管机关
常见错误
- 向人工智能询问风险评分/决策。最危险的错误；该决定需要专业权威和法律责任。
- 信任人工智能标签。 “低风险”结论永远不会使您的观察结果相反。
- 无视偏见。人工智能可能会将系统性高风险归因于弱势群体；自我控制至关重要。
- 拖延紧急情况。如果存在生命安全，首先进行紧急程序；与人工智能打交道不能等待。
- 将最敏感的数据提供给开放工具。风险注释仅在安全机构工具中进行处理。
综上所述
风险评估是社会工作最重大的责任，决定权完全取决于个人——专业人士、团队、监督、法律权威。在这里，人工智能只是一个提醒（风险/防护因素清单）、组织（事实说明）和起草（安全计划框架）的工具；它不得分，也不做出决定。请记住，人工智能带有偏见，切勿将其输出用作决策，并且仅在安全系统中处理最敏感的数据。
应用任务
选择一个虚构的案例类型。获取带有“风险/保护因素提醒”模板的清单，并验证人工智能不会产生任何“风险级别”。然后使用“安全计划大纲框架”模板抓取一个空白计划框架。有意识地询问AI“风险级别是多少？”并用一句话写出为什么你不应该使用输出作为决策。
清单
- [ ] 我只向 AI 询问因素提醒，而不是决定/分数。
- [ ] 我仅在安全企业工具中处理最敏感的数据。
- [ ] 我打算和客户一起填写安全计划的内容。
- [ ]我检查了AI输出是否存在偏差。
- [ ] 我确认最终的风险决定取决于团队、监督和正当程序。