收益:
- 了解为什么人工智能无法在危机、自杀和伤害自己/他人的风险中做出决策,以及为什么人类干预是强制性的。
- 能够仅在提醒/清单级别将人工智能定位于风险评估,低于专家判断
- 能够定义人工智能在应急协议、路由线路和安全计划中的有限和受控作用
该单元绘制了整个模块最重要的边界。在心理健康行业中,有时并不重要的是速度、轻松或效率;而是重要的。只有一个人的生命和一位专家的责任才能说话。自杀风险、自我或他人伤害、急性精神病、暴力威胁、举报儿童/虐待等情况都属于危机。在这些时刻,人工智能(AI)无法做出决策、衡量风险、进行干预和承担责任。这不是“人工智能还不够好”的问题;而是“人工智能还不够好”的问题。危机本质上需要实时的人际关系、临床判断和问责制。在本单元中,您将了解为什么人工智能会在危机中停止,为什么人类至关重要,以及人工智能最多可以发挥哪些有限的作用。
为什么人工智能无法在危机中做出决策
危机评估需要四件事,而这对于人工智能来说还不够:
- 实时关系。真正的风险迹象往往并不体现在言语中;而是体现在言语中。它隐藏在语气、停顿、眼神、肢体语言、“未说出口”之中。 AI 看到文本;不见人。
- 整体临床推理。风险;它是对历史、保护因素、冲动、访问(方法的访问)、支持系统等数十个因素的实时权衡。人工智能可能会给出机械的“风险评分”,但该评分并不能拯救人类。
- 责任和问责。必须有一个人在危机决策背后签字,在必要时承担责任,并承担客户的生命。 AI无法承担责任。
- 反应能力。危机中需要的是具体的、人为的行动(制定安全计划、让家人参与、指导急诊室、联系医院)。
注意:当客户出现风险迹象时,询问AI“有风险吗?” “问”是推迟决策、逃避责任。危机时,专家直接介入。人工智能此时不具有决策作用。必要时启动热线和人力支持链。
人工智能在危机聊天机器人中的危险
近年来,会说“让我支持你”的人工智能聊天机器人已经变得普遍。它们在危机中的危险是严重的:机器人可能会误解自杀消息、回避主题、给出陈词滥调的响应,或者(如记录的案例)以有害的方式响应。一个人感觉到对方确实处于危险之中并采取行动;机器人无法可靠地做到这一点。因此,切勿将陷入危机的客户转介给聊天机器人。
人工智能的可接受的有限作用
人工智能无法在危机中做出决策;但在会议之外,专业人员在支持他/她自己的工作方面的作用可能非常有限:
- 提醒/清单。准备一份清单,列出专家在风险评估中不应忘记询问的领域(专家使用它,而不是客户)。
- 协议草案。准备机构的危机协议草案、转介线路列表、安全计划模板(然后专家/机构批准)。
- 训练/排练。想象场景演练(无真实客户)以提高专家的危机访谈技巧。
这些角色的共同点是:人工智能永远不会在真实的客户面前处于实时危机中的决策位置。
情况
人工智能的作用
谁决定
实时危机(客户面临风险)
无决策角色
专家、直接、立即
课外:准备清单
草稿提醒
专家批准/使用
危机协议/模板编写
文本草稿
专家/机构认可
指导处于危机中的客户
禁止(禁止聊天机器人)
人力支持链
三个迷你箱子
案例 1——边境保护。一位客户在一次治疗中说:“我再也受不了了,我想结束它。”专家想,“我会把这个写给人工智能,让它询问其严重性”,但停了下来。相反,他直接、冷静、直接地进入风险评估:思考的频率、计划、方法、范围、谈论保护因素;制定安全计划;激活必要的支持。决定和责任自始至终都属于人;人工智能进入这个时刻根本就不合适。
案例 2 — 船的不足。一个组织正在考虑部署人工智能聊天机器人来提供下班后支持。在试点测试中,机器人对建议自杀的消息做出一般性的“保重”回应;它既不认识也不引导风险。该机构认为该机器人不具备危机安全性;相反,它建立了一个明确的系统,引导人们拨打真正的危机热线,并在非工作时间情况下联系待命专家。
案例 3 — 正确限制使用。为了加强自己的风险评估实践,一位专家向人工智能询问“我应该记住在全面的自杀风险评估访谈中询问的领域清单”。 AI生成良好的提醒列表;专家把它放在包里作为安全网。在这里,人工智能根本不触及客户端;它仅支持专家的准备。这是可接受的限度。
可复制的提示和模板
注意:这些模板都不应该在与实际客户的实时危机中使用。一切都在会议之外,供专家自己准备。
准备一份通用清单,以便专业人员不会忘记在风险评估中询问(想法的频率/强度、计划、方法的获取、保护因素、历史、支持系统)。此列表仅是专家自己的提醒;风险决策没有给出,也没有提供给客户。
为我们的组织起草一份危机参考协议模板:上班/下班时间步骤、给谁打电话、转接紧急热线、文档。我们的专家和管理层将根据当地实际情况和立法进行审查并批准。
准备一份安全计划模板的空白草案:警告标志、应对策略、支持人员、专业沟通、确保环境安全。专员与客户面对面填写内容;您只需提供空白模板即可。
设置一个想象的排练场景(没有真正的客户)来提高我的危机访谈技巧。让我以专家的身份回答,然后就我的方法提供建设性的反馈。这是一次训练演练,并非真实案例。
弱提示/强提示
弱提示:“这位客户说:[短语]。自杀的风险很高,我该怎么办?”
该提示将危机决策委托给人工智能;人工智能无法衡量风险,无法承担责任,此时需要实时的人工干预。这种用法是危险的。
强烈提示:“我不在会议中,没有真正的客户。为了温习我的风险评估技能,请列出一个清单,以提醒我在自杀风险访谈中不应该涵盖的领域。在真实情况下,决定和干预将由我负责。”
本提示仅使用AI作为课外准备工具;危机将决定权留给个人。
常见错误
- 要求人工智能做出危机决策。 “有风险吗?”咨询人工智能;就是错过了决定和责任。
- 将陷入危机的客户引导至机器人。忘记聊天机器人无法可靠地管理风险。
- 将风险评分误认为是真实的。用人工智能的机械“风险级别”输出代替临床评估。
- 将暂存工具移至现场使用。在与人工智能协商的实时危机中使用会外检查清单。
- 没有建立人力支持链。在组织下班后依靠人工智能而不是真正的专家/危机热线系统。
总之
危机、自杀和伤害的风险是该模块最明显的限制:在这些时刻,人工智能无法做出决策、衡量风险、干预和承担责任。因为危机需要实时参与、整体临床判断、问责制和人为干预。人工智能唯一可接受的角色是在会议之外作为清单、协议/模板草案和培训排练,支持专业人员自己的准备。切勿将处于危机中的客户引导至聊天机器人;人力支持链和热线已启动。
应用任务
为您自己的实践或组织绘制危机处理流程:当客户表现出风险时,一步一步会发生什么,给谁打电话,他们转接到什么热线?验证 AI 不是此流程任何步骤的决策者。还要从AI中拉出一份会话外风险评估清单,用一句话写下为什么这只是你的提醒,不能给客户。
清单
- [ ] 我没有赋予人工智能在现实危机中的决策作用。
- [ ] 我亲自直接承担了危机评估和应对工作。
- [ ] 我没有将处于危机中的客户引导至聊天机器人。
- [ ] 我仅将 AI 用于课外准备(清单/方案/排练)。
- [ ] 我定义了企业人力支持链和热线电话。
- [ ] 我已经认识到,危机的决定和责任在于人。