单位 1 / 12

医学人工智能简介:边界、验证、责任和道德

收益:

  • 根据风险级别,能够区分人工智能在临床工作流程中哪些地方可以实时节省时间,哪些地方应由有能力的医生承担诊断和治疗的责任
  • 能够实施多层验证规则,根据当前指导、临床检查和独立来源测试每个人工智能输出
  • 能够养成匿名上下文、遵守 KVKK 并选择隐私安全工具来保护患者数据的习惯。

医学是一个漫长而负责任的决策链,它将投诉转化为正确的诊断,并将正确的诊断转化为安全的治疗。这个链条中的一些环节(通信、总结、草稿、提醒)可以很快实现自动化;有些永远无法转移到机器上,因为它们直接触及人类生活。人工智能(简称AI;从大量数据中学习模式并生成文本、图像或代码的软件)是这个链条中非常强大的加速器:扩大鉴别诊断列表,起草危机报告,总结文献,简化患者信息记录。但人工智能不是医生,而是医生。他不检查、不承担责任、不了解病人、不签字。在本单元中,您将学习在临床工作中何处使用人工智能、站在何处以及如何验证每个输出。我们的目标是让你成为一名控制人工智能的医生,而不是依赖人工智能的医生。

关键原则从一开始就很明确:人工智能不诊断,也不启动治疗。由合格医师的检查和临床判断做出诊断和治疗决定;人工智能只产生建议和草稿。

人工智能在医学领域能做什么、不能做什么?

人工智能的真正力量在于生成语言、模式和变体。鉴别诊断提醒、病历(患者病史)大纲、危机框架、证据摘要和患者信息文本在几秒钟内就会出现。在这些任务中,人工智能可以节省你几分钟,有时甚至几个小时,并提醒你一个被忽视的可能性。

AI做不到的是临床判断,这需要责任。看、听、触诊病人;解释整个患者的研究结果;在不确定性下做出决策。人工智能产生幻觉是因为它从互联网和书本上的文本中学习:也就是说,它可以产生看似真实但剂量错误的东西,一种想象的作品,一种不存在的指导物质。在医学上,这种类型的错误不仅仅是打字错误;而是错误。错误的治疗、漏诊都意味着患者的伤害。

注意:AI输出的是草稿,不是专家意见。未经主管医生批准,不得做出任何安全关键决策(诊断、治疗、剂量、分诊)。 AI 并不取代此同意,也不承担法律责任。

按风险等级分为三个区域

安全使用人工智能最实用的方法是根据风险级别将每个任务分为三个区域。这种区别归结为“人工智能应该这样做吗?”快速准确地回答问题。

地区

示例任务

人工智能的作用

验证级别

绿色(低风险)

会议记录、语言简化、电子邮件草稿、格式、培训总结

免费生产

快速审核

黄色(中等风险)

病历/危机草稿、文献摘要、患者信息记录、鉴别诊断提醒、编码建议

草案+提案

医师控制+来源确认

红色(安全关键)

明确诊断、治疗/剂量决定、分诊、处方、影像报告

仅预扫描/提醒

必须经过有资格的医生审查和批准

在绿色区域要快。在黄色区域使用人工智能,但要验证每一个医疗信息和来源。在红色区域,AI永远没有最终决定权;它只是加快医生工作速度的一种辅助手段。

多层验证纪律

验证不是可以因为“我稍后再检查”而推迟的事情;是工作流程的一部分。可靠的验证由五层组成:

  1. 回归本源。如果AI给出了剂量、诊断标准或建议,请在当前的临床指南、说明书或主要文章中确认。
  2. 临床上测试一下。将建议与患者的实际检查结果、实验室和影像学进行比较。不符合要求的提案将被拒绝。
  3. 独立账户。自行或使用经过验证的工具重新计算数值结果(剂量、肌酐清除率、液体计算)。
  4. 专家眼光。如果相关决定是由另一个部门(放射科、心脏病学、病理学)的专业知识做出的,请咨询该专家或获得批准。
  5. 留下你的印记。在文件中注明哪些输出已被验证以及如何验证;稍后再检查一下。
提示:“人工智能说”不是理由。临床决策的依据始终是检查、当前指南、实验室/影像或有能力的专家意见。人工智能可以帮助你准备这些理由,但它不会取代它们。

三个迷你箱子

案例 1 — 正确使用可以节省时间。一位全科医生正在撰写一篇关于一名 42 岁患者咳嗽 3 天、发烧 38.2 摄氏度的故事,他向 AI 请求匿名背景的草稿。 AI在4分钟内生成常规的史诗级骨架;医生将每一行与真实文件进行比较,进行 2 个小更正并签名。总时间从 25 分钟减少到 8 分钟。决定权和责任由医生承担;人工智能只会让打字速度更快。

案例2——出现幻觉。一位医生请求人工智能资源来治疗一种罕见的综合症。 AI给出了3篇非常有说服力的文章,标题为《新英格兰医学杂志2021》。医生在 PubMed 上搜索这些内容;其中2根本不存在,1的结果正好相反。 AI已经编出了安全语言。如果没有得到确认,这些来源将被纳入汇编中。

情况 3 — 红色区域边界。在急诊室,医生要求人工智能加快对胸痛患者的分诊速度。 AI说“低风险”。医生仍然会进行心电图检查并服用肌钙蛋白;肌钙蛋白高,诊断为急性冠状动脉综合征。 AI输出无法消除临床怀疑;在红色区域,决定权属于医生。

一步一步:将人工智能安全地引入任务中

  1. 将任务放置在该区域中。绿色、黄色还是红色?
  2. 匿名上下文。清晰的标识符,例如名称、TR ID、文件号 (KVKK)。
  3. 给出一个清晰的概要。清楚地写下临床背景、问题和所需的格式。
  4. 将输出视为草稿。切勿将其用作最终决定。
  5. 应用层层验证。来源、临床、账户、专家、踪迹。
  6. 记录决定及其理由。

四个可复制模板

角色:您是临床写作助理,而不是医生。任务:为[任务]制作草稿。背景(匿名):年龄[...]、性别[...]、投诉[...]、发现[...]。规则:为您不确定的每个剂量/诊断/来源标记“需要确认”。边界:做出诊断,开始治疗;仅提供建议和草稿。格式:要点,并附上理由。

任务:在下面的文本中列出所有医疗声明、剂量值、诊断标准和来源引文。为每个添加“必须验证来源”注释。不用自己验证,标记即可。文本:[...]

任务:根据医生角度的风险级别对人工智能输出进行分类。对于每个项目:绿色/黄色/红色,并给出一个句子的理由。在红色项中写上“需要有资格的医师审查并批准”。输出:[...]

任务:对下面的患者/病例文本进行匿名化。将名字、姓氏、TR ID、文件号、地址、电话和日期等标识符替换为 [LABEL];保留临床意义。文本:[...]

弱提示/强提示

弱者:“这个病人有什么病,他的诊断是什么?”

Strong:“列出匿名病例鉴别诊断的可能性作为提醒:55 岁,男性,呼吸短促持续 2 周,腿部水肿,吸烟史。不要诊断;写下哪种检查/测试将区分每种可能性,并标记紧急危险信号。声明这是一个提醒,决定权在医生手中。”

强提示中,上下文、边界、预期输出清晰;人工智能的立场是显而易见的。

常见错误

  • 将人工智能输出误认为专家意见。人工智能产生草图和建议,而不是诊断。
  • 将安全关键决策委托给人工智能。诊断、治疗、剂量、分诊永远不会留给人工智能。
  • 使用信息而不验证来源。每个剂量、标准和参考都必须从当前来源进行验证。
  • 直接加载患者数据。匿名化和符合 KVKK 标准的车辆选择不应被忽视。
  • 没有注意到幻觉。虽然人工智能看起来很自信,但它也可能是错误的。确定的陈述并不能证明真理。

综上所述

人工智能是医学真正的加速器,但它并不能取代医生。将任务划分为绿色、黄色和红色区域;绿色方面要快速,黄色方面要确认,红色方面永远不要让 AI 有最终决定权。将每个输出视为草稿并通过五层验证。认真对待患者隐私和 KVKK。诊断和治疗的责任始终由有能力的医生承担; AI 不承担这个责任。

应用任务

从您自己的实践中选择三项任务(例如,史诗写作、文献摘要、剂量控制)。将每个分类为绿色/黄色/红色。写下您将为黄色和红色任务应用哪些验证层,以及红色任务需要检查/批准哪些层。此外,在您使用的人工智能工具的隐私政策中查找并注明它是否在训练中使用数据。

清单

  • [ ] 我将任务置于危险区。
  • [ ] 我对上下文进行了匿名处理(KVKK)。
  • [ ] 我给出了清晰的、与临床相关的简介。
  • [ ] 我将输出视为草稿。
  • [ ] 我从当前来源确认了剂量/诊断/来源。
  • [ ] 我用患者的实际临床结果测试了这个建议。
  • [ ] 经过合格医生的审查和批准,我完成了安全关键决定。
  • [ ] 我将验证跟踪保存到文件中。