收益：
- 能够识别医疗 AI 输出中的幻觉类型（捏造来源、错误剂量、想象研究）
- 能够通过多层验证将每个临床声明与当前指南和主要来源联系起来
- 管理模型不确定性的能力，置信度声明不是正确性的证据，以及似乎确定的错误风险
人工智能（AI）在医学领域最大的危险不是它会犯错误，而是它会带着极大的自信犯错误。语言模型生成流畅且有说服力的文本；一句话无论真假，听起来都是一样的自信语气。这称为“幻觉”：当模型产生实际不存在的信息（捏造的来源、错误的剂量、想象的研究、不存在的指导材料）时，就好像它是真实的一样。在其他地区，幻觉是一种疾病。这是医学上的安全问题。在本单元中，您将学习识别幻觉类型、多层验证以及管理模型不确定性。基本原则：信心声明并非事实真相的证据；并非所有临床声明都可以在不链接到主要来源和当前指南的情况下使用。
产生幻觉的原因是什么？
人工智能是一个预测“下一个最可能的单词”的系统；它不从现实数据库中读取。即使他不知道问题的答案，他也会给出一个与他接受过训练的文本“相似”的合理答案。这就是为什么他可以用完整的引文给出一篇不存在的文章，用清晰的数字给出错误的剂量，用精确的语言给出过时的建议。该模型倾向于填补空白，而不是说“我不知道”。此外，训练数据会被冻结在某个日期；他/她可能不知道自那时以来准则发生了变化。
提示：询问AI“你确定吗？”询问并不是一个可靠的测试；该模型可以轻松地说“是的，我确定”，或者相反，偏离正确答案。真正的考验是在独立的主要来源中寻找声明。
医学幻觉的类型
流派
例子
危险
编造来源
不存在的文章/DOI
虚假证据链
剂量/单位不正确
毫克或单位不正确
直接伤害患者
想象的工作/结果
非随机对照试验“证据”
错误的临床决策
过时的推荐
旧指南文章
过时的治疗方法
错误归因
真实的文章，错误的结论
扭曲的信息
过度概括
跳过异常
误用
多层认证
抵御幻觉的唯一方法是系统验证。五层：
- 深入到源头。打开并确认当前指南、包装说明书或主要文章中的每个剂量、标准和建议。
- 交叉检查。两个独立可靠的消息来源说的是同一件事吗？
- 时事性。该信息属于什么日期？从那时起它有变化吗？
- 临床一致性。该主张是否符合患者的现实和一般临床逻辑？
- 专家眼光。如有任何疑问或关键点，请咨询相关部门。
三个迷你箱子
案例 1——看似安全的错误剂量。一位医生向 AI 询问一种很少使用的药物的剂量。 AI给出了一个非常明确的数字。医生查看招股说明书；实际剂量是AI所说的三分之一。人工智能精确的语气并不代表准确；这一确认避免了致命的错误。
案例 2——幻象工作。 AI 引用了“2020 年发布的 1,200 名患者多中心随机对照试验”来支持治疗。医生正在寻找这项研究；目前还没有这样的研究。人工智能捏造了数字和细节，以使其说法可信。
案例 3 — 过时的建议。 AI推荐一种不再被推荐首先用于治疗疾病的旧药。医生查看当前的指南；方法已经改变，首先出现了新的代理。 AI的知识在上一个时代是被冻结的；当前的指导意见纠正了这一决定。
一步一步：验证索赔
- 将主张减少为一句话。就像“X药物推荐Y剂量”。
- 确定资源类型。剂量、标准或证据？
- 打开主要来源。招股说明书、手册、PubMed。
- 与两个来源进行交叉核对。
- 验证是最新的。
- 如果不合适，就拒绝；如有疑问，请咨询专家。
四个可复制模板
任务：在下面的单独行中列出 AI 输出中的每项可验证声明（剂量、诊断标准、来源、数值结果、指南建议）。为每个添加一个“应确认主要来源”列。自我验证；只输出要检查的点。输出：[...]
任务：列出以下断言必须满足哪些条件才能为真，以及在什么情况下可能为假。这样我就可以看到哪里需要确认。主张：[...]
任务：在下面的文本中，标记数字或绝对的陈述，但不注明来源（例如“80％有效”，“每天500毫克”）。每个标签上都标有“来源不明 - 需要确认”。文本：[...]
任务：请我评估该临床建议的当前风险：它可能基于什么指南，最后一次更新是什么时候，近年来该领域是否有可能发生变化？不得编造指导性文字；生成控制问题。建议：[...]
弱提示/强提示
弱者：“这是真的吗？” （人工智能很容易说“是”。）
Strong：“在下面的 AI 打印输出中单独列出每个剂量、来源和指南建议，并写下我应该对每个剂量、来源和指南建议进行确认的主要来源（说明书/指南/PubMed）。将看似无来源或明确的声明标记为“需要验证”。验证自己；只需制作一份清单。”
在强大的提示中，你将人工智能置于一个不“验证”而是“使其自己的输出可审计”的角色。
常见错误
- 将自信的语气误认为是准确的。信心声明不是证据。
- “你确定吗？”测试与。该模型可以轻松地在两个方向上滑动。
- 对单一来源感到满意。交叉检查是必须的。
- 跳过更新。型号信息被冻结在某个日期。
- 关键时刻不咨询专家。在有问题的决定中应寻求第二意见。
自动化偏见：自己的陷阱
幻觉是模型的错误；但也存在人为错误：自动化偏差。当机器给出答案时，人类倾向于不加质疑地接受答案是正确的。正因为计算器可靠，我们才习惯它；正因为它可靠，我们才习惯它。我们不经意间对语言模型给予了同样的信任。然而，语言模型并不像计算器那样精确；是概率性的并且容易出错。
当疲劳、时间压力和日常任务时，自动化偏见尤其危险。癫痫发作结束时，人们很容易将看似平稳流畅的人工智能输出视为“无论如何都是真的”。解决办法是让验证成为一种习惯和一种系统：将其与书面签入步骤联系起来，而不是与人们的立即关注联系起来。 “我很累，但这就是检查表所说的”是防止自动化偏见的最佳方法。
注意：最大的风险不是AI会犯错误；而是AI会犯错误。这意味着当你累的时候，你会接受这个错误，而不去质疑它。将验证与书面系统联系起来，而不是个人考虑。
总之
幻觉是人工智能在医学领域最严重的风险：该模型以同样自信的语气产生虚假和真理。最常见的类型是捏造来源、错误剂量、虚构研究和过时的建议。唯一的防御是多层验证：根据主要来源和当前指导测试每项索赔，交叉检查和测试货币；在关键点请教专家。切勿将信心声明视为真理的证据。
应用任务
向人工智能询问一个故意具有挑战性的临床问题（罕见剂量或当前治疗）。验证他使用主要来源提出的每个剂量、来源和建议。有多少说法被证明是真实的，有多少是错误的或捏造的？将表格与错误属于哪种类型的幻觉进行匹配，并注意自信的语气可能会如何误导您。
清单
- [ ] 我将每个主张简化为一个句子。
- [ ] 我已从主要来源确认了剂量/标准/来源/建议。
- [ ] 我与两个独立来源进行了交叉核对。
- [ ] 我已确认该信息是最新的。
- [ ] 我测试了该说法的临床一致性。
- [ ] 我就这个问题/关键点咨询了专家。
- [ ] 我并不认为自信的语气是准确性的证据。