单位 6 / 11

质量指标和绩效监控:KPI 和仪表板

收益:

  • 能够定义质量和绩效指标(SKS、临床质量、患者安全)并在人工智能支持下设计有意义的仪表板
  • 能够利用人工智能生成指标解释、差异解释和执行摘要草案
  • 了解经理有责任验证指标背后的数据质量和因果关系并认识到博弈风险。

“你无法管理你无法衡量的东西”几乎是医疗保健管理中的一条法则。但医疗保健测量也有其阴暗面:如果测量错误的指标,就会奖励错误的行为并损害患者的安全。在本单元中,我们将学习如何定义KPI(关键绩效指标),将它们收集在仪表板(仪表板)上并使用人工智能来解释这些指标。界限从一开始就很明确:AI计算指标并产生解释稿;但要由管理者来检查数据的准确性、因果关系和博弈风险。

什么是一个好的指标?

衡量健康质量的经典框架将指标分为三类。结构指标衡量资源和基础设施(例如每张床位的护士数量)。流程指标衡量工作的完成情况(例如按时给予抗生素预防的比率)。结果指标衡量患者发生的情况(例如感染率、死亡率)。土耳其质量框架的名称是SKS(健康质量标准),它定义了许多强制性指标。将这三种类型放在一起跟踪很重要:如果你只看结构,它表明“我们有足够的资源”,但并不意味着工作做得很好;如果你只看流程,它会说“我们遵守了规则”,但并不能证明这对患者有好处。当将这三者放在一起阅读时,质量的真实画面就会出现。

一个好的 KPI 具有几个品质:定义明确(每个人都衡量同一件事)、可衡量、对组织有意义、及时且难以操纵。最大的危险是最后一个。当指标与目标挂钩时,人们有时会找到改进指标的方法,而不是实际绩效。这称为目标转移或游戏;著名的古德哈特定律对此进行了总结:“当一个标准成为一个目标时,它就不再是一个好的标准。”例如:当“紧急等待时间”指标产生压力时,可以让患者处于“录音打开但未见”的状态,并且可以人为地使指标良好。

为了正确解读一个指标,需要同时寻找三个问题的答案。一、数据从哪里来:指标是人工计算的还是自动计算的?消息来源可靠吗?登录时丢失/错误注册的概率是多少?其次,定义是否改变了:如果“等待时间”是上个月从报名到考试,以及本月从分诊到考试来衡量的,这两个数字不具有可比性。第三,它与哪个指标一起移动:一个单独改善的数字可能会扰乱旁边的平衡指标。只看指标而不问这三个问题就做出决定,就像看一张 X 光片并治疗病人一样;没有上下文的图像具有误导性。人工智能无法替你问这三个问题;因为只有了解组织的管理者才知道数据来自哪里、定义何时发生变化以及实际情况。人工智能的工作是计算指标并列出可能的解释;由您来验证哪些陈述是正确的。

一步一步:使用 AI 进行仪表板和评论

  1. 选择指标。观察结构/过程/结果的平衡;确保包括患者安全指标。
  2. 澄清定义。应写出每个指标的分子/分母、来源和周期。
  3. 匿名提供数据。只是数字;没有患者 ID。
  4. 向 AI 请求草稿评论。总结偏差、趋势和可能的解释。
  5. 因果关系和数据控制。对于每一个“改进/恶化”:数据质量是否改变、定义是否改变、是真实的还是游戏?
  6. 阅读相关指标。一个指标永远不会被孤立地评估;它是成对查看的(例如 LOS-重新接纳、等待-游戏)。
注意:人工智能可以机械地将指标的突然变化标记为“好”或“坏”。有时突然下降并不是改进,而是数据输入的停止或定义的改变。您的工作是验证评论的因果关系。

三个迷你箱子

案例 1 — 加快执行摘要的速度。每个月,质量官都会手动解读 18 个指标并撰写 4 页的摘要;这花了3个小时。 Anonymous 将仪表板(只是数字)交给了 AI,并要求提供一份执行摘要草案。 AI提取偏差和可能的解释;管理员将每个数字与剪贴板进行比较,纠正了两个错误的推论,并重新编写了因果句子。时长从3小时缩短至45分钟;这不是质量工作量的问题,而是 AI 前的准备时间缩短了。

案例 2 — 假恢复。在一块广告牌上,“紧急平均等待时间”在一个月内从 48 分钟减少到 22 分钟。 AI将此解释为“显着改善”。经理起了疑心,调查根本原因:当月报名系统更新了,“考试开始时间”定义不同。因此,真正的控制力并没有被攻破。只是测量值发生了变化。人工智能的流畅解释具有误导性;管理员的数据控制中了陷阱。

案例 3 — 捕捉游戏。某医院以“30天内门诊检查预约率”为目标,迅速提高到98%。质量团队要求人工智能将该指标与相关指标(登记率、患者满意度)交叉读取。原来预约了,但大部分都没有去;指标良好,实际情况没有改变。该指标被重新定义为“实际控制”而不是“给予”。

四个可复制模板

1)指标征求意见稿:

您的角色:质量经理助理。下面是匿名每月仪表板(仅数字):指标名称、本月、上个月、目标。任务:指出每个指标与目标和上个月的偏差,标记 3 个最显着的偏差并建议可能的解释。将解释作为绝对事实提出;将其写为假设。

2)因果关系/数据查询:

本月“立即等待时间”从 48 分钟减少到 22 分钟。在三个标题下列出这种下降的可能原因:(1)实际改进,(2)数据/测量变化,(3)目标扭曲(游戏)。告诉我如何检查每一项。不要决定哪一个;显示控制路径。

3) 相关指标对:

对于我仪表板上的每个主要指标,建议一个“平衡/配对指标”,这使得单独解释它很危险(例如,LOS 的重新接纳)。用一句话解释为什么它们应该一起阅读。将其放在表格中。

4) 董事会摘要:

根据以下匿名指标数据为董事会起草 1 页摘要:3 个好消息、3 个关注领域、3 个行动建议。使用简单的管理语言。将每个数字的来源标记为[验证],以便我可以确认。

弱提示/强提示

弱提示:

解释我们的指标,告诉我们它们是好是坏。

没有定义、没有目标、没有背景;人工智能会产生机械且具有误导性的标签。

强力提示:

下面是匿名指标图表(本月/上个月/目标)。解释相对于目标的每个偏差,但在说“好/坏”之前,还要提及可能的数据/定义更改和游戏可能性。读取LOS,用游戏指示器读取等待时间。不做最后的判断;标记要检查的点。

指示器类型

例子

单独发表评论的风险

结构

护士/床位比例

不保证质量

工艺流程

预防时的比率

不显示结果

结论

感染率

小样品挥发

效率

等待时间

开放游戏

常见错误

  • 看一个指标。每个主要指标都应该与平衡指标一起阅读。
  • 立即将突然的变化视为好/坏。可能会有数据或定义更改。
  • 忽略游戏。目标相关指标是可以操纵的。
  • 将人工智能的解释误认为因果关系。人工智能看到的是关系,而不是原因。
  • 不质疑数据质量。好的指标不可能来自坏的数据。
提示:在仪表板上每个主要指标旁边添加一个小的“平衡指标”,并始终要求 AI 对此进行评论。单独发光的数字常常会隐藏其暗淡的配对。

综上所述

质量指标衡量组织的健康状况,但错误的衡量会导致错误的行为。人工智能是计算指标、汇总差异和生成管理摘要草案的有力助手。但人工智能只能看到关系,但无法建立因果关系;突然的变化可能是数据/定义变化或游戏。用平衡对读取各个指标,查询数据质量,验证因果关系。评论和决定的最终批准权在于管理员。

应用任务

从您的组织获取 5-6 个匿名指标(本月/上个月/目标)。使用“指标意见稿”模板向AI请求意见。选择变化最大的指标,并使用“因果关系/数据查询”模板提取三种可能的解释(事实/数据/游戏),并写下您将如何在 5 个点中检查每个解释。

清单

  • [ ] 我是否澄清了指标的定义(分子/分母/来源)?
  • [ ] 我是否匿名提供数据?
  • [ ] 我是否用平衡对来读取每个主要指标?
  • [ ] 我是否检查过突然变化时数据/清晰度/游戏的可能性?
  • [ ] 作为管理员,我是否批准了最终的评论和决定?