Lợi nhuận:
- Khả năng xác định các chỉ số chất lượng và hiệu suất (SKS, chất lượng lâm sàng, an toàn bệnh nhân) và thiết kế bảng điều khiển có ý nghĩa với sự hỗ trợ trí tuệ nhân tạo
- Khả năng sử dụng AI để đưa ra giải thích chỉ báo, giải thích phương sai và dự thảo tóm tắt điều hành
- Hiểu rằng trách nhiệm của người quản lý là xác minh chất lượng dữ liệu và mối quan hệ nhân quả đằng sau chỉ báo cũng như nhận ra rủi ro khi chơi cờ bạc.
“Không thể quản lý những gì bạn không thể đo lường” gần như là một quy luật trong quản lý chăm sóc sức khỏe. Nhưng việc đo lường trong chăm sóc sức khỏe cũng có mặt tối: nếu bạn đo sai chỉ số, bạn sẽ khen thưởng những hành vi sai trái và làm suy yếu sự an toàn của bệnh nhân. Trong phần này, chúng ta sẽ tìm hiểu cách xác định KPI (Chỉ số hiệu suất chính), thu thập chúng trên bảng điều khiển (dashboard) và sử dụng trí tuệ nhân tạo để diễn giải các chỉ số này. Giới hạn đã rõ ràng ngay từ đầu: AI tính toán chỉ báo và đưa ra bản dự thảo diễn giải; Nhưng người quản lý có trách nhiệm kiểm tra tính chính xác của dữ liệu, mối quan hệ nhân quả và rủi ro khi chơi game.
Điều gì sẽ là một chỉ báo tốt?
Khuôn khổ cổ điển để đo lường chất lượng y tế chia các chỉ số thành ba loại. Chỉ số cơ cấu đo lường nguồn lực và cơ sở hạ tầng (chẳng hạn như số y tá trên mỗi giường). Chỉ báo quy trình đo lường cách thức thực hiện công việc (chẳng hạn như tốc độ điều trị dự phòng bằng kháng sinh đúng thời gian). Chỉ số kết quả đo lường những gì xảy ra với bệnh nhân (chẳng hạn như tỷ lệ nhiễm trùng, tỷ lệ tử vong). Tên của khung chất lượng ở Türkiye là SKS (Tiêu chuẩn chất lượng sức khỏe) và nó xác định nhiều chỉ số bắt buộc. Điều quan trọng là phải theo dõi ba loại này cùng nhau: nếu bạn chỉ nhìn vào cấu trúc, nó cho biết "chúng tôi có đủ nguồn lực" nhưng không có nghĩa là công việc đang được thực hiện tốt; Nếu bạn chỉ nhìn vào quy trình, nó nói "chúng tôi đã tuân thủ các quy tắc" nhưng nó không chứng minh rằng nó tốt cho bệnh nhân. Bức tranh thực sự về chất lượng hiện lên khi cả ba đều được đọc cùng nhau.
Một KPI tốt có một số phẩm chất: được xác định rõ ràng (mọi người đều đo lường cùng một thứ), có thể đo lường được, có ý nghĩa đối với tổ chức, kịp thời và khó thao túng. Mối nguy hiểm lớn nhất là mối nguy hiểm cuối cùng. Khi một chỉ báo gắn liền với mục tiêu, đôi khi mọi người tìm cách cải thiện chỉ báo đó chứ không phải hiệu suất thực tế. Điều này được gọi là chuyển hướng mục tiêu hoặc chơi trò chơi; Định luật Goodhart nổi tiếng được tóm tắt như sau: “Khi một tiêu chí trở thành mục tiêu, nó không còn là một tiêu chí tốt nữa”. Ví dụ: khi chỉ báo "thời gian chờ khẩn cấp" tạo ra áp lực, bệnh nhân có thể được giữ ở trạng thái "đang ghi nhưng không nhìn thấy" và chỉ báo có thể được làm tốt một cách giả tạo.
Để đọc chính xác chỉ báo, cần phải tìm câu trả lời cho ba câu hỏi cùng nhau. Đầu tiên, dữ liệu đến từ đâu: chỉ báo được tính thủ công hay tự động; Nguồn có đáng tin cậy không? Xác suất đăng ký bị thiếu/sai khi đăng nhập là bao nhiêu? Thứ hai, định nghĩa đã thay đổi chưa: nếu “thời gian chờ đợi” được tính từ lúc đăng ký đến lần khám vào tháng trước và từ lần phân loại đến lần khám trong tháng này, thì hai con số này không thể so sánh được. Thứ ba, nó đã di chuyển với chỉ báo nào: một con số được cải thiện một mình có thể đã phá vỡ chỉ báo cân bằng bên cạnh nó. Đưa ra quyết định bằng cách nhìn vào chỉ số mà không hỏi ba câu hỏi này cũng giống như xem một tấm X-quang và điều trị cho một bệnh nhân; Hình ảnh không có ngữ cảnh sẽ gây hiểu nhầm. Trí tuệ nhân tạo không thể hỏi bạn ba câu hỏi này; Bởi vì chỉ người quản lý hiểu biết về tổ chức mới biết dữ liệu đến từ đâu, khi nào định nghĩa thay đổi và sự thật trên thực tế. Công việc của AI là tính toán chỉ báo và liệt kê các giải thích có thể có; Việc xác minh tuyên bố nào trong số những tuyên bố này là đúng là tùy thuộc vào bạn.
Từng bước: bảng điều khiển và bình luận với AI
- Lựa chọn các chỉ số. Quan sát sự cân bằng giữa cấu trúc/quy trình/kết quả; Hãy chắc chắn bao gồm các chỉ số an toàn của bệnh nhân.
- Làm rõ các định nghĩa. Phải ghi tử số/mẫu số, nguồn và chu kỳ của từng chỉ tiêu.
- Cung cấp dữ liệu ẩn danh. Chỉ là những con số; Không có ID bệnh nhân.
- Yêu cầu nhận xét dự thảo từ AI. Tóm tắt những sai lệch, xu hướng và những giải thích có thể.
- Nguyên nhân và kiểm soát dữ liệu. Đối với mỗi "cải thiện/xấu đi": chất lượng dữ liệu có thay đổi không, định nghĩa có thay đổi không, đó là thật hay là chơi game?
- Đọc với các chỉ số liên quan. Một chỉ báo không bao giờ được đánh giá một cách biệt lập; Nó được xem xét theo cặp (chẳng hạn như LOS-tái nhập học, chờ-chơi game).
Thận trọng: AI có thể tự động dán nhãn cho sự thay đổi đột ngột của một chỉ báo là "tốt" hoặc "xấu". Đôi khi sự sụt giảm đột ngột không phải là sự cải thiện mà là sự ngừng nhập dữ liệu hoặc thay đổi định nghĩa. Công việc của bạn là xác minh tính nhân quả của nhận xét.
ba trường hợp nhỏ
Trường hợp 1 - Đẩy nhanh quá trình tóm tắt. Mỗi tháng, một nhân viên chất lượng diễn giải thủ công 18 chỉ số và viết bản tóm tắt dài 4 trang; Việc này mất 3 giờ. Anonymous đưa bảng điều khiển (chỉ các con số) cho AI và yêu cầu đưa ra bản tóm tắt điều hành dự thảo. AI trích xuất những sai lệch và những lời giải thích có thể có; người giám sát so sánh từng con số với bảng ghi tạm của mình, sửa hai suy luận sai và làm lại các câu nhân quả. Thời lượng giảm từ 3 giờ xuống còn 45 phút; Không phải khối lượng công việc có chất lượng mà là quá trình chuẩn bị trước AI đã được rút ngắn.
Trường hợp 2 - Phục hồi giả. Trên một bảng quảng cáo, "thời gian chờ trung bình khẩn cấp" đã giảm từ 48 phút xuống còn 22 phút trong một tháng. AI giải thích điều này là "sự cải thiện đáng kể". Người quản lý trở nên nghi ngờ và điều tra nguyên nhân cốt lõi: hệ thống đăng ký đã được cập nhật vào tháng đó và "thời gian bắt đầu kỳ thi" được xác định khác. Vì vậy, mức nắm giữ thực sự đã không giảm; chỉ có phép đo đã thay đổi. Giải thích chất lỏng của AI đã gây hiểu lầm; Việc kiểm soát dữ liệu của quản trị viên đã mắc bẫy.
Trường hợp 3 - Bắt trò chơi. Tại một bệnh viện, “tỷ lệ hẹn khám bệnh tại phòng khám ngoại trú trong vòng 30 ngày” được đặt làm mục tiêu và nhanh chóng tăng lên 98%. Nhóm chất lượng đã yêu cầu AI đọc chéo chỉ số này với các chỉ số liên quan (tỷ lệ đăng ký, mức độ hài lòng của bệnh nhân). Hoá ra có nhiều cuộc hẹn nhưng hầu hết đều không có mặt; Chỉ số tốt, tình hình thực tế không có gì thay đổi. Chỉ báo được định nghĩa lại là "kiểm soát thực tế" thay vì "được đưa ra".
Bốn mẫu có thể sao chép
1) Dự thảo nhận xét chỉ tiêu:
Vai trò của bạn: trợ lý cho người quản lý chất lượng. Dưới đây là bảng điều khiển hàng tháng ẩn danh (chỉ số): tên chỉ báo, tháng này, tháng trước, mục tiêu. Nhiệm vụ: cho biết độ lệch so với mục tiêu và tháng trước trong mỗi chỉ số, đánh dấu 3 sai lệch đáng chú ý nhất và đề xuất các giải thích CÓ THỂ. Trình bày các giải thích là sự thật tuyệt đối; Viết nó như một giả thuyết.
2) Truy vấn nhân quả/dữ liệu:
"Thời gian chờ đợi ngay lập tức" đã giảm từ 48 xuống 22 phút trong tháng này. Liệt kê các lý do có thể dẫn đến sự sụt giảm này theo ba tiêu đề: (1) cải tiến thực tế, (2) thay đổi dữ liệu/đo lường, (3) biến dạng mục tiêu (chơi game). Hãy cho tôi biết cách kiểm tra từng cái. ĐỪNG QUYẾT ĐỊNH cái nào; hiển thị đường dẫn điều khiển
3) Cặp chỉ thị liên quan:
Đối với mỗi chỉ báo chính trên bảng điều khiển của tôi, hãy đề xuất "chỉ báo số dư/cặp" khiến việc diễn giải chỉ báo đó trở nên nguy hiểm (ví dụ: tái chấp nhận LOS). Giải thích bằng một câu tại sao chúng nên được đọc cùng nhau. Đưa nó vào một cái bàn.
4) Tóm tắt hội đồng:
Soạn thảo bản tóm tắt dài 1 trang cho hội đồng từ dữ liệu chỉ số ẩn danh sau: 3 tin tốt, 3 lĩnh vực cần chú ý, 3 đề xuất hành động. Sử dụng ngôn ngữ quản lý đơn giản. Đánh dấu nguồn của mỗi số là [XÁC MINH] để tôi có thể xác nhận.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Giải thích các chỉ số của chúng tôi, cho chúng tôi biết chúng tốt hay xấu.
Không có định nghĩa, không có mục tiêu, không có bối cảnh; AI tạo ra các nhãn cơ học và gây nhầm lẫn.
Lời nhắc mạnh mẽ:
Dưới đây là biểu đồ chỉ báo ẩn danh (tháng này/tháng trước/mục tiêu). Giải thích từng sai lệch so với mục tiêu, nhưng trước khi nói "tốt/xấu", cũng đề cập đến khả năng thay đổi dữ liệu/định nghĩa và khả năng chơi trò chơi. Đọc LOS, đọc thời gian chờ bằng chỉ báo chơi game. Đừng đưa ra phán xét cuối cùng; Đánh dấu các điểm cần kiểm tra.
Loại chỉ báo
ví dụ
Nguy cơ bình luận đơn độc
cấu trúc
Tỷ lệ y tá/giường bệnh
Không đảm bảo chất lượng
Quy trình
Tỷ lệ tại thời điểm điều trị dự phòng
Không hiển thị kết quả
Kết luận
tỷ lệ lây nhiễm
Dễ bay hơi trong mẫu nhỏ
hiệu quả
thời gian chờ đợi
Mở cửa cho trò chơi
Những lỗi thường gặp
- Nhìn vào một chỉ số. Mỗi chỉ báo chính nên được đọc bằng chỉ báo cân bằng.
- Ngay lập tức coi sự thay đổi đột ngột là tốt/xấu. Có thể có những thay đổi về dữ liệu hoặc định nghĩa.
- Bỏ qua việc chơi game. Chỉ báo phụ thuộc vào mục tiêu có thể được điều chỉnh.
- Nhầm cách giải thích của AI với quan hệ nhân quả. AI nhìn thấy mối quan hệ chứ không phải nguyên nhân.
- Không đặt câu hỏi về chất lượng dữ liệu. Các chỉ số tốt không thể đến từ dữ liệu xấu.
Mẹo: Thêm một “chỉ báo cân bằng” nhỏ vào bảng điều khiển của bạn bên cạnh mỗi chỉ báo chính và luôn yêu cầu AI bình luận với cặp này. Con số tỏa sáng một mình thường ẩn đi cặp số mờ nhạt của nó.
Tóm lại
Các chỉ số chất lượng đo lường sức khỏe của tổ chức, nhưng đo lường sai sẽ tạo ra hành vi sai. AI là công cụ hỗ trợ đắc lực trong việc tính toán các chỉ số, tóm tắt các khác biệt và tạo ra bản tóm tắt quản lý dự thảo. Nhưng AI nhìn thấy các mối quan hệ, nó không thể thiết lập được mối quan hệ nhân quả; Thay đổi đột ngột có thể là thay đổi dữ liệu/định nghĩa hoặc chơi game. Đọc từng chỉ báo với cặp cân bằng, truy vấn chất lượng dữ liệu, xác minh quan hệ nhân quả. Sự phê duyệt cuối cùng của nhận xét và quyết định thuộc về quản trị viên.
Nhiệm vụ ứng dụng
Nhận 5-6 chỉ số ẩn danh (tháng này/tháng trước/mục tiêu) từ tổ chức của bạn. Yêu cầu nhận xét từ AI với mẫu “Bản thảo nhận xét chỉ báo”. Chọn chỉ báo thay đổi nhiều nhất và trích xuất ba cách giải thích có thể có (sự thật/dữ liệu/chơi game) bằng mẫu "Quan hệ nhân quả/truy vấn dữ liệu" và viết ra cách bạn sẽ kiểm tra từng cách trong 5 điểm.
danh sách kiểm tra
- [ ] Tôi đã làm rõ định nghĩa về các chỉ số (tử số/mẫu số/nguồn) chưa?
- [ ] Tôi có cung cấp dữ liệu ẩn danh không?
- [ ] Tôi có đọc từng chỉ báo chính bằng cặp số dư không?
- [ ] Tôi đã kiểm tra khả năng dữ liệu/định nghĩa/chơi game trong trường hợp có những thay đổi đột ngột chưa?
- [ ] Tôi, với tư cách là quản trị viên, có chấp thuận nhận xét và quyết định cuối cùng không?