Lợi nhuận:
- Có khả năng giải thích các bước làm sạch, mã hóa và phân tích dữ liệu hồ sơ sức khỏe điện tử (EHR) bằng trí tuệ nhân tạo.
- Khả năng nhận biết các rủi ro dữ liệu lâm sàng như thiếu dữ liệu, sai lệch, mất cân bằng lớp và rò rỉ thời gian
- Khả năng xác nhận kết quả đầu ra của mô hình dự đoán thông qua hiệu chuẩn, hiệu suất phân nhóm và tính hữu ích trên lâm sàng
Bộ nhớ của các bệnh viện hiện đại là hồ sơ sức khỏe điện tử (EHR): một bộ sưu tập kỹ thuật số gồm các chẩn đoán, kết quả xét nghiệm, thuốc men, thủ tục, ghi chú của y tá và quan sát của bác sĩ. Dữ liệu này vừa là kho báu vừa là bãi mìn cho trí tuệ nhân tạo. Kho báu vì nó chứa hàng triệu mẫu bệnh tật hàng năm; bãi mìn vì dữ liệu lâm sàng vô tổ chức, không đầy đủ, sai lệch và đầy bẫy tạm thời. Đơn vị này bao gồm làm sạch, mã hóa và phân tích dữ liệu EHR bằng trí tuệ nhân tạo; các lỗi nguy hiểm nhất (rò rỉ thời gian, sai lệch, mất cân bằng lớp); và chúng ta sẽ xem các kết quả đầu ra của mô hình dự đoán được xác thực như thế nào.
Hãy nhắc lại ngay từ đầu: một mô hình rủi ro có thể nói "bệnh nhân này có khả năng tái nhập viện cao"; nhưng đây là đầu ra hỗ trợ quyết định, không phải là quyết định chẩn đoán hoặc điều trị. AI không chẩn đoán; Quyết định tùy thuộc vào bác sĩ và đội ngũ lâm sàng.
Các bước để làm việc với dữ liệu EHR
Bước 1 - Trừ và hợp nhất. Dữ liệu đến từ các hệ thống khác nhau (phòng thí nghiệm, nhà thuốc, X quang); được kết hợp với ID bệnh nhân. Ở giai đoạn này, tính bảo mật là ưu tiên cao nhất (xem Bài 10).
Bước 2 - Làm sạch. Các giá trị bị thiếu, sự không nhất quán về đơn vị (nhầm lẫn giữa mg/dL và mmol/L), các bản ghi trùng lặp và các giá trị không chắc chắn (200 tuổi, huyết áp 0) đều bị loại bỏ. AI ở đây rất mạnh trong việc gắn cờ ngoại lệ và cấu trúc văn bản tự do.
Bước 3 - Mã hóa và tiêu chuẩn hóa. Chẩn đoán được ánh xạ tới các mã tiêu chuẩn như ICD (Phân loại bệnh quốc tế) và thuốc được ánh xạ tới từ điển tiêu chuẩn. Trích xuất thông tin có cấu trúc từ các ghi chú văn bản miễn phí được gọi là xử lý ngôn ngữ tự nhiên (NLP); AI có giá trị ở đây, nhưng đầu ra của nó cần được xác nhận.
Bước 4 - Kỹ thuật tính năng. Đầu vào của mô hình được tạo từ dữ liệu thô: giá trị xét nghiệm cuối cùng, xu hướng, số lượng thuốc, điểm độ hấp thụ, v.v.
Bước 5 - Lập mô hình và đánh giá. Mô hình dự đoán được xây dựng và—phần quan trọng nhất—được đánh giá một cách cẩn thận, không bị rò rỉ.
Ba sai lầm quỷ quyệt nhất
Rò rỉ tạm thời. Đưa thông tin vào đối tượng chưa tồn tại tại thời điểm dự đoán. Ví dụ: sử dụng chẩn đoán xuất viện hoặc xét nghiệm ngày cuối cùng để ước tính nguy cơ tử vong khi nhập viện. Mô hình trông hoàn hảo trong phòng thí nghiệm nhưng lại gặp sự cố khi sử dụng thực tế vì nó đã nhìn thấy "tương lai".
Định kiến. Dữ liệu phản ánh các quyết định lâm sàng trong quá khứ; Nếu những quyết định này vốn đã không đồng đều, mô hình sẽ học hỏi và củng cố điều này. Ví dụ: nếu một nhóm nhất định trước đây được yêu cầu xét nghiệm ít hơn, thì mô hình có thể cho rằng bệnh ở nhóm đó "thấp hơn".
Mất cân bằng giai cấp. Nếu sự kiện quan tâm (ví dụ: một biến chứng hiếm gặp) chiếm 1% dữ liệu thì mô hình luôn cho biết "không có sự kiện" sẽ có độ chính xác 99% nhưng sẽ vô dụng. Thay vì độ chính xác, cần có độ nhạy, độ chính xác và số liệu dựa trên sự kiện.
Đánh giá: Phân biệt đối xử là chưa đủ, hiệu chuẩn là phải
Có hai câu hỏi khác nhau. Phân biệt đối xử (đo lường điển hình của AUC): mô hình có xếp hạng chính xác bệnh nhân theo nguy cơ không? Hiệu chuẩn: xác suất mà mô hình đưa ra có khớp với tần số thực tế không? Có khoảng 20% bệnh nhân nói "nguy cơ 20%" có thực sự gặp biến cố không? Vì các quyết định được đưa ra dựa trên các ngưỡng trong phòng khám, một mô hình được xếp hạng tốt nhưng được hiệu chỉnh kém sẽ dẫn đến các quyết định về ngưỡng không chính xác. Ngoài ra, hiệu suất của phân nhóm (tuổi, giới tính, dân tộc, bệnh viện) phải được báo cáo riêng và nên đặt câu hỏi về tính hữu ích trên lâm sàng (sử dụng mô hình này có thực sự mang lại kết quả tốt hơn không?).
Ba trường hợp nhỏ: Bằng những con số
Trường hợp 1 - Thành công bị thổi phồng do rò rỉ. Mô hình tiếp nhận lại mang lại AUC là 0,92 trong thử nghiệm nội bộ; nó trông thật tuyệt. Quá trình xem xét cho thấy các tính năng bao gồm “cuộc hẹn khám ngoại trú sau khi xuất viện”; Thông tin này không có sẵn tại thời điểm dự đoán. Khi chỗ rò rỉ được làm sạch, AUC giảm xuống 0,71 - một giá trị thực tế và có thể sử dụng được.
Trường hợp 2 - Độ lệch hiệu chuẩn. Mặc dù điểm cảnh báo sớm nhiễm trùng huyết đã được hiệu chỉnh tốt tại bệnh viện nơi nó được phát triển, nhưng hồ sơ bệnh nhân cho thấy tỷ lệ biến cố thực tế gấp đôi đối với cùng một điểm ở một bệnh viện khác. Tỉ số được xếp đúng nhưng xác suất lại sai; không thể sử dụng ngưỡng này nếu không hiệu chỉnh lại.
Trường hợp 3 - Tiết kiệm thời gian với NLP. Một nhóm nghiên cứu đã trích xuất thủ công lịch sử hút thuốc từ 12.000 ghi chú của bệnh nhân; Khoảng 2 phút cho mỗi nốt nhạc, tổng cộng là 400 giờ. Việc trích xuất được hỗ trợ bởi NLP đã giảm thời gian này xuống còn vài giờ; Nhóm chỉ kiểm tra thủ công một mẫu xác thực được chọn ngẫu nhiên mà mô hình để lại “không rõ ràng”. Điều quan trọng là việc kiểm tra tỉ mỉ mẫu xác nhận.
Nhắc yếu / Nhắc mạnh
Dấu nhắc yếu:
Xây dựng mô hình rủi ro từ dữ liệu bệnh nhân này và báo cáo kết quả.[data]
Lời nhắc mạnh mẽ:
Vai trò của bạn: Bạn là trợ lý phân tích dữ liệu lâm sàng (BẠN KHÔNG QUYẾT ĐỊNH). Phê bình KẾ HOẠCH mô hình dự đoán cho danh sách các biến ẩn danh sau:- Đánh dấu xem mỗi biến có xuất hiện tại thời điểm dự đoán hay không (nguy cơ rò rỉ tạm thời).- Liệt kê sự mất cân bằng lớp và các nguồn sai lệch tiềm ẩn.- Đề xuất phân biệt + hiệu chỉnh + phân nhóm + hữu ích lâm sàng để đánh giá.- Nêu rõ rằng quyết định thuộc về nhóm lâm sàng. Các biến và mục tiêu ẩn danh: [danh sách]
Bốn mẫu có thể sao chép
1) Kiểm tra rò rỉ:
Phân loại danh sách các tính năng sau đây là "có sẵn tại thời điểm dự đoán"/"thông tin trong tương lai (rò rỉ)" và chứng minh điều đó. Mục tiêu và thời điểm dự đoán: [định nghĩa]. Các tính năng: [danh sách]
2) Báo cáo chất lượng dữ liệu:
Kiểm tra tỷ lệ giá trị bị thiếu, giá trị bị thiếu, sự không nhất quán về đơn vị và bản ghi trùng lặp cho bảng ẩn danh này; Một bảng tóm tắt chất lượng hiện ra. Bảng: [dữ liệu]
3) Sơ đồ xác minh suy luận NLP:
Viết kế hoạch xác thực cho bước NLP trích xuất [biến] từ các chú thích văn bản tự do: kích thước mẫu ngẫu nhiên, ghi nhãn tiêu chuẩn vàng, số liệu phù hợp, phân tích lỗi.
4) Khung đánh giá:
Viết dự thảo khung đánh giá cho mô hình lâm sàng này: phân biệt (AUC), đường chuẩn, hiệu suất phân nhóm, phân tích đường cong quyết định. Mô hình: [mô tả]
Vai trò của người mẫu: Theo loại nhiệm vụ
Loại nhiệm vụ
Đóng góp của AI
sự quan trọng
xác minh
Làm sạch dữ liệu/ngoại lệ
cao
thấp
kiểm tra tại chỗ
Trích xuất NLP từ ghi chú
cao
trung bình
Xác nhận mẫu
Chấm điểm rủi ro/dự đoán
trung bình
cao
Hiệu chuẩn + nhóm con
Lập kế hoạch nguồn lực/năng lực
trung bình
trung bình
Phê duyệt đơn vị kinh doanh
Quyết định điều trị
hạn chế
rất cao
Sự chấp thuận đầy đủ của bác sĩ
Mẹo: Nếu AUC của mô hình lâm sàng cao bất ngờ (ví dụ: trên 0,95), hãy tìm kiếm sự rò rỉ tạm thời trước khi ăn mừng. Trong thế giới thực, những giá trị cao như vậy thường là dấu hiệu rò rỉ thông tin.
Thận trọng: Mô hình có thể tìm hiểu và củng cố sự bất bình đẳng trong dữ liệu lịch sử. Độ chính xác tổng thể cao có thể hàm ý tác hại mang tính hệ thống ở một số nhóm bệnh nhân nhất định; Hiệu suất phải luôn được báo cáo trong các nhóm nhỏ.
Những lỗi thường gặp
- Không nhận thấy rò rỉ tạm thời. Kiến thức về tương lai tạo ra thành công giả tạo trong phòng thí nghiệm.
- Hãy hài lòng với độ chính xác. Độ chính xác bị sai lệch với dữ liệu không cân bằng; Cần có độ nhạy và hiệu chuẩn.
- Không báo cáo các nhóm nhỏ. Số liệu tổng thể che giấu sự thiên vị và bất bình đẳng.
- Bỏ qua hiệu chuẩn. Ngay cả một mô hình xếp hạng tốt cũng có thể mắc sai lầm trong các quyết định về ngưỡng của nó.
- Để lại quyết định cho người mẫu. Đầu ra là hỗ trợ; Quyết định điều trị tùy thuộc vào đội ngũ lâm sàng.
Tóm lại
- Dữ liệu EHR rất mạnh mẽ nhưng chắp vá, không đầy đủ và sai lệch; làm sạch và mã hóa là những bước quan trọng.
- Rò rỉ tạm thời là lỗi nguy hiểm nhất; Kiến thức tương lai tạo ra thành công sai lầm trong phòng thí nghiệm.
- Sự mất cân bằng và sai lệch lớp làm cho số liệu chính xác bị sai lệch.
- Đánh giá nên bao gồm phân biệt, hiệu chỉnh, phân nhóm và tính hữu ích trên lâm sàng.
- Kết quả đầu ra dự báo mang tính hỗ trợ; Quyết định chẩn đoán và điều trị thuộc về đội ngũ lâm sàng.
Nhiệm vụ ứng dụng
Xây dựng mục tiêu dự đoán và danh sách mười biến số (cố ý bao gồm biến “triển vọng”, ví dụ: chẩn đoán xuất viện). Sử dụng lời nhắc mạnh mẽ để kiểm tra rò rỉ mô hình và xem liệu mô hình có nắm bắt được biến này hay không. Sau đó viết khung đánh giá cho mô hình này thành ba mục, bao gồm phân biệt, hiệu chỉnh và phân nhóm.
danh sách kiểm tra
- [ ] Tôi hiểu các bước trích xuất, làm sạch, mã hóa và lập mô hình khi làm việc với dữ liệu EHR.
- [ ] Tôi có thể nhận ra sự rò rỉ tạm thời và kiểm tra danh sách tài sản.
- [ ] Tôi nhận ra sự mất cân bằng giai cấp và thành kiến đã đánh lừa sự chính xác như thế nào.
- [ ] Tôi biết sự khác biệt giữa sự phân biệt và sự hiệu chuẩn cũng như sự cần thiết của cả hai.
- [ ] Tôi có thể định vị kết quả dự đoán là hỗ trợ chứ không phải quyết định.