Lợi nhuận:
- Khả năng chia khảo sát mức độ hài lòng của bệnh nhân và phản hồi văn bản miễn phí thành các chủ đề và thực hiện phân tích tình cảm với sự hỗ trợ của trí tuệ nhân tạo
- Khả năng tạo ra những hiểu biết sâu sắc có thể hành động và các bản thảo cải tiến từ các văn bản khiếu nại và đề xuất
- Khả năng nắm bắt các cạm bẫy như sai lệch lấy mẫu, lỗi thẻ cảm tính tự động và bảo vệ quyền riêng tư trước khi diễn giải
Bệnh nhân không chỉ đến để khỏi bệnh; Họ cũng trải nghiệm và nhớ lại cách họ được điều trị, họ đã chờ đợi bao lâu và họ có thể chia sẻ vấn đề của mình với ai. Sự hài lòng của bệnh nhân vừa là trách nhiệm đạo đức vừa là khía cạnh hoạt động ảnh hưởng đến danh tiếng của tổ chức và trong một số trường hợp là cả việc hoàn trả của tổ chức. Nhưng dữ liệu về mức độ hài lòng thường có hai dạng: khảo sát được đo bằng sao/xếp hạng và đánh giá dạng tự do. Phải mất thời gian để đọc từng trăm bình luận miễn phí. Đây là lúc trí tuệ nhân tạo phát huy sức mạnh: nó tách hàng trăm văn bản thành các chủ đề, trích xuất giọng điệu cảm xúc và tóm tắt những lời phàn nàn và khen ngợi nổi bật. Trong phần này, chúng ta sẽ xem cách thực hiện điều này nhưng quan trọng hơn là làm thế nào để tránh đọc sai. Ranh giới: AI tóm tắt văn bản và trích xuất chủ đề; nhưng nhãn cảm xúc tự động có thể sai, mẫu có thể bị sai lệch - việc khái quát hóa và quyết định thuộc về người quản lý.
Các khái niệm cơ bản về khai phá văn bản
Một số thuật ngữ: Khai thác văn bản là quá trình tự động trích xuất các mẫu và ý nghĩa từ văn bản viết. Phân tích tình cảm là việc tự động phân loại giọng điệu tích cực/tiêu cực/trung tính của văn bản. Trích xuất chủ đề/chủ đề là nhóm nhiều nhận xét thành các chủ đề chung (sự sạch sẽ, chờ đợi, giao tiếp, giá cả). NPS (Net Promoter Score) là chỉ số về mức độ trung thành dựa trên câu hỏi "Bạn có giới thiệu chúng tôi không?" Sẽ rất hữu ích khi nghĩ về dữ liệu về sự hài lòng theo hai khía cạnh riêng biệt: khía cạnh định lượng (xếp hạng, NPS) cung cấp cho bạn câu trả lời cho câu hỏi "bao nhiêu"; Khía cạnh định tính (nhận xét miễn phí) mang câu trả lời cho câu hỏi “tại sao”. Cả hai đều không đầy đủ riêng biệt; Khi đọc cùng nhau, bạn sẽ thấy cả mức độ nghiêm trọng của vấn đề và nguồn gốc của nó.
Những phương tiện này có một mặt mạnh mẽ nhưng nguy hiểm. Phân tích tình cảm vấp phải sự tinh tế của ngôn ngữ. Câu "Tuyệt vời, tôi lại đợi 3 tiếng nữa" có vẻ tích cực khi nhìn từng chữ vì nó chứa từ "tuyệt vời"; Tuy nhiên, thật là mỉa mai. "Nó không tệ" chứa đựng sự phủ định. Các hậu tố và thành ngữ trong tiếng Thổ Nhĩ Kỳ càng khiến việc này trở nên khó khăn hơn. Mối nguy hiểm thứ hai là sự thiên vị trong việc lấy mẫu: cuộc khảo sát thường được thực hiện bởi những người rất hài lòng hoặc rất tức giận; Đa số im lặng ở giữa là vô hình. Vì vậy, bức tranh mà AI vẽ ra là ý kiến của “các tác giả” chứ không phải của “tất cả bệnh nhân”.
Giá trị thực sự của những công cụ này không nằm ở số lượng mà nằm ở phương hướng. Xếp hạng theo sao cho bạn biết "mức độ hài lòng 3,8" nhưng không cho bạn biết cần khắc phục điều gì; văn bản miễn phí cho bạn biết chính xác điều gì đang làm phiền bạn. Công việc của AI là chắt lọc câu chuyện thô này thành các tiêu đề có thể quản lý được: Bạn không thể đọc 600 nhận xét, nhưng bạn có thể biến câu "30 phần trăm nhận xét đề cập đến sự nhầm lẫn khi định tuyến" thành hành động. Tuy nhiên, sự giảm thiểu này cũng kéo theo một sự mất mát: một cảnh báo an toàn nổi bật, đơn lẻ nhưng quan trọng từ một bệnh nhân có thể bị bỏ sót trong “chủ đề nhỏ về 2 phần trăm”. Vì vậy, ngoài việc tóm tắt định lượng, cần sàng lọc thêm những bình luận riêng lẻ có dấu hiệu bảo mật hoặc khiếu nại nghiêm trọng; Con số thể hiện bức tranh tổng thể và nhận xét cá nhân cho thấy ngoại lệ quan trọng.
Từng bước: Phân tích phản hồi với AI
- Ẩn danh. Xóa các thông tin nhận dạng như tên, tên bác sĩ, số phòng khỏi bình luận.
- Chia nó theo chủ đề. Yêu cầu AI nhóm các bình luận thành các chủ đề chung; Bạn xác định số lượng tiêu đề.
- Hãy loại bỏ giai điệu cảm xúc nhưng hãy xác minh nó. Nhận tỷ lệ tích cực/tiêu cực cho từng chủ đề; Sau đó hãy tự mình đọc các bình luận mẫu.
- Cái nhìn sâu sắc vào hành động. Chọn chủ đề thường xuyên và hấp dẫn nhất; Một đề xuất cải tiến cụ thể được soạn thảo.
- Kiểm soát mẫu. Có bao nhiêu người viết, ai viết, có tiêu biểu không? Hãy khái quát hóa theo giới hạn này.
- Quyết định quản lý. Quyết định cải tiến và ưu tiên thuộc về người quản lý; AI chỉ chuẩn bị cái nhìn sâu sắc.
Thận trọng: Một con số như "78 phần trăm tích cực" do AI đưa ra có thể đã hiểu sai ý nghĩa mỉa mai và phủ định. Hãy nhớ tự mình đọc một số đánh giá thô cho từng chủ đề và kiểm tra xem thẻ có khớp với thực tế hay không.
ba trường hợp nhỏ
Trường hợp 1 - Chủ đề ẩn. Một bệnh viện tích lũy được 640 bình luận miễn phí mỗi tháng; không ai có thể đọc hết được. Đơn vị bảo vệ quyền lợi bệnh nhân đã đưa ra những nhận xét ẩn danh cho YZ và giao chúng cho chủ đề. Chủ đề tiêu cực lớn nhất không phải là "thời gian chờ đợi" như mong đợi mà là "lộn xộn về lộ trình" (bệnh nhân không biết nên lên tầng nào). Với cách bố trí biển báo và nhân viên hướng dẫn đơn giản, chủ đề này đã giảm đáng kể trong hai tháng. AI làm cho chủ đề ẩn hiển thị; Giải pháp thuộc về đội.
Trường hợp 2 - Cái bẫy trớ trêu. Một đơn vị hài lòng với bản tóm tắt "82% tích cực" của AI và nói với ban quản lý rằng "mức độ hài lòng rất cao". Nhân viên chất lượng đọc các nhận xét mẫu: Những câu mỉa mai như “Thật tuyệt vời, tôi đến làm việc sau 2 giờ so với giờ hẹn” được coi là tích cực. Tỷ lệ tích cực thực tế thấp hơn. Người xử lý đã hiệu chỉnh thẻ AI bằng cách đọc tay hàng chục bình luận và sửa bài trình bày.
Trường hợp 3 - Độ lệch lấy mẫu. Tại một phòng khám ngoại trú, chỉ có 45 người trả lời khảo sát trực tuyến và hầu hết đều rất tiêu cực. Một người quản lý hoảng sợ rằng "phòng khám đa khoa đã phá sản". Nhà phân tích nhắc nhở rằng 45 người này là một phần nhỏ và thiên vị trong số 3.200 bệnh nhân trong tháng đó và những người tức giận phản ứng nhiều hơn với cuộc khảo sát. Thay vì hoảng sợ, một cuộc thăm dò ý kiến đại diện đã được đưa ra; Hình ảnh thực tế cân bằng hơn nhiều.
Bốn mẫu có thể sao chép
1) Trích xuất chủ đề:
Vai trò của bạn: trợ lý cho nhà phân tích trải nghiệm bệnh nhân. Dưới đây là những nhận xét của bệnh nhân tự do ẩn danh (không có tên/tên bác sĩ). Nhiệm vụ: chia các nhận xét thành 6-8 chủ đề chung (ví dụ: chờ đợi, giao tiếp, dọn dẹp, giới thiệu, tính phí). Hãy cho biết bạn có bao nhiêu nhận xét cho mỗi chủ đề và đưa ra 2 câu trích dẫn mẫu. Đừng bịa ra những bình luận; Chỉ cần sử dụng những gì tôi cung cấp cho bạn.
2) Cảnh báo tình cảm + xác thực:
Trừ tỷ lệ tích cực/tiêu cực/trung tính cho từng chủ đề. NHƯNG chỉ ra rằng các cách diễn đạt mỉa mai, phủ định và châm biếm có thể đánh lừa thẻ cảm xúc và liệt kê riêng 5 nhận xét mà bạn không chắc chắn là "được kiểm tra thủ công". Trình bày dưới dạng phần trăm chính xác; đưa ra khoảng
3) Cái nhìn sâu sắc theo định hướng hành động:
Chọn chủ đề thường xuyên nhất và tiêu cực nhất. Đối với chủ đề này: bản phác thảo về nguyên nhân gốc rễ có thể xảy ra, 3 cải tiến có thể được thực hiện trong thời gian ngắn và tác động/chi phí ước tính của từng cải tiến. Nói rõ rằng đây là một gợi ý và quyết định tùy thuộc vào người quản lý.
4) Ghi chú kiểm soát mẫu:
Trong phân tích này, tổng số câu trả lời [N] là số bệnh nhân trong khoảng thời gian đó [M]. Hãy viết cho tôi một lưu ý cảnh báo về tính đại diện của mẫu: nếu tỷ lệ phản hồi thấp hoặc bệnh nhân tức giận được thể hiện quá mức, hãy giải thích những rủi ro khi khái quát hóa kết quả thành 4 điểm.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Hãy cho tôi biết những nhận xét này tốt hay xấu, hài lòng bao nhiêu phần trăm.
Không có chủ đề, không có xác minh, không có cảnh báo mẫu; Nó trả về một tỷ lệ phần trăm sai lệch duy nhất.
Lời nhắc mạnh mẽ:
Dưới đây là [N] nhận xét ẩn danh của bệnh nhân, số lượng bệnh nhân tại thời điểm đó [M]. Tách các nhận xét theo chủ đề, đưa ra giọng điệu cảm xúc gần đúng cho từng chủ đề nhưng đánh dấu nếu chúng không chắc chắn do mỉa mai/phủ định. Soạn thảo đề xuất cải tiến về chủ đề hấp dẫn nhất và thêm ghi chú cảnh báo về tính đại diện của mẫu.
bước
Đóng góp của AI
sự kiểm soát của con người
Tách chủ đề
Nhóm hàng trăm bình luận
Tiêu đề có ý nghĩa không?
thẻ cảm xúc
Tạo ra âm thanh nhanh
Kiểm soát sự mỉa mai/phủ định
cái nhìn sâu sắc
dự thảo cải tiến
Khả năng ứng dụng, chi phí
khái quát hóa
Cung cấp tóm tắt
Mẫu có mang tính đại diện không?
Những lỗi thường gặp
- Chấp nhận nhãn cảm xúc như nó vốn có. Sự mỉa mai và phủ định là sai lầm; Đọc các ví dụ.
- Khái quát hóa từ mẫu nhỏ/sai lệch. 45 bình luận giận dữ không đại diện cho tất cả bệnh nhân.
- Bỏ qua ẩn danh. Các nhận xét có thể bao gồm tên của bác sĩ/bệnh nhân; loại bỏ nó.
- Chỉ tập trung vào tiêu cực. Các chủ đề tích cực cũng chỉ ra những gì bạn sẽ bảo vệ.
- Hiểu lầm cái nhìn sâu sắc cho quyết định. Quyết định và ưu tiên cải tiến thuộc về người quản lý.
Mẹo: Vào cuối mỗi phân tích, hãy tự đọc 15-20 nhận xét thô ngẫu nhiên và so sánh chúng với thẻ của AI. Thói quen “hiệu chỉnh” kéo dài 10 phút này sẽ phát hiện ra những cạm bẫy mỉa mai và phủ định, đồng thời dạy bạn nên tin tưởng vào bản tóm tắt AI đến mức nào.
Tóm lại
Dữ liệu về sự hài lòng của bệnh nhân có ở cả điểm số và văn bản miễn phí, đồng thời AI rất mạnh mẽ trong việc chia nhỏ hàng trăm nhận xét thành các chủ đề và tóm tắt chúng. Nhưng nhãn cảm xúc tự động lại có xu hướng mỉa mai và phủ định; Lấy mẫu khảo sát thường sai lệch. Do đó, đầu ra AI không thể được khái quát hóa nếu không được xác minh bằng các diễn giải thô và cỡ mẫu. Tính ẩn danh được duy trì, sự hiểu biết sâu sắc được chuẩn bị; Nhưng quyền quyết định và ưu tiên cải tiến luôn thuộc về người quản lý.
Nhiệm vụ ứng dụng
Nhận một bộ bình luận ẩn danh (20-30 bình luận, thực tế hoặc giả định). Hỏi AI về chủ đề và giọng điệu với các mẫu “Suy luận chủ đề” và “Cảm xúc + cảnh báo xác thực”. Sau đó, hãy tự đọc ít nhất 10 nhận xét thô và so sánh chúng với thẻ của AI; Viết ra bao nhiêu lỗi trong số đó do tính mỉa mai/phủ định và tính đại diện của mẫu trong 5 mục.
danh sách kiểm tra
- [ ] Tôi đã ẩn danh nhận xét chưa (không có tên bệnh nhân/bác sĩ)?
- [ ] Tôi đã hiệu chỉnh thẻ cảm tính bằng các nhận xét thô chưa?
- [ ] Tôi đã cân nhắc cỡ mẫu và độ lệch chưa?
- [ ] Tôi đã tìm kiếm cả chủ đề tích cực và tiêu cực chưa?
- [ ] Tôi đã để lại quyết định cải tiến và ưu tiên cho người quản lý chưa?