ניתוח שביעות רצון ומשוב של מטופלים: סקר וכריית טקסטים

רווחים:

• יכולת לחלק סקרי שביעות רצון של מטופלים ומשוב טקסט חופשי לנושאים ולבצע ניתוח סנטימנטים עם תמיכה בבינה מלאכותית
• יכולת להפיק תובנות ניתנות לפעולה וטיוטות שיפור מטקסטים של תלונות והצעות
• יכולת לתפוס מלכודות כמו הטיית דגימה, שגיאת תג סנטימנט אוטומטית והגנה על פרטיות לפני פרשנות

מטופלים לא באים רק כדי להשתפר; הם גם חווים וזוכרים כיצד התייחסו אליהם, כמה זמן חיכו ולמי יכלו לספר את הבעיות שלהם. שביעות רצון המטופלים היא גם אחריות אתית וגם מימד ביצועי המשפיע על המוניטין של המוסד ובמקרים מסוימים גם על החזרו. אבל נתוני שביעות הרצון מגיעים לרוב בשתי צורות: סקרים הנמדדים לפי כוכבים/דירוגים וביקורות בצורה חופשית. לוקח זמן לקרוא מאות תגובות בחינם אחת אחת. זה המקום שבו הבינה המלאכותית היא בעלת עוצמה: היא מפרידה מאות טקסטים לנושאים, מחלצת גוון רגשי ומסכמת תלונות ושבחים בולטות. ביחידה זו נראה כיצד לעשות זאת, אך חשוב מכך, כיצד להימנע מקריאה שגויה. גבול: AI מסכם טקסט ומחלץ נושאים; אבל תווית הרגש האוטומטית יכולה להיות ניתנת לשגיאה, המדגם יכול להיות מוטה - הכללה והחלטה שייכים למנהל.

מושגי יסוד של כריית טקסטים

כמה מונחים: כריית טקסט היא תהליך של חילוץ אוטומטי של דפוסים ומשמעות מטקסטים כתובים. ניתוח סנטימנטים הוא הסיווג האוטומטי של הטון החיובי/שלילי/נייטרלי של טקסט. חילוץ נושא/נושא הוא קיבוץ של הערות מרובות לנושאים נפוצים (ניקיון, המתנה, תקשורת, מחיר). NPS (Net Promoter Score) הוא אינדיקטור נאמנות המבוסס על השאלה "האם היית ממליץ עלינו?" כדאי לחשוב על נתוני שביעות רצון בשני ממדים נפרדים: הממד הכמותי (דירוגים, NPS) נותן לך את התשובה לשאלה "כמה"; המימד האיכותי (תגובות חינם) נושא את התשובה לשאלה "למה". שניהם לא יהיו שלמים בנפרד; כשקוראים יחד רואים גם את גודל הבעיה וגם את מקורה.

לרכבים הללו יש צד חזק אך מסוכן. ניתוח סנטימנטים מעיד על דקויות השפה. המשפט "נהדר, חיכיתי שוב 3 שעות" עשוי להיראות חיובי כאשר מסתכלים עליו מילה במילה כי הוא מכיל "נהדר"; עם זאת, זה אירוני. "זה לא היה רע" מכיל שלילה. סיומות וניבים בטורקית מקשים עוד יותר. הסכנה השנייה היא הטיית דגימה: את הסקר ממלאים בדרך כלל אנשים מרוצים מאוד או כועסים מאוד; הרוב הדומם באמצע אינו נראה. לכן, התמונה שה-AI מצייר היא דעתם של "הכותבים", ולא "כל החולים".

הערך האמיתי של הכלים האלה הוא לא במספר, אלא בכיוון. דירוג כוכבים אומר לך "שביעות רצון 3.8" אבל לא אומר לך מה לתקן; טקסט חופשי אומר לך בדיוק מה מפריע לך. התפקיד של ה-AI הוא לזקק את הנרטיב הגולמי הזה לכותרות ניתנות לניהול: אתה לא יכול לקרוא 600 תגובות, אבל אתה יכול להפוך את המשפט "30 אחוז מהתגובות מזכירות בלבול ניתוב" לפעולה. אולם הפחתה זו כרוכה גם בהפסד: אזהרת בטיחות בולטת, יחידה אך חשובה ממטופל בודד עלולה ללכת לאיבוד ב"נושא הקטן של 2 אחוז". לכן, בנוסף לסיכום הכמותי, יש צורך לסנן בנוסף הערות בודדות המעידות על אבטחה או תלונות חמורות; המספר מציג את התמונה הגדולה, וההערה הפרטנית מציגה את החריג הקריטי.

שלב אחר שלב: ניתוח משוב עם AI

1. אנונימי. הסר מזהים כגון שם, שם רופא, מספר חדר מהערות.
2. חלקו אותו לפי נושאים. בקש מה-AI לקבץ הערות לנושאים נפוצים; אתה קובע את מספר הכותרים.
3. הסר את הטון הרגשי אך וודא אותו. קבל את התעריף החיובי/שלילי עבור כל נושא; לאחר מכן קרא את ההערות לדוגמה בעצמך.
4. תובנה לפעולה. בחר את הנושא השכיח והבוער ביותר; מנוסחת הצעת שיפור קונקרטית.
5. שליטה לדוגמה. כמה אנשים כתבו את זה, מי כתב את זה, האם זה מייצג? בצע את ההכללה לפי הגבול הזה.
6. החלטה ניהולית. החלטת השיפור והסדר העדיפויות שייכים למנהל; AI רק מכין תובנה.

זהירות: מספר כמו "78 אחוז חיובי" שניתן על ידי ה-AI עשוי לקרוא לא נכון את האירוניה והשלילה. הקפד לקרוא כמה ביקורות גולמיות עבור כל נושא בעצמך ולבדוק אם התג תואם את המציאות.

שלושה מיני תיקים

מקרה 1 - נושא מוסתר. בית חולים אחד צבר 640 תגובות חינם בחודש; אף אחד לא יכול היה לקרוא הכל. היחידה לזכויות החולה מסרה את ההערות האנונימיות ל-YZ וייעדה אותן לנושא. הנושא השלילי הגדול ביותר לא היה "זמן המתנה" כצפוי, אלא "בלבול ניתוב" (המטופלים לא הצליחו להבין לאיזו קומה ללכת). עם סידור פשוט של אנשי שילוט והכוונה, נושא זה ירד משמעותית תוך חודשיים. AI הפך את הנושא הנסתר לגלוי; הפתרון היה שייך לצוות.

מקרה 2 - מלכודת אירוניה. יחידה אחת הייתה מרוצה מהסיכום "82 אחוז חיובי" של ה-AI ואמרה להנהלה ש"שביעות הרצון גבוהה". קצין האיכות קרא הערות לדוגמה: משפטים אירוניים כמו "מדהים, נכנסתי שעתיים אחרי מועד הפגישה" נחשבו חיוביים. השיעור החיובי בפועל היה נמוך יותר. המטפל כייל את תג ה-AI על ידי קריאה ידנית של כמה עשרות הערות ותיקן את המצגת.

מקרה 3 - הטיית דגימה. במרפאת חוץ אחת, רק 45 אנשים השיבו לסקר המקוון, ורובם היו שליליים מאוד. מנהל אחד נבהל מכך ש"המרפאה פשטה רגל". האנליטיקאי הזכיר ש-45 האנשים האלה היו חלק קטן ומוטה מבין 3,200 החולים באותו חודש, ושאנשים כועסים הגיבו יותר לסקר. במקום פאניקה, הושק סקר יציאה מייצג; התמונה האמיתית הייתה הרבה יותר מאוזנת.

ארבע תבניות הניתנות להעתקה

1) מיצוי נושא:

תפקידך: עוזר מנתח חווית מטופל. להלן הערות אנונימיות של מטופל עצמאי (ללא שם/שם רופא). משימה: חלקו הערות ל-6-8 נושאים נפוצים (למשל המתנה, תקשורת, ניקיון, הפניה, עמלה). תן כמה הערות היו לך לכל נושא ותן 2 ציטוטים לדוגמה. אל תמציא את ההערות; פשוט תשתמש במה שאני נותן לך.

2) סנטימנט + התראת אימות:

הפחת את היחס החיובי/שלילי/נייטרלי עבור כל נושא. אבל ציין כי אירוניה, שלילה וביטויים סרקסטיים עלולים להטעות את תג הרגש, ולפרט את 5 ההערות שאינך בטוח בהן בנפרד כ"נבדקות ידנית". הצגת כאחוז מדויק; לתת כ.

3) תובנה מכוונת פעולה:

בחר את הנושא השכיח והשלילי ביותר. לנושא זה: מתווה של סיבת השורש האפשרית, 3 שיפורים שניתן ליישם בטווח הקצר, וההשפעה/עלות המשוערת של כל אחד מהם. ציינו כי מדובר בהצעה וההחלטה בידי המנהל.

4) הערת בקרה לדוגמה:

בניתוח זה, המספר הכולל של התגובות [N] הוא מספר החולים באותה תקופה [M]. כתוב לי הערת אזהרה לגבי הייצוגיות של המדגם: אם שיעור התגובה נמוך או מטופלים כועסים מיוצגים יתר על המידה, הסבר את הסיכונים בהכללת התוצאות ב-4 נקודות.

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה:

תגיד לי אם ההערות האלה טובות או רעות, איזה אחוז הוא מרוצה.

ללא נושאים, ללא אימות, ללא אזהרות לדוגמה; זה מחזיר אחוז מטעה בודד.

הנחיה עוצמתית:

להלן [N] הערות אנונימיות של מטופלים, מספר מטופלים באותו זמן [M]. הפרד את ההערות לפי נושא, תן גוון רגשי משוער לכל נושא אך סמן אם הן לא בטוחות בגלל אירוניה/שלילה. נסחו הצעה לשיפור בנושא הבוער ביותר והוסיפו הערת אזהרה לגבי ייצוגיות המדגם.

צעד

תרומה של AI

שליטה אנושית

הפרדת נושאים

מקבץ מאות תגובות

האם יש משמעות לכותרות?

תג רגש

מייצר גוון מהיר

אירוניה/שליטה שלילה

תובנה

טיוטת שיפור

ישימות, עלות

הכללה

מספק תקציר

האם המדגם מייצג?

טעויות נפוצות

• קבלת תווית הרגש כפי שהיא. אירוניה ושלילה מטעות; קרא את הדוגמאות.
• הכללה ממדגם קטן/מוטה. 45 הערות זועמות אינן מייצגות את כל החולים.
• עקיפת אנונימיזציה. הערות עשויות לכלול את שם הרופא/המטופל; להסיר אותו.
• התמקדות רק בשלילי. נושאים חיוביים מציינים גם על מה תגן.
• תובנה מוטעית להחלטה. ההחלטה והעדיפות לשיפור שייכים למנהל.

טיפ: בסוף כל ניתוח, קראו בעצמכם 15-20 הערות גולמיות אקראיות והשוו אותן עם התג של ה-AI. הרגל "כיול" זה בן 10 דקות תופס מלכודות אירוניה ושלילה ומלמד אותך עד כמה לסמוך על תדריך הבינה המלאכותית.

לסיכום

נתוני שביעות הרצון של המטופלים מגיעים גם בציונים וגם בטקסט חופשי, וה-AI חזק מאוד בפירוק מאות הערות לנושאים ולסכם אותם. אבל תווית הרגש האוטומטית שוגה בצד האירוניה והשלילה; דגימת הסקר היא לעתים קרובות מוטה. לכן, לא ניתן להכליל פלט AI ללא אימות עם פרשנויות גולמיות וגודל מדגם. אנונימיות נשמרת, תובנה מוכנה; אבל ההחלטה והעדיפות לשיפור שייכים תמיד למנהל.

משימת יישום

קבלו ערכת תגובות אנונימית (20-30 תגובות, אמיתיות או היפותטיות). בקש מה-AI לנושא וטון עם התבניות "הסקת נושא" ו"התראת רגש + אימות". לאחר מכן קרא בעצמך לפחות 10 הערות גולמיות והשווה אותן לתג של ה-AI; רשום בכמה מהם אתה מוצא פגם עקב אירוניה/שלילה והייצוגיות של המדגם ב-5 פריטים.

רשימת בדיקה

• [ ] האם יש לי הערות אנונימיות (ללא שם מטופל/רופא)?
• [ ] האם כיילתי את תג הסנטימנט עם הערות גולמיות?
• [ ] האם שקלתי את גודל המדגם וההטיה?
• [ ] האם חיפשתי נושאים חיוביים ושליליים כאחד?
• [ ] האם השארתי את החלטת השיפור ואת העדיפות למנהל?