רווחים:
- יכולת לקרוא מגמות בודדות ומצטברות עם ניתוח סנטימנטים וניתוח דיבור ולהשתמש בציונים כאותות ולא כעובדות מוחלטות
- יכולת לסרוק 100% מהשיחות עם כרטיס ניקוד אובייקטיבי ולייצר הערכה ראשונית מבוססת ראיות, תוך השארת ההחלטה הסופית לאדם
- יכולת ביסוס מערכת האיכות בשקיפות והרחק מתרבות העונשין לצורך פיתוח ושיפור חוויה
יש אלפי שיחות מדי יום במוקד טלפוני, אבל בשיטה הקלאסית הצוות האיכותי יכול להאזין ולהעריך רק חלק קטן מהן (1-2% ברוב המקומות). כלומר 98% מהשיחות אבדו מבלי שנבדקו מעולם; גם אם לקוח מטופל או נציג נותן שוב ושוב מידע כוזב, אף אחד לא יכול לשים לב. בינה מלאכותית משנה באופן קיצוני את התמונה הזו: היא יכולה לקרוא ולהעריך כל שיחה. ביחידה זו נתייחס לשני נושאים קשורים: ניתוח סנטימנטים (מדידת הטון הרגשי של הלקוח והנציג) וניהול איכות (QA - Quality Assurance; הערכת עמידה בשיחות בתקנים).
שתי קדנציות ראשונות. ניתוח סנטימנטים הוא הטון הרגשי החיובי, השלילי או הנייטרלי של טקסט או נאום; זה לזהות אוטומטית מצבים כמו כעס, סיפוק וחרדה. ניתוח דיבור (ניתוח אינטראקציה) הוא לנתח את כל השיחות באופן קולקטיבי ולחלץ מגמות, נושאים תכופים, סיכונים והזדמנויות. יחד הם נותנים למוקד "אוזניים שומעות": מייצרים משמעות מאלפי שיחות שהמנהל לא יכול להאזין להן בנפרד.
ניתוח סנטימנטים: שמירה על הדופק
ניתוח סנטימנטים פועל בשתי רמות. רמת יחיד: מציגה את הטון הכללי של שיחה ("הלקוח התחיל לכעוס, בסופו של דבר נרגע") ונקודות המפנה. רמה מצטברת: מחלץ מגמות כמו "סנטימנט שלילי עלייה של 18% השבוע, בעיקר על 'חשבון'" מאלפי שיחות. המידע הזה הוא זהב: הוא תופס גל גואה של כעס, בעיה במוצר או בלבול לגבי קמפיין חדש מוקדם.
עם זאת, ניתוח סנטימנט אינו מושלם. בטורקית, סרקזם, אירוניה וניבים יכולים להטעות את המודל (המשפט "תודה רבה, שירות מעולה!" אולי נאמר בכעס). כמו כן, ציון הסנטימנט הוא איתות, לא האמת הסופית. אז השתמש בניתוח סנטימנטים לא כדי להעניש את הנציג הבודד, אלא כדי לראות מגמות ולהדגיש שיחות שצריכות תשומת לב.
טיפ: השתמש בניתוח סנטימנטים כ"התראה", לא "שיפוט". ציון שלילי בודד אינו מגנה נציג; אבל מגמת שליליות עולה מצביעה על תחום שצריך לבחון אותו. אמת את האות עם אדם.
ניהול איכות: 100% הערכה במקום 1%
ב-QA הקלאסי, מומחה איכות מבחין כמה שיחות שנבחרו באקראי באמצעות טופס הערכה (כרטיס ניקוד - פריטים כגון "האם ניתנה הברכה, זהות אומתה, האם הפתרון הוצע, האם הסגירה המתאימה"). שיטה זו סובלת מגודל מדגם קטן, סובייקטיביות ומבעיות עיכוב. ב-QA הנתמך בבינה מלאכותית, המודל מעריך אוטומטית את כל השיחות לפי פריטי כרטיס ניקוד; איזה מאמר חסר, אילו נאומים מסוכנים, באיזה נציג צריך לתמוך באיזה נושא - זה מראה את כולם.
נקודה קריטית: ציון ה-QA של הבינה המלאכותית הוא מיון ראשוני ואינדיקציה, לא הערכה סופית. ה-AI אומר ש"נראה שהשיחה הזו דילגה על שלב האימות"; מומחה האיכות בוחן את השיחות המסומנות הללו ומקבל את ההחלטה הסופית. לכן, במקום להקשיב לאלפי שיחות, המומחה מתמקד בשיחות המסוכנות/למופת שה-AI מסמן - גם הוגנות וגם מקיפות יותר.
הטבלה הבאה משווה בין שתי הגישות:
גודל
QA קלאסי
QA המופעל על ידי בינה מלאכותית
היקף
1-2% מהשיחות
100% סרוק
משך זמן
לאט, הקשבה ביד
סריקה מיידית
עקביות
משתנה בהתאם למומחה
מוחל כל הזמן על הקריטריון
סובייקטיביות
גבוה
הקריטריון ברור, אות + אנושי
החלטה סופית
מומחה
מומחה (מתמקד ב-AI)
סיכון
בעיות בריחה
סימן שקר (יש לאמת)
שלב אחר שלב: תוכנית איכות מונעת בינה מלאכותית
- הבהר את כרטיס המידע: כתוב פריטי הערכה בצורה אובייקטיבית ומדידה (לא מעורפל כמו "פעל באדיבות", אלא ברור כמו "קבל את פני הלקוח בשם/כתובת מתאימה").
- תן ל-AI את הקריטריונים: דרג כל שיחה כ"בוצעה/לא בוצעה/לא ברורה" לפי פריטים אלה; הראית את משפט ההוכחה.
- הדגש את המסוכנים שבהם: הביאו למומחה שיחות עם ניקוד נמוך, כועס או בסיכון ציות.
- המומחה מאשר: הציון הסופי והמשוב שייכים לאדם; המקומות ש-AI מכנה "לא ודאיים" בהחלט זמינים לבני אדם.
- הפוך את זה לאימון: השתמש בממצאים לפיתוח סוכנים - התמקד בשיפור, לא בענישה.
ארבע תבניות הניתנות להעתקה
1) דירוג כרטיס ניקוד:
הערך את השיחה האנונימית הבאה לפי הפריטים הבאים. לכל פריט: תן סטטוס=[בוצע/לא נעשה/לא ברור] ומשפט EVIDENCE (ציטוט מהשיחה). אם אין ראיות, אמור "לא ברור"; ניחוש.פריטים: 1) ברכה מתאימה 2) אימות 3) הבנת הבעיה 4) מידע נכון/פתרון 5) מידע חובה 6) סגירה אדיבה. דיבור: <<פענוח>>
2) ניתוח סנטימנט ונקודת מפנה:
צייר את המסלול הרגשי של השיחה האנונימית למטה.- טון התחלה, טון סיום (רגוע/כועס/חרד/מרוצה),- רגע שבו הרגש השתנה ומדוע (עם ציטוט),- האם היו סימנים של כעס/משבר, איך הסוכן התמודד עם זה?שימו לב לאירוניה/סרקזם אפשרי; אם אינך בטוח, אמור "לא ברור". דיבור: <<תמלול>>
3) דוח מגמה מצטבר:
להלן תגיות השיחה האנונימיות של השבוע וציוני הסנטימנט. (1) נושא הרגש השלילי המתגבר ביותר, (2) השערת שורש אפשרית (הוכח), (3) 3 נושאים שמומלץ לבחון. קח את המספרים מהנתונים, אל תמציא אותם; סמן השערות כ"חייבים לאשר". נתונים: <<טבלת סיכום>>
4) סיכום אימון (פיתוח סוכנים):
הפק הערת אימון ממוקדת פיתוח, ללא ענישה עבור נציג ONE בהתבסס על השיחות המוערכות הבאות. - חוזקות (2), - אזור לשיפור (2, עם דוגמאות קונקרטיות), - יעד מיקרו מוצע. שיפוט אישי/שימוש בתוויות. נתונים: <<דירוג דיבור>>
הנחיה חלשה / הנחיה חזקה
הנחיה חלשה:
דרג אם הנציג הזה טוב או רע.
סובייקטיבי, ללא קריטריונים, ללא ראיות, עונשי; הוא מייצר "שיפוט" בלתי צודק ובלתי ניתן להגנה.
הנחיה עוצמתית:
הערך את השיחה האנונימית הזו לפי כרטיס המידע בן 6 הפריטים; לכל פריט ציטוט בוצע/לא בוצע/לא ברור + עדות מהנאום. אם אין ראיות, אמור "לא ברור". אני (מומחה האיכות) אקבל את ההחלטה הסופית; אתה רק עושה הערכה ראשונית עם ראיות.
ההבדל: הקריטריון ברור, הראיות מחייבות, חוסר הוודאות כנה, ההחלטה הסופית היא של האדם.
שלושה מיני תיקים
מקרה 1 - העוצמה של 100% כיסוי. בבנק אחד, צוות ה-QA יכול היה להאזין ל~1,200 שיחות בחודש (1.5% מהסך הכל). כל 80,000 השיחות נסרקו באמצעות AI; מסתבר ששלב האימות דילג ב-6% מהמקרים - סיכון תאימות שלעולם לא נראה בדגימה קלאסית. עם אימון ממוקד, השיעור ירד לפחות מ-1% תוך חודשיים.
מקרה 2 - מלכודת אירוניה. במרכז מסחר אלקטרוני, מודל הרגשות החשיב משפטים אירוניים כמו "אתה נהדר, אני מחכה כבר 3 ימים" כ"חיוביים"; אז כמה לקוחות כועסים נראו "מרוצים". כאשר המודל לא נעשה למקבל ההחלטות הבלעדי והציונים אומתו על ידי דגימה בעין האנושית, הצוות סימן את מקרי האירוניה בנפרד ואמינות הדיווחים עלתה. שיעור: ציון הסנטימנט הוא אות, לא אמת מוחלטת.
מקרה 3 - אזהרה מוקדמת. ניתוח דיבור בטלקום אחד הראה שהסנטימנט השלילי סביב "חשבון" עלה ב-40% תוך 3 ימים, החל מיום שלישי. מהחקירה עלה כי חשבוניות באו לידי ביטוי שגוי במעבר לתעריף חדש. הבעיה נתפסה ותוקנה על ידי אות רגש מוקדם לפני שהצטברו אלפי תלונות. אנליטיקס הפכה למערכת התרעה מוקדמת וגם לכלי איכותי.
טעויות נפוצות
- התחשבות בציון הרגש כאמת מוחלטת. אירוניה, ניבים והקשר מטעים את המודל; השתמש בניקוד כאות, ודא עם אדם.
- הפיכת ציון ה-AI להחלטה הסופית. ב-QA, ההערכה והמשוב הסופי שייכים לאדם; AI מתקדם.
- פריטים מעורפלים בכרטיס ניקוד. "הוא התנהג יפה" אי אפשר למדוד; כתוב פריטים אובייקטיביים ניתנים לאימות.
- הפיכת QA לכלי לענישה. המטרה היא פיתוח וחווית לקוח; תרבות הענישה משתיקה את הסוכן ומשחיתה את הנתונים.
- הערכה ללא ראיות. כל ממצא צריך להיות נתמך בציטוט מהנאום; אחרת צריך לקרוא לזה "לא ברור".
זהירות: מדידת כל השיחות עם AI היא חזקה אך רגישה. הפיכת זה למערכת שמנטרת ומענישה עובדים ללא הרף היא גם לא אתית וגם הורסת את האמון של הצוות. המטרה היא לשפר את חווית הלקוח ופיתוח הסוכנים; שקיפות ומיקוד פיתוח הם חיוניים.
לסיכום
ניתוח סנטימנטים וניהול איכות מבוסס בינה מלאכותית נותנים למרכז הטלפוני אוזניים לשמוע אלפי שיחות: סריקה של 100% מהמדגם במקום 1%, קליטת מגמות מוקדם ושמירה על עקביות הערכת איכות. אבל ציון הסנטימנט הוא איתות, לא האמת המוחלטת; ב-QA, ההחלטה הסופית שייכת לאדם. כתוב את כרטיס הניקוד בצורה אובייקטיבית, ייחס כל ממצא לראיות, השאר את אי הוודאות לבני אדם ובסס את כל המערכת בשקיפות, במטרה לפתח ולשפר חוויה, לא ענישה.
משימת יישום
עיצוב כרטיס ניקוד אובייקטיבי עם 6 פריטים (כל פריט צריך להיות מדיד וניתן להוכחה). קח תמליל פיקטיבי/אנונימי והחל את התבניות "1) הערכת כרטיס ניקוד" ו-"2) ניתוח סנטימנטים". הדגש אזורים שבהם המודל אומר "דו-משמעי" או שבהם עשויה להיות אירוניה וכתוב כיצד מומחה אנושי צריך לאמת אותם. לבסוף, הפק תזכיר ממוקד פיתוח עם "4) סיכום אימון".
רשימת בדיקה
- [ ] פריטי כרטיס המידע שלי הם אובייקטיביים, ניתנים למדידה וניתנים לאימות.
- [ ] הערכה ראשונית של AI; החלטת ה-QA והמשוב הסופיים נמצאים אצל האדם.
- [ ] אני משתמש בציוני סנטימנט כאותות, לא כאמת מוחלטת.
- [ ] כל ממצא נתמך בציטוט של ראיות מהשיחה; אחרת "לא ברור".
- [ ] הקמתי את המערכת למטרת פיתוח ושיפור חוויה, לא ענישה.
- [ ] מטרת הניתוח והיקפו הוסברו בשקיפות לעובדים.