اندازه‌گیری، KPI و بهبود مستمر: چه چیزی را باید پایش کرد و چگونه؟

سود:

• توانایی خواندن KPIهای کلاسیک (AHT، FCR، CSAT، NPS، CES) و معیارهای خاص هوش مصنوعی با یک متعادل کننده کیفیت برای هر معیار بهره وری
• توانایی اندازه گیری دقت پاسخ و دریفت کردن منظم و اجتناب از تله قفل شدن در یک متریک واحد
• توانایی انجام بهبود مستمر بر اساس گزارش "نمی دانم"، دلایل گردش مالی و جریان های ناموفق با چرخه PDCA

خطرناک ترین اشتباه وقتی هوش مصنوعی وارد مرکز تماس می شود این است که بگوییم "ما آن را نصب کردیم، به نظر می رسد کار می کند، کافی است". یک ربات، دستیار یا جریان سلف‌سرویس در لحظه‌ای که پخش می‌شود کامل نیست و در آنجا باقی نمی‌ماند. باید به طور مداوم اندازه گیری، نظارت و بهبود یابد. علاوه بر این، ردیابی معیار اشتباه گاهی مضرتر از ردیابی نکردن معیار مناسب است – زیرا باعث می‌شود شما در جهت اشتباه بدوید. در این بخش، شاخص‌های کلیدی مرکز تماس (KPI)، معیارهای خاص هوش مصنوعی و نحوه ایجاد یک چرخه بهبود مستمر را خواهیم دید.

اول، یک هشدار: معیارها وسیله ای برای رسیدن به هدف هستند، نه خود هدف. هدف این است که مشکل مشتری را به خوبی و کارآمد حل کنیم. اگر یک معیار (مثلا AHT) را به صورت مجزا دنبال کنید، تکرارها بدون حل مشکل مشتری تماس را کوتاه می کنند و هدف واقعی آسیب می بیند. این وسواس معیار نامیده می شود. هر متریک را با یک تعادل بخوانید.

KPI های اصلی مرکز تماس

KPI (شاخص عملکرد کلیدی) عددی است که عملکرد یک فرآیند را اندازه گیری می کند. ابتدایی ترین آنها در مرکز تماس:

KPI

چه اقداماتی

متعادل کننده

AHT (میانگین زمان پردازش)

مدت زمان تماس

FCR، CSAT (کوتاه اما نامحلول نیست)

FCR (رزولوشن در اولین تماس)

راه حل یکبار مصرف

CSAT (نگویید حلش کردید و حلش نکردید)

CSAT (رضایت مشتری)

امتیاز پس از تماس

میزان پاسخگویی (اگر افراد کمی آن را پر کنند گمراه کننده خواهد بود)

NPS (امتیاز توصیه)

وفاداری/توصیه

علت اصلی (چرا کم؟)

CES (امتیاز تلاش مشتری)

مشتری چقدر سخت بود

-

SL (سطح خدمات)

٪ تماس در x ثانیه پاسخ داده شد

نرخ رها شدن

نرخ رها شدن (ترک)

تماس در حالت انتظار

SL، خنک شدن

CES (امتیاز تلاش مشتری) میزان تلاش مشتری برای حل مشکل خود را اندازه گیری می کند. تلاش کم به شدت با وفاداری بالا مرتبط است. مشتری که می گوید «من آن را به راحتی حل کردم» اغلب ارزشمندتر از گفتن «من بسیار راضی هستم» است.

معیارهای مخصوص هوش مصنوعی

در کنار KPI های کلاسیک، معیارهای خاصی برای برنامه های کاربردی هوش مصنوعی اضافه شده است:

• نرخ مهار / انحراف: میزان تماسی که ربات/سلف سرویس بدون واگذاری آن به انسان حل می کند. اما این به تنهایی فریبنده است. باید همراه با محلول (تله در واحد 8) خوانده شود.
• نرخ وضوح ربات: مخاطبینی که ربات واقعاً آنها را حل کرده است (مشتری راضی ترک کرده است) - نه "در ربات باقی مانده اند".
• نرخ گردش مالی و دلیل: چقدر و چرا (واحد 10).
• دقت پاسخ: میزان درستی پاسخ‌های داده شده توسط ربات/دستیار - با نمونه‌گیری و نظارت انسانی اندازه‌گیری می‌شود.
• پذیرش: نرخی که نمایندگان از پیشنهادات کمک عامل استفاده می کنند (واحد 6).
• دقت خلاصه: سرعتی که در آن خلاصه‌ها/برچسب‌های خودکار با تأیید انسان تصحیح می‌شوند (واحد 4).
• توهم / میزان خطا: فراوانی پاسخ های ساختگی یا نادرست - هدف نزدیک به صفر.

نکته: هر معیار هوش مصنوعی را با یک "تثبیت کننده کیفیت" جفت کنید. "محدودیت بالا" به تنهایی خوب نیست. "محدودیت زیاد است و رضایت از راه حل ربات بالا است" خوب است. هرگز معیار کارایی را از معیار کیفیت جدا نکنید.

چرخه بهبود مستمر

یک برنامه هوش مصنوعی خوب یک چرخ در حال چرخش است، نه یک پروژه یک بار مصرف. چرخه کلاسیک PDCA (Plan-Do-Check-Act؛ PDCA) در اینجا کار می کند:

1. طرح: کدام معیار را بهبود خواهید داد و چرا؟ یک هدف تعیین کنید (به عنوان مثال "افزایش نرخ تفکیک ربات در بازده از 60٪ به 75٪."
2. اعمال: تغییر را ایجاد کنید (مورد پایه دانش را اضافه کنید، جریان را اصلاح کنید، درخواست را بهبود بخشید).
3. بررسی کنید: آیا معیار واقعاً بهبود یافته است؟ آیا عوارض جانبی وجود دارد (آیا معیارهای دیگری شکسته شده است)؟
4. اقدامات احتیاطی را انجام دهید: اگر کار کرد، آن را دائمی کنید. اگر جواب نداد، آن را پس بگیرید و یاد بگیرید.

سوخت این چرخه داده‌ها است: گزارش‌های «نمی‌دانم» (واحد 5)، دلایل گردش مالی (واحد 10)، جریان‌های ناموفق (واحد 8)، مکالمات با امتیاز پایین (واحد 7). این منابع به شما می گویند که کجا باید پیشرفت کنید.

احتیاط: مدل‌های هوش مصنوعی و رفتار مشتری در طول زمان تغییر می‌کنند. به این میگن دریفت. رباتی که امروزه با دقت 95 درصد کار می کند، اگر پایگاه دانش آن قدیمی شود یا الگوی سؤال مشتری تغییر کند، می تواند بی سر و صدا خراب شود. به همین دلیل است که اندازه گیری یک بار نیست، بلکه پیوسته است. آنچه را که بی سر و صدا اندازه نمی گیرید خراب می شود.

چهار قالب قابل کپی

1) طراحی داشبورد KPI:

یک پیش نویس داشبورد KPI ماهانه برای برنامه هوش مصنوعی مرکز تماس من تهیه کنید. برای هر معیار: تعریف، هدف، متریک جبران، منبع داده، آستانه هشدار (زنگ هشدار بالاتر/زیر این مقدار). معیارها: AHT، FCR، CSAT، مهار، نرخ حل ربات، نرخ گردش مالی، دقت پاسخ. اعداد ساختگی ندهید. یک الگو تنظیم کنید تا من فیلدها را پر کنم.

2) تفسیر متریک (علت اصلی):

داده‌های KPI زیر را مانند یک تحلیلگر CX تفسیر کنید. (1) قابل توجه‌ترین تغییر، (2) فرضیه‌های احتمالی علت اصلی (اثبات)، (3) معیارهای دیگری که باید به آن نگاه کرد (تغییر)، (4) 2 اقدامات پیشنهادی. اعداد را از داده‌ها دریافت کنید. فرضیه ها را به عنوان "باید تایید کرد" علامت گذاری کنید. داده ها: <<...>>

3) ارزیابی مقایسه A/B:

دو نسخه ربات/جریان (A و B) را با این داده ها مقایسه کنید: <<داده>>. کدام یک از نظر کنترل، نرخ وضوح ربات و CSAT بهتر است؟ آیا تفاوت قابل توجه به نظر می رسد یا جزئی / نویز است؟ آیا افزایش بهره وری به قیمت کاهش کیفیت است؟ یک توصیه واضح ارائه دهید، اما همچنین به هرگونه عدم قطعیت اشاره کنید.

4) خلاصه بازخورد بهبود مستمر:

منابع بهبود زیر را با هم ترکیب کنید (لگ نمی دانم، دلایل تحویل، جریان های ناموفق). 3 فرصت بهبود با بیشترین تأثیر را اولویت بندی کنید: موضوع / متریک تحت تأثیر / تغییر پیشنهادی / تأثیر مورد انتظار. فقط به داده ها تکیه کنید. منابع: <<...>>

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

به من بگو اعداد این ماه خوب هستند یا بد.

نامشخص: کدام معیار، چه هدف، چه تثبیت کننده، چه علت ریشه ای - یک قضاوت سطحی و گمراه کننده ایجاد می کند.

اعلان قدرتمند:

در این ماه، مهار از 58 درصد به 71 درصد افزایش یافت، اما CSAT از 4.1 به 3.6 کاهش یافت و نرخ گردش مالی از 30 درصد به 19 درصد کاهش یافت. این نمودار را تفسیر کنید: آیا افزایش بهره وری به قیمت رضایت مشتری تمام شده است (ممکن است مشتریان در ربات به دام بیفتند)؟ با چه داده هایی باید تایید کنم؟ 2 عمل را پیشنهاد کنید.

تفاوت: مسئله معیارها، تعادل و اعتبارسنجی واضح است. این تفسیر منطقی است (در اینجا یک سیگنال تله "حبس" وجود دارد زیرا افزایش مهار همراه با کاهش CSAT است).

سه کیف کوچک

مورد 1 - تله متریک اشتباه. یک مرکز تماس فقط به AHT پاداش داده است. نمایندگان بدون حل و فصل مشتریان برای کوتاه کردن زمان، تلفن را قطع کردند. در کوتاه مدت، AHT 15٪ کاهش یافت، اما تماس های تکراری 28٪ افزایش یافت و FCR سقوط کرد. کل بار و هزینه در واقع افزایش یافته است. تعادل زمانی ایجاد شد که AHT، FCR و CSAT با هم کنترل شدند. درس: یک متریک دروغ می گوید.

مورد 2 - رانش بی صدا. ربات یک بانک 6 ماه بدون هیچ مشکلی کار کرد، هیچکس آن را اندازه گیری نکرد. وقتی محصولات جدید به بازار آمد، پایگاه دانش پشت سر گذاشته شد. دقت ربات به طور نامحسوسی از 94 درصد به 79 درصد کاهش یافت و شکایات افزایش یافت. هنگامی که اندازه گیری دقت منظم ایجاد شد، لغزش زودرس تشخیص داده شد. درس: سیستمی که بی سر و صدا اندازه گیری نمی شود خراب می شود.

مورد 3 - قدرت چرخه شفا. یک شرکت تجارت الکترونیک 3 بهبود با بیشترین تأثیر را در هر ماه (از گزارش عدم اطلاع + دلایل گردش مالی + جریان های ناموفق) با یک چرخه PDCA ماهانه انتخاب کرد. در 6 ماه، نرخ تفکیک ربات از 52 درصد به 74 درصد، CSAT از 3.8 به 4.4 افزایش یافت - نه در یک پیشرفت بزرگ، بلکه در بهبودهای کوچک و اندازه گیری شده یکی پس از دیگری. بهبود مستمر ناشی از ثبات است، نه جهش و مرز.

اشتباهات رایج

• تمرکز بر یک متریک واحد پیگیری AHT یا مهار به تنهایی کیفیت را کاهش می دهد. هر متریک باید تثبیت کننده داشته باشد.
• جداسازی معیار بهره وری از کیفیت. «ربات خیلی چیزها را حل می کند» و «مشتری راضی است» دو چیز متفاوت هستند. با هم بخوانید.
• یک بار آن را تنظیم کنید و آن را رها کنید. دریفت ساکت است. اندازه گیری مستمر ضروری است.
• در نظر گرفتن CSAT به تنهایی به عنوان واقعی. نرخ پاسخ پایین CSAT را گمراه می کند. ببین کی پر کرده
• عدم اتصال بهبود به داده. اولویت را با داده‌های «نمی‌دانم ورود/تسلیم/جریان ناموفق»، نه شهود، تعیین کنید.

به طور خلاصه

اندازه‌گیری و بهبود مستمر هوش مصنوعی را از یک نصب یکباره به یک سیستم زنده تبدیل می‌کند. KPIهای کلاسیک (AHT، FCR، CSAT، NPS، CES) و معیارهای خاص هوش مصنوعی (محدودیت، نرخ حل ربات، دقت پاسخ، استفاده از توصیه) را با هم ردیابی کنید. هر معیار بهره وری را با تثبیت کننده کیفیت بخوانید. هرگز روی یک متریک ثابت نشوید. به طور مداوم با حلقه PDCA بهبود پیدا کنید و از گزارش‌های «نمی‌دانم»، دلایل گردش مالی و جریان‌های ناموفق به عنوان سوخت حلقه استفاده کنید. به یاد داشته باشید: مدل ها و مشتریان در طول زمان تغییر می کنند. آنچه را که بی سر و صدا اندازه نمی گیرید فاسد می شود.

وظیفه کاربردی

یک داشبورد KPI برای برنامه هوش مصنوعی خود طراحی کنید که شامل 7 معیار است. برای هر معیار، یک تعریف، هدف، متریک جبرانی و آستانه هشدار تنظیم کنید (از الگوی داشبورد KPI 1 استفاده کنید). سپس یک مجموعه داده ماهانه ساختگی ایجاد کنید و تجزیه و تحلیل علت ریشه ای را با الگوی "2) تفسیر متریک" انجام دهید. در نهایت، با "4) خلاصه بازخورد بهبود مستمر، 3 بهبود با بیشترین تاثیر را برای ماه آینده اولویت بندی کنید.

چک لیست

• [ ] من KPIهای کلاسیک و معیارهای خاص هوش مصنوعی را با هم دنبال می کنم.
• [ ] هر معیار بهره وری یک تثبیت کننده کیفیت دارد. من روی یک معیار واحد تمرکز نمی کنم.
• [ ] من نرخ راه حل مهار/ربات را همراه با رضایت مشتری خواندم.
• [ ] من دقت پاسخ را اندازه می‌گیرم و مرتباً حرکت می‌کنم.
• [ ] من با چرخه PDCA بهبود مستمر و مبتنی بر داده انجام می دهم.
• [ ] من بهبودهایی را با گزارش "نمی دانم"، دلایل واگذاری و جریان های ناموفق اولویت می دهم.