Прибуток:
- Можливість зчитувати класичні ключові показники ефективності (AHT, FCR, CSAT, NPS, CES) і специфічні показники штучного інтелекту з балансиром якості для кожного показника продуктивності
- Можливість вимірювати точність відповідей і регулярно змінювати їх, щоб уникнути пастки замикання в одній метриці
- Можливість здійснювати безперервне вдосконалення на основі журналу «Я не знаю», причин плинності та невдалих потоків за допомогою циклу PDCA
Найнебезпечніша помилка, коли штучний інтелект заходить в колл-центр, це сказати: «ми його встановили, схоже, він працює, цього достатньо». Бот, помічник або потік самообслуговування не є досконалим у той момент, коли він запускається та не залишається там; Його необхідно постійно вимірювати, контролювати та вдосконалювати. Більше того, відстеження неправильної метрики іноді шкідливіше, ніж невідстеження правильної метрики, оскільки це змушує вас рухатися в неправильному напрямку. У цьому розділі ми побачимо ключові показники кол-центру (KPI), специфічні показники ШІ та те, як налагодити цикл безперервного вдосконалення.
По-перше, попередження: показники є засобом досягнення мети, а не самою метою. Мета - якісно та ефективно вирішити проблему клієнта. Якщо ви переслідуєте один показник (наприклад, AHT) ізольовано, представники скоротять дзвінок, не вирішуючи клієнта, і справжня мета буде пошкоджена. Це називається одержимістю показниками; Прочитайте кожну метрику з противагою.
Основні KPI кол-центру
KPI (Key Performance Indicator) — це число, яке вимірює продуктивність процесу. Найпростіші в кол-центрі:
KPI
Які заходи
балансир
AHT (середній час обробки)
Тривалість контакту
FCR, CSAT (короткий, але не нерозчинний)
FCR (розв’язання при першому контакті)
Одноразове рішення
CSAT (не кажіть, що ви розв’язали це, і не розв’яжіть)
CSAT (Задоволеність клієнтів)
Оцінка після контакту
Відсоток відповідей (буде введено в оману, якщо мало людей заповнить)
NPS (оцінка рекомендацій)
Лояльність/рекомендація
Першопричина (чому низька?)
CES (Customer Effort Score)
Як важко було клієнту
—
SL (рівень обслуговування)
% дзвінків, на які відповіли за х секунд
Показник відмови
Коефіцієнт відмов (abandon)
Виклик залишився на утриманні
SL, час відновлення
CES (Customer Effort Score) вимірює, наскільки клієнт намагається вирішити свою проблему; низькі зусилля тісно пов'язані з високою точністю. Клієнт каже: «Я легко розв’язав» — часто цінніше, ніж «Я дуже задоволений».
Специфічні показники ШІ
Поруч із класичними KPI додаються спеціальні показники для додатків ШІ:
- Швидкість стримування/відхилення: швидкість контакту, яку бот/самообслуговування вирішує, не передаючи його людині. Але лише це оманливо; слід читати разом із рішенням (пастка в Розділі 8).
- Швидкість вирішення ботів: контакти, які бот фактично розкрив (клієнт залишився задоволеним), а не «залишилися в боті».
- Швидкість плинності та причина: скільки перераховано і чому (розділ 10).
- Точність відповіді: швидкість, з якою відповіді, надані ботом/помічником, є правильними — вимірюється вибіркою та наглядом людини.
- Прийняття: швидкість, з якою агенти використовують пропозиції допомоги агентів (блок 6).
- Точність підсумків: швидкість, з якою автоматизовані підсумки/теги виправляються за схваленням людини (блок 4).
- Частота галюцинацій/помилок: частота вигаданих або неправильних відповідей — цільове значення близько нуля.
Порада: поєднайте кожну метрику ШІ зі «стабілізатором якості». Сам по собі «високий рівень стримування» не є добрим; «Стримування є високим І задоволеність рішенням бота висока» — це добре. Ніколи не відокремлюйте показник ефективності від показника якості.
Цикл безперервного вдосконалення
Хороша програма штучного інтелекту – це обертове колесо, а не одноразовий проект. Класичний цикл PDCA (Plan-Do-Check-Act; PDCA) працює тут:
- План: який показник ви покращите і чому? Встановіть ціль (наприклад, «збільшити швидкість розв’язання ботів за прибутками з 60% до 75%)».
- Застосувати: внести зміни (додати елемент бази знань, виправити потік, покращити підказку).
- Перевірте: чи покращився показник? Чи є побічні ефекти (чи порушуються інші показники)?
- Вживайте заходів обережності: якщо це працює, зробіть це постійним; Якщо це не працює, візьміть це назад і вчіться.
Паливом для цього циклу є дані: журнали «не знаю» (Блок 5), причини плинності (Блок 10), невдалі потоки (Блок 8), розмови з низькими балами (Блок 7). Ці ресурси підкажуть, де можна покращити.
Увага: моделі ШІ та поведінка клієнтів змінюються з часом; Це називається дрейфом. Бот, який сьогодні працює на 95% точно, може непомітно зіпсуватися, якщо його база знань застаріє або шаблон запитань клієнта зміниться. Тому вимірювання не одноразове, а постійне. Що не виміряєш, тихо ламається.
Чотири шаблони, які можна копіювати
1) Дизайн панелі KPI:
Створіть чернетку щомісячної інформаційної панелі KPI для моєї програми ШІ кол-центру. Для кожного показника: визначення, ціль, показник компенсації, джерело даних, порогове значення сповіщення (сигнал тривоги вище/нижче цього значення). Метрики: AHT, FCR, CSAT, обмеження, швидкість розв’язання ботів, швидкість плинності, точність відповідей. Не називайте вигадані цифри; Налаштуйте шаблон, щоб я заповнював поля.
2) Інтерпретація показників (основна причина):
Інтерпретуйте наведені нижче дані KPI як аналітик CX. (1) Найпомітніша зміна, (2) можлива першопричина ГІПОТЕЗИ (доведіть), (3) який інший показник слід переглянути (зсув), (4) 2 запропоновані дії. Отримайте цифри з даних; Позначте гіпотези як «має бути підтверджено». Дані: <<...>>
3) Оцінка порівняння A/B:
Порівняйте дві версії бота/потоку (A і B) із цими даними: <<дані>>. Яка з них є кращою щодо обмеження, частоти вирішення ботів і CSAT? Різниця здається значною чи незначною/шумом? Чи є підвищення продуктивності за рахунок втрати якості? Дайте чітку рекомендацію, але також вкажіть на будь-які невизначеності.
4) Підсумок відгуків щодо постійного вдосконалення:
Об’єднайте наступні ресурси для вдосконалення (не знаю журналу, причини передачі, невдалі потоки). Розташуйте пріоритети для 3 найбільш ефективних можливостей покращення: проблема/зачеплений показник/пропонована зміна/очікуваний вплив. Просто покладайтеся на дані. Джерела: <<...>>
Слабка підказка / Сильна підказка
Слабка підказка:
Скажіть мені, хороші чи погані цифри цього місяця.
Незрозуміло: яка метрика, яка ціль, який стабілізатор, яка першопричина — створює поверхневе та оманливе судження.
Потужна підказка:
Цього місяця рівень стримування зріс з 58% до 71%, але CSAT знизився з 4,1 до 3,6, а коефіцієнт плинності знизився з 30% до 19%. Інтерпретуйте цю діаграму: чи підвищення продуктивності відбулося за рахунок задоволеності клієнтів (чи могли клієнти опинитися в пастці бота)? Якими даними я повинен перевірити? Запропонуйте 2 дії.
Різниця: питання метрики, балансування та перевірки зрозуміле; Інтерпретація має сенс (тут є сигнал пастки «утримання», оскільки збільшення стримування відбувається разом із зменшенням CSAT).
три міні-чохла
Випадок 1 — неправильна метрична пастка. Один кол-центр винагороджував лише AHT. Агенти кидали слухавку клієнтам, не дозволяючи їх, щоб скоротити час; У короткостроковій перспективі AHT впав на 15%, але повторні дзвінки зросли на 28%, а FCR впав. Загальний тягар і витрати фактично зросли. Баланс було встановлено, коли AHT, FCR та CSAT спостерігали разом. Урок: одна метрика бреше.
Випадок 2 — Тихий дрейф. Банківський бот працював без проблем 6 місяців, ніхто не вимірював. Коли з'явилися нові продукти, база знань залишилася позаду; Точність ботів непомітно впала з 94% до 79%, а скарг побільшало. Після встановлення регулярної точності вимірювання прослизання було виявлено на ранній стадії. Урок: система, яку не вимірюють, тихо ламається.
Випадок 3 — Сила лікувального циклу. Компанія електронної комерції щомісяця вибирала 3 найефективніші покращення (з-поміж невідомих причин + причини обороту + невдалі потоки) із місячним циклом PDCA. За 6 місяців показник розв’язання ботів зріс з 52% до 74%, CSAT з 3,8 до 4,4 — не одним великим проривом, а невеликими, виміряними покращеннями одне за одним. Постійне вдосконалення відбувається завдяки послідовності, а не стрибками.
Поширені помилки
- Зосередження на одному показнику. Застосування AHT або само по собі стримування погіршує якість; Кожна метрика повинна мати стабілізатор.
- Відокремлення метрики продуктивності від якості. «Бот вирішує багато» і «клієнт задоволений» — це різні речі; Читайте разом.
- Налаштуйте один раз і відпустіть. Дрейф безшумний; Постійне вимірювання є обов'язковим.
- Вважаючи лише CSAT реальним. Низький рівень відповідей вводить CSAT в оману; Подивіться, хто його заповнив.
- Не підключається вдосконалення до даних. Надайте пріоритет даним "не знаю журналу/передачі/невдалого потоку", а не інтуїції.
Підсумовуючи
Вимірювання та безперервне вдосконалення перетворюють ШІ з одноразової установки на живу систему. Відстежуйте класичні ключові показники ефективності (AHT, FCR, CSAT, NPS, CES) і специфічні показники штучного інтелекту (стримування, швидкість вирішення ботів, точність відповідей, використання рекомендацій) разом; зчитувати кожну метрику продуктивності за допомогою стабілізатора якості; Ніколи не зациклюйтеся на одному показнику. Постійно покращуйте за допомогою циклу PDCA та використовуйте журнали «не знаю», причини обороту та невдалі потоки як паливо для циклу. Пам’ятайте: моделі та клієнти змінюються з часом; Те, що не виміряєш, тихо тліє.
Аплікаційне завдання
Створіть інформаційну панель KPI для власної програми ШІ, що складається з 7 показників; для кожного показника встановіть визначення, ціль, метрику компенсації та порогове значення попередження (використовуйте шаблон «1) KPI dashboard»). Потім створіть фіктивний місячний набір даних і виконайте аналіз першопричини за допомогою шаблону «2) Інтерпретація показників». Нарешті, визначте пріоритетність 3 найефективніших покращень на наступний місяць за допомогою «4) Зведення відгуків про постійне вдосконалення».
контрольний список
- [ ] Я відстежую класичні ключові показники ефективності та специфічні показники ШІ.
- [ ] Кожен показник продуктивності має стабілізатор якості; Я не зосереджуюсь на одному показнику.
- [ ] Я читаю інформацію про обмеження/бот-рішення разом із задоволеністю клієнтів.
- [ ] Я вимірюю точність відповідей і регулярно дрейфую.
- [ ] Я роблю постійні вдосконалення, керовані даними, за допомогою циклу PDCA.
- [ ] Я надаю пріоритет покращенням журналу "не знаю", причинам передачі та невдалим потокам.