Прибыль:
- Возможность считывания классических KPI (AHT, FCR, CSAT, NPS, CES) и показателей, специфичных для ИИ, с балансировщиком качества для каждого показателя производительности.
- Способность регулярно измерять точность и отклонения ответов и избегать ловушки привязанности к одному показателю.
- Способность осуществлять постоянное улучшение на основе регистрации «Я не знаю», причин текучести кадров и неудачных потоков с помощью цикла PDCA.
Самая опасная ошибка, когда ИИ входит в колл-центр, — это сказать «мы установили, вроде работает, хватит». Бот, помощник или поток самообслуживания не идеальны в тот момент, когда они запускаются, и не остаются там; Его необходимо постоянно измерять, контролировать и совершенствовать. Более того, отслеживание неправильной метрики иногда более вредно, чем неотслеживание правильной метрики, поскольку оно заставляет вас двигаться в неправильном направлении. В этом модуле мы увидим ключевые показатели колл-центра (KPI), метрики, специфичные для ИИ, а также способы организации цикла непрерывного совершенствования.
Во-первых, предупреждение: показатели — это средство достижения цели, а не сама цель. Цель – хорошо и эффективно решить проблему клиента. Если вы гонитесь за одним показателем (например, AHT) изолированно, представители прервут разговор, не приняв решения по клиенту, и реальная цель будет нарушена. Это называется одержимостью метриками; Прочтите каждую метрику с помощью противовеса.
Базовые KPI колл-центра
KPI (ключевой показатель эффективности) — это число, которое измеряет производительность процесса. Самые основные в колл-центре:
КПЭ
Какие меры
балансир
AHT (среднее время обработки)
Продолжительность контакта
FCR, CSAT (коротко, но не неразрешимо)
FCR (Решение при первом контакте)
Одноразовое решение
CSAT (не говорите, что вы решили это и не решаете)
CSAT (Удовлетворенность клиентов)
Оценка после контакта
Частота ответов (если мало кто заполнит анкету, это будет вводить в заблуждение).
NPS (оценка рекомендаций)
Лояльность/рекомендации
Основная причина (почему низкая?)
CES (оценка усилий клиента)
Насколько тяжело было клиенту
—
SL (Уровень обслуживания)
% вызовов, на которые ответили за x секунд
Уровень отказов
Уровень отказов (отказ)
Вызов остался на удержании
SL, время восстановления
CES (Customer Effort Score) измеряет, насколько усердно клиент пытается решить свою проблему; низкие усилия тесно связаны с высокой точностью. Клиент, говорящий «Я легко решил эту проблему», часто более ценен, чем слова «Я очень доволен».
Метрики, специфичные для ИИ
Рядом с классическими KPI добавляются специальные метрики для ИИ-приложений:
- Скорость сдерживания/отклонения: Скорость контакта, который бот/самообслуживание разрешает, не передавая его человеку. Но одно это обманчиво; следует читать вместе с решением (ловушка в модуле 8).
- Коэффициент разрешения бота: контакты, которые бот действительно разрешил (клиент остался довольным), а не «остались в боте».
- Скорость оборота и причина: Сколько денег переводится и почему (Блок 10).
- Точность ответа: Скорость, с которой ответы, данные ботом/помощником, являются правильными — измеряется путем выборки и контроля со стороны человека.
- Принятие: Скорость, с которой агенты используют предложения помощи агентам (Блок 6).
- Точность сводки: Скорость, с которой автоматизированные сводки/теги корректируются с одобрения человека (блок 4).
- Частота галлюцинаций/ошибок: Частота выдуманных или неправильных ответов — целевой показатель близок к нулю.
Совет: Соедините каждую метрику ИИ со «стабилизатором качества». «Высокий уровень сдерживания» сам по себе не является хорошим; «Сдерживание высоко, И удовлетворенность решением ботов высока» — это хорошо. Никогда не отделяйте показатель эффективности от показателя качества.
Цикл непрерывного улучшения
Хорошая программа ИИ — это вращающееся колесо, а не одноразовый проект. Здесь работает классический цикл PDCA (Plan-Do-Check-Act; PDCA):
- План: какой показатель вы улучшите и почему? Установите цель (например, «увеличить процент разрешения ботов при возврате с 60% до 75%)».
- Применить: внесите изменения (добавьте элемент базы знаний, исправьте поток, улучшите подсказку).
- Проверьте: действительно ли показатель улучшился? Есть ли побочные эффекты (нарушены ли другие показатели)?
- Примите меры предосторожности: если это работает, сделайте это навсегда; Если не получится, вернитесь и научитесь.
Топливом для этого цикла являются данные: журналы «не знаю» (Блок 5), причины текучести кадров (Блок 10), потоки неудач (Блок 8), разговоры с низкой оценкой (Блок 7). Эти ресурсы подскажут вам, где можно улучшиться.
Внимание: модели искусственного интеллекта и поведение клиентов со временем меняются; Это называется дрейфом. Бот, который сегодня работает на 95% с точностью, может незаметно ухудшиться, если его база знаний устареет или изменится шаблон вопросов клиентов. Именно поэтому измерение не разовое, а непрерывное. То, что вы не измеряете, незаметно ломается.
Четыре копируемых шаблона
1) Дизайн информационной панели KPI:
Создайте проект ежемесячной информационной панели KPI для моей программы искусственного интеллекта в колл-центре. Для каждой метрики: определение, цель, компенсирующая метрика, источник данных, порог оповещения (сигнализация выше или ниже этого значения). Метрики: AHT, FCR, CSAT, сдерживание, скорость решения ботов, скорость оборота, точность ответов. Не давайте вымышленных цифр; Настройте шаблон, чтобы я заполнял поля.
2) Метрическая интерпретация (основная причина):
Интерпретируйте приведенные ниже данные KPI, как CX-аналитик. (1) Наиболее заметное изменение, (2) возможные первопричины ГИПОТЕЗЫ (доказать), (3) на какой еще показатель обратить внимание (компенсация), (4) 2 предлагаемых действия. Получите цифры из данных; Отметьте гипотезы как «должны быть подтверждены». Данные: <<...>>
3) Оценка сравнения A/B:
Сравните две версии бота/потока (A и B) со следующими данными: <<data>>. Что лучше с точки зрения сдерживания, скорости разрешения ботов и CSAT? Разница кажется значительной или она незначительная/шум? Прирост производительности достигается за счет потери качества? Дайте четкую рекомендацию, но также укажите на любые неопределенности.
4) Сводка отзывов о постоянном улучшении:
Объедините следующие ресурсы улучшения (журнал «Не знаю», причины передачи обслуживания, потоки сбоев). Расставьте приоритеты по трем возможностям улучшения с наибольшим эффектом: проблема/затронутый показатель/предлагаемое изменение/ожидаемое влияние. Просто полагайтесь на данные. Источники: <<...>>
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Скажите мне, хорошие или плохие показатели этого месяца.
Неясно: какой показатель, какая цель, какой стабилизатор, какая первопричина — порождает поверхностное и вводящее в заблуждение суждение.
Мощная подсказка:
В этом месяце сдерживание увеличилось с 58% до 71%, но CSAT снизилось с 4,1 до 3,6, а текучесть кадров снизилась с 30% до 19%. Проинтерпретируйте эту диаграмму: произошло ли повышение производительности за счет удовлетворенности клиентов (могли ли клиенты оказаться в ловушке бота)? Какие данные мне следует проверить? Предложите 2 действия.
Разница: вопрос метрик, балансировки и проверки ясен; Интерпретация имеет смысл (здесь имеется сигнал-ловушка «удержания», поскольку увеличение удержания сопровождается уменьшением CSAT).
три мини-кейса
Случай 1 — Неправильная метрическая ловушка. Один колл-центр наградил только AHT. Агенты зависали на клиентах, не разрешая им сократить время; В краткосрочной перспективе AHT упал на 15%, но повторные звонки увеличились на 28%, а FCR рухнул. Общее бремя и стоимость фактически возросли. Баланс был установлен при совместном мониторинге AHT, FCR и CSAT. Урок: одна метрика врет.
Случай 2 — Тихий занос. Банковский бот проработал без проблем 6 месяцев, никто его не мерил. Когда появились новые продукты, база знаний осталась позади; Точность ботов незаметно упала с 94% до 79%, а жалоб увеличилось. Как только были установлены регулярные измерения точности, проскальзывание было обнаружено заранее. Урок: система, которую не измеряют, тихо выходит из строя.
Случай 3. Сила цикла исцеления. Компания электронной коммерции каждый месяц выбирала три наиболее эффективных улучшения (из журналов «не знаю» + причин оборота + неудачных потоков) с ежемесячным циклом PDCA. За 6 месяцев показатель разрешения ботов увеличился с 52% до 74%, CSAT с 3,8 до 4,4 — не одним большим прорывом, а небольшими, измеряемыми улучшениями одно за другим. Непрерывное улучшение происходит благодаря последовательности, а не скачкам.
Распространенные ошибки
- Сосредоточение внимания на одном показателе. Проведение AHT или сдерживания само по себе ухудшает качество; У каждой метрики должен быть стабилизатор.
- Отделение показателей производительности от качества. «Бот решает многое» и «клиент доволен» — две разные вещи; Читайте вместе.
- Настройте его один раз и отпустите. Дрифт молчит; Непрерывное измерение является обязательным.
- Считая реальным только CSAT. Низкий уровень ответов вводит CSAT в заблуждение; Посмотрите, кто это заполнил.
- Не связывать улучшение с данными. Расставляйте приоритеты, используя данные «не знаю журнала/передачи/ошибки потока», а не интуицию.
В заключение
Измерение и постоянное совершенствование превращают ИИ из одноразовой установки в живую систему. Отслеживайте вместе классические ключевые показатели эффективности (AHT, FCR, CSAT, NPS, CES) и метрики, специфичные для ИИ (сдерживание, скорость решения ботов, точность ответов, использование рекомендаций); считывайте каждую метрику производительности с помощью стабилизатора качества; Никогда не зацикливайтесь на одном показателе. Постоянно совершенствуйтесь с помощью цикла PDCA и используйте журналы «не знаю», причины смены и неудачные потоки в качестве топлива для цикла. Помните: модели и клиенты со временем меняются; То, что вы не измеряете, тихо распадается.
Задача приложения
Создайте панель мониторинга KPI для своей собственной программы искусственного интеллекта, состоящую из 7 показателей; для каждой метрики задайте определение, цель, компенсирующую метрику и порог оповещения (используйте шаблон «1) Панель мониторинга KPI»). Затем создайте фиктивный ежемесячный набор данных и выполните анализ первопричин с помощью шаблона «2) Интерпретация показателей». Наконец, расставьте приоритеты для трех наиболее эффективных улучшений на следующий месяц с помощью «4) Сводки отзывов о постоянных улучшениях».
контрольный список
- [ ] Я отслеживаю классические ключевые показатели эффективности и показатели, специфичные для ИИ, вместе.
- [ ] У каждого показателя производительности есть стабилизатор качества; Я не фокусируюсь на каком-то одном показателе.
- [ ] Я ознакомился с рейтингом решений по локализации/ботам, а также с уровнем удовлетворенности клиентов.
- [ ] Я регулярно измеряю точность ответов и отклонения.
- [ ] Я постоянно совершенствуюсь на основе данных с помощью цикла PDCA.
- [ ] Я отдаю предпочтение улучшениям с помощью журнала «не знаю», причин передачи и неудачных потоков.