Добивки:
- Способност за читање класични KPI (AHT, FCR, CSAT, NPS, CES) и метрика специфични за вештачката интелигенција со балансер на квалитет за секоја мерка на продуктивност
- Способност да се измери точноста на одговорите и редовно да се префрла и да се избегне замката на заклучување во една метрика
- Способност за континуирано подобрување врз основа на евиденција „не знам“, причините за промет и неуспешни текови со циклусот PDCA
Најопасната грешка кога вештачката интелигенција влегува во центар за повици е да се каже „го инсталиравме, изгледа како да работи, доста е“. Протокот на бот, асистент или самопослужување не е совршен во моментот кога ќе започне во живо и нема да остане таму; Мора постојано да се мери, следи и подобрува. Згора на тоа, следењето на погрешната метрика понекогаш е поштетно отколку не следењето на вистинската метрика - затоа што ве испраќа да трчате во погрешна насока. Во оваа единица, ќе ги видиме клучните индикатори на центарот за повици (KPI), метрика специфични за вештачката интелигенција и како да воспоставите циклус на континуирано подобрување.
Прво, предупредување: метриката е средство за постигнување на целта, а не самата цел. Целта е добро и ефикасно да се реши проблемот на клиентот. Ако бркате една метрика (на пр. AHT) изолирано, претставниците ќе го скратат повикот без да го решат клиентот, а вистинската цел ќе биде оштетена. Ова се нарекува опсесија со метрика; Прочитајте ја секоја метрика со противтежа.
Основни KPI на центарот за повици
KPI (Key Performance Indicator) е број кој ја мери изведбата на процесот. Најосновните во центарот за повици:
KPI
Кои мерки
балансерот
AHT (просечно време на обработка)
Времетраење на контакт
FCR, CSAT (краток, но нерастворлив)
FCR (Резолуција при прв контакт)
Еднократно решение
CSAT (не кажувајте дека сте го решиле и не го решавате)
CSAT (Задоволство на клиентите)
Пост-контакт резултат
Стапка на одговор (ќе биде погрешно ако малку луѓе пополнат)
NPS (оценка за препораки)
Лојалност/препорака
Основната причина (зошто ниска?)
CES (оценка за напор на клиенти)
Колку беше тежок клиентот
-
SL (Ниво на услуга)
% повик одговорен за x секунди
Стапка на напуштање
Стапка на напуштање (напуштање)
Повик лево на чекање
SL, кулдаун
CES (Customer Fort Score) мери колку напорно се обидува клиентот да го реши својот проблем; нискиот напор е силно поврзан со висока верност. Купувачот кој вели „Лесно го решив“ е често повреден отколку да каже „Јас сум многу задоволен“.
Метрика специфични за вештачката интелигенција
До класичните KPI, се додаваат специјални метрики за апликации за вештачка интелигенција:
- Стапка на задржување / отклонување: Стапката на контакт што ботот/самопослужувањето ја решава без да му го предаде на човекот. Но само тоа е залажување; треба да се чита заедно со решението (замката во единица 8).
- Стапка на резолуција на бот: Контактите што ботот всушност ги решил (клиентот замина задоволен) - не „останаа во ботот“.
- Стапка на промет и причина: Колку е префрлено и зошто (Единица 10).
- Точност на одговорот: Стапката со која одговорите дадени од ботот/асистентот се точни - мерена со земање примероци и човечки надзор.
- Усвојување: Стапката со која агентите ги користат предлозите за помош на агенти (Единица 6).
- Прецизност на резимето: Стапката со која автоматските резимеа/ознаки се коригираат со човечко одобрување (Единица 4).
- Халуцинации/стапка на грешки: Фреквенција на измислени или неточни одговори - цел близу нула.
Совет: спарете ја секоја метрика на ВИ со „стабилизатор на квалитет“. Само „контрола на високо ниво“ не е добро; „Содржувањето е високо И задоволството од решението на бот е високо“ е добро. Никогаш не ја раздвојувајте метриката за ефикасност од метриката за квалитет.
Циклус на континуирано подобрување
Добра програма за вештачка интелигенција е тркало што се врти, а не еднократен проект. Класичниот PDCA циклус (План-направи-провери-дејствувај; PDCA) работи овде:
- План: која метрика ќе ја подобрите и зошто? Поставете цел (на пр. „Зголемете ја стапката на резолуција на бот при враќањето од 60% на 75%).
- Примени: направете ја промената (додајте ставка на база на знаење, поправете го текот, подобрете го потсетникот).
- Проверете: Дали метриката всушност е подобрена? Дали има несакани ефекти (дали некоја друга метрика е скршена)?
- Преземете мерки на претпазливост: Ако функционира, направете го трајно; Ако не функционира, вратете го и научи.
Горивото за овој циклус се податоците: дневници „не знам“ (Единица 5), причини за промет (Оддел 10), неуспешни текови (Оддел 8), разговори со ниски оценки (Одделение 7). Овие ресурси ви кажуваат каде да се подобрите.
Внимание: моделите со вештачка интелигенција и однесувањето на клиентите се менуваат со текот на времето; Ова се нарекува дрифт. Бот кој работи 95% прецизно денес може тивко да се влоши ако неговата база на знаење стане застарена или ако се промени шемата за прашања на клиентите. Затоа мерењето не е еднократно, туку континуирано. Она што не го мериш тивко се распаѓа.
Четири шаблони за копирање
1) Дизајн на контролната табла на KPI:
Направете нацрт-месечна контролна табла за KPI за програмата за вештачка интелигенција на мојот центар за повици. За секоја метрика: дефиниција, цел, метрика за поместување, извор на податоци, праг на предупредување (аларм над/под оваа вредност). Метрика: AHT, FCR, CSAT, задржување, стапка на решение за бот, стапка на обрт, точност на одговорите. Не давајте фиктивни бројки; Поставете шаблон за да ги пополнам полињата.
2) Метричко толкување (основна причина):
Толкувајте ги податоците за KPI подолу како CX аналитичар. (1) Најзабележителна промена, (2) можна основна причина ХИПОТЕЗИ (докажување), (3) која друга метрика да се погледне (офсет), (4) 2 предложени дејства. Добијте ги бројките од податоците; Означете ги хипотезите како „мора да се потврдат“. Податоци: <<...>>
3) А/Б споредбена евалуација:
Споредете две верзии на бот/стрим (А и Б) со овие податоци: <<податоци>>. Што е подобро во задржување, стапка на резолуција на бот и CSAT? Дали разликата изгледа значајна или е мала/шум? Дали се добива продуктивност на сметка на губење на квалитетот? Дајте јасна препорака, но и посочете ги сите неизвесности.
4) Резиме на повратни информации за континуирано подобрување:
Комбинирајте ги следните ресурси за подобрување (не знам дневник, причини за предавање, неуспешни текови). Приоритет на 3-те можности за подобрување на најголемото влијание: прашање / погодена метрика / предложена промена / очекувано влијание. Само потпирајте се на податоци. Извори: <<...>>
Слаб промпт / Силен промпт
Слаба навестување:
Кажи ми дали бројките за овој месец се добри или лоши.
Нејасно: која метрика, која цел, кој стабилизатор, која основна причина - произведува површна и погрешна проценка.
Моќен потсетник:
Овој месец, ограничувањето се зголеми од 58% на 71%, но CSAT падна од 4,1 на 3,6, а стапката на промет се намали од 30% на 19%. Толкувајте ја оваа табела: дали зголемувањето на продуктивноста дојде на сметка на задоволството на клиентите (дали клиентите би можеле да бидат заробени во ботот)? Со кои податоци треба да проверам? Предложете 2 дејства.
Разликата: прашањето за метрика, балансирање и валидација е јасно; Толкувањето има смисла (тука има сигнал за „затворање“ бидејќи зголемувањето на ограничувањето доаѓа со намалувањето на CSAT).
три мини футроли
Случај 1 - Погрешна метричка замка. Еден центар за повици го награди само AHT. Агентите ја спуштија слушалката на клиентите без да ги решат да го скратат времето; На краток рок, AHT падна за 15%, но повторените повици се зголемија за 28% и FCR пропадна. Вкупниот товар и трошоците се всушност зголемени. Рамнотежата беше воспоставена кога AHT, FCR и CSAT беа следени заедно. Лекција: една метричка лаже.
Случај 2 - Тивко нанос. Бот на една банка работеше без проблем 6 месеци, никој не го мери. Кога излегоа нови производи, базата на знаење остана зад себе; Точноста на ботот незабележливо падна од 94% на 79%, а поплаките се зголемија. Откако беше воспоставено редовно мерење точност, лизгањето беше забележано рано. Поука: системот што не се мери тивко се распаѓа.
Случај 3 - Моќта на исцелувачкиот циклус. Компанија за е-трговија избираше 3 подобрувања со најголемо влијание секој месец (од не знам дневник + причини за промет + неуспешни текови) со месечен циклус на PDCA. За 6 месеци, стапката на резолуција на бот се зголеми од 52% на 74%, CSAT од 3,8 на 4,4 - не во еден голем пробив, туку во мали, измерени подобрувања едно по друго. Континуираното подобрување доаѓа од конзистентноста, а не од скоковите и границите.
Вообичаени грешки
- Фокусирање на една метрика. Следењето AHT или само задржувањето го деградира квалитетот; Секоја метрика мора да има стабилизатор.
- Одвојување на метриката за продуктивност од квалитетот. „Ботот решава многу“ и „клиентот е задоволен“ се две различни работи; Читајте заедно.
- Поставете го еднаш и пуштете го. Drift е тивок; Континуираното мерење е задолжително.
- Сметајќи го само CSAT за реално. Ниската стапка на одговор го доведува во заблуда CSAT; Погледнете кој го пополнил.
- Подобрувањето не се поврзува со податоци. Дајте приоритет со податоците „не знам евиденција/предавање/неуспешен тек“, а не со интуиција.
Сумирано
Мерењето и континуираното подобрување ја трансформираат вештачката интелигенција од еднократна инсталација во жив систем. Следете ги класичните KPI (AHT, FCR, CSAT, NPS, CES) и метриката специфични за вештачката интелигенција (задржување, стапка на решение на бот, точност на одговори, употреба на препораки) заедно; читајте ја секоја метрика на продуктивност со стабилизатор за квалитет; Никогаш не се фиксирајте на една метрика. Постојано подобрувајте со PDCA циклусот и користете ги дневниците „не знам“, причините за промет и неуспешните текови како гориво за јамката. Запомнете: моделите и клиентите се движат со текот на времето; Она што не го мериш тивко се распаѓа.
Задача за апликација
Дизајнирајте контролна табла за KPI за вашата сопствена програма за вештачка интелигенција која се состои од 7 метрики; за секоја метрика, поставете дефиниција, цел, метрика за поместување и праг на предупредување (користете го шаблонот „1) KPI контролна табла“). Потоа креирајте фиктивен месечен сет на податоци и направете анализа на основната причина со шаблонот „2) метричка интерпретација“. Конечно, дадете приоритет на 3-те подобрувања со најголемо влијание за следниот месец со „4) резиме на повратни информации за континуирано подобрување“.
листа за проверка
- [ ] Ги следам класичните KPI и метрика специфични за вештачката интелигенција заедно.
- [ ] Секоја метрика на продуктивност има стабилизатор за квалитет; Не се фокусирам на една метрика.
- [ ] Ја прочитав стапката на решение за ограничување/бот заедно со задоволството на клиентите.
- [ ] Ја мерам точноста на одговорот и редовно дривам.
- [ ] Со циклусот PDCA правам континуирано подобрување засновано на податоци.
- [ ] Јас давам приоритет на подобрувањата со дневникот „не знам“, причините за предавање и неуспешните текови.