Добици:
- Способност читања класичних КПИ (АХТ, ФЦР, ЦСАТ, НПС, ЦЕС) и метрике специфичних за АИ са балансом квалитета за сваку меру продуктивности
- Способност мерења тачности одговора и редовног померања и избегавања замке закључавања у једну метрику
- Способност спровођења континуираног побољшања заснованог на евидентирању „не знам“, разлозима флуктуације и неуспешним токовима са ПДЦА циклусом
Најопаснија грешка када АИ уђе у кол центар је да кажете „инсталирали смо га, изгледа да ради, доста је”. Проток бот-а, помоћника или самопослуживања није савршен у тренутку када се активира и не остаје тамо; Мора се стално мерити, пратити и унапређивати. Штавише, праћење погрешне метрике је понекад штетније од непраћења праве метрике — јер вас покреће у погрешном правцу. У овој јединици видећемо кључне индикаторе цалл центра (КПИ), метрике специфичне за АИ и како успоставити континуирани циклус побољшања.
Прво, упозорење: метрика је средство за постизање циља, а не сам циљ. Циљ је да се проблем купца реши добро и ефикасно. Ако јурите једну метрику (нпр. АХТ) у изолацији, представници ће прекинути позив без разрешења клијента, а права сврха ће бити оштећена. Ово се зове опсесија метриком; Прочитајте сваку метрику са противтежом.
Основни КПИ позивног центра
КПИ (Кеи Перформанце Индицатор) је број који мери перформансе процеса. Најосновније у кол центру:
КПИ
Какве мере
балансер
АХТ (просечно време обраде)
Трајање контакта
ФЦР, ЦСАТ (кратко, али не нерешиво)
ФЦР (Резолуција при првом контакту)
Једнократно решење
ЦСАТ (немојте рећи да сте га решили и не решите га)
ЦСАТ (задовољство клијената)
Резултат након контакта
Стопа одговора (биће обмањујуће ако мало људи попуни)
НПС (оцена препоруке)
Лојалност/препорука
Основни узрок (зашто низак?)
ЦЕС (оцена напора клијената)
Колико је муштерија била тешка
—
СЛ (ниво услуге)
% позива је одговорено за к секунди
Стопа напуштања
Стопа напуштања (напуштање)
Позив је остављен на чекању
СЛ, хлађење
ЦЕС (Цустомер Еффорт Сцоре) мери колико се клијент труди да реши свој проблем; мали напор је снажно повезан са високом верношћу. Муштерија која каже „лако сам то решила“ често је вреднија од тога да каже „веома сам задовољан“.
Специфичне метрике АИ
Поред класичних КПИ, додају се и специјалне метрике за АИ апликације:
- Стопа задржавања/отклона: Стопа контакта коју бот/самопослуживање решава без да га преда човеку. Али само то вара; треба читати заједно са раствором (замка у јединици 8).
- Стопа резолуције бота: Контакти које је бот заиста решио (купац је отишао задовољан) — а не „остали у боту“.
- Стопа флуктуације и разлог: Колико се преноси и зашто (Целина 10).
- Тачност одговора: Стопа по којој су одговори које даје бот/помоћник тачни — мерено узорковањем и људским надзором.
- Усвајање: Стопа којом агенти користе сугестије за помоћ агенту (Јединица 6).
- Прецизност резимеа: Стопа којом се аутоматизовани резимеи/ознаке исправљају људским одобрењем (Јединица 4).
- Стопа халуцинација/грешака: Учесталост измишљених или нетачних одговора — циљ близу нуле.
Савет: Упарите сваки АИ метрику са „стабилизатором квалитета“. Само „високо ограничење” није добро; „задржаност је висока И задовољство бот решењем је високо“ је добро. Никада не одвајајте метрику ефикасности од метрике квалитета.
Циклус континуираног побољшања
Добар АИ програм је точак који се врти, а не једнократни пројекат. Класични ПДЦА циклус (План-До-Цхецк-Ацт; ПДЦА) функционише овде:
- План: Коју метрику ћете побољшати и зашто? Поставите циљ (нпр. „повећати стопу решавања ботова приноса са 60% на 75%).“
- Примени: извршите промену (додајте ставку базе знања, поправите ток, побољшајте промпт).
- Проверите: Да ли се метрика заиста побољшала? Да ли постоје нежељени ефекти (да ли су неки други показатељи покварени)?
- Предузмите мере предострожности: Ако делује, учините га трајним; Ако не ради, вратите га и научите.
Гориво за овај циклус су подаци: евиденција „не знам” (Целина 5), разлози за флуктуације (Целина 10), неуспели токови (Целина 8), разговори са ниским резултатом (Целина 7). Ови ресурси вам говоре где да се побољшате.
Опрез: АИ модели и понашање купаца се временом мењају; Ово се зове дрифт. Бот који данас ради 95% тачно може тихо да се погорша ако његова база знања застари или се промени образац питања корисника. Зато мерење није једнократно, већ континуирано. Оно што не измериш тихо се ломи.
Четири шаблона за копирање
1) Дизајн КПИ контролне табле:
Направите нацрт месечне КПИ контролне табле за мој програм АИ за позивни центар. За сваку метрику: дефиниција, циљ, метрика компензације, извор података, праг упозорења (аларм изнад/испод ове вредности). Метрике: АХТ, ФЦР, ЦСАТ, задржавање, стопа бот решења, стопа обртања, тачност одговора. Немојте давати фиктивне бројеве; Поставите шаблон тако да попуњавам поља.
2) Метричко тумачење (основни узрок):
Протумачите доле наведене КПИ податке као ЦКС аналитичар. (1) Најзначајнија промена, (2) ХИПОТЕЗЕ могућег основног узрока (доказати), (3) коју другу метрику треба погледати (оффсет), (4) 2 предложене радње. Узмите бројеве из података; Означите хипотезе као „морају бити потврђене“. Подаци: <<...>>
3) А/Б поређење евалуације:
Упоредите две верзије бот/стреам (А и Б) са овим подацима: <<подаци>>. Шта је боље у вези са задржавањем, стопом резолуције ботова и ЦСАТ-ом? Да ли се разлика чини значајном или је мања/шум? Да ли је повећање продуктивности на рачун губитка квалитета? Дајте јасну препоруку, али и укажите на све нејасноће.
4) Резиме повратних информација о сталном побољшању:
Комбинујте следеће ресурсе за побољшање (не знам дневник, разлози примопредаје, неуспели токови). Дајте приоритет 3 могућности побољшања највећег утицаја: проблем / метрика на коју утиче / предложена промена / очекивани утицај. Само се ослоните на податке. Извори: <<...>>
Слаби промпт / Јаки промпт
Слабо обавештење:
Реци ми да ли су бројке за овај месец добре или лоше.
Нејасно: која метрика, шта циљ, шта стабилизатор, шта је основни узрок — производи површан и погрешан суд.
Снажан упит:
Овог месеца, обуздавање је порасло са 58% на 71%, али је ЦСАТ пао са 4,1 на 3,6, а стопа флуктуације је смањена са 30% на 19%. Протумачите овај графикон: да ли је повећање продуктивности дошло на рачун задовољства купаца (могу ли купци бити заробљени у боту)? Којим подацима треба да проверим? Предложите 2 радње.
Разлика: питање метрике, балансирања и валидације је јасно; Тумачење има смисла (овде постоји сигнал замке „затварања“, пошто повећање задржавања долази са смањењем ЦСАТ-а).
три мини кофера
Случај 1 — Погрешна метричка замка. Један позивни центар је наградио само АХТ. Агенти су спуштали слушалице на муштерије, а да их нису решили да скрате време; Краткорочно, АХТ је пао за 15%, али су поновљени позиви порасли за 28%, а ФЦР је пао. Укупан терет и трошкови су се заправо повећали. Равнотежа је успостављена када су АХТ, ФЦР и ЦСАТ праћени заједно. Поука: једна метрика лаже.
Случај 2 — Тихи дрифт. Бот банке је радио без проблема 6 месеци, нико га није мерио. Када су се појавили нови производи, база знања је остављена; Тачност робота је неприметно пала са 94% на 79%, а жалбе су порасле. Када се успостави редовно мерење тачности, клизање је рано ухваћено. Поука: систем који се не мери тихо се квари.
Случај 3 — Моћ циклуса исцељења. Компанија за е-трговину је одабрала 3 побољшања са највећим утицајем сваког месеца (од непознатог дневника + разлога флуктуације + неуспешних токова) са месечним циклусом ПДЦА. За 6 месеци, стопа резолуције ботова се повећала са 52% на 74%, ЦСАТ са 3,8 на 4,4 — не у једном великом открићу, већ у малим, измереним побољшањима једно за другим. Континуирано побољшање долази од доследности, а не скокова и граница.
Уобичајене грешке
- Фокусирање на једну метрику. Само спровођење АХТ-а или задржавања деградира квалитет; Свака метрика мора имати стабилизатор.
- Одвајање метрике продуктивности од квалитета. „Бот решава много“ и „купац је задовољан“ су две различите ствари; Читајте заједно.
- Подесите га једном и пустите га. Дрифт је тих; Континуирано мерење је неопходно.
- Сматрајући само ЦСАТ стварним. Ниска стопа одговора доводи у заблуду АТБЗ; Погледајте ко је то попунио.
- Не повезује побољшање са подацима. Дајте приоритет подацима „не знам дневник/примопредаја/неуспели ток“, а не интуицијом.
Укратко
Мерење и континуирано побољшање трансформишу АИ из једнократне инсталације у живи систем. Заједно пратите класичне КПИ (АХТ, ФЦР, ЦСАТ, НПС, ЦЕС) и метрике специфичне за вештачку интелигенцију (задржавање, стопа бот решења, тачност одговора, коришћење препорука); прочитајте сваку метрику продуктивности помоћу стабилизатора квалитета; Никада се не фиксирајте на једну метрику. Континуирано се побољшавајте са ПДЦА петљом и користите евиденције „не знам“, разлоге флуктуације и неуспеле токове као гориво за петљу. Запамтите: модели и купци се временом мењају; Оно што не измериш тихо пропада.
Задатак апликације
Дизајнирајте КПИ контролну таблу за сопствени АИ програм који се састоји од 7 метрика; за сваки показатељ, поставите дефиницију, циљ, метрику компензације и праг упозорења (користите шаблон „1) КПИ контролна табла“). Затим креирајте фиктивни месечни скуп података и извршите анализу основног узрока помоћу шаблона „2) Метричка интерпретација“. Коначно, одредите приоритет за 3 побољшања са највећим утицајем за следећи месец са „4) Сажетак повратних информација о сталном побољшању“.
контролна листа
- [ ] Заједно пратим класичне КПИ и метрике специфичне за вештачку интелигенцију.
- [ ] Свака метрика продуктивности има стабилизатор квалитета; Не фокусирам се на једну метрику.
- [ ] Прочитао сам стопу задржавања/бот решења заједно са задовољством купаца.
- [ ] Мерим тачност одговора и редовно померам.
- [ ] Правим континуирано побољшање засновано на подацима са ПДЦА циклусом.
- [ ] Дајем приоритет побољшањима са евиденцијом „не знам“, разлозима примопредаје и неуспелим токовима.