Табыстар:
- Классикалық KPI (AHT, FCR, CSAT, NPS, CES) және әрбір өнімділік өлшемі үшін сапа теңгерімімен AI-арнайы көрсеткіштерді оқу мүмкіндігі
- Жауаптың дәлдігін және дрейфті жүйелі түрде өлшеу және бір метрикаға құлыптауды болдырмау мүмкіндігі
- «Мен білмеймін» журналына, айналым себептеріне және PDCA циклімен сәтсіз ағындарға негізделген үздіксіз жетілдіруді жүзеге асыру мүмкіндігі
Жасанды интеллект колл-орталыққа кірген кездегі ең қауіпті қате - «біз оны орнаттық, ол жұмыс істеп тұрған сияқты, жеткілікті» деу. Бот, ассистент немесе өзіне-өзі қызмет көрсету ағыны тікелей іске қосылған сәтте мінсіз емес және ол жерде қалмайды; Оны үнемі өлшеп, бақылап, жетілдіріп отыру керек. Сонымен қатар, дұрыс емес көрсеткішті қадағалау кейде дұрыс метриканы бақыламаудан гөрі зияндырақ болады — себебі ол сізді дұрыс емес бағытта жүгіріп жібереді. Бұл бөлімде біз байланыс орталығының негізгі көрсеткіштерін (KPI), AI-ға тән көрсеткіштерді және үздіксіз жақсарту циклін құру жолын көреміз.
Біріншіден, ескерту: метрика - бұл мақсат емес, мақсатқа жету құралы. Мақсат - тұтынушының мәселесін жақсы және тиімді шешу. Егер сіз бір метриканы (мысалы, AHT) оқшаулап іздесеңіз, өкілдер тұтынушыны шешпестен қоңырауды қысқартады және нақты мақсат бұзылады. Бұл метрикалық құмарлық деп аталады; Әрбір көрсеткішті қарсы баланспен оқыңыз.
Байланыс орталығының негізгі KPI көрсеткіштері
KPI (Key Performance Indicator) - процестің өнімділігін өлшейтін сан. Байланыс орталығындағы ең негізгілері:
KPI
Қандай шаралар
теңгеруші
AHT (орташа өңдеу уақыты)
Байланыс ұзақтығы
FCR, CSAT (қысқа, бірақ ерімейтін)
FCR (алғашқы байланыстағы шешім)
Бір реттік шешім
CSAT (оны шешті деп айтпаңыз және оны шешпеңіз)
CSAT (тұтынушының қанағаттануы)
Байланыстан кейінгі ұпай
Жауап беру жылдамдығы (егер аз адам толтырса, жаңылыстырады)
NPS (ұсыныс ұпайы)
Адалдық/ұсыныс
Түбірлік себеп (неге төмен?)
CES (тұтынушы күшінің көрсеткіші)
Клиент қаншалықты қиын болды
—
SL (қызмет деңгейі)
% қоңырауға x секундта жауап берілді
Бас тарту коэффициенті
Бас тарту коэффициенті (тастану)
Қоңырау күтуде қалды
SL, салқындату
CES (Customer Effort Score) тұтынушының өз мәселесін шешуге қаншалықты тырысатынын өлшейді; төмен күш жоғары адалдықпен тығыз байланысты. Тұтынушының «Мен оны оңай шешіп алдым» деп айтуы «Мен өте ризамын» дегеннен гөрі маңыздырақ.
AI-ға тән көрсеткіштер
Классикалық KPI-нің жанына AI қолданбаларына арналған арнайы көрсеткіштер қосылады:
- Ұстау / ауытқу жылдамдығы: бот/өзіне-өзі қызмет көрсету оны адамға бермей шешетін байланыс жылдамдығы. Бірақ мұның өзі алдау; ерітіндімен бірге оқу керек (8 блоктағы қақпан).
- Боттың рұқсат ету жылдамдығы: бот нақты шешкен контактілер (тұтынушы риза болып қалды) — «ботта қалған» емес.
- Айналым жылдамдығы және себебі: Қанша аударылған және неліктен (10 бірлік).
- Жауаптың дәлдігі: Бот/көмекші берген жауаптардың дұрыс болу жылдамдығы — сынама алу және адамның қадағалауымен өлшенеді.
- Қабылдау: агенттердің агент көмек ұсыныстарын пайдалану жылдамдығы (6-бөлім).
- Жиынтық дәлдік: автоматтандырылған қорытындыларды/тегтерді адамның мақұлдауымен түзету жылдамдығы (4-бірлік).
- Галлюцинация/қате жиілігі: Ойдан шығарылған немесе дұрыс емес жауаптардың жиілігі — мақсат нөлге жақын.
Кеңес: Әрбір AI көрсеткішін «сапа тұрақтандырғышымен» жұптаңыз. «Жоғары ұстау» жалғыз жақсы емес; «Тұйықталу жоғары ЖӘНЕ бот шешімімен қанағаттанушылық жоғары» жақсы. Тиімділік көрсеткішін сапа көрсеткішінен ешқашан ажыратпаңыз.
Үздіксіз жетілдіру циклі
Жақсы AI бағдарламасы - бұл бір реттік жоба емес, айналдыру. Классикалық PDCA циклі (Plan-Do-Check-Act; PDCA) мына жерде жұмыс істейді:
- Жоспар: Сіз қай көрсеткішті жақсартасыз және неге? Мақсат қойыңыз (мысалы, «табыс бойынша боттың рұқсат ету жылдамдығын 60%-дан 75%-ға дейін арттыру»).
- Қолдану: өзгерту енгізіңіз (білім базасының элементін қосу, ағынды түзету, сұрауды жақсарту).
- Тексеру: метрика шынымен жақсарды ма? Жанама әсерлер бар ма (кез келген басқа көрсеткіштер бұзылған)?
- Сақтық шараларын қолданыңыз: егер ол жұмыс істесе, оны тұрақты етіп жасаңыз; Егер ол жұмыс істемесе, оны қайтарып алыңыз және үйреніңіз.
Бұл цикл үшін жанармай деректер болып табылады: «білмеймін» журналдары (5 блок), айналымның себептері (10 блок), сәтсіз ағындар (8 блок), төмен балл алған әңгімелер (7 блок). Бұл ресурстар қай жерде жақсарту керектігін айтады.
Абайлаңыз: AI үлгілері мен тұтынушылардың мінез-құлқы уақыт өте өзгереді; Бұл дрейф деп аталады. Бүгінгі күні 95% дәл жұмыс істейтін бот, егер оның білім базасы ескірсе немесе тұтынушы сұрақтарының үлгісі өзгерсе, үнсіз нашарлауы мүмкін. Сондықтан өлшеу бір реттік емес, үздіксіз. Сіз өлшемейтін нәрсе тыныш бұзылады.
Көшірілетін төрт үлгі
1) KPI бақылау тақтасының дизайны:
Байланыс орталығының AI бағдарламасы үшін ай сайынғы KPI бақылау тақтасының жобасын жасаңыз. Әрбір көрсеткіш үшін: анықтама, мақсат, орын ауыстыру көрсеткіші, деректер көзі, ескерту шегі (осы мәннен жоғары/төмен дабыл). Көрсеткіштер: AHT, FCR, CSAT, оқшаулау, бот шешімдерінің жылдамдығы, айналым жылдамдығы, жауап дәлдігі. Жалған сандарды бермеңіз; Өрістерді толтыратындай үлгіні орнатыңыз.
2) Метрикалық интерпретация (негізгі себеп):
Төмендегі KPI деректерін CX талдаушысы сияқты түсіндіріңіз.(1) Ең көрнекті өзгеріс, (2) ықтимал түбірлік себеп ГИПОТОЗАЛАР (дәлелдеу), (3) басқа қандай метриканы қарау керек (офсет), (4) 2 ұсынылған әрекет. Деректерден сандарды алыңыз; Гипотезаларды «расталуы керек» деп белгілеңіз. Деректер: <<...>>
3) A/B салыстыру бағасы:
Екі бот/ағын нұсқасын (A және B) осы деректермен салыстырыңыз: <<деректер>>.Қайсысы оқшаулау, боттың ажыратымдылық жылдамдығы және CSAT бойынша жақсы? Айырмашылық маңызды болып көрінеді ме, әлде аз/шуыл ма? Өнімділік сапаны жоғалту есебінен өсе ме? Нақты ұсыныс беріңіз, сонымен қатар кез келген белгісіздіктерді көрсетіңіз.
4) Үздіксіз жақсарту туралы кері байланыс қысқаша мазмұны:
Келесі жақсарту ресурстарын біріктіріңіз (журнал білмеймін, тапсыру себептері, сәтсіз ағындар). Ең жоғары әсерді жақсартудың 3 мүмкіндігіне басымдық беріңіз: мәселе / әсер ететін метрика / ұсынылған өзгерту / күтілетін әсер. Тек деректерге сеніңіз. Дереккөздер: <<...>>
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Осы айдағы сандар жақсы ма, жаман ба, айтыңыз.
Түсініксіз: қандай метрика, қандай мақсат, не тұрақтандырғыш, ненің түпкі себебі — үстірт және жаңылыстыратын пайымдаулар жасайды.
Күшті шақыру:
Осы айда шектеу 58%-дан 71%-ға дейін өсті, бірақ CSAT 4,1-ден 3,6-ға дейін төмендеді, ал айналым жылдамдығы 30%-дан 19%-ға төмендеді. Осы диаграмманы түсіндіріңіз: өнімділіктің артуы тұтынушылардың қанағаттануының есебінен болды ма (клиенттер ботқа түсіп қалуы мүмкін бе)? Мен қандай деректермен растауым керек? 2 әрекетті ұсыныңыз.
Айырмашылық: метрика, теңгерімдеу және валидация мәселесі анық; Түсіндіру мағынасы бар (мұнда «тұмау» сигналы бар, өйткені шектеудің жоғарылауы CSAT төмендеуімен бірге келеді).
үш шағын іс
1-жағдай – қате метрикалық тұзақ. Бір байланыс орталығы тек AHT-ті марапаттады. Агенттер уақытты қысқарту үшін тұтынушыларды шешпестен телефон тұтқасын қойды; Қысқа мерзімде AHT 15% төмендеді, бірақ қайталанатын қоңыраулар 28% өсті және FCR құлады. Жалпы ауыртпалық пен шығындар шын мәнінде өсті. Баланс AHT, FCR және CSAT бірге бақыланған кезде орнатылды. Сабақ: бір метрика өтірік.
2-жағдай — Үнсіз дрейф. Банктің боты 6 ай бойы еш қиындықсыз жұмыс істеді, оны ешкім өлшеген жоқ. Жаңа өнімдер шыққанда, білім қоры артта қалды; Боттың дәлдігі 94%-дан 79%-ға дейін төмендеп, шағымдар көбейді. Тұрақты дәлдік өлшеу орнатылғаннан кейін сырғанау ерте анықталды. Сабақ: өлшенбейтін жүйе тыныш бұзылады.
3-жағдай — Емдеу циклінің күші. Электрондық коммерция компаниясы ай сайынғы PDCA циклімен ай сайын (білмейтін журнал + айналым себептері + сәтсіз ағындардан) ең жоғары әсер ететін 3 жақсартуды таңдады. 6 айда боттың рұқсат ету жылдамдығы 52%-дан 74%-ға дейін, CSAT 3,8-ден 4,4-ке дейін өсті — бұл бір үлкен серпілісте емес, бірінен соң бірі кішігірім, өлшенген жақсартуларда. Үздіксіз жақсарту секірулер мен шектеулерден емес, жүйеліліктен туындайды.
Жалпы қателер
- Бір метрикаға назар аудару. Тек AHT немесе оқшаулау сапаны төмендетеді; Әрбір көрсеткіште тұрақтандырғыш болуы керек.
- Өнімділік көрсеткішін сападан ажырату. «Бот көп нәрсені шешеді» және «тұтынушының көңілінен шықты» екі түрлі нәрсе; Бірге оқы.
- Оны бір рет орнатып, жіберіңіз. Дрейф үнсіз; Үздіксіз өлшеу міндетті болып табылады.
- Жалғыз CSAT-ды нақты деп санау. Жауап берудің төмен деңгейі CSAT-ны жаңылыстырады; Оны кім толтырғанын қараңыз.
- Жақсарту деректерге қосылмады. Түйсікпен емес, "журнал/беру/сәтсіз ағынды білмеймін" деректеріне басымдық беріңіз.
Қысқаша айтқанда
Өлшеу және үздіксіз жетілдіру AI-ны бір реттік орнатудан тірі жүйеге айналдырады. Классикалық KPI (AHT, FCR, CSAT, NPS, CES) және AI-арнайы көрсеткіштерді (қорытынды, бот шешу жылдамдығы, жауап дәлдігі, ұсыныстарды пайдалану) бірге бақылаңыз; әрбір өнімділік көрсеткішін сапа тұрақтандырғышымен оқу; Ешқашан бір метрикаға бекітпеңіз. PDCA циклімен үздіксіз жақсартыңыз және цикл үшін отын ретінде «білмеймін» журналдарын, айналым себептерін және сәтсіз ағындарды пайдаланыңыз. Есіңізде болсын: модельдер мен тұтынушылар уақыт өте келе өзгереді; Сіз өлшемейтін нәрсе тыныш ыдырайды.
Қолданбалы тапсырма
7 метрикадан тұратын жеке AI бағдарламасы үшін KPI бақылау тақтасын жасаңыз; әрбір көрсеткіш үшін анықтаманы, мақсатты, орын ауыстыру көрсеткішін және ескерту шегін орнатыңыз («1) KPI бақылау тақтасы» үлгісін пайдаланыңыз). Содан кейін ойдан шығарылған айлық деректер жинағын жасаңыз және «2) метрикалық интерпретация» үлгісімен түбірлік себептерді талдауды орындаңыз. Соңында, келесі айдағы ең жоғары әсер ететін 3 жақсартуға басымдық беріңіз, «4) Үздіксіз жақсарту туралы кері байланыс қорытындысы».
бақылау парағы
- [ ] Мен классикалық KPI мен AI-ға тән көрсеткіштерді бірге қадағалаймын.
- [ ] Әрбір өнімділік көрсеткішінде сапа тұрақтандырғышы бар; Мен бір метрикаға назар аудармаймын.
- [ ] Тұтынушының қанағаттануымен бірге шектеу/ботты шешу жылдамдығын оқыдым.
- [ ] Жауаптың дәлдігін және дрейфті үнемі өлшеп отырамын.
- [ ] Мен PDCA циклімен үздіксіз, деректерге негізделген жақсартуларды жасаймын.
- [ ] Мен "білмеймін" журналы, тапсыру себептері және сәтсіз ағындар арқылы жақсартуларға басымдық беремін.