Enota 11 / 12

Merjenje, KPI in nenehne izboljšave: kaj spremljati in kako?

Dobički:

  • Zmožnost branja klasičnih KPI-jev (AHT, FCR, CSAT, NPS, CES) in metrik, specifičnih za AI, z uravnoteževalcem kakovosti za vsako merilo produktivnosti
  • Sposobnost merjenja natančnosti odgovorov in rednega premika ter izogibanja pasti zaklepanja v eno samo metriko
  • Sposobnost izvajanja nenehnih izboljšav na podlagi beleženja »ne vem«, razlogov menjave in neuspelih tokov s ciklom PDCA

Najbolj nevarna napaka, ko AI vstopi v klicni center, je reči "namestili smo ga, izgleda, da deluje, to je dovolj". Bot, pomočnik ali samopostrežni tok ni popoln v trenutku, ko začne delovati in tam ne ostane; Nenehno ga je treba meriti, spremljati in izboljševati. Poleg tega je sledenje napačni metriki včasih bolj škodljivo kot nesledenje pravi metriki – ker te pošlje v napačno smer. V tej enoti bomo videli ključne kazalnike klicnega centra (KPI), meritve, specifične za AI, in kako vzpostaviti cikel nenehnih izboljšav.

Najprej opozorilo: meritve so sredstvo za dosego cilja, ne cilj sam. Cilj je dobro in učinkovito rešiti strankino težavo. Če lovite eno metriko (npr. AHT) ločeno, bodo predstavniki prekinili klic, ne da bi rešili stranko, in pravi namen bo poškodovan. To se imenuje obsedenost z meritvami; Preberite vsako metriko s protiutežjo.

Osnovni KPI klicnega centra

KPI (Key Performance Indicator) je število, ki meri uspešnost procesa. Najosnovnejše v klicnem centru:

KPI

Kakšni ukrepi

balanser

AHT (povprečni čas obdelave)

Trajanje stika

FCR, CSAT (kratek, vendar ne netopljiv)

FCR (razrešitev ob prvem stiku)

Enkratna rešitev

CSAT (ne reci, da si rešil in ne reši)

CSAT (zadovoljstvo strank)

Rezultat po stiku

Stopnja odziva (če izpolni malo ljudi, bo zavajajoče)

NPS (priporočena ocena)

Zvestoba/priporočilo

Glavni vzrok (zakaj nizek?)

CES (Customer Effort Score)

Kako trda je bila stranka

SL (raven storitve)

% klicev, sprejetih v x sekundah

Stopnja opustitve

Stopnja opustitve (opustitev)

Klic je ostal na čakanju

SL, ohladitev

CES (Customer Effort Score) meri, kako močno se stranka trudi rešiti svojo težavo; majhen napor je močno povezan z visoko zvestobo. Stranka, ki reče "lahko sem rešil" je pogosto več vredna kot "zelo sem zadovoljna".

Meritve, specifične za AI

Poleg klasičnih KPI-jev so dodane posebne metrike za aplikacije AI:

  • Stopnja zadrževanja/odklona: Stopnja stika, ki jo bot/samopostrežni reši, ne da bi ga predal človeku. Toda samo to je varljivo; brati skupaj z rešitvijo (past v 8. enoti).
  • Stopnja reševanja botov: stiki, ki jih je bot dejansko rešil (stranka je zapustila zadovoljna) — ne "ostali v botu".
  • Stopnja fluktuacije in razlog: Koliko se prenese in zakaj (enota 10).
  • Natančnost odgovorov: Stopnja, pri kateri so odgovori, ki jih daje bot/pomočnik, pravilni – merjeno z vzorčenjem in človeškim nadzorom.
  • Posvojitev: Stopnja, s katero agenti uporabljajo predloge za pomoč agentov (Enota 6).
  • Natančnost povzetka: Hitrost, s katero se samodejni povzetki/oznake popravijo s človeško odobritvijo (enota 4).
  • Stopnja halucinacij/napak: pogostost izmišljenih ali nepravilnih odgovorov — cilj blizu ničle.
Namig: vsako metriko AI združite s »stabilizatorjem kakovosti«. Samo "zadrževanje visoko" ni dobro; "zadrževanje je visoko IN zadovoljstvo z rešitvijo botov je visoko" je dobro. Nikoli ne ločite metrike učinkovitosti od metrike kakovosti.

Cikel nenehnih izboljšav

Dober program AI je vrteče se kolo, ne enkraten projekt. Klasični cikel PDCA (Plan-Do-Check-Act; PDCA) deluje tukaj:

  1. Načrt: Katero meritev boste izboljšali in zakaj? Postavite si cilj (npr. »povečajte stopnjo reševanja botov pri donosih s 60 % na 75 %).«
  2. Uporabi: naredite spremembo (dodajte element baze znanja, popravite tok, izboljšajte poziv).
  3. Preverite: ali se je meritev dejansko izboljšala? Ali obstajajo stranski učinki (ali je kakšna druga metrika pokvarjena)?
  4. Bodite previdni: če deluje, naj bo trajno; Če ne deluje, vzemite nazaj in se naučite.

Gorivo za ta cikel so podatki: dnevniki »ne vem« (enota 5), ​​razlogi za zamenjavo (enota 10), neuspešni tokovi (enota 8), pogovori z nizkimi točkami (enota 7). Ti viri vam povedo, kje se lahko izboljšate.

Pozor: modeli AI in vedenje strank se sčasoma spreminjajo; To se imenuje drift. Bot, ki danes deluje 95 % natančno, se lahko tiho pokvari, če njegova baza znanja zastari ali se spremeni vzorec vprašanj strank. Zato meritev ni enkratna, ampak kontinuirana. Česar ne meriš, se tiho pokvari.

Štiri predloge za kopiranje

1) Zasnova nadzorne plošče KPI:

Izdelajte osnutek mesečne nadzorne plošče KPI za moj program AI v klicnem centru. Za vsako metriko: definicija, cilj, izravnalna metrika, vir podatkov, alarmni prag (alarm nad/pod to vrednostjo). Meritve: AHT, FCR, CSAT, zadrževanje, stopnja rešitve botov, stopnja menjave, natančnost odgovorov. Ne dajajte izmišljenih številk; Nastavite predlogo, tako da izpolnim polja.

2) Razlaga metrike (osnovni vzrok):

Interpretirajte spodnje podatke KPI kot analitik CX. (1) Najopaznejša sprememba, (2) možni glavni vzrok HIPOTEZE (dokažite), (3) katero drugo metriko je treba pogledati (odmik), (4) 2 predlagana dejanja. Pridobite številke iz podatkov; Označite hipoteze kot "treba potrditi". Podatki: <<...>>

3) Ocena primerjave A/B:

Primerjajte dve različici bota/toka (A in B) s temi podatki: <<podatki>>. Kateri je boljši pri zadrževanju, stopnji razrešitve botov in CSAT? Se zdi razlika pomembna ali je majhna/šum? Je povečanje produktivnosti na račun izgube kakovosti? Podajte jasno priporočilo, vendar opozorite tudi na morebitne negotovosti.

4) Povzetek povratnih informacij o stalnih izboljšavah:

Združite naslednje vire za izboljšave (ne vem dnevnika, razlogi za predajo, neuspešni tokovi). Dajte prednost 3 priložnostim za izboljšanje z največjim vplivom: težava / prizadeta metrika / predlagana sprememba / pričakovan učinek. Samo zanašajte se na podatke. Viri: <<...>>

Šibek poziv/močan poziv

Šibek poziv:

Povejte mi, ali so številke tega meseca dobre ali slabe.

Nejasno: katera metrika, kakšen cilj, kakšen stabilizator, kaj glavni vzrok — daje površno in zavajajočo presojo.

Močan poziv:

Ta mesec se je zadrževanje povečalo z 58 % na 71 %, vendar je CSAT padel s 4,1 na 3,6, stopnja menjave pa se je zmanjšala s 30 % na 19 %. Razlagajte ta grafikon: ali je do povečanja produktivnosti prišlo na račun zadovoljstva strank (ali so lahko stranke ujete v robot)? S katerimi podatki naj preverim? Predlagajte 2 dejanja.

Razlika: vprašanje metrike, uravnoteženja in validacije je jasno; Razlaga je smiselna (tu je signal pasti za "zadrževanje", saj povečanje zadrževanja prihaja z zmanjšanjem CSAT).

trije mini kovčki

1. primer – napačna metrična past. En klicni center je nagradil samo AHT. Agenti so strankam obešali slušalko, ne da bi jih rešili, da bi skrajšali čas; Kratkoročno je AHT padel za 15 %, vendar so se ponovni klici povečali za 28 %, FCR pa se je zrušil. Celotno breme in stroški so se dejansko povečali. Ravnovesje je bilo vzpostavljeno, ko so AHT, FCR in CSAT spremljali skupaj. Lekcija: ena metrika laže.

Primer 2 – Tiho odnašanje. En bančni bot je delal brez težav 6 mesecev, nihče ga ni izmeril. Ko so se pojavili novi izdelki, je baza znanja zaostala; Natančnost botov je neopazno padla s 94 % na 79 %, pritožbe pa so se povečale. Ko je bila vzpostavljena redna natančnost merjenja, je bil zdrs zgodaj ujet. Nauk: sistem, ki se ne meri, se tiho pokvari.

Primer 3 – Moč zdravilnega cikla. Podjetje za e-trgovino je vsak mesec izbralo 3 izboljšave z največjim vplivom (od nevem dnevnika + razlogi za menjavo + neuspeli tokovi) z mesečnim ciklom PDCA. V 6 mesecih se je stopnja reševanja botov povečala z 52 % na 74 %, CSAT s 3,8 na 4,4 — ne v enem velikem preboju, ampak v majhnih, izmerjenih izboljšavah eno za drugo. Nenehne izboljšave izvirajo iz doslednosti, ne skokovitih korakov.

Pogoste napake

  • Osredotočanje na eno samo metriko. Samo izvajanje AHT ali zadrževanje poslabša kakovost; Vsaka metrika mora imeti stabilizator.
  • Ločitev metrike produktivnosti od kakovosti. "Bot reši veliko" in "stranka je zadovoljna" sta dve različni stvari; Berite skupaj.
  • Nastavite enkrat in pustite. Drift je tih; Neprekinjeno merjenje je nujno.
  • Upoštevanje samega CSAT kot resničnega. Nizka stopnja odziva zavaja CSAT; Poglejte, kdo ga je izpolnil.
  • Ne povezuje izboljšave s podatki. Dajte prednost podatkom "ne poznam dnevnika/predaje/neuspešnega toka" in ne intuicije.

Če povzamem

Merjenje in nenehne izboljšave spremenijo AI iz enkratne namestitve v živ sistem. Sledite klasičnim KPI-jem (AHT, FCR, CSAT, NPS, CES) in metrikam, specifičnim za AI (zadrževanje, stopnja rešitev botov, natančnost odgovorov, uporaba priporočil) skupaj; preberite vsako metriko produktivnosti s stabilizatorjem kakovosti; Nikoli se ne osredotočite na eno samo metriko. Nenehno se izboljšujte z zanko PDCA in uporabite dnevnike »ne vem«, razloge za menjavo in neuspešne tokove kot gorivo za zanko. Ne pozabite: modeli in stranke se s časom spreminjajo; Kar ne izmerite, tiho propade.

Aplikacijska naloga

Oblikujte nadzorno ploščo KPI za svoj program AI, sestavljeno iz 7 meritev; za vsako metriko nastavite definicijo, cilj, izravnalno metriko in opozorilni prag (uporabite predlogo »1) nadzorna plošča KPI«. Nato ustvarite fiktivni mesečni nabor podatkov in izvedite analizo temeljnega vzroka s predlogo »2) Razlaga metrike«. Na koncu določite prednost 3 izboljšavam z največjim vplivom za naslednji mesec s »4) Povzetkom povratnih informacij o stalnih izboljšavah«.

kontrolni seznam

  • [ ] Skupaj sledim klasičnim KPI-jem in meritvam, specifičnim za AI.
  • [ ] Vsaka metrika produktivnosti ima stabilizator kakovosti; Ne osredotočam se na eno samo metriko.
  • [ ] Prebral sem stopnjo rešitve za zadrževanje/bot skupaj z zadovoljstvom strank.
  • [ ] Merim točnost odgovorov in se redno premikam.
  • [ ] S ciklom PDCA izvajam stalne izboljšave, ki temeljijo na podatkih.
  • [ ] Prednost dajem izboljšavam z dnevnikom »ne vem«, razlogi za predajo in neuspelimi tokovi.