Mõõtmine, KPI ja pidev täiustamine: mida jälgida ja kuidas?

Kasu:

• Võimalus lugeda klassikalisi KPI-sid (AHT, FCR, CSAT, NPS, CES) ja AI-spetsiifilisi mõõdikuid koos kvaliteedi tasakaalustajaga iga tootlikkuse mõõtmise jaoks
• Võimalus mõõta vastuste täpsust ja regulaarselt triivida ning vältida ühte mõõdikusse lukustumist
• Võimalus teostada pidevat täiustamist, tuginedes 'ma ei tea' logimisele, käibe põhjustele ja ebaõnnestunud voogudele PDCA tsükliga

Kõige ohtlikum viga, kui tehisintellekt kõnekeskusesse siseneb, on öelda "me installisime selle, tundub, et see töötab, sellest piisab". Robot, assistent või iseteenindusvoog ei ole reaalajas käivitumise hetkel täiuslik ja sinna ei jää. Seda tuleb pidevalt mõõta, jälgida ja täiustada. Veelgi enam, vale mõõdiku jälgimine on mõnikord kahjulikum kui õige mõõdiku mittejälgimine – kuna see paneb teid jooksma vales suunas. Selles üksuses näeme kõnekeskuse võtmeindikaatoreid (KPI), tehisintellektipõhiseid mõõdikuid ja seda, kuidas luua pidevat täiustamise tsüklit.

Esiteks hoiatus: mõõdikud on vahend eesmärgi saavutamiseks, mitte eesmärk ise. Eesmärk on lahendada kliendi probleem hästi ja efektiivselt. Kui jahtite ühte mõõdikut (nt AHT) eraldiseisvalt, katkestavad esindajad kõne ilma klienti lahendamata ja tegelik eesmärk saab kahjustada. Seda nimetatakse meetrika kinnisideeks; Lugege iga mõõdikut vastukaaluga.

Kõnekeskuse põhilised KPI-d

KPI (Key Performance Indicator) on arv, mis mõõdab protsessi jõudlust. Kõnekeskuse kõige elementaarsemad:

KPI

Milliseid meetmeid

tasakaalustaja

AHT (keskmine töötlemisaeg)

Kontakti kestus

FCR, CSAT (lühike, kuid mitte lahustumatu)

FCR (eraldusvõime esimesel kontaktil)

Ühekordne lahendus

CSAT (ära ütle, et sa lahendasid selle ja ära lahenda)

CSAT (kliendi rahulolu)

Kontaktijärgne skoor

Vastamismäär (see on eksitav, kui vähesed inimesed täidavad)

NPS (soovituse skoor)

Lojaalsus/soovitus

Algpõhjus (miks madal?)

CES (Customer Effort Score)

Kui raske oli kliendil

—

SL (teenusetase)

% kõnest vastati x sekundiga

Loobumismäär

Loobumise määr (abandon)

Kõne jäi ootele

SL, jahutamine

CES (Customer Effort Score) mõõdab, kui palju klient püüab oma probleemi lahendada; väike pingutus on tugevalt seotud kõrge täpsusega. Klient, kes ütleb: "Ma lahendasin selle lihtsalt", on sageli väärtuslikum kui "olen väga rahul".

AI-spetsiifilised mõõdikud

Klassikaliste KPI-de kõrvale lisatakse AI rakenduste jaoks spetsiaalsed mõõdikud:

• Piiramise / läbipainde määr: kontakti kiirus, mille robot/iseteenindus lahendab ilma seda inimesele üle andmata. Kuid see üksi on petmine; tuleb lugeda koos lahusega (lõks 8. üksuses).
• Boti eraldusvõime: kontaktid, mille robot tegelikult lahendas (klient lahkus rahulolevalt) – mitte "jäänud robotisse".
• Käibemäär ja põhjus: Kui palju kantakse ja miks (üksus 10).
• Vastuse täpsus: määr, millega roboti/assistendi antud vastused on õiged – mõõdetuna valimi ja inimliku järelevalvega.
• Vastuvõtmine: määr, millega agendid kasutavad agendi abisoovitusi (üksus 6).
• Kokkuvõtte täpsus: määr, millega automaatseid kokkuvõtteid/silte inimese heakskiidul parandatakse (üksus 4).
• Hallutsinatsioonid / veamäär: väljamõeldud või valede vastuste sagedus – sihtmärk nullilähedane.

Näpunäide: siduge iga AI mõõdik "kvaliteedi stabilisaatoriga". "Kõrge piiramine" üksi ei ole hea; "Suurkaitse on kõrge JA rahulolu robotilahendusega on kõrge" on hea. Ärge kunagi eraldage tõhususe mõõdikut kvaliteedimõõdikust.

Pidev täiustamise tsükkel

Hea tehisintellekti programm on pöörlev ratas, mitte ühekordne projekt. Klassikaline PDCA tsükkel (Plan-Do-Check-Act; PDCA) töötab siin:

1. Plaan: millist mõõdikut parandate ja miks? Seadke eesmärk (nt "suurendada roboti eraldusvõimet tootlustel 60%-lt 75%-le".
2. Rakenda: tehke muudatus (lisage teadmistebaasi üksus, parandage voogu, täiustage viipa).
3. Kontrollige: kas mõõdik on tegelikult paranenud? Kas on kõrvalmõjusid (kas mõni muu mõõdik on katki)?
4. Võtke kasutusele ettevaatusabinõud: kui see töötab, muutke see püsivaks; Kui see ei tööta, võtke see tagasi ja õppige.

Selle tsükli kütuseks on andmed: "ei tea" logid (üksus 5), käibe põhjused (üksus 10), ebaõnnestunud vood (üksus 8), madala punktisummaga vestlused (üksus 7). Need ressursid ütlevad teile, mida parandada.

Ettevaatust: AI mudelid ja klientide käitumine muutuvad aja jooksul; Seda nimetatakse triiviks. Tänapäeval 95% täpsusega töötav robot võib vaikselt halveneda, kui selle teadmistebaas vananeb või kliendi küsimuste muster muutub. Seetõttu pole mõõtmine ühekordne, vaid pidev. See, mida ei mõõda, läheb vaikselt katki.

Neli kopeeritavat malli

1) KPI armatuurlaua kujundus:

Koostage minu kõnekeskuse AI-programmi igakuise KPI armatuurlaua mustand. Iga mõõdiku jaoks: määratlus, sihtmärk, nihkemõõdik, andmeallikas, hoiatuslävi (alarm sellest väärtusest üle/alla). Mõõdikud: AHT, FCR, CSAT, ohjeldamine, robotilahenduse kiirus, käibemäär, vastuse täpsus. Ärge andke fiktiivseid numbreid; Seadistage mall, nii et ma täidan väljad.

2) Mõõdikute tõlgendamine (almpõhjus):

Tõlgendage allolevaid KPI andmeid nagu CX analüütik.(1) Kõige märkimisväärsem muudatus, (2) võimalik algpõhjus HÜPOTEESID (tõesta), (3) millist muud mõõdikut vaadata (nihe), (4) 2 soovitatud tegevust.Hangi numbrid andmetest; Märkige hüpoteesid kui "tuleb kinnitada". Andmed: <<...>>

3) A/B võrdlushinnang:

Võrrelge kahte roboti/voo versiooni (A ja B) nende andmetega: <<andmed>>. Kumb on isolatsiooni, roboti eraldusvõime ja CSAT-i poolest parem? Kas erinevus tundub märkimisväärne või on see väike/müra? Kas tootlikkuse tõus käib kvaliteedi languse arvelt? Andke selge soovitus, kuid juhtige tähelepanu ka ebakindlusele.

4) Pideva täiustamise tagasiside kokkuvõte:

Kombineerige järgmised parendusressursid (ei tea logi, üleandmise põhjused, ebaõnnestunud vood). Seadke prioriteediks kolm suurimat mõju parandamise võimalust: probleem / mõjutatud mõõdik / kavandatud muudatus / eeldatav mõju. Toetuge lihtsalt andmetele. Allikad: <<...>>

Nõrk viip / Tugev viip

Nõrk viip:

Öelge, kas selle kuu numbrid on head või halvad.

Ebaselge: milline mõõdik, mis sihtmärk, mis stabilisaator, mis algpõhjus – annab pealiskaudse ja eksitava hinnangu.

Võimas viip:

Sel kuul kasvas piiramine 58%-lt 71%-le, kuid CSAT langes 4,1%-lt 3,6%-le ning käibemäär langes 30%-lt 19%-le. Tõlgenda seda diagrammi: kas tootlikkuse kasv tuli klientide rahulolu arvelt (kas kliendid võivad jääda botisse lõksu)? Milliste andmetega peaksin kinnitama? Soovitage 2 tegevust.

Erinevus: mõõdikute, tasakaalustamise ja valideerimise küsimus on selge; Tõlgendus on mõttekas (siin on "kinnitus" lõkssignaal, kuna isolatsiooni suurenemine kaasneb CSATi vähenemisega).

kolm minikarpi

Juhtum 1 – vale meetriline lõks. Üks kõnekeskus maksis ainult AHT-d. Agendid katkestasid klientide kõne, ilma et oleks neid aega lühendanud; Lühiajaliselt langes AHT 15%, kuid korduskõned kasvasid 28% ja FCR kukkus kokku. Kogukoormus ja -kulud on tegelikult kasvanud. Tasakaal loodi, kui AHT, FCR ja CSAT jälgiti koos. Õppetund: üks mõõdik valetab.

Juhtum 2 – vaikne triiv. Panga bot töötas 6 kuud probleemideta, keegi ei mõõtnud. Uute toodete ilmumisel jäi teadmistebaas maha; Boti täpsus langes märkamatult 94%-lt 79%-le ja kaebused suurenesid. Kui regulaarne täpsusmõõtmine oli kindlaks tehtud, tuvastati libisemine varakult. Õppetund: süsteem, mida ei mõõdeta, laguneb vaikselt.

Juhtum 3 – tervenemistsükli jõud. E-kaubandusega tegelev ettevõte valis igakuise PDCA-tsükliga iga kuu 3 suurima mõjuga täiustust (alates ei tea logi + käibe põhjused + ebaõnnestunud vood). Kuue kuuga kasvas robotite eraldusvõime 52%-lt 74%-le, CSAT 3,8-lt 4,4-le — mitte ühe suure läbimurde, vaid väikeste, mõõdetud täiustustena üksteise järel. Pidev täiustamine tuleneb järjepidevusest, mitte hüppelistest sammudest.

Levinud vead

• Keskendumine ühele mõõdikule. Ainuüksi AHT või ohjeldamine halvendab kvaliteeti; Igal mõõdikul peab olema stabilisaator.
• Tootlikkuse mõõdiku lahtisidumine kvaliteedist. "Bot lahendab palju" ja "klient on rahul" on kaks erinevat asja; Lugege koos.
• Seadistage see üks kord ja laske sellel minna. Triiv on vaikne; Pidev mõõtmine on kohustuslik.
• Pidades ainult CSAT-i tõeliseks. Madal reageerimismäär eksitab CSAT-i; Vaata, kes selle täitis.
• Andmetega täiustamist ei ühendata. Prioriteediks "ei tea logi/üleandmine/ebaõnnestunud voog" andmetega, mitte intuitsiooniga.

Kokkuvõttes

Mõõtmine ja pidev täiustamine muudavad tehisintellekti ühekordsest installist elavaks süsteemiks. Jälgige koos klassikalisi KPI-sid (AHT, FCR, CSAT, NPS, CES) ja AI-spetsiifilisi mõõdikuid (piiramine, roboti lahenduskiirus, vastuse täpsus, soovituste kasutamine); lugege iga tootlikkuse mõõdikut kvaliteedistabilisaatoriga; Ärge kunagi keskenduge ühele mõõdikule. Täiustage pidevalt PDCA ahelaga ja kasutage kontuuri kütusena "ei tea" logisid, käibe põhjuseid ja ebaõnnestunud vooge. Pidage meeles: mudelid ja kliendid triivivad aja jooksul; See, mida ei mõõda, vaikselt laguneb.

Rakenduse ülesanne

Kujundage oma AI-programmi jaoks KPI armatuurlaud, mis koosneb seitsmest mõõdikust; määrake iga mõõdiku jaoks määratlus, sihtmärk, nihkemõõdik ja hoiatuslävi (kasutage malli „1) KPI armatuurlaud“. Seejärel looge väljamõeldud igakuine andmekogum ja viige läbi algpõhjuste analüüs malliga „2) Metric interpretation”. Lõpuks seadke järgmiseks kuuks prioriteediks kolm suurimat mõju avaldavat täiustust, kasutades „4) Pideva täiustamise tagasiside kokkuvõte”.

kontrollnimekiri

• [ ] Jälgin koos klassikalisi KPI-sid ja AI-spetsiifilisi mõõdikuid.
• [ ] Igal tootlikkuse mõõdikul on kvaliteedi stabilisaator; Ma ei keskendu ühelegi mõõdikule.
• [ ] Lugesin ohjeldamise / roboti lahenduse määra koos klientide rahuloluga.
• [ ] Mõõdan vastuste täpsust ja triivin regulaarselt.
• [ ] Teen PDCA tsükliga pidevat andmepõhist täiustamist.
• [ ] Sean prioriteediks täiustused „ei tea” logi, üleandmise põhjuste ja ebaõnnestunud voogudega.