Matavimas, KPI ir nuolatinis tobulinimas: ką stebėti ir kaip?

Pelnas:

• Galimybė skaityti klasikinius KPI (AHT, FCR, CSAT, NPS, CES) ir dirbtiniam intelektui būdingas metrikas naudojant kiekvienos produktyvumo priemonės kokybės balansavimo priemonę.
• Galimybė reguliariai matuoti atsakymų tikslumą ir dreifą bei išvengti spąstų užsifiksuoti vienoje metrikoje
• Galimybė vykdyti nuolatinį tobulinimą, pagrįstą „nežinau“ registravimu, apyvartos priežastimis ir nesėkmingais srautais naudojant PDCA ciklą

Pavojingiausia klaida, kai dirbtinis intelektas patenka į skambučių centrą, yra pasakyti „įdiegėme, atrodo, kad veikia, užtenka“. Botas, asistentas ar savitarnos srautas nėra tobulas tuo momentu, kai pradeda veikti tiesiogiai ir ten nelieka; Jis turi būti nuolat matuojamas, stebimas ir tobulinamas. Be to, neteisingos metrikos stebėjimas kartais yra žalingesnis nei tinkamos metrikos nesekimas, nes jis siunčia jus bėgti neteisinga kryptimi. Šiame skyriuje pamatysime skambučių centro pagrindinius rodiklius (KPI), DI būdingus rodiklius ir kaip nustatyti nuolatinio tobulinimo ciklą.

Pirma, įspėjimas: metrika yra priemonė tikslui pasiekti, o ne pats tikslas. Tikslas – gerai ir efektyviai išspręsti kliento problemą. Jei sieksite vienos metrikos (pvz., AHT) atskirai, atstovai nutrauks pokalbį, neišspręsdami kliento, o tikrasis tikslas bus pažeistas. Tai vadinama metrikos manija; Perskaitykite kiekvieną metriką su atsvara.

Pagrindiniai skambučių centro KPI

KPI (pagrindinis našumo rodiklis) yra skaičius, matuojantis proceso našumą. Paprasčiausi skambučių centre:

KPI

Kokias priemones

balansuotojas

AHT (vidutinis apdorojimo laikas)

Kontakto trukmė

FCR, CSAT (trumpas, bet netirpus)

FCR (rezoliucija pirmojo kontakto metu)

Vienkartinis sprendimas

CSAT (nesakykite, kad išsprendei ir neišsprendei)

CSAT (klientų pasitenkinimas)

Rezultatas po kontakto

Atsakymų dažnis (bus klaidinantis, jei užpildys nedaug žmonių)

NPS (rekomendacijos balas)

Lojalumas/rekomendacija

Pagrindinė priežastis (kodėl žema?)

CES (Customer Effort Score)

Kaip sunku buvo klientui

—

SL (paslaugos lygis)

% skambučių atsiliepė po x sekundžių

Atsisakymo rodiklis

Apleidimų rodiklis (abandon)

Skambutis liko sulaikytas

SL, atvėsimas

CES (Customer Effort Score) matuoja, kiek klientas stengiasi išspręsti savo problemą; mažos pastangos yra stipriai susijusios su dideliu tikslumu. Klientas, pasakęs „lengvai išsprendžiau“, dažnai yra vertingesnis nei pasakymas „esu labai patenkintas“.

DI būdinga metrika

Šalia klasikinių KPI pridedama speciali DI taikomųjų programų metrika:

• Sulaikymo / nukreipimo greitis: kontakto greitis, kurį robotas / savitarna išsprendžia neperduodamas žmogui. Tačiau vien tai yra apgaulė; turi būti skaitomas kartu su tirpalu (8 skyriaus gaudyklė).
• Boto skyros rodiklis: kontaktai, kuriuos robotas iš tikrųjų išsprendė (klientas liko patenkintas), o ne „liko robote“.
• Apyvartos rodiklis ir priežastis: kiek pervedama ir kodėl (10 skyrius).
• Atsakymų tikslumas: greitis, kuriuo roboto / asistento pateikti atsakymai yra teisingi – išmatuotas atrankos būdu ir žmogaus priežiūra.
• Priėmimas: greitis, kuriuo agentai naudoja agento pagalbos pasiūlymus (6 skyrius).
• Suvestinės tikslumas: greitis, kuriuo automatizuotos suvestinės / žymos taisomos žmogaus patvirtinimu (4 skyrius).
• Haliucinacijų / klaidų dažnis: sugalvotų arba neteisingų atsakymų dažnis – taikykite beveik nulį.

Patarimas: suporuokite kiekvieną AI metriką su „kokybės stabilizatoriumi“. Vien „suvaldymas aukštas“ nėra gerai; „Sulaikymas yra aukštas IR „bot“ sprendimas yra labai patenkintas“ yra gerai. Niekada neatskirkite efektyvumo metrikos nuo kokybės metrikos.

Nuolatinis tobulėjimo ciklas

Gera AI programa yra besisukantis ratas, o ne vienkartinis projektas. Klasikinis PDCA ciklas (Plan-Do-Check-Act; PDCA) veikia čia:

1. Planas: kurią metriką tobulinsite ir kodėl? Nustatykite tikslą (pvz., „padidinti roboto skiriamąją gebą nuo 60 % iki 75 %)“.
2. Taikyti: atlikite pakeitimą (pridėkite žinių bazės elementą, pataisykite srautą, patobulinkite raginimą).
3. Patikrinkite: ar metrika iš tikrųjų pagerėjo? Ar yra šalutinių poveikių (ar neveikia kiti rodikliai)?
4. Imkitės atsargumo priemonių: jei tai veikia, padarykite tai nuolatinė; Jei neveikia, atsiimkite ir mokykitės.

Šio ciklo degalai yra duomenys: „nežinau“ žurnalai (5 skyrius), apyvartos priežastys (10 skyrius), nesėkmingi srautai (8 skyrius), pokalbiai su mažais balais (7 skyrius). Šie ištekliai nurodo, kur reikia tobulėti.

Atsargiai: AI modeliai ir klientų elgesys laikui bėgant keičiasi; Tai vadinama dreifu. Šiandien 95% tiksliai veikiantis robotas gali tyliai pablogėti, jei jo žinių bazė pasensta arba pasikeičia kliento klausimų modelis. Štai kodėl matavimas yra ne vienkartinis, o nuolatinis. Tai, ko nepamatai, tyliai sugenda.

Keturi kopijuojami šablonai

1) KPI prietaisų skydelio dizainas:

Sukurkite mėnesinio KPI prietaisų skydelio juodraštį mano skambučių centro AI programai. Kiekvienai metrikai: apibrėžimas, tikslas, kompensavimo metrika, duomenų šaltinis, įspėjimo slenkstis (pavojaus signalas virš / žemiau šios vertės). Metrika: AHT, FCR, CSAT, izoliavimas, roboto sprendimo greitis, apyvartos greitis, atsakymo tikslumas. Neduokite fiktyvių skaičių; Nustatykite šabloną, kad aš užpildyčiau laukus.

2) Metrikos aiškinimas (pagrindinė priežastis):

Toliau pateiktus KPI duomenis interpretuokite kaip CX analitikas.(1) Ryškiausias pokytis, (2) galima pagrindinė priežastis HIPOTEZĖS (įrodyti), (3) į kokią kitą metriką reikia žiūrėti (kompensuoti), (4) 2 siūlomi veiksmai.Gaukite skaičius iš duomenų; Pažymėkite hipotezes kaip „būtina patvirtinti“. Duomenys: <<...>>

3) A/B palyginimo įvertinimas:

Palyginkite dvi roboto / srauto versijas (A ir B) su šiais duomenimis: <<duomenys>>. Kuris yra geresnis dėl izoliavimo, roboto skiriamosios gebos ir CSAT? Ar skirtumas atrodo reikšmingas, ar tai nedidelis / triukšmingas? Ar produktyvumas didėja kokybės praradimo sąskaita? Pateikite aiškią rekomendaciją, bet taip pat nurodykite visus neaiškumus.

4) Nuolatinio tobulinimo atsiliepimų santrauka:

Sujunkite šiuos tobulinimo išteklius (nežinau žurnalą, perdavimo priežastis, nesėkmingus srautus). Pirmenybę teikite 3 didžiausioms poveikio gerinimo galimybėms: problema / paveikta metrika / siūlomas pakeitimas / numatomas poveikis. Tiesiog pasikliaukite duomenimis. Šaltiniai: <<...>>

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas:

Pasakykite man, ar šio mėnesio skaičiai yra geri, ar blogi.

Neaišku: kokia metrika, koks tikslas, koks stabilizatorius, kokia pagrindinė priežastis – sukuria paviršutinišką ir klaidinantį sprendimą.

Galingas raginimas:

Šį mėnesį izoliacija padidėjo nuo 58% iki 71%, tačiau CSAT sumažėjo nuo 4,1 iki 3,6, o apyvartos rodiklis sumažėjo nuo 30% iki 19%. Interpretuokite šią diagramą: ar produktyvumas padidėjo klientų pasitenkinimo sąskaita (ar klientai gali būti įstrigę bote)? Kokiais duomenimis turėčiau patvirtinti? Pasiūlykite 2 veiksmus.

Skirtumas: metrikos, balansavimo ir patvirtinimo klausimas yra aiškus; Aiškinimas yra prasmingas (čia yra „uždarymo“ spąstų signalas, nes izoliavimo padidėjimas atsiranda kartu su CSAT sumažėjimu).

trys mini dėklai

1 atvejis – neteisingas metrinis gaudyklė. Vienas skambučių centras apdovanojo tik AHT. Agentai užkabino klientus, jų nenusprendę sutrumpinti laiko; Per trumpą laiką AHT sumažėjo 15%, tačiau pakartotinių skambučių skaičius padidėjo 28%, o FCR žlugo. Bendra našta ir išlaidos iš tikrųjų padidėjo. Balansas buvo nustatytas, kai AHT, FCR ir CSAT buvo stebimi kartu. Pamoka: vienas metras melas.

2 atvejis – tylus dreifas. 6 mėnesius be problemų veikė banko botas, niekas jo nematavo. Pasirodžius naujiems produktams, žinių bazė liko už borto; Boto tikslumas nepastebimai sumažėjo nuo 94% iki 79%, o skundų padaugėjo. Nustačius reguliarų tikslumo matavimą, slydimas buvo užfiksuotas anksti. Pamoka: neišmatuojama sistema tyliai sugenda.

3 atvejis – gijimo ciklo galia. El. prekybos įmonė kiekvieną mėnesį atrinko 3 didžiausio poveikio patobulinimus (iš nežinau žurnalo + apyvartos priežasčių + nesėkmingų srautų), naudodama mėnesinį PDCA ciklą. Per 6 mėnesius robotų skyros rodiklis padidėjo nuo 52% iki 74%, CSAT - nuo 3,8 iki 4,4 - ne vienas didelis proveržis, o nedideli, išmatuoti patobulinimai vienas po kito. Nuolatinis tobulėjimas kyla iš nuoseklumo, o ne dėl šuolių ir ribų.

Dažnos klaidos

• Sutelkti dėmesį į vieną metriką. Vien tik AHT ar izoliavimas pablogina kokybę; Kiekviena metrika turi turėti stabilizatorių.
• Produktyvumo metrikos atsiejimas nuo kokybės. „Bot daug ką išsprendžia“ ir „klientas patenkintas“ yra du skirtingi dalykai; Skaitykite kartu.
• Vieną kartą nustatykite ir palikite. Driftas tyli; Būtinas nuolatinis matavimas.
• Vien tik CSAT laikant tikru. Žemas atsakymų dažnis klaidina CSAT; Pažiūrėkite, kas užpildė.
• Neprijungiamas tobulinimas prie duomenų. Pirmenybę teikite duomenims „nežinau žurnalo/perdavimo/neįvykusio srauto“, o ne intuicija.

Apibendrinant

Matavimas ir nuolatinis tobulinimas paverčia AI iš vienkartinio diegimo į gyvą sistemą. Stebėkite klasikinius KPI (AHT, FCR, CSAT, NPS, CES) ir AI būdingą metriką (apribojimą, roboto sprendimo greitį, atsakymo tikslumą, rekomendacijų naudojimą); perskaitykite kiekvieną produktyvumo metriką naudodami kokybės stabilizatorių; Niekada neapsiribokite viena metrika. Nuolat tobulinkite naudodami PDCA kilpą ir naudokite „nežinau“ žurnalus, apyvartos priežastis ir nesėkmingus srautus kaip kurą. Atminkite: modeliai ir klientai laikui bėgant dreifuoja; Ko nematai, tyliai suyra.

Taikymo užduotis

Sukurkite savo AI programos KPI prietaisų skydelį, kurį sudaro 7 metrikos; kiekvienai metrikai nustatykite apibrėžimą, tikslą, kompensavimo metriką ir įspėjimo slenkstį (naudokite šabloną „1) KPI prietaisų skydelis“). Tada sukurkite fiktyvų mėnesio duomenų rinkinį ir atlikite pagrindinių priežasčių analizę naudodami šabloną „2) Metrikos interpretacija“. Galiausiai suteikite pirmenybę 3 didžiausio poveikio patobulinimams kitą mėnesį naudodami „4) Nuolatinio tobulinimo atsiliepimų suvestinė“.

kontrolinis sąrašas

• [ ] Kartu seku klasikinius KPI ir DI būdingą metriką.
• [ ] Kiekviena produktyvumo metrika turi kokybės stabilizatorių; Aš nesikoncentruoju į vieną metriką.
• [ ] Perskaičiau izoliavimo / roboto sprendimo rodiklį ir klientų pasitenkinimą.
• [ ] Aš reguliariai matuoju atsakymų tikslumą ir dreifuoju.
• [ ] Nuolat tobulinu duomenimis pagrįstą PDCA ciklą.
• [ ] Pirmenybę teikiu patobulinimams, susijusiems su „nežinau“ žurnalu, perdavimo priežastimis ir nepavykusiais srautais.