Njësia 11 / 12

Matja, KPI dhe përmirësimi i vazhdueshëm: çfarë të monitorohet dhe si?

Fitimet:

  • Aftësia për të lexuar KPI-të klasike (AHT, FCR, CSAT, NPS, CES) dhe metrikat specifike të AI me një balancues cilësie për çdo masë produktiviteti
  • Aftësia për të matur saktësinë e përgjigjes dhe për të lëvizur rregullisht dhe për të shmangur kurthin e kyçjes në një metrikë të vetme
  • Aftësia për të kryer përmirësime të vazhdueshme bazuar në prerjet 'Nuk e di', arsyet e qarkullimit dhe flukset e dështuara me ciklin PDCA

Gabimi më i rrezikshëm kur AI hyn në një call center është të thuash "e kemi instaluar, duket sikur po funksionon, mjafton". Rrjedha e një roboti, asistenti ose vetë-shërbimi nuk është perfekt në momentin kur del drejtpërdrejt dhe nuk qëndron aty; Duhet të matet, monitorohet dhe përmirësohet vazhdimisht. Për më tepër, gjurmimi i metrikës së gabuar ndonjëherë është më i dëmshëm sesa mos gjurmimi i metrikës së duhur – sepse ju dërgon të vraponi në drejtimin e gabuar. Në këtë njësi, ne do të shohim treguesit kryesorë të qendrës së thirrjeve (KPI), matjet specifike të AI dhe mënyrën e krijimit të një cikli të vazhdueshëm përmirësimi.

Së pari, një paralajmërim: metrikat janë një mjet për një qëllim, jo ​​vetë qëllimi. Qëllimi është që problemi i klientit të zgjidhet mirë dhe me efikasitet. Nëse ndjek një metrikë (p.sh. AHT) në izolim, përsëritësit do ta shkurtojnë thirrjen pa e zgjidhur klientin dhe qëllimi i vërtetë do të dëmtohet. Kjo quhet obsesioni i metrikës; Lexoni çdo metrikë me një kundërpeshë.

KPI-të bazë të qendrës së thirrjeve

KPI (Key Performance Indicator) është një numër që mat performancën e një procesi. Më themeloret në qendrën e thirrjeve:

KPI

Çfarë masash

balancuesi

AHT (Koha mesatare e përpunimit)

Kohëzgjatja e kontaktit

FCR, CSAT (i shkurtër por jo i patretshëm)

FCR (Rezolucioni në kontaktin e parë)

Zgjidhje një herë

CSAT (mos thuaj se e ke zgjidhur dhe mos e zgjidh)

CSAT (Kënaqësia e klientit)

Rezultati pas kontaktit

Shkalla e përgjigjes (do të jetë mashtruese nëse pak njerëz plotësojnë)

NPS (Rekomandimi Rezultati)

Besnik/rekomandim

Shkaku rrënjësor (pse i ulët?)

CES (Rezultati i Përpjekjeve të Klientit)

Sa i vështirë ishte klienti

-

SL (Niveli i shërbimit)

% thirrje u përgjigj në x sekonda

Shkalla e braktisjes

Shkalla e braktisjes (braktisja)

Telefononi në pritje

SL, qetësim

CES (Customer Fort Score) mat se sa shumë përpiqet klienti të zgjidhë problemin e tij; përpjekja e ulët lidhet fort me besnikërinë e lartë. Një klient që thotë "E zgjidha lehtë" është shpesh më i vlefshëm sesa të thuash "Jam shumë i kënaqur".

Metrikë specifike për AI

Pranë KPI-ve klasike, shtohen metrikë të veçantë për aplikacionet e AI:

  • Shkalla e frenimit / devijimit: Shkalla e kontaktit që roboti/vetëshërbimi zgjidh pa ia dorëzuar atë njeriut. Por vetëm kjo është mashtruese; duhet lexuar së bashku me zgjidhjen (kurthi në njësinë 8).
  • Shkalla e zgjidhjes së botit: Kontaktet që roboti i zgjidhi në të vërtetë (klienti u largua i kënaqur) - nuk "mbetën në bot".
  • Shkalla e qarkullimit dhe arsyeja: Sa është transferuar dhe pse (Njësia 10).
  • Saktësia e përgjigjes: Shkalla në të cilën përgjigjet e dhëna nga roboti/asistenti janë të sakta - e matur me marrjen e mostrave dhe mbikëqyrjen njerëzore.
  • Adoptimi: Shkalla me të cilën agjentët përdorin sugjerimet e ndihmës së agjentëve (Njësia 6).
  • Saktësia e përmbledhjes: Shkalla me të cilën korrigjohen përmbledhjet/etiketat e automatizuara me miratim njerëzor (Njësia 4).
  • Shkalla e halucinacioneve/gabimeve: Frekuenca e përgjigjeve të sajuara ose të pasakta - objektivi afër zeros.
Këshillë: Çiftoni çdo metrikë të AI me një "stabilizues cilësie". Vetëm "përmbajtja e lartë" nuk është e mirë; "përmbajtja është e lartë DHE kënaqësia e zgjidhjes së robotëve është e lartë" është e mirë. Asnjëherë mos e ndani metrikën e efikasitetit nga metrika e cilësisë.

Cikli i përmirësimit të vazhdueshëm

Një program i mirë i AI është një rrotë rrotulluese, jo një projekt i vetëm. Cikli klasik PDCA (Plan-Do-Check-Act; PDCA) funksionon këtu:

  1. Plani: Cilin metrikë do të përmirësoni dhe pse? Vendosni një objektiv (p.sh. "rrisni shkallën e zgjidhjes së bot-it në kthimet nga 60% në 75%).
  2. Aplikoni: Bëni ndryshimin (shtoni artikullin e bazës së njohurive, rregulloni rrjedhën, përmirësoni kërkesën).
  3. Kontrollo: A është përmirësuar vërtet metrika? A ka efekte anësore (a është prishur ndonjë metrikë tjetër)?
  4. Merrni masa paraprake: Nëse funksionon, bëjeni të përhershëm; Nëse nuk funksionon, merre përsëri dhe mëso.

Lënda djegëse për këtë cikël janë të dhënat: regjistrat “nuk e di” (Njësia 5), ​​arsyet e qarkullimit (Njësia 10), flukset e dështuara (Njësia 8), bisedat me rezultate të ulëta (Njësia 7). Këto burime ju tregojnë se ku të përmirësoheni.

Kujdes: modelet e AI dhe sjellja e klientëve ndryshojnë me kalimin e kohës; Kjo quhet drift. Një robot që punon 95% me saktësi sot mund të përkeqësohet në heshtje nëse baza e tij e njohurive bëhet e vjetëruar ose ndryshon modeli i pyetjeve të klientit. Kjo është arsyeja pse matja nuk është një herë, por e vazhdueshme. Ajo që nuk mat në heshtje prishet.

Katër shabllone të kopjueshëm

1) Dizajni i pultit të KPI:

Krijoni një draft pulti mujor të KPI për programin AI të qendrës sime të thirrjeve. Për çdo metrikë: përkufizimi, objektivi, metrika kompensuese, burimi i të dhënave, pragu i alarmit (alarmi mbi/nën këtë vlerë). Metrikë: AHT, FCR, CSAT, kontrolli, shkalla e zgjidhjes së robotëve, shkalla e qarkullimit, saktësia e përgjigjes. Mos jepni numra fiktive; Vendosni një shabllon në mënyrë që të plotësoj fushat.

2) Interpretimi metrik (shkaku rrënjësor):

Interpretoni të dhënat e KPI më poshtë si një analist CX. (1) Ndryshimi më i dukshëm, (2) shkaku i mundshëm rrënjësor HIPOTEZAT (provoni), (3) çfarë metrike tjetër të shikoni (kompensimi), (4) 2 veprime të sugjeruara. Merrni numrat nga të dhënat; Shënoni hipotezat si "duhet të konfirmohen". Të dhënat: <<...>>

3) Vlerësimi i krahasimit A/B:

Krahasoni dy versionet e bot/transmetimit (A dhe B) me këto të dhëna: <<të dhënat>>. Cili është më i mirë në përmbajtje, shkallën e zgjidhjes së bot-it dhe CSAT? A duket i rëndësishëm ndryshimi apo është i vogël/zhurmë? A është fitimi i produktivitetit në kurriz të humbjes së cilësisë? Jepni një rekomandim të qartë, por gjithashtu vini në dukje çdo pasiguri.

4) Përmbledhja e komenteve të përmirësimit të vazhdueshëm:

Kombinoni burimet e mëposhtme të përmirësimit (nuk e di regjistrin, arsyet e dorëzimit, rrjedhat e dështuara). Jepni përparësi 3 mundësive të përmirësimit të ndikimit më të lartë: problemi / metrika e prekur / ndryshimi i propozuar / ndikimi i pritshëm. Mbështetuni vetëm në të dhëna. Burimet: <<...>>

Prompt i dobët / Prompt i fortë

Njoftim i dobët:

Më thuaj nëse shifrat e këtij muaji janë të mira apo të këqija.

E paqartë: cila metrikë, cili objektiv, cili stabilizues, cili shkak kryesor - prodhon një gjykim sipërfaqësor dhe mashtrues.

Njoftim i fuqishëm:

Këtë muaj, kontrolli u rrit nga 58% në 71%, por CSAT ra nga 4.1 në 3.6 dhe shkalla e qarkullimit u ul nga 30% në 19%. Interpretoni këtë grafik: a erdhi rritja e produktivitetit në kurriz të kënaqësisë së klientit (mund të mbeten klientët në kurth në robot)? Me cilat të dhëna duhet të verifikoj? Sugjeroni 2 veprime.

Dallimi: çështja e metrikës, balancimit dhe vërtetimit është e qartë; Interpretimi ka kuptim (këtu ka një sinjal kurthi "ngujimi" pasi rritja e kontrollit vjen me uljen e CSAT).

tre mini kuti

Rasti 1 - Kurthi i gabuar metrikë. Një qendër thirrjesh shpërbleu vetëm AHT. Agjentët e mbyllën telefonin tek klientët pa i zgjidhur ata për të shkurtuar kohën; Në afat të shkurtër, AHT ra me 15%, por thirrjet e përsëritura u rritën me 28% dhe FCR u rrëzua. Barra totale dhe kostoja në fakt janë rritur. Bilanci u vendos kur AHT, FCR dhe CSAT u monitoruan së bashku. Mësimi: një metrikë gënjen.

Rasti 2 - Zhvendosje e heshtur. Një bot i një banke funksionoi pa problem për 6 muaj, askush nuk e mati. Kur dolën produkte të reja, baza e njohurive mbeti pas; Saktësia e robotëve ra në mënyrë të padukshme nga 94% në 79%, dhe ankesat u rritën. Pasi u vendos matja e rregullt e saktësisë, rrëshqitja u kap herët. Mësimi: sistemi që nuk matet në heshtje prishet.

Rasti 3 - Fuqia e ciklit shërues. Një kompani e-commerce zgjodhi 3 përmirësimet me ndikimin më të lartë çdo muaj (nga nuk e di log + arsyet e qarkullimit + flukset e dështuara) me një cikël mujor PDCA. Në 6 muaj, shkalla e zgjidhjes së bot-it u rrit nga 52% në 74%, CSAT nga 3.8 në 4.4 - jo në një zbulim të madh, por në përmirësime të vogla, të matura njëri pas tjetrit. Përmirësimi i vazhdueshëm vjen nga qëndrueshmëria, jo nga hapat dhe kufijtë.

Gabimet e zakonshme

  • Duke u fokusuar në një metrikë të vetme. Ndjekja e AHT ose vetëm frenimi degradon cilësinë; Çdo metrikë duhet të ketë një stabilizues.
  • Shkëputja e metrikës së produktivitetit nga cilësia. "Boti zgjidh shumë" dhe "klienti është i kënaqur" janë dy gjëra të ndryshme; Lexoni së bashku.
  • Vendoseni një herë dhe lëreni të shkojë. Drift është i heshtur; Matja e vazhdueshme është një domosdoshmëri.
  • Duke e konsideruar vetëm CSAT si reale. Një shkallë e ulët e përgjigjes mashtron EVSB-në; Shihni kush e plotësoi.
  • Nuk lidh përmirësimin me të dhënat. Jepini përparësi të dhënave "nuk e di log/dorëzimi/rrjedhë të dështuar", jo intuitës.

Në përmbledhje

Matja dhe përmirësimi i vazhdueshëm e transformojnë AI nga një instalim një herë në një sistem të gjallë. Gjurmo KPI-të klasike (AHT, FCR, CSAT, NPS, CES) dhe metrikat specifike të AI (përmbajtje, shpejtësia e zgjidhjes së robotëve, saktësia e përgjigjeve, përdorimi i rekomandimeve) së bashku; lexoni çdo metrikë të produktivitetit me një stabilizues të cilësisë; Asnjëherë mos u fiksoni në një metrikë të vetme. Përmirësojeni vazhdimisht me qarkun PDCA dhe përdorni regjistrat "nuk e di", arsyet e qarkullimit dhe rrjedhat e dështuara si lëndë djegëse për qarkun. Mbani mend: modelet dhe klientët lëvizin me kalimin e kohës; Ajo që nuk mat në heshtje prishet.

Detyra e aplikimit

Dizenjoni një panel kontrolli KPI për programin tuaj të AI që përbëhet nga 7 metrikë; për çdo metrikë, vendosni një përkufizim, objektiv, metrikë kompensuese dhe pragun e alarmit (përdorni shabllonin "1) pulti i KPI"). Më pas krijoni një grup të dhënash fiktive mujore dhe kryeni analizën e shkakut rrënjësor me shabllonin "2) Interpretimi metrikë. Së fundi, jepni përparësi 3 përmirësimeve me ndikimin më të lartë për muajin e ardhshëm me "4) Përmbledhje e komenteve të përmirësimit të vazhdueshëm".

listë kontrolli

  • [ ] Unë gjurmoj KPI-të klasike dhe metrikat specifike të AI së bashku.
  • [ ] Çdo metrikë produktiviteti ka një stabilizues të cilësisë; Unë nuk fokusohem në një metrikë të vetme.
  • [ ] Kam lexuar normën e zgjidhjes së përmbajtjes/botit së bashku me kënaqësinë e klientit.
  • [ ] Mat saktësinë e përgjigjes dhe lëviz rregullisht.
  • [ ] Unë bëj përmirësim të vazhdueshëm, të drejtuar nga të dhënat me ciklin PDCA.
  • [ ] Unë i jap përparësi përmirësimeve me regjistrin "nuk e di", arsyet e dorëzimit dhe rrjedhat e dështuara.