Enhet 11 / 12

Måling, KPI og kontinuerlig forbedring: Hva skal overvåkes og hvordan?

Gevinster:

  • Evne til å lese klassiske KPIer (AHT, FCR, CSAT, NPS, CES) og AI-spesifikke beregninger med en kvalitetsbalanser for hvert produktivitetsmål
  • Evne til å måle svarnøyaktighet og drift regelmessig og unngå fellen med å låse seg til en enkelt metrikk
  • Evne til å utføre kontinuerlige forbedringer basert på 'jeg vet ikke'-logging, omsetningsårsaker og mislykkede flyter med PDCA-syklus

Den farligste feilen når AI går inn i et kundesenter er å si "vi installerte det, det ser ut som det fungerer, det er nok". En bot, assistent eller selvbetjeningsflyt er ikke perfekt i det øyeblikket den går live og den blir ikke der; Det må hele tiden måles, overvåkes og forbedres. Dessuten er sporing av feil metrikk noen ganger mer skadelig enn å ikke spore riktig metrikk - fordi det sender deg løpende i feil retning. I denne enheten vil vi se nøkkelindikatorer for callsenter (KPIer), AI-spesifikke beregninger og hvordan man etablerer en kontinuerlig forbedringssyklus.

Først en advarsel: beregninger er et middel til å oppnå et mål, ikke målet i seg selv. Målet er å løse kundens problem godt og effektivt. Hvis du jager én beregning (f.eks. AHT) isolert, vil representanter avbryte samtalen uten å løse kunden, og det virkelige formålet vil bli skadet. Dette kalles metrics besettelse; Les hver beregning med en motvekt.

Grunnleggende KPI-er for callsenter

KPI (Key Performance Indicator) er et tall som måler ytelsen til en prosess. De mest grunnleggende i kundesenteret:

KPI

Hvilke tiltak

balanseren

AHT (gjennomsnittlig behandlingstid)

Varighet av kontakt

FCR, CSAT (kort, men ikke uløselig)

FCR (Oppløsning ved første kontakt)

Engangsløsning

CSAT (ikke si at du har løst det og ikke løst det)

CSAT (kundetilfredshet)

Score etter kontakt

Svarprosent (det vil være misvisende hvis få personer fyller ut)

NPS (anbefalingspoeng)

Lojalitet/anbefaling

Grunnårsak (hvorfor lav?)

CES (Customer Effort Score)

Hvor vanskelig var kunden

SL (Service Level)

% anrop besvart på x sekunder

Avbruddsrate

Avbruddsfrekvens (avbrudd)

Samtale igjen på vent

SL, nedkjøling

CES (Customer Effort Score) måler hvor hardt kunden prøver å løse problemet sitt; lav innsats er sterkt assosiert med høy troskap. En kunde som sier «jeg løste det enkelt» er ofte mer verdifullt enn å si «jeg er veldig fornøyd».

AI-spesifikke beregninger

Ved siden av klassiske KPIer, er spesielle beregninger for AI-applikasjoner lagt til:

  • Containment / deflection rate: Kontakthastigheten som boten/selvbetjeningen løser uten å overlate den til mennesket. Men det alene er å lure; bør leses sammen med løsningen (fellen i enhet 8).
  • Botoppløsningshastighet: Kontakter som boten faktisk løste (kunden forlot fornøyd) — ikke "forble i boten".
  • Omsetningshastighet og årsak: Hvor mye overføres og hvorfor (Enhet 10).
  • Svarnøyaktighet: Hastigheten som svarene gitt av boten/assistenten er riktige - målt ved prøvetaking og menneskelig tilsyn.
  • Adopsjon: Hastigheten som agenter bruker forslag til agenthjelp med (enhet 6).
  • Oppsummeringsnøyaktighet: Hastigheten som automatiserte oppsummeringer/tagger korrigeres med ved menneskelig godkjenning (enhet 4).
  • Hallusinasjons-/feilfrekvens: Hyppighet av oppdiktede eller feil svar — mål nær null.
Tips: Par hver AI-beregning med en "kvalitetsstabilisator." "Containment high" alene er ikke bra; "inneslutningen er høy OG tilfredsheten med botløsningen er høy" er bra. Aldri skille effektivitetsberegningen fra kvalitetsberegningen.

Kontinuerlig forbedringssyklus

Et godt AI-program er et snurrehjul, ikke et engangsprosjekt. Den klassiske PDCA-syklusen (Plan-Do-Check-Act; PDCA) fungerer her:

  1. Plan: Hvilken beregning vil du forbedre og hvorfor? Sett et mål (f.eks. «øk bot-oppløsningsraten på avkastning fra 60 % til 75 %).»
  2. Bruk: Gjør endringen (legg til kunnskapsbaseelement, fiks flyt, forbedre spørsmål).
  3. Sjekk: Har beregningen faktisk blitt bedre? Er det bivirkninger (er noen andre beregninger ødelagte)?
  4. Ta forholdsregler: Hvis det fungerer, gjør det permanent; Hvis det ikke fungerer, ta det tilbake og lær.

Drivstoffet for denne syklusen er data: «vet ikke»-logger (enhet 5), årsaker til omsetning (enhet 10), mislykkede strømmer (enhet 8), samtaler med lav score (enhet 7). Disse ressursene forteller deg hvor du kan forbedre deg.

Forsiktig: AI-modeller og kundeadferd endres over tid; Dette kalles drift. En bot som fungerer 95 % nøyaktig i dag, kan stille seg dårligere hvis kunnskapsbasen blir utdatert eller kundens spørsmålsmønster endres. Derfor er målingen ikke engang, men kontinuerlig. Det du ikke måler går stille i stykker.

Fire kopierbare maler

1) KPI-dashborddesign:

Lag et utkast til månedlig KPI-dashbord for AI-programmet for callsenteret mitt. For hver beregning: definisjon, mål, forskyvningsberegning, datakilde, varselterskel (alarm over/under denne verdien). Beregninger: AHT, FCR, CSAT, inneslutning, botløsningshastighet, omsetningshastighet, svarnøyaktighet. Ikke oppgi fiktive tall; Sett opp en mal slik at jeg fyller ut feltene.

2) Metrisk tolkning (grunnårsak):

Tolk KPI-dataene nedenfor som en CX-analytiker.(1) Den mest bemerkelsesverdige endringen, (2) mulige grunnårsak HYPOTESER (bevis), (3) hvilken annen beregning du bør se på (offset), (4) 2 foreslåtte handlinger. Få tallene fra dataene; Merk hypoteser som "må bekreftes". Data: <<...>>

3) A/B-sammenligningsevaluering:

Sammenlign to bot/stream-versjoner (A og B) med disse dataene: <<data>>. Hvilken er best når det gjelder inneslutning, bot-oppløsningshastighet og CSAT? Virker forskjellen betydelig eller er den mindre/støy? Går produktivitetsgevinst på bekostning av kvalitetstap? Gi en klar anbefaling, men påpek også eventuelle usikkerhetsmomenter.

4) Sammendrag av tilbakemeldinger om kontinuerlig forbedring:

Kombiner følgende forbedringsressurser (vet ikke loggen, årsaker til overlevering, mislykkede flyter). Prioriter de tre forbedringsmulighetene med størst effekt: problem / berørt beregning / foreslått endring / forventet effekt. Bare stol på data. Kilder: <<...>>

Svak forespørsel / Sterk forespørsel

Svak melding:

Fortell meg om denne månedens tall er gode eller dårlige.

Uklart: hvilken metrikk, hva målet, hva stabilisatoren, hva som er grunnårsaken - produserer en overfladisk og misvisende vurdering.

Kraftig ledetekst:

Denne måneden økte inneslutningen fra 58 % til 71 %, men CSAT falt fra 4,1 til 3,6, og omsetningshastigheten sank fra 30 % til 19 %. Tolk dette diagrammet: gikk produktivitetsøkningen på bekostning av kundetilfredshet (kan kundene være fanget i boten)? Hvilke data bør jeg verifisere med? Foreslå 2 handlinger.

Forskjellen: Spørsmålet om metrikk, balansering og validering er klart; Tolkningen gir mening (her er det et "inneslutning"-fellesignal siden inneslutningsøkningen kommer med CSAT-reduksjonen).

tre minisaker

Tilfelle 1 – Feil metrisk felle. Ett kundesenter belønnet kun AHT. Agenter la på kunder uten å løse dem for å korte ned tiden; På kort sikt falt AHT 15 %, men gjentatte anrop økte med 28 % og FCR kollapset. Den totale belastningen og kostnadene har faktisk økt. Balanse ble etablert når AHT, FCR og CSAT ble overvåket sammen. Leksjon: en metrikk løgner.

Tilfelle 2 - Stille drift. En banks bot fungerte uten problemer i 6 måneder, ingen målte den. Da nye produkter kom, ble kunnskapsbasen liggende igjen; Bots nøyaktighet falt umerkelig fra 94 % til 79 %, og klagene økte. Når vanlig nøyaktighetsmåling ble etablert, ble glidning fanget tidlig. Leksjon: systemet som ikke måles bryter stille sammen.

Tilfelle 3 - Kraften i helbredelsessyklusen. Et e-handelsselskap valgte de 3 forbedringene med størst effekt hver måned (fra vet ikke-logg + omsetningsårsaker + mislykkede flyter) med en månedlig PDCA-syklus. På 6 måneder økte botoppløsningsraten fra 52 % til 74 %, CSAT fra 3,8 til 4,4 – ikke i ett stort gjennombrudd, men i små, målte forbedringer etter hverandre. Kontinuerlig forbedring kommer fra konsistens, ikke sprang og grenser.

Vanlige feil

  • Fokuserer på én enkelt beregning. Å forfølge AHT eller inneslutning alene forringer kvaliteten; Hver metrikk må ha en stabilisator.
  • Koble produktivitetsmålet fra kvalitet. «Botten løser mye» og «kunden er fornøyd» er to forskjellige ting; Les sammen.
  • Sett den opp en gang og la den gå. Drift er stille; Kontinuerlig måling er et must.
  • Vurderer CSAT alene som ekte. En lav svarprosent villeder CSAT; Se hvem som har fylt ut.
  • Ikke koble forbedring til data. Prioriter med "vet ikke logg/overlevering/mislykket flyt"-data, ikke intuisjon.

Oppsummert

Måling og kontinuerlig forbedring forvandler AI fra en engangsinstallasjon til et levende system. Spor klassiske KPIer (AHT, FCR, CSAT, NPS, CES) og AI-spesifikke beregninger (containment, bot-løsningsrate, svarnøyaktighet, anbefalingsbruk) sammen; les hver produktivitetsmåling med en kvalitetsstabilisator; Fest aldri på en enkelt metrikk. Forbedre kontinuerlig med PDCA-sløyfen og bruk «vet ikke»-logger, omsetningsårsaker og mislykkede strømmer som drivstoff for sløyfen. Husk: modeller og kunder driver over tid; Det du ikke måler, forfaller stille.

Søknadsoppgave

Design et KPI-dashbord for ditt eget AI-program bestående av 7 beregninger; for hver beregning, angi en definisjon, mål, forskyvningsberegning og varslingsterskel (bruk malen "1) KPI-dashbord". Lag deretter et fiktivt månedlig datasett og utfør rotårsaksanalyse med malen "2) Metrisk tolkning". Til slutt, prioriter de 3 forbedringene med størst effekt for neste måned med "4) Sammendrag av tilbakemeldinger om kontinuerlig forbedring".

sjekkliste

  • [ ] Jeg sporer klassiske KPIer og AI-spesifikke beregninger sammen.
  • [ ] Hver produktivitetsmåling har en kvalitetsstabilisator; Jeg fokuserer ikke på en enkelt beregning.
  • [ ] Jeg leste raten for inneslutning/botløsning sammen med kundetilfredshet.
  • [ ] Jeg måler svarnøyaktighet og drift regelmessig.
  • [ ] Jeg gjør kontinuerlige, datadrevne forbedringer med PDCA-syklusen.
  • [ ] Jeg prioriterer forbedringer med "vet ikke"-loggen, overleveringsårsaker og mislykkede flyter.