Mérés, KPI és folyamatos fejlesztés: mit kell figyelni és hogyan?

Nyereség:

• Klasszikus KPI-k (AHT, FCR, CSAT, NPS, CES) és mesterséges intelligencia-specifikus mutatók beolvasása minőségkiegyenlítővel minden egyes termelékenységi mérőszámhoz
• Képes a válaszok pontosságának és sodródásának rendszeres mérésére, és elkerülhető az egyetlen mérőszámba való bezáródás csapdája
• Folyamatos fejlesztési képesség a „nem tudom” naplózás, a forgalmi okok és a hibás áramlások alapján a PDCA ciklussal

A legveszélyesebb hiba, amikor a mesterséges intelligencia belép egy call centerbe, ha azt mondják: "mi telepítettük, úgy néz ki, hogy működik, ez elég". Egy bot, asszisztens vagy önkiszolgáló folyamat nem tökéletes abban a pillanatban, amikor élesben indul, és nem marad ott; Folyamatosan mérni, ellenőrizni és javítani kell. Ráadásul a rossz mérőszám követése néha károsabb, mintha nem követné a megfelelő mérőszámot – mert rossz irányba fut. Ebben az egységben a call center kulcsfontosságú mutatóit (KPI), az AI-specifikus mérőszámokat, valamint a folyamatos fejlesztési ciklus létrehozásának módját láthatjuk.

Először is egy figyelmeztetés: a mérőszámok a cél elérésének eszközei, nem pedig maga a cél. A cél az, hogy az ügyfél problémáját jól és hatékonyan oldják meg. Ha egy mérőszámot (pl. AHT) elszigetelten üldöz, a képviselők az ügyfél feloldása nélkül megszakítják a hívást, és a valódi cél sérül. Ezt nevezik metrika megszállottságnak; Olvasson minden mérőszámot ellensúlyozással.

Alapvető call center KPI-k

A KPI (Key Performance Indicator) egy olyan szám, amely egy folyamat teljesítményét méri. A legalapvetőbbek a call centerben:

KPI

Milyen intézkedéseket

az egyensúlyozó

AHT (átlagos feldolgozási idő)

A kapcsolattartás időtartama

FCR, CSAT (rövid, de nem oldhatatlan)

FCR (Resolution at First Contact)

Egyszeri megoldás

CSAT (ne mondd, hogy megoldottad, és ne oldd meg)

CSAT (ügyfél-elégedettség)

Kapcsolatfelvétel utáni pontszám

Válaszadási arány (félrevezető lesz, ha kevesen töltik ki)

NPS (ajánlási pontszám)

Hűség/ajánlás

Kiváltó ok (miért alacsony?)

CES (Customer Effort Score)

Milyen nehéz volt az ügyfél

—

SL (szolgáltatási szint)

% hívás fogadott x másodpercen belül

Elhagyási arány

Elhagyási arány (abandon)

A hívás tartásban maradt

SL, lehűlés

A CES (Customer Effort Score) azt méri, hogy az ügyfél mennyire próbálja megoldani problémáját; az alacsony erőfeszítés erősen összefügg a nagy hűséggel. Egy ügyfél azt mondja, hogy "könnyen megoldottam" gyakran értékesebb, mint azt, hogy "nagyon elégedett vagyok".

AI-specifikus mérőszámok

A klasszikus KPI-k mellett az AI-alkalmazások speciális mérőszámai is hozzáadásra kerülnek:

• Elzárási / eltérítési arány: Az a kapcsolattartási sebesség, amelyet a bot/önkiszolgáló megold anélkül, hogy átadná az embernek. De ez önmagában megtévesztés; az oldattal együtt kell olvasni (a csapda a 8. részben).
• Botfelbontási arány: Azok a névjegyek, amelyeket a bot ténylegesen megoldott (az ügyfél elégedetten távozott) – nem „maradtak a botban”.
• Forgási arány és oka: Mennyit utalnak át és miért (10. egység).
• Válasz pontossága: A bot/asszisztens által adott válaszok helyességének aránya – mintavétellel és emberi felügyelettel mérve.
• Elfogadás: Az a sebesség, amellyel az ügynökök az ügynöksegítő javaslatokat használják (6. egység).
• Összegzés pontossága: Az automatizált összesítések/címkék emberi jóváhagyással történő javításának sebessége (4. egység).
• Hallucinációk/hibaarány: kitalált vagy helytelen válaszok gyakorisága – cél közel nullához.

Tipp: Minden mesterséges intelligencia-mutatót párosítson egy „minőségstabilizátorral”. Önmagában a "magas elszigetelés" nem jó; "A bezártság magas ÉS a bot-megoldással való elégedettség magas" jó. Soha ne válassza szét a hatékonysági mutatót a minőségi mutatótól.

Folyamatos fejlesztési ciklus

A jó mesterséges intelligencia program egy forgó kerék, nem egyszeri projekt. A klasszikus PDCA-ciklus (Plan-Do-Check-Act; PDCA) itt működik:

1. Terv: Melyik mutatót javítja és miért? Állítson be egy célt (pl. „Növelje a robotfeloldási arányt a hozamok 60%-ról 75%-ra”).
2. Alkalmazás: Végezze el a módosítást (tudásbázis elem hozzáadása, folyamat javítása, prompt javítása).
3. Ellenőrzés: Valóban javult a mutató? Vannak mellékhatásai (sérültek-e más mutatók)?
4. Tegyen óvintézkedéseket: Ha működik, tegye véglegessé; Ha nem megy, vedd vissza és tanulj.

Ennek a ciklusnak az üzemanyaga az adatok: „nem tudom” naplók (5. fejezet), forgalom okai (10. fejezet), sikertelen áramlások (8. fejezet), alacsony pontszámú beszélgetések (7. fejezet). Ezek a források megmondják, hol lehet javítani.

Figyelem: az AI-modellek és az ügyfelek viselkedése idővel változik; Ezt hívják sodródásnak. Egy ma 95%-ban pontosan működő bot csendben leromolhat, ha a tudásbázisa elavulttá válik, vagy megváltozik a vásárlói kérdések mintája. Éppen ezért a mérés nem egyszeri, hanem folyamatos. Amit nem mérsz, az csendben tönkremegy.

Négy másolható sablon

1) KPI műszerfal kialakítása:

Készítsen havi KPI-műszerfal vázlatot a call center AI programomhoz. Minden metrika esetében: definíció, cél, eltolási mérőszám, adatforrás, riasztási küszöb (riasztás ezen érték felett/alatt). Mérőszámok: AHT, FCR, CSAT, elszigetelés, bot-megoldási arány, forgási sebesség, válaszpontosság. Ne adjon meg fiktív számokat; Állíts be egy sablont, hogy kitöltsem a mezőket.

2) A metrika értelmezése (kiváltó ok):

Értelmezze az alábbi KPI-adatokat, mint egy CX-elemző.(1) Legszembetűnőbb változás, (2) lehetséges kiváltó ok HIPOTÉZISEK (bizonyítás), (3) milyen más mérőszámot kell megnézni (eltolás), (4) 2 javasolt művelet. Szerezze meg a számokat az adatokból; Jelölje meg a hipotéziseket „meg kell erősíteni”-ként. Adatok: <<...>>

3) A/B összehasonlítás értékelése:

Hasonlítson össze két bot/adatfolyam verziót (A és B) ezekkel az adatokkal: <<adat>>. Melyik a jobb elszigetelés, botfelbontási sebesség és CSAT tekintetében? Jelentősnek tűnik a különbség, vagy csekély/zaj? A termelékenység növekedése a minőségromlás rovására megy? Adjon egyértelmű ajánlást, de mutasson rá minden bizonytalanságra.

4) A folyamatos fejlesztés visszajelzéseinek összefoglalója:

Kombinálja a következő fejlesztési erőforrásokat (nem tudom napló, átadás-átvétel okai, sikertelen folyamok). Részesítse előnyben a 3 legnagyobb hatásnövelési lehetőséget: probléma / érintett mutató / javasolt változtatás / várható hatás. Csak hagyatkozzon az adatokra. Források: <<...>>

Gyenge felszólítás / Erős felszólítás

Gyenge felszólítás:

Mondja meg, jók-e vagy rosszak az e havi számok.

Nem világos: melyik mérőszám, mi a cél, mi a stabilizátor, mi a kiváltó ok – felületes és félrevezető ítéletet eredményez.

Erőteljes felszólítás:

Ebben a hónapban az elszigetelés 58%-ról 71%-ra nőtt, de a CSAT 4,1-ről 3,6-ra, a forgalom pedig 30%-ról 19%-ra csökkent. Értelmezze ezt a diagramot: vajon a termelékenység növekedése a vevői elégedettség rovására ment (lehet, hogy az ügyfelek a botban rekedtek)? Milyen adatokkal kell igazolnom? Javasoljon 2 műveletet.

A különbség: a mérőszámok, az egyensúlyozás és az érvényesítés kérdése egyértelmű; Az értelmezésnek van értelme (itt van egy "bezárás" csapdajel, mivel a visszatartás növekedése a CSAT csökkenésével jár).

három mini tok

1. eset – Rossz metrikus csapda. Egy telefonközpont csak AHT-t kapott. Az ügynökök felakasztották az ügyfeleket anélkül, hogy megoldották volna őket, hogy lerövidítsék az időt; Rövid távon az AHT 15%-ot esett, de az ismételt hívások 28%-kal nőttek, az FCR pedig összeomlott. A teljes teher és költség valójában nőtt. Az egyensúly az AHT, az FCR és a CSAT együttes monitorozásával jött létre. Tanulság: egy metrikus hazugság.

2. eset – Csendes sodródás. Egy bank botja 6 hónapig gond nélkül működött, senki nem mérte. Amikor új termékek jelentek meg, a tudásbázis elmaradt; A robotok pontossága észrevehetetlenül 94%-ról 79%-ra csökkent, a panaszok száma pedig nőtt. A rendszeres pontosságú mérést követően a csúszást korán észlelték. Tanulság: a nem mért rendszer csendben tönkremegy.

3. eset – A gyógyulási ciklus ereje. Egy e-kereskedelmi vállalat minden hónapban kiválasztotta a 3 legnagyobb hatású fejlesztést (a nem tudom naplóból + forgalmi okokból + sikertelen áramlásokból) havi PDCA ciklussal. 6 hónap alatt a botfeloldási ráta 52%-ról 74%-ra, a CSAT 3,8-ról 4,4-re nőtt – nem egy nagy áttörésben, hanem egymás után kisebb, mért fejlesztésekben. A folyamatos fejlődés a következetességből fakad, nem az ugrásból.

Gyakori hibák

• Egyetlen mérőszámra összpontosítva. Az AHT követése vagy az elszigetelés önmagában rontja a minőséget; Minden mérőszámnak rendelkeznie kell stabilizátorral.
• A termelékenységi mutató szétválasztása a minőségtől. „A bot sok mindent megold” és „az ügyfél elégedett” két különböző dolog; Együtt olvasni.
• Állítsa be egyszer, és engedje el. A sodródás néma; A folyamatos mérés kötelező.
• Egyedül a CSAT-ot tekintve valódinak. Az alacsony válaszadási arány félrevezeti a CSAT-ot; Nézze meg, ki töltötte ki.
• Nem kapcsolódik a fejlesztés az adatokhoz. A „nem tudom, napló/átadás/hiba áramlás” adatokkal adjon prioritást, ne az intuíciót.

Összefoglalva

A mérés és a folyamatos fejlesztés az AI-t egyszeri telepítésből élő rendszerré alakítja. Kövesse nyomon a klasszikus KPI-ket (AHT, FCR, CSAT, NPS, CES) és az AI-specifikus mérőszámokat (elzárás, botmegoldási arány, válaszpontosság, ajánláshasználat); olvassa el az egyes termelékenységi mutatókat minőségstabilizátorral; Soha ne ragaszkodjon egyetlen mérőszámhoz. Folyamatosan javítsa a PDCA hurkot, és használja a „nem tudom” naplókat, a forgalom okait és a meghibásodott áramlásokat a hurok üzemanyagaként. Ne feledje: a modellek és az ügyfelek idővel sodródnak; Amit nem mérsz, az csendben elmúlik.

Pályázati feladat

Tervezze meg a KPI irányítópultját saját AI-programjához, amely 7 mérőszámból áll; minden metrikához adjon meg egy definíciót, célt, ellensúlyozó mérőszámot és riasztási küszöböt (használja az „1) KPI irányítópult” sablont). Ezután hozzon létre egy fiktív havi adatkészletet, és végezze el a kiváltó ok elemzését a „2) Metric interpretation” sablonnal. Végül a következő hónap 3 legnagyobb hatású fejlesztését helyezze előtérbe a „4) Folyamatos fejlesztés visszajelzéseinek összefoglalójával”.

ellenőrző lista

• [ ] A klasszikus KPI-ket és az AI-specifikus mérőszámokat együtt követem nyomon.
• [ ] Minden termelékenységi mutatónak van minőségstabilizátora; Nem koncentrálok egyetlen mérőszámra sem.
• [ ] Elolvastam az elzárás/bot megoldás arányát az ügyfelek elégedettségével együtt.
• [ ] Rendszeresen mérem a válaszok pontosságát és sodródok.
• [ ] Folyamatos, adatvezérelt fejlesztést végzek a PDCA ciklussal.
• [ ] A "nem tudom" naplóval, az átadás-átvételi okokkal és a sikertelen folyamatokkal kapcsolatos fejlesztéseket előnyben részesítem.