Jednotka 7 / 12

Analýza sentimentu a manažment kvality: QA s analýzou reči

zisky:

  • Schopnosť čítať individuálne a súhrnné trendy pomocou analýzy sentimentu a reči a používať skóre ako signály, a nie ako absolútne fakty
  • Schopnosť naskenovať 100 % konverzácií pomocou objektívneho prehľadu výsledkov a vytvoriť predbežné hodnotenie založené na dôkazoch, pričom konečné rozhodnutie ponecháva na človeka
  • Schopnosť zaviesť systém kvality transparentne a mimo trestnoprávnej kultúry za účelom rozvoja a zlepšovania skúseností

V call centre sa denne uskutočnia tisíce rozhovorov, ale klasickou metódou si kvalitný tím dokáže vypočuť a ​​vyhodnotiť len malú časť z nich (vo väčšine miest 1-2 %). To znamená, že 98 % konverzácií sa stratí bez toho, aby boli preskúmané; Aj keď sa so zákazníkom zle zaobchádza alebo zástupca opakovane uvádza nepravdivé informácie, nikto si to nemusí všimnúť. Umelá inteligencia tento obraz radikálne mení: dokáže prečítať a vyhodnotiť každú konverzáciu. V tejto časti sa budeme venovať dvom súvisiacim témam: analýze sentimentu (meranie emocionálneho tónu zákazníka a zástupcu) a manažmentu kvality (QA - Quality Assurance; hodnotenie súladu rozhovorov s normami).

Prvé dva termíny. Analýza sentimentu je pozitívny, negatívny alebo neutrálny emocionálny tón textu alebo reči; Má automaticky odhaliť situácie ako hnev, spokojnosť a úzkosť. Analýza reči (analytika interakcií) má analyzovať všetky konverzácie kolektívne a extrahovať trendy, časté témy, riziká a príležitosti. Spoločne dávajú call centru „počutie“: generujú význam z tisícok rozhovorov, ktoré manažér nemôže samostatne počúvať.

Analýza sentimentu: udržiavanie pulzu

Analýza sentimentu funguje na dvoch úrovniach. Jednotná úroveň: zobrazuje všeobecný tón rozhovoru („zákazník sa začal hnevať, nakoniec sa upokojil“) a body zlomu. Súhrnná úroveň: extrahuje trendy ako „negatívny sentiment vzrástol tento týždeň o 18 %, väčšinou o „účte“ z tisícok konverzácií. Táto informácia je zlatá: čoskoro zachytí stúpajúci príliv hnevu, problém s produktom alebo zmätok v súvislosti s novou kampaňou.

Analýza sentimentu však nie je dokonalá. V turečtine môže sarkazmus, irónia a idiómy zavádzať model (veta „Ďakujem veľmi pekne, skvelé služby!“ mohla byť vyslovená v hneve). Skóre sentimentu je tiež signálom, nie konečnou pravdou. Analýzu sentimentu teda nepoužívajte na potrestanie jednotlivých zástupcov, ale na zistenie trendov a zdôraznenie konverzácií, ktoré si vyžadujú pozornosť.

Tip: Analýzu sentimentu používajte ako „pozornosť“, nie ako „úsudok“. Jediné negatívne skóre neodsudzuje zástupcu; ale stúpajúci trend negativity naznačuje oblasť, ktorú treba preskúmať. Overte signál s človekom.

Riadenie kvality: 100% hodnotenie namiesto 1%

V klasickom QA odborník na kvalitu ohodnotí niekoľko náhodne vybraných hovorov pomocou hodnotiaceho formulára (scorecard – položky ako „bol pozdrav poskytnutý, identita overená, bolo ponúknuté riešenie, bolo vhodné ukončenie“). Táto metóda má problémy s malou veľkosťou vzorky, subjektivitou a oneskorením. V QA s podporou umelej inteligencie model automaticky vyhodnocuje všetky konverzácie podľa položiek bodovacej karty; Ktorý článok chýba, ktoré prejavy sú riskantné, ktorý zástupca by mal byť podporovaný v akej problematike – to všetko ukazuje.

Kritický bod: Skóre QA AI je predbežným skríningom a indikáciou, nie konečným hodnotením. AI ​​hovorí „zdá sa, že táto konverzácia preskočila autentifikačný krok“; Odborník na kvalitu preskúma tieto označené rozhovory a urobí konečné rozhodnutie. Takže namiesto počúvania tisícok konverzácií sa odborník zameriava na rizikové/príkladné konverzácie, ktoré AI ​​označuje – spravodlivejšie a komplexnejšie.

Nasledujúca tabuľka porovnáva tieto dva prístupy:

Veľkosť

Klasická QA

QA poháňaná AI

Rozsah

1-2% konverzácií

100% naskenované

Trvanie

Pomalé, ručné počúvanie

Okamžité skenovanie

Dôslednosť

Líši sa v závislosti od odborníka

Neustále uplatňované na kritérium

subjektívnosť

vysoká

Kritérium je jasné, signál + človek

konečné rozhodnutie

odborník

Expert (zameriava sa na AI)

Riziko

Problémy s únikom

Falošný znak (treba overiť)

Krok za krokom: Program kvality poháňaný AI

  1. Objasnenie výsledkovej listiny: Hodnotiace položky píšte objektívne a merateľne (nie vágne ako „správali sa zdvorilo“, ale jasne ako „pozdravte zákazníka menom/vhodnou adresou“).
  2. Poskytnite AI kritériá: Každú konverzáciu ohodnoťte ako „hotovú/nedokončenú/nejasnú“ podľa týchto položiek; Ukázal si dôkaznú vetu.
  3. Zvýraznite tie rizikové: Priveďte rozhovory s nízkym skóre, nahnevané rozhovory alebo rozhovory s rizikom súladu s odborníkom.
  4. Expert potvrdzuje: Konečné skóre a spätná väzba patrí človeku; Miesta, ktoré AI nazýva „neisté“, sú ľuďom určite dostupné.
  5. Premeňte to na koučovanie: Využite zistenia na rozvoj agentov – zameraných na zlepšenie, nie na trestanie.

Štyri kopírovateľné šablóny

1) Hodnotenie skóre:

Vyhodnoťte nasledujúci anonymný rozhovor podľa nasledujúcich položiek. Ku každej položke: uveďte status=[hotovo/nedokončené/nejasné] a vetu DÔKAZ (citát z rozhovoru). Ak neexistujú dôkazy, povedzte „nejasné“; hádanie.Položky: 1) Vhodný pozdrav 2) Autentifikácia 3) Pochopenie problému4) Správna informácia/riešenie 5) Povinná informácia 6) Zdvorilé zatvorenie.Prejav: <<dešifrovanie>>

2) Analýza sentimentu a bodu zlomu:

Nižšie nakreslite emocionálnu trajektóriu anonymnej konverzácie.- Začiatočný tón, koncový tón (pokojný/nahnevaný/úzkostný/spokojný),- Moment, kedy sa emócia ZMENILA a prečo (s citátom),- Boli nejaké známky hnevu/krízy, ako to agent zvládol?Všimnite si možnú iróniu/sarkazmus; Ak si nie ste istý, povedzte „nejasné“. Reč: <<prepis>>

3) Súhrnný prehľad trendov:

Nižšie sú uvedené anonymné konverzačné značky a skóre sentimentu z tohto týždňa. (1) Najviac rastúca téma negatívnych emócií, (2) možná hypotéza hlavnej príčiny (dokázať), (3) 3 témy odporúčané na preskúmanie. Berte čísla z údajov, nevymýšľajte si ich; označte hypotézy ako „musí byť potvrdené“.Údaje: <<súhrnná tabuľka>>

4) Zhrnutie koučingu (vývoj agenta):

Vytvorte trénerskú poznámku zameranú na rozvoj, ktorá nie je trestná pre JEDNOHO zástupcu na základe nasledujúcich vyhodnotených rozhovorov. - Silné stránky (2), - Oblasť zlepšenia (2, s konkrétnymi príkladmi), - 1 navrhovaný mikrocieľ. Osobný úsudok/používanie označení.Údaje: <<hodnotenia prejavu>>

Slabá výzva / Silná výzva

Slabá výzva:

Ohodnoťte, či je tento zástupca dobrý alebo zlý.

Subjektívne, bez kritérií, bez dôkazov, represívne; Vytvára nespravodlivý a neobhájiteľný „rozsudok“.

Výkonná výzva:

Vyhodnoťte túto anonymnú konverzáciu podľa 6-bodovej bodovacej karty; Pri každej položke citujte hotovo/neurobil/nejasno + DÔKAZY z prejavu. Ak neexistujú dôkazy, povedzte „nejasné“. Ja (odborník na kvalitu) urobím konečné rozhodnutie; urobíte len predbežné hodnotenie s dôkazmi.

Rozdiel: kritérium je jasné, dôkazy sú povinné, neistota je úprimná, konečné rozhodnutie je na osobe.

tri mini prípady

Prípad 1 — Sila 100% pokrytia. V jednej banke si tím QA mohol vypočuť ~ 1 200 konverzácií za mesiac (1,5 % z celkového počtu). Všetkých 80 000 konverzácií bolo naskenovaných pomocou AI; Ukázalo sa, že krok autentifikácie bol vynechaný v 6 % prípadov – riziko súladu, ktoré by sa pri klasickom vzorkovaní nikdy nevyskytlo. Pri cielenom koučingu miera klesla na menej ako 1 % za 2 mesiace.

Prípad 2 – Ironická pasca. V e-commerce centre považoval model emócií ironické vety typu „ste super, čakám už 3 dni“ za „pozitívne“; takže niektorí nahnevaní zákazníci vyzerali "spokojne". Keď model nebol jediným rozhodovateľom a skóre sa overovalo vzorkovaním ľudským okom, tím označil prípady irónie oddelene a spoľahlivosť správ sa zvýšila. Ponaučenie: skóre sentimentu je signál, nie absolútna pravda.

Prípad 3 – Včasné varovanie. Analýza reči v jednom telekomu ukázala, že negatívny sentiment okolo „účtu“ sa za 3 dni, počnúc utorkom, zvýšil o 40 %. Prešetrovaním sa zistilo, že pri prechode na novú tarifu sa nesprávne premietli faktúry. Problém bol zachytený a opravený včasným signálom emócií skôr, ako sa nahromadili tisíce sťažností. Analýza sa stala systémom včasného varovania a zároveň nástrojom kvality.

Časté chyby

  • Považovať skóre emócií za absolútnu pravdu. Irónia, idióm a kontext zavádzajú model; Použite skóre ako signál, overte ho s človekom.
  • Urobiť konečné rozhodnutie skóre AI. V QA patrí konečné hodnotenie a spätná väzba človeku; AI napreduje.
  • Nejasné položky bodovacej karty. „Správal sa dobre“ sa nedá merať; Napíšte objektívne a overiteľné položky.
  • Premena QA na nástroj na trestanie. Cieľom je vývoj a zákaznícka skúsenosť; Kultúra trestu umlčuje agenta a kazí údaje.
  • Hodnotenie bez dôkazov. Každé zistenie by malo byť podložené citátom z prejavu; V opačnom prípade by sa to malo nazývať „nejasné“.
Upozornenie: Meranie všetkých konverzácií pomocou AI je výkonné, ale citlivé. Premeniť to na systém, ktorý neustále monitoruje a trestá zamestnancov, je neetické a zároveň ničí dôveru tímu. Cieľom je zlepšiť zákaznícku skúsenosť a rozvoj agentov; Transparentnosť a zameranie na rozvoj sú nevyhnutné.

V súhrne

Analýza sentimentu a riadenie kvality poháňané umelou inteligenciou umožňujú call centru počuť tisíce konverzácií: skenovanie 100 % vzorky namiesto 1 %, včasné zachytenie trendov a konzistentné hodnotenie kvality. Ale skóre sentimentu je signál, nie absolútna pravda; V QA patrí konečné rozhodnutie človeku. Napíšte bodovaciu kartu objektívne, pripisujte každé zistenie dôkazom, neistotu ponechajte na ľudí a celý systém zaveďte transparentne, s cieľom rozvoja a zlepšovania skúseností, nie trestov.

Aplikačná úloha

Navrhnite cieľovú bodovaciu kartu so 6 položkami (každá položka by mala byť merateľná a preukázateľná). Urobte si fiktívny/anonymný prepis a aplikujte šablóny „1) Hodnotenie výsledkovej karty“ a „2) Analýza sentimentu“. Zvýraznite oblasti, kde model hovorí „nejednoznačne“ alebo kde môže byť irónia, a napíšte, ako by ich mal overiť odborník na ľudí. Nakoniec vytvorte poznámku zameranú na vývoj so „4) Súhrnom koučingu“.

kontrolný zoznam

  • [ ] Položky v mojej tabuľke sú objektívne, merateľné a overiteľné.
  • [ ] Predbežná kontrola hodnotenia AI; Konečné rozhodnutie o kontrole kvality a spätná väzba je na človeku.
  • [ ] Skóre sentimentu používam ako signály, nie ako absolútnu pravdu.
  • [ ] Každé zistenie je podložené citáciou dôkazov z rozhovoru; inak "nejasne".
  • [ ] Systém som nastavil za účelom rozvoja a zlepšovania skúseností, nie trestania.
  • [ ] Zamestnancom bol transparentne vysvetlený účel a rozsah analýzy.