Unitate 7 / 12

Analiza sentimentelor și managementul calității: QA cu Speech Analytics

Câștiguri:

  • Abilitatea de a citi tendințele individuale și agregate cu analiza sentimentelor și analiza vorbirii și de a utiliza scorurile ca semnale, mai degrabă decât fapte absolute
  • Abilitatea de a scana 100% din conversații cu un punctaj obiectiv și de a produce o evaluare preliminară bazată pe dovezi, lăsând în același timp decizia finală în seama umanului
  • Capacitatea de a stabili sistemul calității cu transparență și departe de cultura penală în scopul dezvoltării și îmbunătățirii experienței

Există mii de conversații în fiecare zi într-un call center, dar prin metoda clasică, echipa de calitate nu poate decât să asculte și să evalueze o mică parte dintre ele (1-2% în majoritatea locurilor). Asta înseamnă că 98% din conversații se pierd fără a fi niciodată examinate; Chiar dacă un client este maltratat sau un reprezentant oferă în mod repetat informații false, nimeni nu poate observa. Inteligența artificială schimbă radical această imagine: poate citi și evalua fiecare conversație. În această unitate, vom acoperi două subiecte conexe: analiza sentimentelor (măsurarea tonului emoțional al clientului și al reprezentantului) și managementul calității (QA - Asigurarea calității; evaluarea conformității conversațiilor cu standardele).

Primii doi termeni. Analiza sentimentelor este tonul emoțional pozitiv, negativ sau neutru al unui text sau discurs; Este pentru a detecta automat situații precum furia, satisfacția și anxietatea. Analiza vorbirii (analitica interacțiunii) este de a analiza toate conversațiile în mod colectiv și de a extrage tendințe, subiecte frecvente, riscuri și oportunități. Împreună, oferă centrului de apel „urechi care aud”: generând sens din mii de conversații pe care managerul nu le poate asculta individual.

Analiza sentimentelor: păstrarea pulsului

Analiza sentimentelor funcționează pe două niveluri. Nivel singular: arată tonul general al unei conversații („clientul a început supărat, în cele din urmă s-a calmat”) și punctele de cotitură. Nivel agregat: extrage tendințe precum „sentimentul negativ în creștere cu 18% în această săptămână, în principal despre „factura”” din mii de conversații. Aceste informații sunt de aur: prinde un val în creștere de furie, o problemă cu un produs sau confuzie cu privire la o nouă campanie devreme.

Cu toate acestea, analiza sentimentelor nu este perfectă. În limba turcă, sarcasmul, ironia și idiomurile pot induce în eroare modelul (propoziția „Mulțumesc mult, servicii grozave!” poate fi spusă cu furie). De asemenea, scorul de sentiment este un semnal, nu adevărul definitiv. Așadar, utilizați analiza sentimentelor nu pentru a pedepsi reprezentantul individual, ci pentru a vedea tendințele și a evidenția conversațiile care necesită atenție.

Sfat: utilizați analiza sentimentelor ca „alerta”, nu „judecata”. Un singur scor negativ nu condamnă un reprezentant; dar o tendință de negativitate în creștere indică o zonă care trebuie examinată. Verificați semnalul cu un om.

Managementul calității: evaluare 100% în loc de 1%

În QA clasic, un expert în calitate punctează câteva apeluri selectate aleatoriu cu un formular de evaluare (fișă de punctaj – elemente precum „a fost salutul dat, identitatea verificată, a fost soluția oferită, a fost potrivită încheierea”). Această metodă suferă de dimensiuni reduse ale eșantionului, subiectivitate și probleme de întârziere. În QA susținut de inteligență artificială, modelul evaluează automat toate conversațiile în funcție de elementele din tabloul de bord; Ce articol lipsește, ce discursuri sunt riscante, ce reprezentant ar trebui susținut pe ce problemă - le arată pe toate.

Punct critic: scorul QA al AI este o evaluare și o indicație preliminară, nu o evaluare finală. AI spune că „această conversație pare să fi omis pasul de autentificare”; Expertul în calitate examinează aceste conversații marcate și ia decizia finală. Așadar, în loc să asculte mii de conversații, expertul se concentrează pe conversațiile riscante/exemplare pe care AI ​​le semnalează - atât mai corecte, cât și mai cuprinzătoare.

Următorul tabel compară cele două abordări:

Dimensiune

QA clasic

QA alimentat de AI

Domeniul de aplicare

1-2% din conversații

100% scanat

Durata

Încet, ascultând de mână

Scanare instantanee

Consecvență

Variază în funcție de expert

Aplicat în mod constant criteriului

subiectivitatea

înalt

Criteriul este clar, semnal + om

decizie finală

expert

Expert (se concentrează pe AI)

Risc

Probleme de scăpare

Semn fals (trebuie verificat)

Pas cu pas: program de calitate bazat pe inteligență artificială

  1. Clarificați tabelul de punctaj: scrieți elementele de evaluare în mod obiectiv și măsurabil (nu vagi, cum ar fi „a acționat cu curtență”, dar clar, cum ar fi „a salutat clientul după nume/adresa adecvată”).
  2. Dați AI criteriile: Evaluați fiecare conversație ca fiind „terminată/nefinalizată/neclară” în funcție de aceste elemente; Ai arătat propoziția de probă.
  3. Evidențiați-le pe cele riscante: aduceți expertului conversații cu scoruri scăzute, supărate sau cu risc de conformitate.
  4. Expertul confirmă: scorul final și feedback-ul aparțin omului; Locurile pe care AI le numește „incerte” sunt cu siguranță disponibile pentru oameni.
  5. Transformă-l în coaching: folosește constatările pentru dezvoltarea agenților - axat pe îmbunătățire, nu pe pedeapsă.

Patru șabloane copiabile

1) Evaluare card de punctaj:

Evaluează următoarea conversație anonimă în funcție de următoarele elemente. Pentru fiecare articol: dați status=[terminat/nefinalizat/neclar] și o propoziție DOVĂ (citat din conversație). Dacă nu există dovezi, spuneți „neclar”; ghicire. Elemente: 1) Salutare adecvată 2) Autentificare 3) Înțelegerea problemei4) Informație/soluție corectă 5) Informații obligatorii 6) Închidere politicoasă. Discurs: <<descifrare>>

2) Analiza sentimentelor și a punctului de cotitură:

Desenați mai jos traiectoria emoțională a conversației anonime.- Tonul de început, tonul de final (calm/furios/anxios/mulțumit),- Momentul în care emoția S-A SCHIMBAT și de ce (cu citat),- Au existat semne de furie/criză, cum a gestionat agentul?Rețineți posibila ironie/sarcasm; Dacă nu ești sigur, spune „neclar”. Discurs: <<transcriere>>

3) Raport de tendință agregată:

Mai jos sunt etichetele de conversație anonime și scorurile de sentimente din această săptămână. (1) Subiectul cu cea mai mare creștere a emoțiilor negative, (2) ipoteza cauzei principale posibile (demonstrați), (3) 3 subiecte recomandate pentru a fi examinate. Luați numerele din date, nu le inventați; marcați ipotezele ca „trebuie confirmate”.Date: <<tabel rezumativ>>

4) Rezumat de coaching (dezvoltare agent):

Produceți o notă de coaching axată pe dezvoltare, non-punitivă pentru ONE reprezentant, pe baza următoarelor conversații evaluate. - Puncte forte (2), - Domeniu de îmbunătățire (2, cu exemple concrete), - 1 micro-scop propus. Judecata personală/utilizarea etichetelor.Date: <<evaluări de vorbire>>

Prompt slab / Prompt puternic

Prompt slab:

Evaluați dacă acest reprezentant este bun sau rău.

Subiectiv, fără criterii, fără probe, punitiv; Produce o „judecată” nedreaptă și de neapărat.

Solicitare puternică:

Evaluați această conversație anonimă în funcție de tabelul de punctaj cu 6 articole; Pentru fiecare articol, citați finalizat/nefinalizat/neclar + DOVENDE din discurs. Dacă nu există dovezi, spuneți „neclar”. Eu (expertul în calitate) voi lua decizia finală; faci doar o evaluare preliminară cu dovezi.

Diferența: criteriul este clar, dovezile sunt obligatorii, incertitudinea este sinceră, decizia finală revine persoanei.

trei mini cutii

Cazul 1 — Puterea unei acoperiri de 100%. La o bancă, echipa QA ar putea asculta ~ 1.200 de conversații pe lună (1,5% din total). Toate cele 80.000 de conversații au fost scanate cu AI; Se pare că pasul de autentificare a fost omis în 6% din timp - un risc de conformitate care nu ar fi văzut niciodată cu eșantionarea clasică. Cu coaching-ul vizat, rata a scăzut la mai puțin de 1% în 2 luni.

Cazul 2 — Capcana ironiei. Într-un centru de comerț electronic, modelul emoțional a considerat drept „pozitive” propoziții ironice precum „ești grozav, am așteptat de 3 zile”; așa că unii clienți supărați păreau „mulțumiți”. Când modelul nu a fost făcut singurul decident și scorurile au fost verificate prin eșantionare cu ochiul uman, echipa a marcat separat cazurile de ironie și fiabilitatea rapoartelor a crescut. Lecție: scorul de sentiment este un semnal, nu un adevăr absolut.

Cazul 3 – Avertizare timpurie. Analiza vorbirii la o telecom a arătat că sentimentul negativ în jurul „facturii” a crescut cu 40% în 3 zile, începând de marți. Ancheta a arătat că facturile au fost reflectate incorect în tranziția la un nou tarif. Problema a fost surprinsă și rezolvată de un semnal emoțional timpuriu înainte ca mii de plângeri să se acumuleze. Analytics a devenit un sistem de avertizare timpurie, precum și un instrument de calitate.

Greșeli comune

  • Considerând scorul de emoție drept adevăr absolut. Ironia, limbajul și contextul induc în eroare modelul; Utilizați scorul ca semnal, verificați cu un om.
  • Făcând scorul AI decizia finală. În QA, evaluarea finală și feedback-ul aparțin umanului; AI avansează.
  • Elemente vagi din tabloul de bord. „S-a purtat bine” nu poate fi măsurat; Scrie elemente obiective, verificabile.
  • Transformarea QA într-un instrument de pedeapsă. Scopul este dezvoltarea și experiența clienților; Cultura pedepsei reduce la tăcere agentul și corupă datele.
  • Evaluare fără dovezi. Fiecare constatare ar trebui să fie susținută de un citat din discurs; În caz contrar, ar trebui să fie numit „neclar”.
Atenție: Măsurarea tuturor conversațiilor cu AI este puternică, dar sensibilă. Transformarea acestuia într-un sistem care monitorizează și pedepsește în mod constant angajații este neetic și distruge încrederea echipei. Scopul este de a îmbunătăți experiența clienților și dezvoltarea agenților; Transparența și concentrarea asupra dezvoltării sunt esențiale.

Pe scurt

Analiza sentimentelor și managementul calității bazat pe inteligență artificială oferă centrului de apeluri urechi să audă mii de conversații: scanarea a 100% din eșantion în loc de 1%, identificarea tendințelor devreme și menținerea evaluării calității consecvente. Dar scorul de sentiment este un semnal, nu adevărul absolut; În QA, decizia finală aparține omului. Scrieți tabelul de punctaj în mod obiectiv, atribuiți fiecare constatare unor dovezi, lăsați incertitudinea oamenilor și stabiliți întregul sistem cu transparență, în scopul dezvoltării și îmbunătățirii experienței, nu pedepsei.

Sarcina de aplicare

Creați un punctaj obiectiv cu 6 itemi (fiecare item ar trebui să fie măsurabil și demonstrabil). Luați o transcriere fictivă/anonimă și aplicați șabloanele „1) Evaluare Scorecard” și „2) Analiza sentimentelor”. Evidențiați zonele în care modelul spune „ambiguu” sau unde ar putea exista ironie și scrieți cum ar trebui să le verifice un expert uman. În cele din urmă, produceți o notă axată pe dezvoltare cu „4) Rezumatul instruirii”.

lista de verificare

  • [ ] Elementele mele din fișa de bord sunt obiective, măsurabile și verificabile.
  • [ ] Screening preliminar al evaluării AI; Decizia finală QA și feedback-ul aparțin omului.
  • [ ] Folosesc scorurile de sentiment ca semnale, nu ca adevăr absolut.
  • [ ] Fiecare constatare este susținută de o citare a dovezilor din conversație; altfel „neclar”.
  • [ ] Am configurat sistemul în scopul dezvoltării și îmbunătățirii experienței, nu a pedepsei.
  • [ ] Scopul și domeniul de aplicare al analizei au fost explicate în mod transparent angajaților.