Sentimendi analüüs ja kvaliteedijuhtimine: kvaliteedi tagamine kõneanalüüsiga

Kasu:

• Võimalus lugeda individuaalseid ja koondsuundumusi sentimentanalüüsi ja kõneanalüütika abil ning kasutada hindeid pigem signaalidena kui absoluutsete faktidena
• Võimalus skannida 100% vestlusi objektiivse tulemuskaardiga ja anda tõenduspõhine eelhinnang, jättes samal ajal lõpliku otsuse inimese teha
• Võimalus luua kvaliteedisüsteem läbipaistvalt ja karistuskultuurist eemal arenemise ja kogemuste täiustamise eesmärgil

Kõnekeskuses toimub iga päev tuhandeid vestlusi, kuid klassikalisel meetodil saab kvaliteedimeeskond kuulata ja hinnata vaid väikest osa (enamikus kohtades 1-2%). See tähendab, et 98% vestlustest läheb kaotsi, ilma et neid kunagi uuritaks; Isegi kui klienti koheldakse halvasti või esindaja annab korduvalt valeandmeid, ei pruugi keegi seda märgata. Tehisintellekt muudab seda pilti radikaalselt: see suudab lugeda ja hinnata iga vestlust. Selles üksuses käsitleme kahte seotud teemat: sentimentanalüüs (kliendi ja esindaja emotsionaalse tooni mõõtmine) ja kvaliteedijuhtimine (QA - Quality Assurance; vestluste standarditele vastavuse hindamine).

Esimesed kaks terminit. Sentimentanalüüs on teksti või kõne positiivne, negatiivne või neutraalne emotsionaalne toon; Selle eesmärk on tuvastada automaatselt selliseid olukordi nagu viha, rahulolu ja ärevus. Kõneanalüütika (interaktsioonianalüütika) eesmärk on analüüsida kõiki vestlusi ühiselt ning välja võtta trendid, sagedased teemad, riskid ja võimalused. Üheskoos annavad nad kõnekeskusele "kuulmiskõrvad": loovad tähenduse tuhandetest vestlustest, mida juht ei saa eraldi kuulata.

Tundeanalüüs: pulsi hoidmine

Tundeanalüüs toimib kahel tasandil. Ainsuse tase: näitab vestluse üldist tooni (“klient hakkas vihaseks, lõpuks rahunes”) ja pöördepunkte. Koondtase: eraldab tuhandetest vestlustest sellised trendid nagu "negatiivne meeleolu tõusis sel nädalal 18%, peamiselt arve kohta". See teave on kuldne: see tabab varakult kasvavat viha, tooteprobleemi või segadust uue kampaania suhtes.

Sentimentide analüüs pole aga täiuslik. Türgi keeles võivad sarkasm, iroonia ja idioomid modelli eksitada (lause "Aitäh väga, suurepärane teenindus!" võis olla vihaselt öeldud). Samuti on sentimentide skoor signaal, mitte lõplik tõde. Seetõttu kasutage sentimentide analüüsi mitte üksikute esindajate karistamiseks, vaid suundumuste nägemiseks ja tähelepanu vajavate vestluste esiletõstmiseks.

Näpunäide: kasutage sentiment-analüüsi "hoiatusena", mitte "hinnanguna". Üksainus negatiivne punktisumma ei mõista esindajat hukka; kuid kasvav negatiivsuse trend viitab valdkonnale, mis vajab uurimist. Kontrollige signaali inimesega.

Kvaliteedijuhtimine: 100% hinnang 1% asemel

Klassikalises kvaliteedikontrollis hindab kvaliteediekspert mõned juhuslikult valitud kõned hindamisvormiga (tulemuskaart – näiteks „kas tervitus anti, identiteet kontrolliti, kas pakuti lahendust, kas sulgemine oli sobiv”). See meetod kannatab väikese valimi suuruse, subjektiivsuse ja viivitusega seotud probleemide tõttu. Tehisintellekti toetatud kvaliteedikontrollis hindab mudel automaatselt kõiki vestlusi tulemuskaardi üksuste järgi; Milline artikkel on puudu, millised sõnavõtud on riskantsed, millist esindajat millises küsimuses toetada – see näitab neid kõiki.

Kriitiline punkt: tehisintellekti kvaliteedikontrolli skoor on esialgne sõeluuring ja näidustus, mitte lõplik hinnang. AI ütleb, et see vestlus on autentimisetapi vahele jätnud; Kvaliteedekspert vaatab need märgilised vestlused läbi ja teeb lõpliku otsuse. Nii et selle asemel, et kuulata tuhandeid vestlusi, keskendub ekspert riskantsetele/eeskujulikele vestlustele, mida tehisintellekt märgib – nii õiglasem kui ka põhjalikum.

Järgmises tabelis võrreldakse kahte lähenemisviisi.

Suurus

Klassikaline QA

AI-toega QA

Ulatus

1-2% vestlustest

100% skannitud

Kestus

Aeglane, käsitsi kuulamine

Kiire skannimine

Järjepidevus

Erineb sõltuvalt eksperdist

Pidevalt rakendatud kriteeriumile

subjektiivsus

kõrge

Kriteerium on selge, signaal + inimene

lõplik otsus

asjatundja

Ekspert (keskendub AI-le)

Risk

Probleemidest pääsemine

Valemärk (tuleb kontrollida)

Samm-sammult: AI-toega kvaliteediprogramm

1. Täpsustage tulemuskaarti: kirjutage hindamiselemendid objektiivselt ja mõõdetavalt (mitte ebamääraselt, nagu "käiti viisakalt", vaid selgelt, nagu "tervitas klienti nime/sobiva aadressiga").
2. Andke tehisintellektile kriteeriumid: hinnake iga vestlust nende üksuste järgi kui "tehtud/tegemata/ebaselge"; Sa näitasid tõestuslauset.
3. Tõstke esile riskantsed: viige eksperdiga madala punktisummaga, vihased või vastavusriskiga vestlused.
4. Ekspert kinnitab: Lõppskoor ja tagasiside kuuluvad inimesele; Kohad, mida tehisintellekt nimetab "ebakindlateks", on kindlasti inimestele kättesaadavad.
5. Muutke see juhendamiseks: kasutage tulemusi agentide arendamiseks – keskenduge täiustamisele, mitte karistamisele.

Neli kopeeritavat malli

1) Tulemuskaardi hinnang:

Hinnake järgmist anonüümset vestlust järgmiste punktide järgi. Iga üksuse kohta: andke staatus=[tehtud/pole tehtud/ebaselge] ja EVIDENCE-lause (tsitaat vestlusest). Kui tõendeid pole, öelge "ebaselge"; oletamine.Üksused: 1) Sobiv tervitus 2) Autentimine 3) Probleemi mõistmine4) Õige teave/lahendus 5) Kohustuslik teave 6) Viisakas sulgemine.Kõne: <<dešifreerimine>>

2) Sentiment ja pöördepunktide analüüs:

Joonistage allpool anonüümse vestluse emotsionaalne trajektoor.- Algustoon, lõputoon (rahulik/vihane/ärevus/rahulolu),- Hetk, mil emotsioon MUUTUS ja miks (tsitaadiga),- Kas oli märke vihast/kriisist, kuidas agent sellega toime tuli?Märkige ära võimalik iroonia/sarkasm; Kui te pole kindel, öelge "ebaselge". Kõne: <<transkriptsioon>>

3) Trendide koondaruanne:

Allpool on selle nädala anonüümsete vestluste sildid ja sentimentide hinded. (1) Enim kasvav negatiivsete emotsioonidega teema, (2) võimalik algpõhjuse hüpotees (tõesta), (3) 3 teemat, mida soovitatakse uurida. Võtke numbrid andmetest, ärge mõelge neid välja; märgi hüpoteesid kui "tuleb kinnitada".Andmed: <<kokkuvõtlik tabel>>

4) Coachingu kokkuvõte (agendi arendamine):

Koostage järgmiste hinnatud vestluste põhjal arengukeskne, mitte karistav juhendamismärkus ÜHE esindaja jaoks. - Tugevused (2), - Parendusvaldkonnad (2, konkreetsete näidetega), - 1 soovitatud mikroeesmärk. Isiklik hinnang/siltide kasutamine.Andmed: <<kõne hinnangud>>

Nõrk viip / Tugev viip

Nõrk viip:

Hinnake, kas see esindaja on hea või halb.

Subjektiivne, ilma kriteeriumideta, ilma tõenditeta, karistav; See annab ebaõiglase ja õigustamatu "kohtuotsuse".

Võimas viip:

Hinda seda anonüümset vestlust 6-punktilise tulemuskaardi järgi; Iga punkti juures tsitaat tehtud/tegemata/ebaselge + TÕEND kõnest. Kui tõendeid pole, öelge "ebaselge". Mina (kvaliteediekspert) teen lõpliku otsuse; sa lihtsalt teed esialgse hinnangu koos tõenditega.

Erinevus: kriteerium on selge, tõendid kohustuslikud, ebakindlus aus, lõpliku otsuse teeb inimene.

kolm minikarpi

Juhtum 1 – 100% katvuse võimsus. Ühes pangas suutis QA meeskond kuulata ~1200 vestlust kuus (1,5% koguarvust). Kõik 80 000 vestlust skanniti tehisintellektiga; Selgub, et autentimisetapp jäeti vahele 6% juhtudest – see on vastavusrisk, mida klassikalise proovivõtu puhul kunagi ei nähtaks. Sihtotstarbelise juhendamisega langes määr 2 kuuga alla 1%.

Juhtum 2 – iroonialõks. Ühes e-kaubanduskeskuses pidas emotsioonimudel "positiivseks" iroonilisi lauseid nagu "sa oled suurepärane, ma ootan 3 päeva"; nii mõnedki vihased kliendid tundusid "rahul olevat". Kui mudelist ei tehtud ainuotsustajat ja hindeid kontrolliti inimsilmaga proovide võtmisega, märkis meeskond irooniajuhtumid eraldi ja aruannete usaldusväärsus suurenes. Õppetund: sentiment-skoor on signaal, mitte absoluutne tõde.

Juhtum 3 – varajane hoiatamine. Ühe telekomi kõneanalüütika näitas, et negatiivne meeleolu "arve" ümber kasvas 3 päevaga alates teisipäevast 40%. Uurimise käigus selgus, et uuele tariifile üleminekul kajastusid arved valesti. Probleemi tabas ja parandas varane emotsioonisignaal, enne kui kogunes tuhandeid kaebusi. Analyticsist on saanud nii varajase hoiatamise süsteem kui ka kvaliteeditööriist.

Levinud vead

• Pidades emotsioonide skoori absoluutseks tõeks. Iroonia, idioom ja kontekst eksitavad mudelit; Kasutage skoori signaalina, kontrollige inimesega.
• Lõpliku otsuse teeb AI-skoor. QA puhul kuulub lõplik hindamine ja tagasiside inimesele; AI edeneb.
• Ebamäärased tulemuskaardi üksused. "Ta käitus hästi" ei saa mõõta; Kirjutage objektiivsed, kontrollitavad üksused.
• QA muutmine karistuse vahendiks. Eesmärk on areng ja kliendikogemus; Karistamise kultuur vaigistab agendi ja rikub andmeid.
• Hindamine ilma tõenditeta. Iga leidu peaks toetama tsitaat kõnest; Vastasel juhul tuleks seda nimetada "ebaselgeks".

Ettevaatust. Kõigi vestluste mõõtmine AI-ga on võimas, kuid tundlik. Selle muutmine pidevalt töötajaid jälgivaks ja karistavaks süsteemiks on nii ebaeetiline kui ka hävitab meeskonna usaldust. Eesmärk on parandada kliendikogemust ja agendi arengut; Läbipaistvus ja arengukesksus on hädavajalikud.

Kokkuvõttes

Sentimentanalüüs ja tehisintellektil põhinev kvaliteedijuhtimine annavad kõnekeskusele kõrvad tuhandete vestluste kuulamiseks: 100% valimi skannimine 1% asemel, trendide varane tabamine ja kvaliteedihinnangu järjepidevuse hoidmine. Kuid sentiment-skoor on signaal, mitte absoluutne tõde; QA puhul teeb lõpliku otsuse inimene. Kirjutage tulemuskaart objektiivselt, omistage iga leid tõenditele, jätke ebakindlus inimestele ja looge kogu süsteem läbipaistvalt, eesmärgiga arendada ja kogemusi parandada, mitte karistada.

Rakenduse ülesanne

Kujundage objektiivne tulemuskaart 6 punktiga (iga üksus peaks olema mõõdetav ja tõestatav). Tehke fiktiivne/anonüümne ärakiri ja rakendage mallid "1) Tulemuskaardi hindamine" ja "2) Sentimentanalüüs". Tõstke esile valdkonnad, kus mudel ütleb "mitmetähenduslik" või kus võib olla irooniat, ja kirjutage, kuidas inimekspert peaks neid kontrollima. Lõpuks koostage arendusele keskendunud memo koos "4) Treeneri kokkuvõttega".

kontrollnimekiri

• [ ] Minu tulemuskaardi üksused on objektiivsed, mõõdetavad ja kontrollitavad.
• [ ] AI hindamise esialgne sõeluuring; Lõpliku kvaliteedikontrolli otsuse ja tagasiside teeb inimene.
• [ ] Ma kasutan sentimentide hindeid signaalidena, mitte absoluutse tõena.
• [ ] Iga leidu toetab vestluse tõendite tsitaat; muidu "ebaselge".
• [ ] Seadistan süsteemi arendamise ja kogemuste täiustamise, mitte karistamise eesmärgil.
• [ ] Töötajatele selgitati läbipaistvalt analüüsi eesmärki ja ulatust.