Unità 7 / 12

Analiżi tas-Sentiment u Ġestjoni tal-Kwalità: QA ma Speech Analytics

Qligħ:

  • Kapaċità li taqra xejriet individwali u aggregati b'analiżi tas-sentimenti u analiżi tad-diskors u tuża punteġġi bħala sinjali aktar milli fatti assoluti
  • Kapaċità li tiskennja 100% tal-konversazzjonijiet b'karta ta' valutazzjoni oġġettiva u tipproduċi evalwazzjoni preliminari bbażata fuq l-evidenza, filwaqt li d-deċiżjoni finali tħalli f'idejn il-bniedem
  • Kapaċità li tistabbilixxi sistema ta 'kwalità bi trasparenza u 'l bogħod mill-kultura penali għall-iskop ta' żvilupp u titjib fl-esperjenza

Hemm eluf ta 'konversazzjonijiet kuljum f'call center, iżda bil-metodu klassiku, it-tim ta' kwalità jista 'biss jisma' u jevalwa parti żgħira minnhom (1-2% f'ħafna postijiet). Dan ifisser li 98% tal-konversazzjonijiet jintilfu mingħajr qatt ma jiġu eżaminati; Anke jekk klijent jiġi ttrattat ħażin jew rappreżentant ripetutament jagħti informazzjoni falza, ħadd ma jista’ jinduna. L-intelliġenza artifiċjali tbiddel radikalment din l-istampa: tista 'taqra u tevalwa kull konverżazzjoni. F'din l-unità, se nkopru żewġ suġġetti relatati: analiżi tas-sentimenti (kejl tat-ton emozzjonali tal-klijent u r-rappreżentant) u ġestjoni tal-kwalità (QA - Assigurazzjoni tal-Kwalità; valutazzjoni tal-konformità ta 'konversazzjonijiet ma' standards).

L-ewwel żewġ termini. L-analiżi tas-sentiment hija t-ton emozzjonali pożittiv, negattiv jew newtrali ta’ test jew diskors; Huwa biex tiskopri awtomatikament sitwazzjonijiet bħal rabja, sodisfazzjon u ansjetà. L-analiżi tad-diskors (analitika tal-interazzjoni) hija li tanalizza l-konversazzjonijiet kollha kollettivament u tiġbed tendenzi, suġġetti frekwenti, riskji u opportunitajiet. Flimkien, jagħtu liċ-ċentru tat-telefonati "widnejn li jisimgħu": jiġġeneraw tifsira minn eluf ta 'konversazzjonijiet li l-maniġer ma jistax jisma' individwalment.

Analiżi tas-sentiment: iż-żamma tal-polz

L-analiżi tas-sentimenti taħdem fuq żewġ livelli. Livell singolari: juri t-ton ġenerali ta 'konversazzjoni ("il-klijent beda rrabjat, eventwalment ikkalma") u punti ta' bidla. Livell aggregat: estratti xejriet bħal "sentiment negattiv sa 18% din il-ġimgħa, l-aktar dwar 'kont'" minn eluf ta 'konversazzjonijiet. Din l-informazzjoni hija tad-deheb: taqbad mewġa dejjem tikber ta’ rabja, kwistjoni ta’ prodott, jew konfużjoni dwar kampanja ġdida kmieni.

Madankollu, l-analiżi tas-sentiment mhix perfetta. Bit-Tork, sarkasm, ironija u idjomi jistgħu jqarrqu bil-mudell (is-sentenza "Grazzi ħafna, servizz kbir!" setgħet intqalet b'rabja). Ukoll, il-punteġġ tas-sentiment huwa sinjal, mhux il-verità definittiva. Allura uża l-analiżi tas-sentiment mhux biex tikkastiga lir-rappreżentant individwali, iżda biex tara xejriet u tenfasizza konversazzjonijiet li jeħtieġu attenzjoni.

Tip: Uża l-analiżi tas-sentimenti bħala "twissija", mhux "ġudizzju." Punteġġ negattiv wieħed ma jikkundannax rappreżentant; iżda xejra ta' negattività li qed tiżdied tindika qasam li jeħtieġ li jiġi eżaminat. Ivverifika s-sinjal bil-bniedem.

Ġestjoni tal-kwalità: evalwazzjoni 100% minflok 1%

Fil-QA klassika, espert ta 'kwalità punteġġi ftit sejħiet magħżula b'mod każwali b'formola ta' evalwazzjoni (scorecard—oġġetti bħal "kienet it-tislima mogħtija, identità vverifikata, kienet is-soluzzjoni offruta, kien l-għeluq xieraq"). Dan il-metodu jbati minn daqs żgħir ta 'kampjun, suġġettività, u kwistjonijiet ta' dewmien. Fil-QA appoġġjat mill-intelliġenza artifiċjali, il-mudell jevalwa awtomatikament il-konversazzjonijiet kollha skont l-oġġetti tal-iscorecard; Liema artiklu huwa nieqes, liema diskorsi huma riskjużi, liema rappreżentant għandu jkun appoġġjat fuq liema kwistjoni - jurihom kollha.

Punt kritiku: Il-punteġġ tal-QA tal-AI huwa skrining u indikazzjoni preliminari, mhux evalwazzjoni finali. L-AI tgħid "din il-konversazzjoni tidher li qabżet il-pass tal-awtentikazzjoni"; L-espert tal-kwalità jeżamina dawn il-konversazzjonijiet immarkati u jieħu d-deċiżjoni finali. Għalhekk, minflok ma jisma 'eluf ta' konversazzjonijiet, l-espert jiffoka fuq il-konversazzjonijiet riskjużi/eżemplari li l-AI tiddikjara — kemm aktar ġusti kif ukoll aktar komprensivi.

It-tabella li ġejja tqabbel iż-żewġ approċċi:

Daqs

Classic QA

QA li jaħdem bl-AI

Ambitu

1-2% tal-konversazzjonijiet

100% skennjat

Tul ta' żmien

Bil-mod, smigħ bl-idejn

Skennjar istantanju

Konsistenza

Tvarja skond l-espert

Applikati kontinwament għall-kriterju

suġġettività

għolja

Il-kriterju huwa ċar, sinjal + uman

deċiżjoni finali

espert

Espert (jiffoka fuq l-AI)

Riskju

Li jaħarbu mill-problemi

Sinjal falz (għandu jiġi vverifikat)

Pass pass: programm ta' kwalità li jaħdem bl-AI

  1. Iċċara l-iscorecard: Ikteb l-oġġetti ta’ evalwazzjoni b’mod oġġettiv u li jitkejjel (mhux vagi bħal “aġixxa b’korteżija”, iżda ċari bħal “ilqa’ lill-klijent b’isem/indirizz xieraq”).
  2. Agħti lill-AI il-kriterji: Ikklassifika kull konversazzjoni bħala "magħmula/mhux lesta/mhux ċara" skont dawn l-oġġetti; Urejt is-sentenza ta’ prova.
  3. Enfasizza dawk riskjużi: Wassal lill-espert konversazzjonijiet ta’ punteġġ baxx, rrabjati jew ta’ riskju ta’ konformità.
  4. Espert jikkonferma: Il-punteġġ finali u l-feedback jappartjenu lill-bniedem; Il-postijiet li l-AI ssejjaħ "inċerti" huma definittivament disponibbli għall-bnedmin.
  5. Ibdelha f'taħriġ: Uża s-sejbiet għall-iżvilupp tal-aġent - iffukat fuq titjib, mhux kastig.

Erba' mudelli li jistgħu jiġu kkupjati

1) Klassifikazzjoni tal-iscorecard:

Evalwa l-konversazzjoni anonima li ġejja skont il-punti li ġejjin. Għal kull oġġett: agħti status=[magħmul/mhux/mhux ċar] u sentenza EVIDENZA (kwotazzjoni mill-konversazzjoni). Jekk ma jkunx hemm evidenza, għid "mhux ċara"; guessing.Oġġetti: 1) Tislima xierqa 2) Awtentikazzjoni 3) Nifhmu l-problema4) Informazzjoni/soluzzjoni korretta 5) Informazzjoni obbligatorja 6) Għeluq bil-korteżija.Diskors: <<deciphering>>

2) Analiżi tas-sentiment u tal-punt ta' bidla:

Iġbed it-trajettorja emozzjonali tal-konverżazzjoni anonima hawn taħt.- Ton tal-bidu, ton tat-tmiem (kalm/rrabjata/ansjuż/sodisfatt),- Mument meta l-emozzjoni INBIDLET u għaliex (bil-kwotazzjoni),- Kien hemm xi sinjali ta’ rabja/kriżi, kif ittrattaha l-aġent?Innota ironija/sarkażmu possibbli; Jekk m'intix ċert, għid "mhux ċar". Diskors: <<traskrizzjoni>>

3) Rapport tat-tendenza aggregat:

Hawn taħt jinsabu t-tags tal-konversazzjoni anonimi u l-punteġġi tas-sentiment ta’ din il-ġimgħa. (1) Is-suġġett ta 'emozzjoni negattiva li qed tiżdied l-aktar, (2) ipoteżi ta' kawża ewlenija possibbli (prova), (3) 3 suġġetti rakkomandati li jiġu eżaminati. Ħu n-numri mid-dejta, tagħmilhomx; immarka l-ipoteżi bħala "għandhom jiġu kkonfermati". Data: <<tabella fil-qosor>>

4) Sommarju tat-taħriġ (żvilupp tal-aġent):

Ipproduċi nota ta' taħriġ mhux punittiva ffukata fuq l-iżvilupp għal rappreżentant ONE bbażata fuq il-konversazzjonijiet evalwati li ġejjin. - Qawwiet (2), - Qasam għal titjib (2, b'eżempji konkreti), - 1 mikro-għan suġġerit. Ġudizzju personali/użu tat-tikketti.Data: <<speech ratings>>

Pront dgħajjef / Pront qawwi

Pront dgħajjef:

Rata jekk dan ir-rappreżentant huwiex tajjeb jew ħażin.

Suġġettiv, mingħajr kriterji, mingħajr evidenza, punittiv; Tipproduċi “ġudizzju” inġust u indifendibbli.

Pront qawwi:

Evalwa din il-konverżazzjoni anonima skont il-lista ta' riżultati ta' 6 punti; Għal kull oġġett, ikkwota lest/mhux magħmul/mhux ċar + EVIDENZA mid-diskors. Jekk ma jkunx hemm evidenza, għid "mhux ċara". Jien (l-espert tal-kwalità) se nagħmel id-deċiżjoni finali; inti biss tagħmel evalwazzjoni preliminari bl-evidenza.

Id-differenza: il-kriterju huwa ċar, l-evidenza hija obbligatorja, l-inċertezza hija onesta, id-deċiżjoni finali hija tal-persuna.

tliet każijiet żgħar

Każ 1 — Il-qawwa ta 'kopertura ta' 100%. F'bank wieħed, it-tim tal-QA jista 'jisma' ~ 1,200 konversazzjoni kull xahar (1.5% tat-total). It-80,000 konversazzjoni kollha ġew skennjati bl-AI; Jirriżulta li l-pass tal-awtentikazzjoni inqabeż 6% tal-ħin — riskju ta’ konformità li qatt ma kien jidher b’kampjunar klassiku. B'taħriġ immirat, ir-rata niżlet għal inqas minn 1% f'xahrejn.

Każ 2 — Nassa tal-ironija. F'ċentru tal-kummerċ elettroniku, il-mudell tal-emozzjoni qies sentenzi ironiċi bħal "inti kbir, ilni nistenna 3 ijiem" bħala "pożittivi"; għalhekk xi klijenti rrabjati dehru "sodisfatti". Meta l-mudell ma sarx l-uniku li jieħu d-deċiżjonijiet u l-punteġġi ġew ivverifikati permezz ta 'kampjuni bl-għajn tal-bniedem, it-tim immarka l-każijiet ta' ironija separatament u l-affidabbiltà tar-rapporti żdiedet. Lezzjoni: il-punteġġ tas-sentiment huwa sinjal, mhux verità assoluta.

Każ 3 — Twissija bikrija. L-analiżi tad-diskors f'telekomunikazzjoni waħda wriet li s-sentiment negattiv madwar "kont" żdied b'40% fi ġranet 3, li jibda mit-Tlieta. L-investigazzjoni wriet li l-fatturi kienu riflessi ħażin fit-tranżizzjoni għal tariffa ġdida. Il-problema nqabdet u ssolviet b'sinjal bikri ta 'emozzjoni qabel ma akkumulaw eluf ta' ilmenti. L-analitika saret sistema ta’ twissija bikrija kif ukoll għodda ta’ kwalità.

Żbalji komuni

  • Meta wieħed iqis il-punteġġ tal-emozzjoni bħala verità assoluta. L-ironija, l-idjoma, u l-kuntest iqarrqu bil-mudell; Uża l-punteġġ bħala sinjal, ivverifika bil-bniedem.
  • Li tagħmel il-punteġġ AI id-deċiżjoni finali. Fil-QA, l-evalwazzjoni finali u l-feedback jappartjenu lill-bniedem; AI avvanzi.
  • Oġġetti vagi scorecard. "Huwa ġab ruħu tajjeb" ma jistax jitkejjel; Ikteb oġġetti oġġettivi, verifikabbli.
  • Nibdlu l-QA f'għodda għall-kastig. L-għan huwa l-iżvilupp u l-esperjenza tal-klijent; Il-kultura tal-kastig isikket lill-aġent u tikkorrompi d-dejta.
  • Evalwazzjoni mingħajr evidenza. Kull sejba għandha tkun sostnuta minn kwotazzjoni mid-diskors; Inkella għandha tissejjaħ "mhux ċara".
Attenzjoni: Il-kejl tal-konversazzjonijiet kollha bl-AI huwa qawwi iżda sensittiv. It-tibdil ta' dan f'sistema li kontinwament jimmonitorja u jikkastiga lill-impjegati mhuwiex etiku u jeqred il-fiduċja tat-tim. L-għan huwa li tittejjeb l-esperjenza tal-klijent u l-iżvilupp tal-aġent; It-trasparenza u l-enfasi fuq l-iżvilupp huma essenzjali.

Fil-qosor

L-analiżi tas-sentimenti u l-ġestjoni tal-kwalità mħaddma bl-AI jagħtu widnejn liċ-ċentru tat-telefonati biex jisma 'eluf ta' konversazzjonijiet: jiskenja 100% tal-kampjun minflok 1%, jaqbad ix-xejriet kmieni u jżomm il-valutazzjoni tal-kwalità konsistenti. Iżda l-punteġġ tas-sentiment huwa sinjal, mhux il-verità assoluta; Fil-QA, id-deċiżjoni finali tappartjeni lill-bniedem. Ikteb l-iscorecard b'mod oġġettiv, attribwixxi kull sejba għall-evidenza, ħalli l-inċertezza lill-bnedmin, u tistabbilixxi s-sistema kollha bi trasparenza, bil-għan ta 'żvilupp u titjib fl-esperjenza, mhux kastig.

Kompitu ta' applikazzjoni

Iddisinja scorecard oġġettiva b'6 oġġetti (kull oġġett għandu jkun jista' jitkejjel u jista' jiġi ppruvat). Ħu traskrizzjoni fittizja/anonima u applika l-mudelli "1) Evalwazzjoni ta' Scorecard" u "2) Analiżi tas-sentiment". Enfasizza oqsma fejn il-mudell jgħid "ambigwa" jew fejn jista' jkun hemm ironija u ikteb kif espert uman għandu jivverifikahom. Fl-aħħarnett, ipproduċi memorandum iffukat fuq l-iżvilupp b'"4) Sommarju tat-taħriġ."

lista ta' kontroll

  • [ ] L-oġġetti tal-iscorecard tiegħi huma oġġettivi, miżurabbli u verifikabbli.
  • [ ] Skrinjar preliminari tal-evalwazzjoni tal-AI; Id-deċiżjoni finali tal-QA u l-feedback huma tal-bniedem.
  • [ ] Jien nuża l-punteġġi tas-sentiment bħala sinjali, mhux bħala verità assoluta.
  • [ ] Kull sejba hija sostnuta minn kwotazzjoni ta' evidenza mill-konversazzjoni; inkella "mhux ċar".
  • [ ] Jiena waqqaf is-sistema għall-iskop ta 'żvilupp u titjib fl-esperjenza, mhux kastig.
  • [ ] L-iskop u l-ambitu tal-analiżi ġew spjegati b'mod trasparenti lill-impjegati.