Unit 7 / 12

Analisis Sentimen dan Pengurusan Kualiti: QA dengan Analitis Pertuturan

Keuntungan:

  • Keupayaan untuk membaca trend individu dan agregat dengan analisis sentimen dan analisis pertuturan dan menggunakan skor sebagai isyarat dan bukannya fakta mutlak
  • Keupayaan untuk mengimbas 100% perbualan dengan kad skor objektif dan menghasilkan penilaian awal berasaskan bukti, sambil menyerahkan keputusan muktamad kepada manusia
  • Keupayaan untuk mewujudkan sistem kualiti dengan ketelusan dan jauh dari budaya keseksaan untuk tujuan pembangunan dan penambahbaikan pengalaman

Terdapat beribu-ribu perbualan setiap hari di pusat panggilan, tetapi dengan kaedah klasik, pasukan kualiti hanya boleh mendengar dan menilai sebahagian kecil daripadanya (1-2% di kebanyakan tempat). Ini bermakna 98% perbualan hilang tanpa pernah diperiksa; Walaupun pelanggan dianiaya atau wakil berulang kali memberikan maklumat palsu, tiada siapa yang boleh perasan. Kecerdasan buatan secara radikal mengubah gambar ini: ia boleh membaca dan menilai setiap perbualan. Dalam unit ini, kami akan merangkumi dua topik berkaitan: analisis sentimen (mengukur nada emosi pelanggan dan wakil) dan pengurusan kualiti (QA - Jaminan Kualiti; menilai pematuhan perbualan dengan standard).

Dua penggal pertama. Analisis sentimen ialah nada emosi positif, negatif atau neutral sesuatu teks atau ucapan; Ia adalah untuk mengesan situasi secara automatik seperti kemarahan, kepuasan dan kebimbangan. Analitis pertuturan (analisis interaksi) adalah untuk menganalisis semua perbualan secara kolektif dan mengekstrak arah aliran, topik yang kerap, risiko dan peluang. Bersama-sama, mereka memberikan pusat panggilan "telinga pendengaran": menjana makna daripada beribu-ribu perbualan yang tidak dapat didengari oleh pengurus secara individu.

Analisis sentimen: menjaga nadi

Analisis sentimen berfungsi pada dua tahap. Tahap tunggal: menunjukkan nada umum perbualan ("pelanggan mula marah, akhirnya reda") dan titik perubahan. Tahap agregat: mengekstrak arah aliran seperti "sentimen negatif naik 18% minggu ini, kebanyakannya mengenai 'bil'" daripada beribu-ribu perbualan. Maklumat ini adalah emas: ia menangkap gelombang kemarahan yang semakin meningkat, isu produk atau kekeliruan tentang kempen baharu lebih awal.

Walau bagaimanapun, analisis sentimen tidak sempurna. Dalam bahasa Turki, sindiran, ironi dan simpulan bahasa boleh mengelirukan model (ayat "Terima kasih banyak, perkhidmatan yang hebat!" mungkin dikatakan dalam keadaan marah). Juga, skor sentimen adalah isyarat, bukan kebenaran yang pasti. Jadi gunakan analisis sentimen bukan untuk menghukum wakil individu, tetapi untuk melihat arah aliran dan menyerlahkan perbualan yang memerlukan perhatian.

Petua: Gunakan analisis sentimen sebagai "makluman", bukan "penghakiman." Skor negatif tunggal tidak mengutuk wakil; tetapi trend negatif yang meningkat menunjukkan kawasan yang perlu diperiksa. Sahkan isyarat dengan manusia.

Pengurusan kualiti: 100% penilaian dan bukannya 1%

Dalam QA klasik, pakar kualiti menjaringkan beberapa panggilan yang dipilih secara rawak dengan borang penilaian (kad skor—item seperti "adakah salam diberikan, identiti disahkan, adakah penyelesaian yang ditawarkan, adakah penutup yang sesuai"). Kaedah ini mengalami masalah saiz sampel yang kecil, subjektiviti dan kelewatan. Dalam QA yang disokong kecerdasan buatan, model secara automatik menilai semua perbualan mengikut item kad skor; Artikel mana yang hilang, ucapan mana yang berisiko, wakil mana yang harus disokong mengenai isu mana - ia menunjukkan semuanya.

Perkara kritikal: Skor QA AI ialah penyaringan dan petunjuk awal, bukan penilaian akhir. AI mengatakan "perbualan ini nampaknya telah melangkau langkah pengesahan"; Pakar kualiti meneliti perbualan yang ditanda ini dan membuat keputusan muktamad. Jadi, daripada mendengar beribu-ribu perbualan, pakar itu menumpukan pada perbualan berisiko/teladan yang ditunjukkan oleh AI — lebih adil dan lebih menyeluruh.

Jadual berikut membandingkan kedua-dua pendekatan:

Saiz

QA klasik

QA dikuasakan AI

Skop

1-2% daripada perbualan

100% diimbas

Tempoh

Perlahan, mendengar tangan

Imbasan segera

Konsisten

Berbeza bergantung pada pakar

Sentiasa digunakan pada kriteria

subjektiviti

tinggi

Kriterianya jelas, isyarat + manusia

keputusan muktamad

pakar

Pakar (tumpu pada AI)

risiko

Melarikan diri daripada masalah

Tanda palsu (mesti disahkan)

Langkah demi langkah: Program kualiti dikuasakan AI

  1. Jelaskan kad skor: Tulis item penilaian secara objektif dan boleh diukur (tidak kabur seperti "bertindak secara sopan", tetapi jelas seperti "menyambut pelanggan dengan nama/alamat yang sesuai").
  2. Beri kriteria AI: Nilaikan setiap perbualan sebagai "selesai/belum selesai/tidak jelas" mengikut item ini; Anda menunjukkan ayat bukti.
  3. Serlahkan perbualan yang berisiko: Bawa perbualan berskor rendah, marah atau berisiko pematuhan kepada pakar.
  4. Pakar mengesahkan: Skor akhir dan maklum balas adalah milik manusia; Tempat yang AI panggil "tidak pasti" pasti tersedia untuk manusia.
  5. Jadikan ia sebagai bimbingan: Gunakan penemuan untuk pembangunan ejen — fokus pada penambahbaikan, bukan hukuman.

Empat templat yang boleh disalin

1) Penilaian kad skor:

Nilaikan perbualan tanpa nama berikut mengikut item berikut. Untuk setiap item: berikan status=[selesai/tidak dilakukan/tidak jelas] dan ayat BUKTI (petikan daripada perbualan). Jika tiada bukti, katakan "tidak jelas"; meneka.Perkara: 1) Ucapan yang sesuai 2) Pengesahan 3) Memahami masalah4) Maklumat/penyelesaian yang betul 5) Maklumat wajib 6) Penutup yang sopan.Ucapan: <<mentafsir>>

2) Analisis sentimen dan titik perubahan:

Lukiskan trajektori emosi perbualan tanpa nama di bawah.- Nada permulaan, nada penamat (tenang/marah/cemas/puas),- Saat emosi BERUBAH dan mengapa (dengan petikan),- Adakah terdapat tanda-tanda kemarahan/krisis, bagaimanakah ejen mengendalikannya? Perhatikan kemungkinan ironi/sindiran; Jika anda tidak pasti, sebut "tidak jelas". Ucapan: <<transkripsi>>

3) Laporan aliran agregat:

Di bawah ialah teg perbualan tanpa nama dan skor sentimen minggu ini. (1) Topik emosi negatif yang paling meningkat, (2) kemungkinan hipotesis punca punca (buktikan), (3) 3 topik disyorkan untuk diperiksa. Ambil nombor daripada data, jangan buat-buat; tandakan hipotesis sebagai "mesti disahkan".Data: <<jadual ringkasan>>

4) Ringkasan kejurulatihan (pembangunan ejen):

Hasilkan nota bimbingan bukan hukuman yang berfokuskan pembangunan untuk SATU wakil berdasarkan perbualan yang dinilai berikut. - Kekuatan (2), - Kawasan untuk penambahbaikan (2, dengan contoh konkrit), - 1 cadangan matlamat mikro. Pertimbangan peribadi/penggunaan label.Data: <<penilaian pertuturan>>

Gesaan lemah / Gesaan kuat

Gesaan yang lemah:

Nilai sama ada wakil ini baik atau buruk.

Subjektif, tanpa kriteria, tanpa bukti, punitif; Ia menghasilkan "penghakiman" yang tidak adil dan tidak dapat dipertahankan.

Gesaan kuat:

Nilaikan perbualan tanpa nama ini mengikut kad skor 6 item; Bagi setiap item, petikan selesai/tidak selesai/tidak jelas + BUKTI daripada ucapan. Jika tiada bukti, katakan "tidak jelas". Saya (pakar kualiti) akan membuat keputusan muktamad; anda hanya membuat penilaian awal dengan bukti.

Perbezaannya: kriterianya jelas, buktinya wajib, ketidakpastian adalah jujur, keputusan muktamad terletak pada orang itu.

tiga kes mini

Kes 1 — Kuasa liputan 100%. Di satu bank, pasukan QA boleh mendengar ~1,200 perbualan sebulan (1.5% daripada jumlah keseluruhan). Kesemua 80,000 perbualan telah diimbas dengan AI; Ternyata langkah pengesahan telah dilangkau 6% daripada masa - risiko pematuhan yang tidak akan pernah dilihat dengan pensampelan klasik. Dengan bimbingan yang disasarkan, kadarnya menurun kepada kurang daripada 1% dalam 2 bulan.

Kes 2 — Perangkap ironi. Di pusat e-dagang, model emosi menganggap ayat ironis seperti "anda hebat, saya telah menunggu selama 3 hari" sebagai "positif"; jadi beberapa pelanggan yang marah kelihatan "puas hati". Apabila model itu tidak dijadikan pembuat keputusan tunggal dan markah telah disahkan dengan pensampelan dengan mata manusia, pasukan menandakan kes ironi secara berasingan dan kebolehpercayaan laporan meningkat. Pengajaran: skor sentimen adalah isyarat, bukan kebenaran mutlak.

Kes 3 — Amaran awal. Analitis pertuturan di sebuah telekom menunjukkan bahawa sentimen negatif mengenai "bil" meningkat sebanyak 40% dalam 3 hari, bermula pada hari Selasa. Siasatan mendedahkan bahawa invois telah dicerminkan secara salah dalam peralihan kepada tarif baharu. Masalah itu ditangkap dan diselesaikan oleh isyarat emosi awal sebelum beribu-ribu aduan terkumpul. Analitis telah menjadi sistem amaran awal serta alat yang berkualiti.

Kesilapan biasa

  • Menganggap skor emosi sebagai kebenaran mutlak. Ironi, simpulan bahasa dan konteks mengelirukan model; Gunakan skor sebagai isyarat, sahkan dengan manusia.
  • Menjadikan skor AI sebagai keputusan muktamad. Dalam QA, penilaian akhir dan maklum balas adalah milik manusia; kemajuan AI.
  • Item kad skor yang tidak jelas. "Dia berkelakuan baik" tidak boleh diukur; Tulis item objektif dan boleh disahkan.
  • Menjadikan QA sebagai alat untuk menghukum. Matlamatnya ialah pembangunan dan pengalaman pelanggan; Budaya hukuman membungkam ejen dan merosakkan data.
  • Penilaian tanpa bukti. Setiap penemuan harus disokong oleh petikan ucapan; Jika tidak, ia harus dipanggil "tidak jelas".
Awas: Mengukur semua perbualan dengan AI adalah berkuasa tetapi sensitif. Mengubah ini menjadi sistem yang sentiasa memantau dan menghukum pekerja adalah tidak beretika dan memusnahkan kepercayaan pasukan. Matlamatnya adalah untuk meningkatkan pengalaman pelanggan dan pembangunan ejen; Fokus ketelusan dan pembangunan adalah penting.

Secara ringkasnya

Analisis sentimen dan pengurusan kualiti dikuasakan AI memberikan telinga pusat panggilan mendengar ribuan perbualan: mengimbas 100% sampel dan bukannya 1%, menangkap arah aliran lebih awal dan memastikan penilaian kualiti konsisten. Tetapi skor sentimen adalah isyarat, bukan kebenaran mutlak; Dalam QA, keputusan muktamad adalah milik manusia. Tulis kad skor secara objektif, kaitkan setiap penemuan kepada bukti, biarkan ketidakpastian kepada manusia, dan wujudkan keseluruhan sistem dengan ketelusan, dengan tujuan pembangunan dan peningkatan pengalaman, bukan hukuman.

Tugasan permohonan

Reka kad skor objektif dengan 6 item (setiap item hendaklah boleh diukur dan boleh dibuktikan). Ambil transkrip rekaan/tanpa nama dan gunakan templat "1) Penilaian Kad Skor" dan "2) Analisis Sentimen". Serlahkan kawasan yang model mengatakan "samar-samar" atau yang mungkin terdapat ironi dan tulis cara pakar manusia harus mengesahkannya. Akhir sekali, hasilkan memo berfokuskan pembangunan dengan "4) Ringkasan Kejurulatihan.

senarai semak

  • [ ] Item kad skor saya adalah objektif, boleh diukur dan boleh disahkan.
  • [ ] saringan awal penilaian AI; Keputusan QA muktamad dan maklum balas terletak pada manusia.
  • [ ] Saya menggunakan skor sentimen sebagai isyarat, bukan sebagai kebenaran mutlak.
  • [ ] Setiap penemuan disokong oleh petikan bukti daripada perbualan; sebaliknya "tidak jelas".
  • [ ] Saya menyediakan sistem untuk tujuan pembangunan dan peningkatan pengalaman, bukan hukuman.
  • [ ] Tujuan dan skop analisis telah diterangkan secara telus kepada pekerja.