Pengukuran, KPI dan Penambahbaikan Berterusan: Apa yang Perlu Dipantau dan Bagaimana?

Keuntungan:

• Keupayaan untuk membaca KPI klasik (AHT, FCR, CSAT, NPS, CES) dan metrik khusus AI dengan pengimbang kualiti untuk setiap ukuran produktiviti
• Keupayaan untuk mengukur ketepatan jawapan dan hanyut dengan kerap dan mengelakkan perangkap mengunci ke dalam satu metrik
• Keupayaan untuk melakukan penambahbaikan berterusan berdasarkan pembalakan 'Saya tidak tahu', sebab pusing ganti dan aliran gagal dengan kitaran PDCA

Kesilapan yang paling berbahaya apabila AI memasuki pusat panggilan adalah dengan mengatakan "kami memasangnya, nampaknya ia berfungsi, itu sudah memadai". Aliran bot, pembantu atau layan diri tidak sempurna apabila ia disiarkan secara langsung dan ia tidak kekal di sana; Ia mesti sentiasa diukur, dipantau dan diperbaiki. Selain itu, menjejak metrik yang salah kadangkala lebih berbahaya daripada tidak menjejaki metrik yang betul — kerana ia menghantar anda berlari ke arah yang salah. Dalam unit ini, kita akan melihat penunjuk utama pusat panggilan (KPI), metrik khusus AI dan cara mewujudkan kitaran peningkatan berterusan.

Pertama, amaran: metrik adalah cara untuk mencapai tujuan, bukan tujuan itu sendiri. Matlamatnya adalah untuk menyelesaikan masalah pelanggan dengan baik dan cekap. Jika anda mengejar satu metrik (cth. AHT) secara berasingan, wakil akan memendekkan panggilan tanpa menyelesaikan pelanggan dan tujuan sebenar akan rosak. Ini dipanggil obsesi metrik; Baca setiap metrik dengan pengimbang.

KPI pusat panggilan asas

KPI (Key Performance Indicator) ialah nombor yang mengukur prestasi sesuatu proses. Yang paling asas di pusat panggilan:

KPI

Apa ukuran

pengimbang

AHT (Purata Masa Pemprosesan)

Tempoh hubungan

FCR, CSAT (pendek tetapi tidak larut)

FCR (Resolution at First Contact)

Penyelesaian sekali sahaja

CSAT (jangan katakan anda menyelesaikannya dan tidak menyelesaikannya)

CSAT (Kepuasan Pelanggan)

Skor selepas kenalan

Kadar tindak balas (ia akan mengelirukan jika hanya sedikit orang yang mengisi)

NPS (Skor Pengesyoran)

Kesetiaan / cadangan

Punca utama (mengapa rendah?)

CES (Skor Usaha Pelanggan)

Betapa sukarnya pelanggan

—

SL (Peringkat Perkhidmatan)

% panggilan dijawab dalam x saat

Kadar pengabaian

Kadar pengabaian (meninggalkan)

Panggilan dibiarkan ditahan

SL, cooldown

CES (Customer Effort Score) mengukur seberapa keras pelanggan cuba menyelesaikan masalahnya; usaha yang rendah sangat dikaitkan dengan kesetiaan yang tinggi. Pelanggan berkata "Saya menyelesaikannya dengan mudah" selalunya lebih berharga daripada mengatakan "Saya sangat berpuas hati".

Metrik khusus AI

Di sebelah KPI klasik, metrik khas untuk aplikasi AI ditambah:

• Kadar pembendungan / pesongan: Kadar hubungan yang diselesaikan bot/layanan sendiri tanpa menyerahkannya kepada manusia. Tetapi itu sahaja yang menipu; hendaklah dibaca bersama-sama dengan penyelesaian (perangkap dalam Unit 8).
• Kadar peleraian bot: Kenalan yang bot sebenarnya telah diselesaikan (pelanggan meninggalkan berpuas hati) — bukan "kekal dalam bot".
• Kadar pusing ganti dan sebab: Berapa banyak yang dipindahkan dan mengapa (Unit 10).
• Ketepatan jawapan: Kadar jawapan yang diberikan oleh bot/pembantu adalah betul — diukur melalui pensampelan dan pengawasan manusia.
• Penggunaan: Kadar di mana ejen menggunakan cadangan bantuan ejen (Unit 6).
• Ketepatan ringkasan: Kadar di mana ringkasan/teg automatik diperbetulkan dengan kelulusan manusia (Unit 4).
• Kadar halusinasi/ralat: Kekerapan jawapan yang dibuat-buat atau salah — sasaran hampir sifar.

Petua: Gandingkan setiap metrik AI dengan "penstabil kualiti." "Containment high" sahaja tidak baik; "pembendungan adalah tinggi DAN kepuasan penyelesaian bot adalah tinggi" adalah baik. Jangan sekali-kali memisahkan metrik kecekapan daripada metrik kualiti.

Kitaran penambahbaikan berterusan

Program AI yang baik ialah roda berputar, bukan projek sekali sahaja. Kitaran PDCA klasik (Plan-Do-Check-Act; PDCA) berfungsi di sini:

1. Pelan: Metrik manakah yang akan anda perbaiki dan mengapa? Tetapkan matlamat (mis. "tingkatkan kadar resolusi bot untuk pulangan daripada 60% kepada 75%)."
2. Gunakan: Buat perubahan (tambah item asas pengetahuan, betulkan aliran, tingkatkan segera).
3. Semak: Adakah metrik benar-benar bertambah baik? Adakah terdapat kesan sampingan (adakah sebarang metrik lain rosak)?
4. Ambil langkah berjaga-jaga: Jika ia berkesan, buat ia kekal; Jika ia tidak berkesan, ambil semula dan belajar.

Bahan api untuk kitaran ini ialah data: log "tidak tahu" (Unit 5), sebab perolehan (Unit 10), aliran gagal (Unit 8), perbualan berskor rendah (Unit 7). Sumber ini memberitahu anda tempat untuk menambah baik.

Awas: Model AI dan tingkah laku pelanggan berubah dari semasa ke semasa; Ini dipanggil drift. Bot yang berfungsi 95% tepat hari ini boleh merosot secara senyap jika pangkalan pengetahuannya menjadi lapuk atau corak soalan pelanggan berubah. Sebab itu pengukuran bukan sekali sahaja, tetapi berterusan. Apa yang anda tidak ukur akan rosak secara senyap-senyap.

Empat templat yang boleh disalin

1) Reka bentuk papan pemuka KPI:

Hasilkan draf papan pemuka KPI bulanan untuk program AI pusat panggilan saya. Untuk setiap metrik: takrifan, sasaran, metrik mengimbangi, sumber data, ambang amaran (penggera di atas/di bawah nilai ini). Metrik: AHT, FCR, CSAT, pembendungan, kadar penyelesaian bot, kadar pusing ganti, ketepatan jawapan. Jangan berikan nombor rekaan; Sediakan templat supaya saya mengisi medan.

2) Tafsiran metrik (punca utama):

Tafsirkan data KPI di bawah seperti penganalisis CX.(1) Perubahan yang paling ketara, (2) kemungkinan punca HIPOTESIS (buktikan), (3) apakah metrik lain untuk dilihat (mengimbangi), (4) 2 tindakan yang dicadangkan. Dapatkan nombor daripada data; Tandakan hipotesis sebagai "mesti disahkan". Data: <<...>>

3) Penilaian perbandingan A/B:

Bandingkan dua versi bot/strim (A dan B) dengan data ini: <<data>>. Manakah yang lebih baik dalam pembendungan, kadar resolusi bot dan CSAT? Adakah perbezaan itu kelihatan ketara atau adakah ia kecil/bunyi? Adakah peningkatan produktiviti dengan mengorbankan kehilangan kualiti? Berikan cadangan yang jelas, tetapi tunjukkan juga sebarang ketidakpastian.

4) Ringkasan maklum balas penambahbaikan berterusan:

Gabungkan sumber peningkatan berikut (tidak tahu log, sebab penyerahan, aliran gagal). Utamakan 3 peluang peningkatan impak tertinggi: isu / metrik terjejas / perubahan yang dicadangkan / impak yang dijangka. Hanya bergantung pada data. Sumber: <<...>>

Gesaan lemah / Gesaan kuat

Gesaan yang lemah:

Beritahu saya sama ada nombor bulan ini baik atau buruk.

Tidak jelas: metrik yang mana, apakah sasaran, apakah penstabil, apakah punca utama — menghasilkan pertimbangan yang cetek dan mengelirukan.

Gesaan kuat:

Bulan ini, pembendungan meningkat daripada 58% kepada 71%, tetapi CSAT turun daripada 4.1 kepada 3.6, dan kadar pusing ganti menurun daripada 30% kepada 19%. Tafsirkan carta ini: adakah peningkatan produktiviti datang dengan mengorbankan kepuasan pelanggan (bolehkah pelanggan terperangkap dalam bot)? Apakah data yang perlu saya sahkan? Cadangkan 2 tindakan.

Perbezaannya: persoalan metrik, pengimbangan dan pengesahan adalah jelas; Tafsiran itu masuk akal (di sini terdapat isyarat perangkap "kurung" kerana peningkatan pembendungan datang dengan penurunan CSAT).

tiga kes mini

Kes 1 — Perangkap metrik yang salah. Satu pusat panggilan memberi ganjaran AHT sahaja. Ejen menutup telefon pelanggan tanpa menyelesaikannya untuk memendekkan masa; Dalam jangka pendek, AHT jatuh 15%, tetapi panggilan berulang meningkat 28% dan FCR runtuh. Jumlah beban dan kos sebenarnya telah meningkat. Baki telah ditubuhkan apabila AHT, FCR dan CSAT dipantau bersama. Pengajaran: satu pembohongan metrik.

Kes 2 — Hanyutan senyap. Bot bank berfungsi tanpa sebarang masalah selama 6 bulan, tiada siapa yang mengukurnya. Apabila produk baru keluar, pangkalan pengetahuan ditinggalkan; Ketepatan bot turun dengan ketara daripada 94% kepada 79%, dan aduan meningkat. Sebaik sahaja ukuran ketepatan biasa diwujudkan, gelinciran telah ditangkap lebih awal. Pengajaran: sistem yang tidak diukur secara senyap rosak.

Kes 3 — Kuasa kitaran penyembuhan. Sebuah syarikat e-dagang memilih 3 peningkatan impak tertinggi setiap bulan (daripada log tidak tahu + sebab pusing ganti + aliran gagal) dengan kitaran PDCA bulanan. Dalam 6 bulan, kadar resolusi bot meningkat daripada 52% kepada 74%, CSAT daripada 3.8 kepada 4.4 — bukan dalam satu kejayaan besar, tetapi dalam peningkatan kecil yang diukur satu demi satu. Penambahbaikan berterusan datang dari konsistensi, bukan lompat-lompat.

Kesilapan biasa

• Memfokuskan pada satu metrik. Mengejar AHT atau pembendungan sahaja merendahkan kualiti; Setiap metrik mesti mempunyai penstabil.
• Mengasingkan metrik produktiviti daripada kualiti. "Bot menyelesaikan banyak" dan "pelanggan berpuas hati" adalah dua perkara yang berbeza; Baca bersama.
• Sediakannya sekali dan biarkan ia pergi. Drift senyap; Pengukuran berterusan adalah satu kemestian.
• Menganggap CSAT sahaja sebagai nyata. Kadar tindak balas yang rendah mengelirukan CSAT; Lihat siapa yang mengisinya.
• Tidak menghubungkan peningkatan kepada data. Utamakan dengan data "tidak tahu log/serahan/aliran gagal", bukan gerak hati.

Secara ringkasnya

Pengukuran dan penambahbaikan berterusan mengubah AI daripada pemasangan sekali sahaja kepada sistem hidup. Jejaki KPI klasik (AHT, FCR, CSAT, NPS, CES) dan metrik khusus AI (pembendungan, kadar penyelesaian bot, ketepatan jawapan, penggunaan pengesyoran) bersama-sama; baca setiap metrik produktiviti dengan penstabil kualiti; Jangan sekali-kali terpaku pada satu metrik. Perbaiki secara berterusan dengan gelung PDCA dan gunakan log "tidak tahu", sebab pusing ganti dan aliran gagal sebagai bahan api untuk gelung. Ingat: model dan pelanggan hanyut dari semasa ke semasa; Apa yang anda tidak ukur akan reput.

Tugasan permohonan

Reka bentuk papan pemuka KPI untuk program AI anda sendiri yang terdiri daripada 7 metrik; untuk setiap metrik, tetapkan definisi, sasaran, metrik mengimbangi dan ambang makluman (gunakan templat "1) papan pemuka KPI"). Kemudian buat set data bulanan rekaan dan lakukan analisis punca dengan templat "2) Tafsiran metrik". Akhir sekali, utamakan 3 peningkatan impak tertinggi untuk bulan hadapan dengan "4) Ringkasan maklum balas peningkatan berterusan".

senarai semak

• [ ] Saya menjejaki KPI klasik dan metrik khusus AI bersama-sama.
• [ ] Setiap metrik produktiviti mempunyai penstabil kualiti; Saya tidak menumpukan pada satu metrik.
• [ ] Saya membaca kadar penyelesaian pembendungan/bot bersama dengan kepuasan pelanggan.
• [ ] Saya mengukur ketepatan jawapan dan hanyut dengan kerap.
• [ ] Saya membuat peningkatan berterusan, didorong data dengan kitaran PDCA.
• [ ] Saya mengutamakan penambahbaikan dengan log "tidak tahu", sebab penyerahan dan aliran gagal.