Đơn vị 7 / 12

Phân tích tình cảm và quản lý chất lượng: QA với Phân tích giọng nói

Lợi nhuận:

  • Khả năng đọc các xu hướng riêng lẻ và tổng hợp bằng phân tích cảm xúc và phân tích lời nói, đồng thời sử dụng điểm số làm tín hiệu thay vì dữ kiện tuyệt đối
  • Khả năng quét 100% các cuộc hội thoại bằng thẻ điểm khách quan và đưa ra đánh giá sơ bộ dựa trên bằng chứng, đồng thời để quyết định cuối cùng cho con người
  • Khả năng thiết lập hệ thống chất lượng với tính minh bạch và tránh xa văn hóa hình sự nhằm mục đích phát triển và nâng cao kinh nghiệm

Có hàng nghìn cuộc trò chuyện mỗi ngày trong một call center, nhưng với phương pháp cổ điển, đội ngũ chất lượng chỉ có thể nghe và đánh giá một phần nhỏ trong số đó (1-2% ở hầu hết các nơi). Điều đó có nghĩa là 98% cuộc hội thoại bị mất mà không hề được kiểm tra; Ngay cả khi khách hàng bị ngược đãi hoặc người đại diện liên tục đưa ra thông tin sai sự thật thì cũng không ai có thể nhận ra. Trí tuệ nhân tạo thay đổi hoàn toàn bức tranh này: nó có thể đọc và đánh giá mọi cuộc trò chuyện. Trong phần này, chúng ta sẽ đề cập đến hai chủ đề liên quan: phân tích tình cảm (đo lường sắc thái cảm xúc của khách hàng và người đại diện) và quản lý chất lượng (QA - Quality Assurance; đánh giá sự tuân thủ của các cuộc hội thoại với các tiêu chuẩn).

Hai thuật ngữ đầu tiên. Phân tích tình cảm là giọng điệu cảm xúc tích cực, tiêu cực hoặc trung tính của văn bản hoặc bài phát biểu; Đó là để tự động phát hiện các tình huống như tức giận, hài lòng và lo lắng. Phân tích giọng nói (phân tích tương tác) là phân tích chung tất cả các cuộc hội thoại và trích xuất các xu hướng, chủ đề thường gặp, rủi ro và cơ hội. Cùng nhau, họ mang lại cho trung tâm cuộc gọi “đôi tai nghe”: tạo ra ý nghĩa từ hàng nghìn cuộc trò chuyện mà người quản lý không thể nghe riêng lẻ.

Phân tích tình cảm: giữ nhịp đập

Phân tích tình cảm hoạt động trên hai cấp độ. Cấp độ số ít: thể hiện giọng điệu chung của một cuộc trò chuyện (“khách hàng bắt đầu tức giận, cuối cùng bình tĩnh lại”) và các bước ngoặt. Cấp độ tổng hợp: trích xuất các xu hướng như “cảm xúc tiêu cực tăng 18% trong tuần này, chủ yếu là về 'hóa đơn'" từ hàng nghìn cuộc trò chuyện. Thông tin này rất quý giá: nó thu hút được làn sóng giận dữ đang dâng cao, một vấn đề về sản phẩm hoặc sự nhầm lẫn về một chiến dịch mới trong thời gian đầu.

Tuy nhiên, phân tích tình cảm không hoàn hảo. Trong tiếng Thổ Nhĩ Kỳ, những lời mỉa mai, mỉa mai và thành ngữ có thể đánh lừa người mẫu (câu "Cảm ơn bạn rất nhiều, dịch vụ tuyệt vời!" có thể được nói trong lúc tức giận). Ngoài ra, điểm tình cảm là một tín hiệu chứ không phải là sự thật cuối cùng. Vì vậy, hãy sử dụng phân tích cảm tính không phải để trừng phạt cá nhân đại diện mà để xem xu hướng và nêu bật các cuộc trò chuyện cần chú ý.

Mẹo: Sử dụng phân tích tình cảm làm “cảnh báo” chứ không phải “phán xét”. Một điểm tiêu cực duy nhất không lên án một người đại diện; nhưng xu hướng tiêu cực gia tăng cho thấy một lĩnh vực cần được xem xét. Xác nhận tín hiệu với con người.

Quản lý chất lượng: đánh giá 100% thay vì 1%

Trong QA cổ điển, một chuyên gia chất lượng sẽ chấm điểm một số cuộc gọi được chọn ngẫu nhiên bằng một biểu mẫu đánh giá (thẻ điểm—các mục chẳng hạn như “lời chào đã đưa ra, đã xác minh danh tính, giải pháp được đưa ra là gì, kết thúc có phù hợp không”). Phương pháp này gặp phải vấn đề về cỡ mẫu nhỏ, tính chủ quan và độ trễ. Trong QA được hỗ trợ trí tuệ nhân tạo, mô hình sẽ tự động đánh giá tất cả các cuộc hội thoại theo các mục trong thẻ điểm; Bài nào thiếu, bài phát biểu nào rủi ro, đại diện nào cần ủng hộ về vấn đề nào - nó thể hiện tất cả.

Điểm quan trọng: Điểm QA của AI là sàng lọc và chỉ định sơ bộ, không phải là đánh giá cuối cùng. AI cho biết “cuộc trò chuyện này dường như đã bỏ qua bước xác thực”; Chuyên gia chất lượng sẽ xem xét các cuộc hội thoại được đánh dấu này và đưa ra quyết định cuối cùng. Vì vậy, thay vì lắng nghe hàng nghìn cuộc trò chuyện, chuyên gia tập trung vào những cuộc trò chuyện mẫu mực/có tính rủi ro mà AI đánh dấu — vừa công bằng hơn vừa toàn diện hơn.

Bảng sau so sánh hai cách tiếp cận:

Kích thước

QA cổ điển

QA được hỗ trợ bởi AI

Phạm vi

1-2% cuộc trò chuyện

quét 100%

Thời lượng

Chậm rãi, lắng nghe bằng tay

Quét tức thì

tính nhất quán

Khác nhau tùy theo chuyên gia

Áp dụng liên tục vào tiêu chí

tính chủ quan

cao

Tiêu chí rõ ràng, tín hiệu + con người

quyết định cuối cùng

chuyên gia

Chuyên gia (tập trung vào AI)

Rủi ro

Vấn đề thoát hiểm

Dấu hiệu sai (phải được xác minh)

Từng bước: Chương trình chất lượng được hỗ trợ bởi AI

  1. Làm rõ thẻ điểm: Viết các mục đánh giá một cách khách quan và đo lường được (không mơ hồ như “hành động lịch sự” mà rõ ràng như “chào khách hàng bằng tên/địa chỉ phù hợp”).
  2. Đưa ra cho AI các tiêu chí: Đánh giá từng cuộc trò chuyện là "hoàn thành/chưa hoàn thành/không rõ ràng" theo các mục này; Bạn đưa ra câu chứng minh.
  3. Nêu bật những vấn đề rủi ro: Đưa những cuộc trò chuyện có điểm thấp, tức giận hoặc rủi ro tuân thủ đến chuyên gia.
  4. Chuyên gia khẳng định: Điểm số và phản hồi cuối cùng thuộc về con người; Những nơi mà AI gọi là “không chắc chắn” chắc chắn có sẵn cho con người.
  5. Biến nó thành huấn luyện: Sử dụng các phát hiện để phát triển tác nhân - tập trung vào sự cải thiện chứ không phải hình phạt.

Bốn mẫu có thể sao chép

1) Đánh giá bằng thẻ điểm:

Đánh giá cuộc trò chuyện ẩn danh sau đây theo các mục sau. Với mỗi mục: đưa ra trạng thái=[done/not done/unclear] và một câu SỰ CHỨNG CỨ (trích dẫn từ đoạn hội thoại). Nếu không có bằng chứng thì nói "không rõ ràng"; đoán.Mục: 1) Lời chào phù hợp 2) Xác thực 3) Hiểu vấn đề4) Thông tin/giải pháp chính xác 5) Thông tin bắt buộc 6) Kết thúc lịch sự.Lời nói: << giải mã>>

2) Phân tích tâm lý và bước ngoặt:

Vẽ quỹ đạo cảm xúc của cuộc trò chuyện ẩn danh bên dưới.- Giai điệu bắt đầu, giai điệu kết thúc (bình tĩnh/tức giận/lo lắng/hài lòng),- Khoảnh khắc cảm xúc THAY ĐỔI và tại sao (kèm trích dẫn),- Có dấu hiệu tức giận/khủng hoảng nào không, người đại diện đã xử lý nó như thế nào?Lưu ý có thể có sự mỉa mai/châm biếm; Nếu bạn không chắc chắn, hãy nói "không rõ ràng". Bài phát biểu: << phiên âm >>

3) Báo cáo xu hướng tổng hợp:

Dưới đây là thẻ cuộc trò chuyện ẩn danh và điểm số cảm tính của tuần này. (1) Chủ đề về cảm xúc tiêu cực gia tăng nhiều nhất, (2) giả thuyết nguyên nhân gốc rễ có thể xảy ra (chứng minh), (3) 3 chủ đề được đề xuất xem xét. Lấy các con số từ dữ liệu, đừng bịa ra; đánh dấu các giả thuyết là "phải được xác nhận". Dữ liệu: << bảng tóm tắt>>

4) Tóm tắt huấn luyện (phát triển đại lý):

Tạo một ghi chú huấn luyện tập trung vào sự phát triển, không mang tính trừng phạt cho MỘT đại diện dựa trên các cuộc trò chuyện được đánh giá sau đây. - Điểm mạnh (2), - Lĩnh vực cần cải thiện (2, có ví dụ cụ thể), - 1 mục tiêu vi mô gợi ý. Đánh giá cá nhân/sử dụng nhãn.Dữ liệu: <<xếp hạng bài phát biểu>>

Dấu nhắc yếu / Dấu nhắc mạnh

Dấu nhắc yếu:

Đánh giá xem đại diện này tốt hay xấu.

Chủ quan, không có tiêu chí, không có bằng chứng, có tính trừng phạt; Nó tạo ra một "bản án" bất công và không thể bào chữa được.

Lời nhắc mạnh mẽ:

Đánh giá cuộc trò chuyện ẩn danh này theo thẻ điểm 6 mục; Với mỗi mục, trích dẫn đã làm/chưa làm/chưa rõ ràng + SỰ CHỨNG MINH từ bài phát biểu. Nếu không có bằng chứng, hãy nói "không rõ ràng". Tôi (chuyên gia chất lượng) sẽ đưa ra quyết định cuối cùng; bạn chỉ cần thực hiện đánh giá sơ bộ với bằng chứng.

Sự khác biệt: tiêu chí rõ ràng, bằng chứng bắt buộc, sự không chắc chắn là trung thực, quyết định cuối cùng thuộc về người đó.

ba trường hợp nhỏ

Trường hợp 1 - Sức mạnh của mức độ bao phủ 100%. Tại một ngân hàng, nhóm QA có thể nghe ~1.200 cuộc hội thoại mỗi tháng (1,5% tổng số). Tất cả 80.000 cuộc hội thoại đều được quét bằng AI; Hóa ra bước xác thực đã bị bỏ qua 6% thời gian — một rủi ro tuân thủ chưa bao giờ xảy ra với phương pháp lấy mẫu cổ điển. Với huấn luyện có mục tiêu, tỷ lệ này giảm xuống dưới 1% trong 2 tháng.

Trường hợp 2 - Cái bẫy trớ trêu. Trong một trung tâm thương mại điện tử, mô hình cảm xúc coi những câu mỉa mai như “bạn thật tuyệt, tôi đã đợi 3 ngày rồi” là “tích cực”; nên một số khách hàng tức giận có vẻ “hài lòng”. Khi mô hình không phải là người đưa ra quyết định duy nhất và điểm số được xác minh bằng cách lấy mẫu bằng mắt người, nhóm đã đánh dấu các trường hợp trớ trêu một cách riêng biệt và độ tin cậy của các báo cáo tăng lên. Bài học: điểm số tình cảm là một tín hiệu, không phải là sự thật tuyệt đối.

Trường hợp 3 - Cảnh báo sớm. Phân tích giọng nói tại một công ty viễn thông cho thấy cảm xúc tiêu cực xung quanh “hóa đơn” đã tăng 40% sau 3 ngày, bắt đầu từ thứ Ba. Cuộc điều tra cho thấy các hóa đơn đã được phản ánh không chính xác trong quá trình chuyển đổi sang mức thuế mới. Vấn đề đã được phát hiện và khắc phục bằng tín hiệu cảm xúc sớm trước khi hàng nghìn lời phàn nàn tích tụ lại. Analytics đã trở thành một hệ thống cảnh báo sớm cũng như một công cụ chất lượng.

Những lỗi thường gặp

  • Coi điểm cảm xúc là sự thật tuyệt đối. Sự mỉa mai, thành ngữ và bối cảnh sẽ đánh lừa mô hình; Sử dụng điểm số làm tín hiệu, xác minh với con người.
  • Đưa điểm AI ra quyết định cuối cùng. Trong QA, việc đánh giá và phản hồi cuối cùng thuộc về con người; AI tiến bộ.
  • Các mục trong thẻ điểm mơ hồ. “Anh ấy cư xử tốt” không thể đo lường được; Viết các mục khách quan, có thể kiểm chứng.
  • Biến QA thành một công cụ để trừng phạt. Mục đích là phát triển và trải nghiệm khách hàng; Văn hóa trừng phạt khiến tác nhân phải im lặng và làm hỏng dữ liệu.
  • Đánh giá không có bằng chứng. Mỗi phát hiện phải được hỗ trợ bằng một trích dẫn từ bài phát biểu; Nếu không thì nó nên được gọi là "không rõ ràng".
Thận trọng: Việc đo lường tất cả các cuộc hội thoại bằng AI rất mạnh mẽ nhưng nhạy cảm. Việc biến điều này thành một hệ thống liên tục giám sát và trừng phạt nhân viên vừa trái đạo đức vừa phá hủy niềm tin của tập thể. Mục tiêu là nâng cao trải nghiệm của khách hàng và phát triển đại lý; Sự minh bạch và tập trung phát triển là rất cần thiết.

Tóm lại

Phân tích tình cảm và quản lý chất lượng do AI cung cấp giúp cho trung tâm cuộc gọi có thể nghe được hàng nghìn cuộc hội thoại: quét 100% mẫu thay vì 1%, nắm bắt sớm xu hướng và duy trì đánh giá chất lượng nhất quán. Nhưng điểm tình cảm là một tín hiệu chứ không phải sự thật tuyệt đối; Trong QA, quyết định cuối cùng thuộc về con người. Viết thẻ điểm một cách khách quan, quy mọi phát hiện làm bằng chứng, để lại sự không chắc chắn cho con người và thiết lập toàn bộ hệ thống một cách minh bạch, với mục đích phát triển và cải thiện trải nghiệm chứ không phải trừng phạt.

Nhiệm vụ ứng dụng

Thiết kế một thẻ điểm khách quan với 6 mục (mỗi mục phải đo lường được và có thể chứng minh được). Lấy bảng điểm hư cấu/ẩn danh và áp dụng các mẫu "1) Đánh giá thẻ điểm" và "2) Phân tích tình cảm". Đánh dấu các khu vực mà mô hình cho biết "không rõ ràng" hoặc nơi có thể có sự mỉa mai và viết cách chuyên gia con người nên xác minh chúng. Cuối cùng, tạo một bản ghi nhớ tập trung vào sự phát triển với “4) Tóm tắt huấn luyện”.

danh sách kiểm tra

  • [ ] Các mục trong thẻ điểm của tôi đều khách quan, có thể đo lường được và có thể kiểm chứng được.
  • [ ] Sàng lọc sơ bộ đánh giá AI; Quyết định và phản hồi QA cuối cùng thuộc về con người.
  • [ ] Tôi sử dụng điểm số tình cảm làm tín hiệu chứ không phải sự thật tuyệt đối.
  • [ ] Mỗi phát hiện đều được hỗ trợ bởi một trích dẫn bằng chứng từ cuộc trò chuyện; nếu không thì "không rõ ràng".
  • [ ] Tôi thiết lập hệ thống này nhằm mục đích phát triển và cải thiện trải nghiệm chứ không phải để trừng phạt.
  • [ ] Mục đích và phạm vi phân tích đã được giải thích rõ ràng cho nhân viên.