Lợi nhuận:
- Khả năng chia bảng điểm phỏng vấn và câu trả lời khảo sát mở thành các chủ đề bằng trí tuệ nhân tạo và hỗ trợ chúng bằng các trích dẫn bằng chứng
- Khả năng tóm tắt dữ liệu khảo sát định lượng và tránh diễn giải sai lệch (mẫu nhỏ, câu hỏi dẫn dắt, sai lệch lựa chọn)
- Khả năng làm việc có đạo đức và tuân thủ KVKK bằng cách bảo vệ tính bảo mật của người tham gia và ẩn danh bảng điểm
Những hiểu biết sâu sắc nhất trong lĩnh vực tư vấn thường không nằm ở biểu đồ mà ở những gì mọi người nói. Một cuộc phỏng vấn với người quản lý, những câu trả lời mở cho một cuộc khảo sát khách hàng, những ghi chú từ chuyến tham quan thực tế... Đây là những dữ liệu phi số (định tính) và phải mất hàng giờ để đọc, viết mã và phân chia thành các chủ đề. Trí tuệ nhân tạo tăng tốc đáng kể công việc này: Nó chia 30 bản ghi cuộc phỏng vấn thành các chủ đề trong vài phút, tìm ra các mẫu lặp lại. Nhưng có hai mối nguy hiểm: mô hình có thể “bịa ra” một chủ đề (thêm nhận xét không có trong bản ghi) và tính bảo mật của người tham gia có thể dễ dàng bị vi phạm. Trong phần này, chúng ta sẽ học cách phân tích dữ liệu định tính theo cách an toàn và dựa trên bằng chứng.
Phân tích định tính: từ mã hóa đến chủ đề
Phân tích định tính có ba bước. Mã hóa đầu tiên: mỗi tuyên bố được gắn một nhãn ngắn (“khiếu nại về giá”, “khen ngợi việc giao hàng”). Sau đó, tạo chủ đề: các mã tương tự được thu thập thành một chủ đề (“sự không hài lòng trong hoạt động”). Cuối cùng, phần bình luận: mối quan hệ giữa các chủ đề và lớp "vậy thì sao" được thiết lập. AI rất nhanh trong hai bước đầu tiên; Bước thứ ba đòi hỏi sự phán xét của luật sư.
Sự đảm bảo quan trọng nhất là: mỗi chủ đề phải được hỗ trợ bằng một trích dẫn nguyên văn. Điều này xác nhận rằng chủ đề thực sự đến từ dữ liệu; Chủ đề không trích dẫn có nguy cơ gây ảo giác.
Vai trò của bạn: nhà phân tích nghiên cứu định tính. Dưới đây là bản ghi ẩn danh của 12 cuộc phỏng vấn khách hàng (được gắn nhãn P1, P2...). Nhiệm vụ:1) Trích xuất các chủ đề lặp lại (tối đa 7 chủ đề).2) Đối với mỗi chủ đề: có bao nhiêu người tham gia đã xem nó + 2 trích dẫn nguyên văn (có mã người tham gia).3) Hiển thị các tuyên bố riêng biệt hỗ trợ và XÁC NHẬN chủ đề. Quy tắc:- Không thêm bất kỳ ý kiến nào không có trong bản ghi; Mỗi chủ đề phải được chứng minh bằng trích dẫn. - Không xuất trình các thông tin nhận dạng khác ngoài mã số người tham gia. - Liệt kê riêng từng ý kiến “thiểu số nhưng quan trọng” ở cuối (có ý kiến phản đối).
Một kỹ thuật mạnh mẽ khác là yêu cầu mô hình mã hóa với các danh mục cố định mà bạn chỉ định, thay vì trước tiên phải thiết lập sơ đồ mã riêng. Ví dụ: nếu bạn đưa ra các chủ đề được xác định trước trong nghiên cứu về mức độ hài lòng của khách hàng, chẳng hạn như "giá cả, chất lượng sản phẩm, giao hàng, hỗ trợ, tính dễ sử dụng", thì các bản ghi khác nhau sẽ có thể so sánh được và mô hình sẽ không thể tạo ra các tên khác nhau mỗi lần. Trích xuất chủ đề miễn phí phù hợp để khám phá, trong khi mã hóa danh mục cố định phù hợp để so sánh và đo lường; Đối với hầu hết các dự án, sử dụng cả hai cùng nhau sẽ mang lại hiệu quả tốt nhất: khám phá miễn phí trước, sau đó số hóa bằng lược đồ cố định.
Vai trò của bạn: trợ lý mã hóa chất lượng. Các danh mục cố định: [giá, chất lượng, giao hàng, hỗ trợ, dễ sử dụng, khác]. Nhiệm vụ: Chỉ định mỗi câu trả lời mở bên dưới cho một hoặc nhiều danh mục sau. - Viết cụm từ kích hoạt trong câu trả lời (nguyên văn) bên cạnh mỗi bài tập. - Đánh dấu xem phản hồi là tích cực hay tiêu cực trong tình cảm. Thêm ý kiến không có trong câu trả lời.
Mẹo: Sẽ rất có giá trị nếu hỏi riêng ý kiến “thiểu số nhưng quan trọng”. Một cảnh báo tuy chỉ được đưa ra một lần nhưng rất quan trọng (ví dụ: một khách hàng lớn nói rằng "chúng tôi đang xem xét gia hạn hợp đồng") sẽ bị lạc trong các chủ đề chính; vẫn hiển thị khi được liệt kê riêng biệt.
Quyền riêng tư và ẩn danh
Bản ghi cuộc phỏng vấn là dữ liệu cá nhân và thường nhạy cảm (khiếu nại của nhân viên, phê bình của người quản lý). Trước khi tải chúng lên công cụ AI, cần phải ẩn danh chúng: tên, chức danh, các chi tiết phân biệt bên trong được thay thế bằng mã số (K1, K2...). Người tham gia thường được hứa rằng “những gì bạn nói sẽ được báo cáo ẩn danh”; Thuật ngữ tương đương về mặt kỹ thuật của cụm từ này là ẩn danh.
Kiểu dữ liệu
Rủi ro
đề phòng
Tên/chức danh người tham gia
tiết lộ danh tính
Thay thế bằng mã số
Chi tiết nội bộ
chẩn đoán gián tiếp
Tổng quát hóa hoặc che dấu
tầm nhìn nhạy cảm
Nguy cơ bị trả thù
So khớp riêng lẻ với báo cáo hàng loạt
Ghi âm thanh/video
độ nhạy cao nhất
Kết xuất trong công cụ đã được phê duyệt, sau đó xóa
Bạn có thể yêu cầu mô hình thực hiện ẩn danh như một bước sơ bộ trước khi tải bản ghi lên công cụ; Nhưng hãy chắc chắn kiểm tra trực quan đầu ra:
Vai trò của bạn: người biên tập quyền riêng tư. Chuẩn bị bản ghi cuộc phỏng vấn sau đây để phân tích; thực hiện các thao tác che dấu sau:- Tạo tất cả tên liên hệ K1, K2...- Tổng quát hóa các chi tiết nhận dạng gián tiếp như chức danh, bộ phận, địa điểm (“Kỹ sư nước ngoài duy nhất trong lĩnh vực R&D” → “kỹ sư”).- Xóa tên công ty/khách hàng. Chỉ đưa ra văn bản bị che; Liệt kê ngắn gọn loại thông tin bạn đang che giấu và tại sao.
Thận trọng: Nói "Ẩn danh" là chưa đủ. Cụm từ “Nữ quản lý duy nhất chịu trách nhiệm tiếp thị” xác định người đó dù không ghi tên. Việc ẩn danh cũng phải bao gồm tất cả các chi tiết có thể nhận dạng gián tiếp. Hành vi vi phạm KVKK và mất lòng tin của người tham gia bắt đầu từ đây.
Giải thích dữ liệu khảo sát định lượng
Trí tuệ nhân tạo tạo ra bản tóm tắt và phân tích các kết quả khảo sát khép kín (bằng số). Nhưng phân tích định lượng có những cạm bẫy riêng và mô hình có thể bỏ qua chúng:
- Mẫu nhỏ: Nói “61% khách hàng hài lòng” từ khảo sát 18 người là sai lệch; Nếu mẫu nhỏ, số lượng thô và độ không đảm bảo nên được thảo luận chứ không phải tỷ lệ phần trăm.
- Câu hỏi hàng đầu: "Bạn hài lòng như thế nào với dịch vụ xuất sắc của chúng tôi?" Câu hỏi ẩn chứa câu trả lời; Kết quả là sai lệch.
- Thiên kiến lựa chọn: Nếu chỉ những khách hàng hài lòng nhất hoặc tức giận nhất phản hồi thì kết quả sẽ không mang tính đại diện cho cả vũ trụ.
Trước khi tóm tắt kết quả của cuộc khảo sát này, hãy tiến hành kiểm tra phương pháp luận: - Cỡ mẫu có đủ để trình bày kết quả theo tỷ lệ phần trăm không? - Có câu dẫn dắt/dẫn dắt trong các câu hỏi không? Đánh dấu.- Tỷ lệ phản hồi và nguy cơ sai lệch lựa chọn là bao nhiêu? Chỉ cung cấp báo cáo kiểm toán; Sau đó chúng tôi sẽ tóm tắt nó trong một tin nhắn riêng.
ba trường hợp nhỏ
Trường hợp 1 — Chủ đề bịa đặt bị bắt. Một nhà tư vấn chỉ định 20 cuộc phỏng vấn cho mô hình; mô hình trích xuất chủ đề “người tham gia muốn làm việc từ xa”. Nhà tư vấn yêu cầu báo giá; Người mẫu chỉ tìm được 1 trích dẫn mơ hồ. Chủ đề không thực sự tồn tại, mô hình được tạo nên từ xu hướng chung. Nếu không có yêu cầu trích dẫn, kết quả không chính xác sẽ được đưa vào báo cáo.
Trường hợp 2 - Chẩn đoán gián tiếp. Trong một dự án về sự hài lòng của nhân viên, bảng điểm có nội dung "Kỹ sư nước ngoài duy nhất trong lĩnh vực R&D đã nói điều này." Không có tên, nhưng người thì rõ ràng; Một khi báo cáo được gửi tới người quản lý, sẽ có nguy cơ bị trả thù. Nhà tư vấn phải khái quát ngay từ đầu tất cả các chi tiết phân biệt (“một kỹ sư”).
Trường hợp 3 - Bẫy mẫu nhỏ. Trong cuộc thử nghiệm sản phẩm, 15 trên 22 người dùng thích nó; mô hình cho biết "sự hài lòng 68%" và được đặt trên slide. Ban đầu tư phản đối: "22 người không đại diện cho vũ trụ". Chuyên gia tư vấn viết lại kết quả một cách trung thực là "15 trên 22 người dùng dương tính; yêu cầu mẫu lớn mang tính chỉ dẫn, khẳng định"; niềm tin trở lại.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Đọc những cuộc phỏng vấn này và trích xuất những phát hiện chính.
Mô hình tạo ra các chủ đề không có dấu ngoặc kép, không có bằng chứng; Nguy cơ bịa đặt và bảo mật là rất cao.
Lời nhắc mạnh mẽ:
Vai trò của bạn: nhà phân tích định tính. Bảng điểm bên dưới, ẩn danh (K1..Kn).Nhiệm vụ: Tối đa 7 chủ đề; số lượng người tham gia cho mỗi + 2 trích dẫn nguyên văn (có mã); các tuyên bố ủng hộ và mâu thuẫn riêng biệt; danh sách ý kiến thiểu số nhưng phê phán riêng biệt. Quy tắc: bổ sung các ý kiến không có trong biên bản; tạo bản sắc; Đừng đưa ra một chủ đề mà không có dấu ngoặc kép; đánh dấu chủ đề mà bạn không chắc chắn là "bằng chứng yếu".
Độ bão hòa và trọng lượng của chủ đề
Trong phân tích định tính, có hai khái niệm quyết định chất lượng của việc diễn giải. Đầu tiên là tình trạng bão hòa: dữ liệu được cho là “bão hòa” khi các cuộc phỏng vấn mới không còn đưa ra được chủ đề mới; Đây là dấu hiệu cho thấy mẫu đã đủ. Nếu các chủ đề hoàn toàn mới vẫn xuất hiện ở cuộc phỏng vấn thứ 8 thì cần phải phỏng vấn nhiều hơn. Thứ hai, tầm quan trọng của chủ đề: có bao nhiêu người nhìn thấy một chủ đề và tầm quan trọng của chủ đề đó là những điều khác nhau. Một sự bất tiện nhỏ được năm người đề cập và nguy cơ hủy hợp đồng được một người đề cập có tần suất không bằng nhau, nhưng điều sau có thể quan trọng hơn nhiều. Vì vậy, chỉ xếp hạng các chủ đề theo tần suất là sai lầm; Đánh giá từng chủ đề theo cả hai tiêu chí “có bao nhiêu người” và “quan trọng như thế nào”. Việc AI nói “đánh giá các chủ đề này theo hai cột tần suất và tác động kinh doanh tiềm năng riêng biệt” sẽ làm cho sự khác biệt này trở nên rõ ràng; Bạn đưa ra đánh giá về tác động kinh doanh.
Những lỗi thường gặp
- Chấp nhận chủ đề không trích dẫn. Mỗi chủ đề phải được chứng minh bằng trích dẫn nguyên văn từ bản ghi âm; Nếu không sẽ có nguy cơ bị ảo giác.
- Làm cho việc ẩn danh trở nên hời hợt. Chỉ xóa tên thôi là chưa đủ; Các chi tiết nhận dạng gián tiếp cũng nên được che giấu.
- Trình bày mẫu nhỏ với tỷ lệ phần trăm. Với số lượng người tham gia ít, số liệu thô và sự không chắc chắn nên được thảo luận chứ không phải tỷ lệ phần trăm.
- Bỏ qua câu hỏi hàng đầu. Kết quả của các câu hỏi dẫn dắt thường bị sai lệch; Kiểm tra phương pháp luận.
- Mất các ngoại lệ. Sau khi được nói ra, lời cảnh báo quan trọng sẽ bị đa số chủ đề nuốt chửng; liệt kê riêng biệt.
- Trộn lẫn số lượng và chất lượng. Xử lý các nhận xét mở với kết quả bằng số theo nhiều cách khác nhau.
Tóm lại
Dữ liệu định tính là nguồn thông tin chi tiết phong phú nhất trong lĩnh vực tư vấn và trí tuệ nhân tạo giúp tiết kiệm hàng giờ trong việc viết mã và tạo chủ đề. Tuy nhiên, mỗi chủ đề phải được chứng minh bằng các trích dẫn nguyên văn, tính bảo mật của người tham gia phải được bảo vệ hoàn toàn, bao gồm cả nhận dạng gián tiếp và các cạm bẫy về phương pháp luận như lấy mẫu, sai lệch câu hỏi và lựa chọn phải được kiểm soát trong các cuộc khảo sát định lượng. Mô hình này là một trình đọc và ghi nhãn nhanh; công việc của nhà tư vấn là xác minh bằng chứng, duy trì tính bảo mật và thiết lập lớp "thì sao".
Nhiệm vụ ứng dụng
Chuẩn bị một số bản ghi cuộc phỏng vấn (hoặc các câu trả lời khảo sát mở), có thật hoặc mang tính đại diện, và ẩn danh chúng trước (bao gồm tên và thông tin nhận dạng gián tiếp). Trích xuất các chủ đề, trích dẫn, tuyên bố mâu thuẫn và tiếng nói bất đồng với sự gợi ý mạnh mẽ về mặt định tính. Kiểm tra trích dẫn của ít nhất một chủ đề trong bản ghi để xác minh rằng nó thực sự tồn tại. Sau đó thực hiện một cuộc khảo sát định lượng nhỏ và đánh giá độ lệch mẫu và câu hỏi bằng cách yêu cầu kiểm tra phương pháp luận.
danh sách kiểm tra
- [ ] Tôi đã ẩn danh các bản ghi, bao gồm tên và thông tin nhận dạng gián tiếp.
- [ ] Tôi chứng minh từng chủ đề bằng một trích dẫn nguyên văn.
- [ ] Tôi đã thể hiện những biểu cảm và giọng nói trái ngược nhau một cách riêng biệt.
- [ ] Trong mẫu nhỏ, tôi sử dụng số thô và độ không chắc chắn thay vì tỷ lệ phần trăm.
- [ ] Tôi đã đánh dấu những câu hỏi hàng đầu.
- [ ] Tôi đã đánh giá nguy cơ sai lệch lựa chọn.
- [ ] Tôi đã báo cáo chung những bình luận nhạy cảm mà không khớp chúng với từng cá nhân.