Lợi nhuận:
- Khả năng chuyển đổi hồ sơ kiểm tra khả năng sử dụng và ghi chú quan sát thành kết quả, trọng số và đề xuất bằng trí tuệ nhân tạo
- Khả năng xếp hạng các phát hiện theo mức độ nghiêm trọng và tạo bảng ưu tiên
- Khả năng sửa chữa những phát hiện mà trí tuệ nhân tạo bỏ qua hoặc phóng đại bằng bằng chứng quan sát thực tế
Kiểm tra khả năng sử dụng là một phương pháp quan sát nơi thiết kế hoạt động và nơi nó gặp khó khăn bằng cách giao các nhiệm vụ cụ thể cho người dùng thực và theo dõi họ. Bản thân bài kiểm tra rất dễ dàng; Thử thách thực sự nằm ở hậu quả: biến hàng giờ ghi âm, các trang ghi chú quan sát và ảnh chụp màn hình rải rác thành những phát hiện rõ ràng, được ưu tiên. Quá trình tổng hợp này mất nhiều ngày bằng tay và các nhóm thường bỏ dở. Trí tuệ nhân tạo mở ra nút thắt này: biến hồ sơ và ghi chú thành những phát hiện, trọng lượng và đề xuất. Nhưng chính sự phán xét của con người mới quyết định liệu một quan sát có thực sự là một vấn đề hay không và nó quan trọng như thế nào.
Sự khác biệt giữa quan sát, tìm kiếm và gợi ý
Điều quan trọng là phải tách ba lớp trong quá trình tổng hợp:
- Quan sát: Chuyện gì đã xảy ra, miễn bình luận. "Người tham gia 3 đã tìm kiếm nút 'tiếp tục' trong 40 giây."
- Phát hiện: Mô hình nổi lên từ các quan sát. "Người dùng đang gặp khó khăn khi tìm hành động chính."
- Khuyến nghị: Phải làm gì. "Làm cho nút chính nổi bật về mặt hình ảnh."
AI nhanh chóng tạo ra ba lớp này, nhưng thường nhầm lẫn giữa quan sát với việc tìm kiếm hoặc suy ra toàn bộ phát hiện từ một quan sát duy nhất. Công việc của bạn là xác minh rằng có đủ số lượng quan sát (có bao nhiêu người tham gia, bao nhiêu lần) đằng sau mỗi phát hiện.
Mẹo: Yêu cầu trí tuệ nhân tạo nói "bên dưới mỗi phát hiện, hãy thêm các quan sát hỗ trợ phát hiện đó và số lượng người tham gia phát hiện đó". Bằng cách này, bạn có thể ngay lập tức phân biệt được những phát hiện bị thổi phồng với một quan sát đơn lẻ.
Mức độ nghiêm trọng: cần khắc phục điều gì trước tiên?
Không phải tất cả các phát hiện đều như nhau. Mức độ nghiêm trọng cho biết mức độ khẩn cấp của một vấn đề cần được khắc phục và được xác định bởi ba yếu tố:
- Tác động: Sự cố có ngăn cản người dùng hoàn thành nhiệm vụ hay chỉ làm họ khó chịu?
- Tần suất: Có bao nhiêu người dùng và tần suất như thế nào?
- Tác động kinh doanh: Vấn đề này ảnh hưởng đến chuyển đổi, doanh thu hoặc niềm tin ở mức độ nào?
Thang điểm điển hình: Quan trọng (cản trở hoàn toàn nhiệm vụ), Cao (độ khó cao), Trung bình (chậm lại), Thấp (mỹ phẩm). AI có thể đề xuất xếp hạng ban đầu, nhưng quyết định đánh giá cuối cùng - cụ thể là tác động kinh doanh - đòi hỏi kiến thức của nhóm về bối cảnh.
tìm thấy
tác động
tần số
tầm quan trọng
Đề xuất
Không thể tìm thấy nút chính
Nó cản trở nhiệm vụ
4/6 người tham gia
quan trọng
Nút đánh dấu
Thông báo lỗi không rõ ràng
chậm lại
6/3
cao
Làm rõ thông điệp
Ý nghĩa biểu tượng không rõ ràng
do dự nhẹ
2/6
trung bình
Thêm thẻ
Tông màu không được ưa thích
mỹ phẩm
1/6
thấp
để sau đi
ba trường hợp nhỏ
Trường hợp 1 - ghi âm trong 5 giờ, phát hiện trong nửa ngày. Một nhóm đã cung cấp các ghi chú của 6 bài kiểm tra của người dùng (tổng cộng 5 giờ) cho AI. Mô hình đề xuất 14 phát hiện; Nhóm đã kiểm tra từng cái theo số lượng quan sát, thu hẹp xuống còn 9 và xếp chúng theo thứ tự quan trọng. Quá trình tổng hợp vốn có thể mất 2 ngày theo cách thủ công đã giảm xuống còn nửa ngày.
Trường hợp 2 - Phát hiện thổi phồng bị bắt. “Người dùng không hiểu điều hướng,” AI viết trong một phát hiện quan trọng. Khi nhóm xem xét các quan sát hỗ trợ, họ nhận thấy rằng nó dựa trên một khoảnh khắc duy nhất của một người tham gia. Phát hiện này đã bị hạ cấp xuống mức "vừa phải" và yêu cầu thêm dữ liệu. Bài học: một quan sát đơn lẻ không tạo nên một phát hiện quan trọng.
Trường hợp 3 - Bỏ sót vấn đề nghiêm trọng. Mô hình tính một sự cố định kỳ nhưng có vẻ nhỏ (biểu mẫu không tự động cuộn) là "thấp". Khi người thiết kế xem xét các quan sát, anh ấy nhận ra rằng điều này đã khiến 5 người tham gia bỏ nhiệm vụ và đặt nó ở mức "cao". Bài học: Ước tính tầm quan trọng của AI được điều chỉnh bằng bằng chứng quan sát.
Đọc dữ liệu định lượng và định tính cùng nhau
Kiểm tra khả năng sử dụng chủ yếu là định tính (dựa trên quan sát), nhưng cũng có các tín hiệu định lượng (bằng số): tỷ lệ hoàn thành nhiệm vụ, thời lượng nhiệm vụ, số lỗi, điểm hài lòng. Sự tổng hợp mạnh mẽ nhất kết hợp cả hai: “Chỉ 33% người tham gia hoàn thành nhiệm vụ thanh toán (định lượng) và tất cả những người không hoàn thành đều bị kẹt ở bước vận chuyển (định tính).” Trí tuệ nhân tạo giúp kết hợp hai dữ liệu này khi bạn cung cấp chúng riêng biệt; nhưng bạn xác nhận tính chính xác của các con số và cỡ mẫu. Nói về tỷ lệ phần trăm có thể gây hiểu nhầm trong các mẫu nhỏ (ví dụ: 5 người dùng); Nói “3 trên 5 người dùng” thì thành thật hơn nói “60%”. Yêu cầu người mẫu nói về số tuyệt đối.
Mẹo: Yêu cầu AI nói "viết dưới dạng 'có bao nhiêu người dùng' thay vì tỷ lệ phần trăm." Trong các mẫu nhỏ, tỷ lệ phần trăm mang lại ấn tượng về độ chính xác cao hơn thực tế.
Lời nhắc có thể sao chép
Vai trò của bạn: nhà phân tích khả năng sử dụng. Rút ra những phát hiện từ các ghi chú kiểm tra ẩn danh sau đây. Đối với mỗi phát hiện: 1) tuyên bố rõ ràng, 2) quan sát hỗ trợ và số lượng người tham gia đã nhìn thấy nó, 3) hiệu ứng (chặn/làm chậm/mỹ phẩm). Đánh dấu các phát hiện dựa trên một quan sát duy nhất là "BẰNG CHỨNG YẾU". Ghi chú: <<văn bản>>
Sắp xếp danh sách các phát hiện này theo tầm quan trọng. Tiêu chí: tác động (trở ngại trong nhiệm vụ?), tần suất (có bao nhiêu người tham gia?), tác động đến hoạt động kinh doanh. Chỉ định từng phát hiện Quan trọng/Cao/Trung bình/Thấp và viết cơ sở lý luận. Nếu bạn không chắc chắn về tác động kinh doanh, hãy nói "nhóm phải đánh giá". Kết quả: <<danh sách>>
Viết một đề xuất thiết kế cụ thể, có thể thực hiện được cho mỗi phát hiện. Đề xuất: điều gì sẽ thay đổi + tại sao điều này giải quyết được vấn đề + nó ảnh hưởng đến màn hình nào. Tránh những khuyến nghị mơ hồ ("làm tốt hơn"). Kết quả: <<danh sách>>
Tóm tắt báo cáo phát hiện này để trình bày cho các bên liên quan: viết một bản tóm tắt ngắn gọn bao gồm 3 phát hiện quan trọng nhất, bằng chứng (số lượng người dùng) và hành động được đề xuất. cường điệu; lấy số từ ghi chú.Báo cáo: <<text>>
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: “Hãy rút ra kết luận từ những điểm kiểm tra này.”
Kết quả: Một danh sách hỗn hợp không có bằng chứng, không có thứ tự quan trọng và nhầm lẫn một quan sát đơn lẻ là một phát hiện.
Mạnh: "Rút ra một phát hiện từ các ghi chú; dưới mỗi phát hiện, thêm các quan sát hỗ trợ và số lượng người tham gia; đánh dấu quan sát dựa trên một quan sát duy nhất là 'bằng chứng yếu'; sau đó xếp hạng nó theo thứ tự quan trọng theo hiệu ứng-tần số-hiệu quả công việc."
Kết quả: Những phát hiện dựa trên bằng chứng, được ưu tiên, có thể bảo vệ được.
Sự khác biệt: gợi ý mạnh mẽ số lượng bằng chứng + gợi ý yếu + tiêu chí quan trọng.
Những lỗi thường gặp
- Nhầm lẫn việc quan sát với việc tìm kiếm. Biến một câu “chuyện gì đã xảy ra” thành một kết luận tổng thể.
- Đưa ra những phát hiện quan trọng từ một quan sát duy nhất. Sẽ không có trọng số nào được đưa ra cho đến khi tần số được xác minh.
- Quyết định tác động kinh doanh đến trí tuệ nhân tạo. Tác động về doanh thu/chuyển đổi cần có bối cảnh; Anh ấy ở trong đội của mình.
- Đừng ưu tiên. Danh sách phát hiện vô tổ chức khiến nhóm bị tê liệt; Không phải mọi thứ có thể được sửa chữa cùng một lúc.
- Để lại những gợi ý mơ hồ. “Làm tốt hơn” là không thể áp dụng được; Cái gì, tại sao và ở đâu cần phải rõ ràng.
Tóm lại
Giá trị của việc kiểm tra khả năng sử dụng nằm ở việc biến các bản ghi và ghi chú thành những phát hiện rõ ràng, được ưu tiên. Trí tuệ nhân tạo tăng tốc đáng kể quá trình tổng hợp này: tổng hợp các quan sát thành các phát hiện, soạn thảo các khuyến nghị, gợi ý thứ tự quan trọng. Nhưng công việc của con người là xác minh số lượng quan sát đằng sau mỗi phát hiện, loại bỏ những phát hiện bị thổi phồng dựa trên những quan sát đơn lẻ và cân nhắc tác động kinh doanh theo bối cảnh. Một báo cáo phát hiện dựa trên bằng chứng, có tần suất nhất định và được sắp xếp theo thứ tự quan trọng sẽ vừa nhanh chóng vừa có thể bảo vệ được các bên liên quan.
Nhiệm vụ ứng dụng
- Ẩn danh các ghi chú từ bài kiểm tra khả năng sử dụng (thực hoặc hư cấu).
- Loại bỏ các phát hiện ở dấu nhắc đầu tiên; Kiểm tra số lượng quan sát dưới mỗi.
- Các phát hiện riêng biệt được đánh dấu là "bằng chứng yếu" và quyết định xem có cần thêm dữ liệu hay không.
- Với gợi ý thứ hai, hãy xếp hạng các phát hiện theo thứ tự quan trọng; Đánh giá tác động kinh doanh với tư cách là một nhóm.
- Với gợi ý thứ ba, hãy viết những đề xuất cụ thể cho từng phát hiện và tạo bảng ưu tiên.
danh sách kiểm tra
- [ ] Tôi giữ sự quan sát, phát hiện và đề xuất thành các lớp riêng biệt.
- [ ] Tôi đã xác minh có bao nhiêu người tham gia đưa ra từng phát hiện.
- [ ] Tôi đánh dấu những phát hiện dựa trên một quan sát duy nhất là bằng chứng yếu.
- [ ] Tôi xác định mức độ nghiêm trọng bằng tác động-tần suất-tác động đến công việc.
- [ ] Đánh giá quyết định tác động kinh doanh với nhóm.
- [ ] Tôi đã viết những gợi ý một cách cụ thể (cái gì/tại sao/ở đâu).