Lợi nhuận:
- Khả năng hiểu bản chất dựa trên sự tò mò của con người trong thử nghiệm thăm dò và sử dụng trí tuệ nhân tạo làm đối tác để tạo ra các biểu đồ thử nghiệm và manh mối trực quan
- Khả năng đa dạng hóa các trục khám phá như đầu vào, thời gian, định dạng, ủy quyền và gián đoạn và ghi lại từng điểm bất thường trong bước sản xuất
- Khả năng áp dụng giới hạn chỉ sử dụng AI trong quá trình chuẩn bị và tổng kết trong khi phiên khám phá được thực hiện bởi con người
Mỗi trường hợp kiểm thử được viết sẽ kiểm tra điều gì đó đã được nghĩ đến. Nhưng những sai lầm nguy hiểm nhất thường ẩn giấu ở những nơi mà trước đây không ai nghĩ tới. Thử nghiệm thăm dò - một phương pháp thử nghiệm trong đó người thử nghiệm đồng thời tìm hiểu, thiết kế và chạy sản phẩm bằng cách khám phá nó mà không dựa vào tập lệnh viết sẵn - nhắm chính xác vào khoảng trống này. Trong thử nghiệm thăm dò, chuyên gia chơi thoải mái với sản phẩm, hỏi “nếu tôi làm điều này thì sao” và nắm bắt hành vi bất ngờ của hệ thống. Đây là loại thử nghiệm dựa nhiều nhất vào trực giác và sự tò mò của con người - và đó chính xác là lý do tại sao vai trò của trí tuệ nhân tạo (AI) ở đây không phải là "thay thế" mà là khuếch đại sự tò mò, gợi lên những điểm mù và tạo ra ý tưởng.
Trong phần này, bạn sẽ tìm hiểu cách sử dụng AI làm đối tác thử nghiệm khám phá: từ in biểu đồ thử nghiệm, gợi lên phương pháp phỏng đoán cho đến tóm tắt các ghi chú sau phiên học.
Tại sao thử nghiệm thăm dò vẫn là công việc của con người?
Kiểm tra theo kịch bản - một bài kiểm tra với các bước được viết trước và lặp lại nguyên văn - xác nhận những gì đã biết; Thử nghiệm thăm dò tìm kiếm những điều chưa biết. Giá trị của thử nghiệm thăm dò đến từ thời điểm người thử nghiệm nhìn thấy sản phẩm và cảm nhận được "có điều gì đó kỳ lạ ở đây". AI không thể nhìn sản phẩm theo cách bạn nhìn, nó không thể cảm nhận được điều gì sẽ làm phiền người dùng thực sự, nó không thể bị làm phiền bằng cách nói "nút này đặt sai vị trí". Nhưng AI là một công cụ hỗ trợ rất mạnh mẽ theo ba cách: (1) tạo ra danh sách các ý tưởng thử nghiệm một cách có hệ thống, (2) nhắc nhở bạn về các trục thử nghiệm mà bạn đã quên, (3) biến các ghi chú khám phá rải rác của bạn thành một báo cáo có tổ chức.
Mẹo: Yêu cầu AI “khởi động ý tưởng thử nghiệm” trước khi bắt đầu phiên khám phá; Đừng để màn hình cho AI trong phiên. AI rất hữu ích trước và sau phiên học; Bản thân phiên này được thúc đẩy bởi sự tò mò của bạn.
Heuristic và AI
Những người thử nghiệm khám phá sử dụng phương pháp phỏng đoán, là những lời nhắc ngắn gọn cung cấp hướng đi trong quá trình tìm kiếm lỗi. AI có thể nhắc nhở bạn về những điều này bằng cách điều chỉnh chúng cho phù hợp với bối cảnh của bạn. Một vài tác phẩm kinh điển:
- CRUD: Thử luồng Tạo, Đọc, Cập nhật, Xóa cho từng dữ liệu; ngắt lời ai đó.
- Goldilocks (little/full/lot): Nhập rất ít, đầy đủ và nhiều dữ liệu vào một trường (0 ký tự, 1 ký tự, 10.000 ký tự).
- CRUD + lập lịch: Chỉnh sửa cùng một bản ghi trong hai tab cùng một lúc, sau đó lưu cả hai.
- Ngắt: Làm mới trang đang hoạt động, ngắt kết nối mạng, nhấn backspace.
- Thứ tự ngược: Thực hiện các bước theo thứ tự ngược lại (thanh toán trước, sau đó thêm vào giỏ hàng).
Khi bạn yêu cầu AI “đề xuất các thử nghiệm cụ thể bằng cách áp dụng các tín hiệu trực quan này cho màn hình đó”, bạn sẽ nhận được một danh sách kiểm tra sẵn sàng tại hiện trường.
Viết điều kiện kiểm tra (điều lệ)
Thử nghiệm thăm dò không phải là đi lang thang; Nó tập trung vào điều lệ kiểm tra (một chỉ thị ngắn xác định nội dung phiên khám phá sẽ khám phá và nhằm mục đích gì). Một điều lệ tốt tuân theo mẫu sau: “Khám phá [miền mục tiêu], sử dụng [công cụ/dữ liệu] để khám phá [thông tin/rủi ro nào].” AI nhanh chóng soạn thảo các điều khoản này.
Cân bằng thử nghiệm theo kịch bản với thử nghiệm thăm dò
Chiến lược kiểm tra âm thanh sử dụng kết hợp kiểm tra theo kịch bản (tự động, có thể lặp lại) và kiểm tra thăm dò. Các thử nghiệm theo kịch bản xác minh một cách rẻ tiền rằng các hành vi đã biết không bị hỏng, hết phiên bản này đến phiên bản khác; Mặt khác, thử nghiệm thăm dò tìm kiếm những rủi ro mới mà các tập lệnh này chưa bao giờ xem xét. Cả hai không phải là đối thủ cạnh tranh mà bổ sung cho nhau. Một sai lầm phổ biến là nghĩ “hãy tự động hóa mọi thứ để không cần khám phá”; trong khi tự động hóa chỉ kiểm tra những gì bạn đã biết, nó không bao giờ có thể tìm thấy những gì bạn không biết. Một sai lầm khác thì ngược lại: dựa vào việc khám phá thủ công với mỗi bản phát hành mà không thiết lập bất kỳ tự động hóa nào - điều này dẫn đến các lỗi cơ bản giống nhau xuất hiện lặp đi lặp lại.
AI giúp thiết lập sự cân bằng này: bạn có thể biến một điểm bất thường mà bạn tìm thấy trong phiên khám phá của mình thành một bài kiểm tra hồi quy theo kịch bản vĩnh viễn bằng cách đưa nó cho AI. Vì vậy, lỗi một khi được phát hiện trong quá trình khám phá sẽ không bao giờ có thể quay trở lại mà không bị phát hiện. Discovery đảm nhiệm việc “tìm ra rủi ro mới”, tự động hóa đảm nhiệm việc “không buông bỏ những gì đã tìm thấy”; AI tăng tốc cầu nối giữa hai bên.
Mẹo: Tách đầu ra của mỗi phiên khám phá thành hai nhóm: “lỗi cần sửa ngay lập tức” và “các kịch bản chuyển sang tự động hóa vĩnh viễn”. Nhóm thứ hai mang giá trị lâu dài của khám phá vào gói hồi quy của bạn.
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: "Tôi nên kiểm tra cái gì trên màn hình này?"
Mạnh: "Đối với tính năng 'tải ảnh hồ sơ lên', hãy chia phiên kiểm tra khám phá kéo dài 90 phút thành 3 điều kiện kiểm tra. Đối với mỗi điều kiện: đưa ra mục tiêu, manh mối trực quan để sử dụng (kích thước/định dạng/goldilocks/cắt ngắn), 5 hành động cụ thể để thử và các tín hiệu rủi ro cần chú ý (chậm, hình ảnh bị hỏng, bảo mật). Đặc biệt là giải quyết các rủi ro tải lên tệp độc hại (tệp quá lớn, phần mở rộng sai) một cách phòng thủ."
Lời nhắc mạnh mẽ; đưa ra thời lượng, cấu trúc, manh mối và trọng tâm rủi ro. Kết quả là một bản đồ chỉ đường mà bạn sẽ mang theo trong suốt buổi học.
Bảng trục thăm dò
trục
câu hỏi để hỏi
bài văn mẫu
Giới hạn đầu vào
Trường này làm gì ở các giá trị cực trị?
Tên 10.000 ký tự
thời gian
Điều gì xảy ra trong quá trình xử lý đồng thời/gián đoạn?
Lưu cùng một bản ghi trong hai tab
định dạng
Làm cách nào để xử lý định dạng không mong muốn?
Biểu tượng cảm xúc, văn bản từ phải sang trái, HTML
thẩm quyền
Người dùng trái phép có thể truy cập?
Thay đổi URL theo cách thủ công
Trạng thái
Có thể chuyển đổi trạng thái không hợp lệ không?
Cố gắng thanh toán cho đơn hàng bị hủy
khấu trừ
Dữ liệu có nhất quán khi mạng/phiên bị gián đoạn không?
Cắt mạng trong khi ghi
Bốn mẫu có thể sao chép
1) Bộ tạo điều kiện kiểm tra:
Vai trò của bạn: người thử nghiệm khám phá cấp cao. Chia phiên khám phá [thời lượng] phút thành 3-4 điều kiện thử nghiệm cho tính năng:[tính năng]. Mỗi điều kiện: mục tiêu, manh mối trực quan để sử dụng, 5 hành động cụ thể để thử, tín hiệu rủi ro cần theo dõi. Mẫu điều kiện: "Khám phá [miền] bằng [công cụ/dữ liệu] để tìm [rủi ro/thông tin]."
2) Bộ chuyển đổi tín hiệu trực quan:
Chuyển những manh mối trực quan này thành các thử nghiệm cụ thể cho màn hình sau: CRUD, goldilocks (ít/đầy/nhiều hơn), ngắt, đảo ngược thứ tự, bỏ qua ủy quyền. Màn hình: [màn hình/mô tả luồng]. Viết 2 thí nghiệm cụ thể trên màn hình cho mỗi đầu mối.
3) Nhắc nhở điểm mù:
Tôi đang thử nghiệm tính năng sau: [tính năng]. Hãy liệt kê 10 trường hợp mà những người thử nghiệm có kinh nghiệm NHIỀU NHẤT bỏ lỡ loại tính năng này. Bao gồm khả năng truy cập, bản địa hóa (ngôn ngữ/ngày/tiền tệ), trục đồng thời, bảo mật và hiệu suất.
4) Tóm tắt ghi chú phiên:
Dưới đây là những ghi chú thô từ phiên khám phá của tôi. Sắp xếp chúng theo cấu trúc sau: - Các điểm bất thường được tìm thấy (với mức độ nghiêm trọng ước tính) - Những điểm bất thường có bước sao chép đã biết - Những điểm bất thường cần điều tra thêm - Đề xuất cho phiên tiếp theo Ghi chú thô: [dán ghi chú]
ba trường hợp nhỏ
Trường hợp 1 - Chức năng nhắc nhở điểm mù. Một chuyên gia đang thử nghiệm tính năng tìm kiếm trong một ứng dụng đa ngôn ngữ. Khi AI nhắc nhở "đừng quên trục bản địa hóa", anh ấy đã thử chuyển đổi chữ cái "i/I" dành riêng cho tiếng Thổ Nhĩ Kỳ. Tìm kiếm "Istanbul" không trả lại kết quả nào; Đã phát hiện lỗi chuyển đổi chữ thường. Trục AI nhắc nhở, chuyên gia thử và tìm ra.
Trường hợp 2 - Trọng tâm của điều lệ. Một người mới thử nghiệm mất 2 tiếng “lướt” qua một màn hình thanh toán nhưng chỉ làm được 2 ghi chú nhỏ vì không có cấu trúc. Sau khi lập kế hoạch cho một phiên với AI được chia thành 3 điều kiện thử nghiệm, nó đã ghi nhận 11 điểm bất thường trong cùng thời gian; hai người trong số họ rất nghiêm túc. Đồng thời hiệu quả gấp 5 lần nhờ cấu trúc.
Trường hợp 3 - Thử nghiệm tải lên tệp phòng thủ. Một nhóm đã thử "sai phần mở rộng/tệp quá lớn" do YZ đề xuất khi tải ảnh hồ sơ lên trong các sản phẩm của chính họ. Nhận thấy rằng tệp 50 MB đã làm hỏng máy chủ trong 40 giây và thêm giới hạn kích thước cũng như thời gian chờ. Việc thử nghiệm chỉ được thực hiện trên các sản phẩm của chính họ nhằm mục đích phòng thủ.
Những lỗi thường gặp
- Thay thế AI bằng session. Giá trị của sự khám phá nằm ở khả năng quan sát và trực giác của bạn; AI giúp chuẩn bị và phục hồi.
- Duyệt mà không cần đặt trước. Dành hàng giờ mà không tập trung và tìm thấy rất ít. Điều kiện kiểm tra mang lại sự tập trung.
- Không thu thập ghi chú. Nếu bạn không lưu lại điểm bất thường được tìm thấy trong quá trình khám phá bằng bước sản xuất thì phát hiện đó sẽ bị mất.
- Bị mắc kẹt trên một trục. Luôn kiểm tra giới hạn đầu vào; Bỏ qua các trục quyền hạn, lập kế hoạch, bản địa hóa.
- Tiến hành kiểm tra bảo mật trái phép. Chỉ thử thao tác tệp/URL trên sản phẩm của riêng bạn và được phép.
Tóm lại
Thử nghiệm thăm dò là loại thử nghiệm dựa nhiều nhất vào sự tò mò của con người, tìm kiếm những điều chưa được viết ra. AI sẽ không thay thế bạn ở đây; Nó phác thảo các điều kiện kiểm tra, điều chỉnh các manh mối trực quan phù hợp với ngữ cảnh của bạn, nhắc nhở bạn về những điểm mù và biến các ghi chú phiên lộn xộn của bạn thành một báo cáo có tổ chức. Giá trị đến từ sự quan sát và trực giác của bạn; AI tập trung và nhân giá trị này. Viết các điều kiện, thay đổi các trục, ghi lại các phát hiện trong bước sản xuất, chỉ thực hiện các kiểm tra bảo mật trong phạm vi được ủy quyền.
Nhiệm vụ ứng dụng
Chọn một tính năng từ sản phẩm của riêng bạn. Chia phiên 60 phút thành 3 điều kiện bằng cách sử dụng mẫu “trình tạo điều kiện thử nghiệm” với AI. Làm phiên (không có AI, khám phá bằng tay), ghi chép thô. Khi hoàn tất, hãy sắp xếp các ghi chú bằng mẫu “tóm tắt ghi chú phiên”. Kết quả: ít nhất 5 điểm bất thường, bước tái tạo cho mỗi điểm bất thường và ước tính mức độ nghiêm trọng. Lưu ý điều kiện kiểm tra và manh mối trực quan nào dẫn đến điểm bất thường có giá trị nhất mà bạn tìm thấy.
danh sách kiểm tra
- [ ] Trước buổi học, tôi đã tạo các điều kiện thử nghiệm với AI và xác định trọng tâm.
- [ ] Tôi đã thử ít nhất 4 trục khám phá khác nhau (đầu vào, thời gian, định dạng, ủy quyền, gián đoạn).
- [ ] Tôi tiến hành buổi học một cách thủ công với sự tò mò của riêng mình; Tôi không thay thế AI.
- [ ] Tôi đã ghi lại từng điểm bất thường cùng với bước tái tạo và ước tính mức độ nghiêm trọng của nó.
- [ ] Tôi đã biến những ghi chú của mình thành một báo cáo thường xuyên với AI.
- [ ] Tôi chỉ cố gắng bảo mật/thao túng trên sản phẩm của chính mình và được ủy quyền.