Lợi nhuận:
- Khả năng chuyển đổi các quan sát rải rác thành một báo cáo có tiêu đề rõ ràng, các bước tái tạo xác định, kết quả và bằng chứng mong đợi/thực tế với sự hỗ trợ của trí tuệ nhân tạo
- Có thể áp đặt quy tắc 'chỉ sử dụng thông tin tôi cung cấp, không bịa đặt' đối với trí tuệ nhân tạo và đảm bảo khả năng tái tạo bằng sự kiểm soát của chính nó
- Có thể phân biệt giữa mức độ nghiêm trọng (tác động kỹ thuật) và mức độ ưu tiên (sự cấp bách trong kinh doanh) và đưa ra nhãn hiệu cuối cùng với bối cảnh kinh doanh
Lỗi mà người kiểm tra tìm thấy chỉ có giá trị nếu nó được sửa; Việc sửa lỗi phụ thuộc phần lớn vào chất lượng của báo cáo lỗi—một bản ghi ghi lại lỗi theo cách mà nhà phát triển có thể hiểu, tái tạo và sửa lỗi đó. Một báo cáo lỗi được viết kém ("đăng nhập không hoạt động") sẽ khiến nhà phát triển trì hoãn hàng giờ, dẫn đến việc trao đổi qua lại và thường đóng lại vì "không thể sao chép". Một báo cáo tốt bao gồm các bước rõ ràng, kết quả mong đợi và thực tế, thông tin và bằng chứng bối cảnh. Trí tuệ nhân tạo (AI) rất giỏi trong việc biến những quan sát rải rác của bạn thành một báo cáo có cấu trúc, chuyên nghiệp. Nhưng lưu ý quan trọng cũng được áp dụng ở đây: AI không thể thực hiện các bước mà bạn không nhìn thấy; có thể điền những thông tin còn thiếu với những suy đoán “có vẻ hợp lý” nhưng không chính xác. Công việc của bạn là đảm bảo rằng mỗi dòng trong báo cáo đều dựa trên những gì bạn thực sự quan sát được.
Cấu trúc của một báo cáo lỗi tốt
Một báo cáo hiệu quả bao gồm các thành phần sau:
- Tiêu đề: Ngắn gọn, cụ thể, có thể tìm kiếm được. Không phải "Có lỗi"; "Không thể nhấp vào nút 'Thanh toán' với hơn 10 mặt hàng trong giỏ hàng (Chrome)".
- Các bước tái tạo: Đánh số, truy nguyên từ đầu, xác định. Nhà phát triển sẽ có thể thấy lỗi sau khi làm theo các bước sau.
- Kết quả mong đợi: Điều gì đáng lẽ phải xảy ra theo tiêu chí chấp nhận.
- Kết quả thực tế: Điều gì đã xảy ra (thông báo lỗi, màn hình, hành vi).
- Môi trường: Trình duyệt/thiết bị, phiên bản, môi trường (thử nghiệm/trực tiếp), vai trò người dùng, dữ liệu.
- Bằng chứng: Ảnh chụp màn hình, video, nhật ký, dấu vết lỗi (dấu vết ngăn xếp).
- Mức độ nghiêm trọng và mức độ ưu tiên: Chi tiết bên dưới.
Mẹo: Trước khi gửi báo cáo, hãy hỏi "nếu tôi giao các bước này cho người khác, họ có thể nhìn thấy lỗi mà không cần tôi trợ giúp không?" hỏi. Nếu câu trả lời là "không" thì báo cáo chưa đầy đủ. AI có thể làm cho báo cáo trở nên đẹp mắt nhưng chỉ bạn mới có thể đảm bảo khả năng tái tạo.
Bạo lực và ưu tiên: hai khái niệm nhầm lẫn
Mức độ nghiêm trọng là hậu quả kỹ thuật của lỗi: hệ thống gặp sự cố, dữ liệu bị mất hay là lỗi đánh máy? Ưu tiên là nó cần được sửa chữa gấp đến mức nào; là về tác động kinh doanh. Cả hai không phải lúc nào cũng đi theo một hướng: viết sai tên công ty trên trang chủ có mức độ nghiêm trọng thấp nhưng lại có mức độ ưu tiên cao (danh tiếng). Trong một trường hợp hiếm hoi, sự sụp đổ có thể có mức độ nghiêm trọng cao nhưng mức độ ưu tiên thấp. AI giúp bạn tạo ra sự khác biệt này khi bạn đưa ra nhận xét; nhưng nhãn cuối cùng được đưa ra bởi bạn, người hiểu biết về bối cảnh kinh doanh.
bạo lực
ví dụ
ưu tiên
ví dụ
Quan trọng (Trình chặn)
Không thể hoàn tất thanh toán
Khẩn cấp (P1)
Mất thu nhập trực tiếp
Cao (Chính)
Báo cáo đưa ra tổng số không chính xác
Cao (P2)
Phải có cho bản phát hành sắp tới
Trung bình (Nhỏ)
Lỗi trường hợp cạnh hiếm gặp
Trung bình (P3)
Trong một cuộc chạy nước rút có kế hoạch
Thấp (Tầm thường)
Căn chỉnh nút bị tắt
Thấp (P4)
Khi có cơ hội
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: "Báo cáo lỗi này: thanh toán không hoạt động."
Strong: "Hãy chuyển những quan sát của tôi bên dưới sang định dạng báo cáo lỗi tiêu chuẩn: tiêu đề, các bước sao chép (được đánh số), kết quả mong đợi, kết quả thực tế, môi trường, mức độ nghiêm trọng và đề xuất ưu tiên (hợp lý). Chỉ sử dụng thông tin tôi cung cấp; điền bất kỳ trường nào còn thiếu, đánh dấu 'THIẾU THÔNG TIN: ...'. Quan sát: Chrome 120, môi trường thử nghiệm, 12 mục trong giỏ hàng, không có gì xảy ra khi tôi nhấn 'Thanh toán', lỗi 'không xác định không phải là chức năng' trong bảng điều khiển, Không có vấn đề gì với 11 sản phẩm."
Lời nhắc mạnh mẽ; áp đặt định dạng, quy tắc "phù hợp" và đánh dấu thông tin còn thiếu. Bằng cách này, báo cáo sẽ vừa chính xác vừa trung thực.
Phát hiện lỗi trùng lặp
Trong các nhóm lớn, cùng một lỗi được báo cáo lặp đi lặp lại. AI có thể so sánh báo cáo mới của bạn với các lỗi mở hiện có và gắn cờ các lỗi trùng lặp tiềm ẩn — điều này giúp hệ thống theo dõi lỗi của bạn (Jira, Azure DevOps, GitHub Issues) luôn sạch sẽ. Nhưng hãy cẩn thận: hai lỗi bề ngoài có vẻ giống nhau có thể có nguyên nhân cốt lõi khác nhau; So sánh các bước sản xuất lặp lại và môi trường của cả hai báo cáo trước khi đóng đề xuất "trùng lặp" của AI. Một "bản sao" vô tình bị đóng thực sự là thiếu một lỗi riêng.
Từ dấu vết lỗi đến nguyên nhân gốc rễ: Sức mạnh của AI trong việc đọc nhật ký
Phần kỹ thuật nhất của báo cáo lỗi thường là dấu vết lỗi (dấu vết ngăn xếp - phân tích dòng mã nào, với chuỗi cuộc gọi nào, đã gây ra lỗi). Nhật ký dài và phức tạp có thể làm mệt mỏi ngay cả nhà phát triển. AI đọc nhật ký gồm hàng trăm dòng và tóm tắt trong vài giây những dòng quan trọng nhất, giả thuyết nguyên nhân gốc rễ có thể xảy ra và điểm mã nơi lỗi được kích hoạt. Điều này vừa rút ngắn báo cáo vừa cung cấp cho nhà phát triển một điểm khởi đầu trực tiếp.
Tuy nhiên, hãy nhớ hai giới hạn. Đầu tiên, nguyên nhân sâu xa được AI đưa ra là một giả thuyết chứ không phải bằng chứng; Nhà phát triển không nên cố gắng khắc phục điều này mà không xác minh nó. Thứ hai, nhật ký thường chứa dữ liệu cá nhân (email, ID người dùng, mã thông báo phiên); Che những khu vực này trước khi đặt khúc gỗ lên xe. Một cách thực hành tốt là trước tiên hãy để AI nói "liệt kê các trường cần được che trong nhật ký này" và sau đó phân tích nhật ký đã được làm sạch.
Mẹo: Thay vì dán toàn bộ nhật ký vào báo cáo, hãy đưa vào 3-5 dòng quan trọng nhất mà AI tóm tắt và liên kết đến nhật ký đầy đủ. Bằng cách này, báo cáo vẫn có thể đọc được và nhà phát triển cần thông tin chi tiết có thể truy cập nhật ký đầy đủ.
Bốn mẫu có thể sao chép
1) Từ quan sát đến báo cáo:
Vai trò của bạn: QA cấp cao. Chuyển các quan sát thô sau đây thành báo cáo lỗi tiêu chuẩn: Tiêu đề / Các bước tái tạo (được đánh số) / Dự kiến / Thực tế / Môi trường / Ghi chú bằng chứng / Mức độ nghiêm trọng + Ưu tiên (hợp lý). QUY TẮC: chỉ sử dụng thông tin tôi cung cấp; đánh dấu trường bị thiếu là "THIẾU THÔNG TIN:..." Quan sát: [ghi chú thô]
2) Kiểm soát độ tái lập:
Đọc báo cáo lỗi này dưới góc nhìn của một nhà phát triển chưa bao giờ nhìn thấy lỗi. Thực hiện theo các bước và đánh dấu những vị trí mà nó sẽ không tạo ra lỗi: bước không rõ ràng, thiếu điều kiện tiên quyết, thiếu dữ liệu kiểm tra, điều kiện bị bỏ qua. Hãy cho tôi biết tôi nên thêm thông tin gì cho mỗi khoảng trống. Báo cáo: [dán báo cáo]
3) Cố vấn về mức độ nghiêm trọng/ưu tiên:
Tôi mô tả lỗi sau: [lỗi + bối cảnh kinh doanh]. Đưa ra các đề xuất và giải trình riêng biệt về mức độ nghiêm trọng (tác động kỹ thuật) và mức độ ưu tiên (sự cấp bách trong kinh doanh). Giải thích tại sao hai điều này có thể khác nhau. Tôi sẽ đưa ra quyết định cuối cùng.
4) Tóm tắt dấu vết nhật ký/lỗi:
Kiểm tra dấu vết/nhật ký lỗi bên dưới. Hãy cung cấp cho tôi bản tóm tắt về (1) giả thuyết nguyên nhân gốc rễ, (2) điểm mã có thể xảy ra lỗi, (3) 3 dòng quan trọng nhất cần thêm vào báo cáo. Che dấu nếu có dữ liệu cá nhân. Nhật ký: [dán nhật ký]
ba trường hợp nhỏ
Trường hợp 1 - Giải phóng khỏi “Tôi không thể sản xuất”. Trong một nhóm, 30% lỗi đã bị đóng do "không thể tái tạo". Mẫu "kiểm tra độ tái lập" đã được thêm vào quy trình báo cáo; Trước khi mỗi báo cáo được gửi đi, AI sẽ gắn cờ các bước còn thiếu và điều kiện tiên quyết. Ba tháng sau, tỷ lệ “không sản xuất được” giảm từ 30% xuống còn 8%. Sự khác biệt là các bước đều chính xác ngay từ đầu.
Trường hợp 2 - Sự nguy hiểm của các bước giả. Một người thử nghiệm đã yêu cầu AI viết một báo cáo với những quan sát chưa đầy đủ; AI đã thêm một bước chưa từng xảy ra, chẳng hạn như "người dùng bật thông báo từ trang cài đặt". Khi nhà phát triển làm theo bước đó, anh ta không thể tìm ra lỗi và mất thời gian. Nhóm đã thực thi quy tắc "chỉ sử dụng thông tin tôi cung cấp, không bịa đặt"; Các bước trang điểm được loại bỏ.
Trường hợp 3 - Phân biệt mức độ nghiêm trọng/ưu tiên. Có lỗi đánh máy trong khẩu hiệu của công ty trên trang chủ. Người kiểm tra sẽ cho kết quả này là "thấp"; Chuyên gia tư vấn AI nhắc nhở rằng bạo lực kỹ thuật thấp nhưng ưu tiên kinh doanh lại cao (yếu tố danh tiếng mà mọi du khách đều nhận được). Lỗi đã được sửa ngay trong ngày với thẻ "ưu tiên cao".
Những lỗi thường gặp
- Tiêu đề mơ hồ. Các tiêu đề không thể tìm kiếm, không phân biệt đối xử như "Không hoạt động".
- Thiếu/bỏ qua các bước. Không viết những gì hiển nhiên trong ngữ cảnh của bạn; sự thất bại của nhà phát triển để sản xuất.
- Hãy để AI làm việc đó. Điền những thông tin còn thiếu bằng "ước tính hợp lý"; bước sai.
- Không viết kết quả mong đợi. Nói “sai” nhưng không nói rõ đâu là đúng.
- Nhầm lẫn giữa bạo lực và ưu tiên. Nhầm lẫn hai cái là một nhãn hiệu; Đánh giá sai tác động kinh doanh
- Dữ liệu nhạy cảm trong bằng chứng. Chia sẻ dữ liệu cá nhân thực trong ảnh chụp màn hình/nhật ký mà không che giấu chúng.
Tóm lại
Giá trị của báo cáo lỗi là nhà phát triển có thể tái tạo và sửa lỗi mà không cần sự trợ giúp của bạn. AI rất giỏi trong việc biến những quan sát rải rác thành một báo cáo có cấu trúc, chuyên nghiệp; Nó sắp xếp tiêu đề, các bước, kết quả mong đợi/thực tế, môi trường và bằng chứng, đồng thời cung cấp tư vấn về sự khác biệt giữa mức độ nghiêm trọng và mức độ ưu tiên. Nhưng AI có thể bù đắp những thông tin còn thiếu; Thực thi quy tắc "chỉ sử dụng thông tin tôi cung cấp, đánh dấu phần còn thiếu" và tự đảm bảo khả năng tái tạo. Che giấu dữ liệu cá nhân trong bằng chứng.
Nhiệm vụ ứng dụng
Hãy xử lý một lỗi mà bạn mới phát hiện gần đây và biến những quan sát thô của bạn thành một báo cáo bằng cách sử dụng mẫu "quan sát để báo cáo" (với quy tắc "phù hợp"). Sau đó thực hiện “kiểm tra độ tái lập” và điền vào các khoảng trống đã đánh dấu. Đưa báo cáo cho đồng nghiệp và xem liệu anh ta có thể mắc lỗi mà không cần sự giúp đỡ của bạn hay không. Cuối cùng, hãy xác định nhãn với "nhà tư vấn về bạo lực/ưu tiên" và hoàn thiện nó theo quyết định riêng của bạn. Hãy lưu ý mọi thông tin mà AI cố gắng bổ sung trong quá trình này.
danh sách kiểm tra
- [ ] Tiêu đề của tôi cụ thể và có thể tìm kiếm được.
- [ ] Các bước sao chép đều được thực hiện từ đầu, xác định và đầy đủ.
- [ ] Tôi đã viết riêng kết quả mong đợi và kết quả thực tế.
- [ ] Thông tin về bối cảnh và bằng chứng đã đầy đủ; Tôi đã che giấu dữ liệu cá nhân.
- [ ] Tôi đã áp đặt quy tắc “bù đắp, đánh dấu chỗ còn thiếu” cho AI và tự mình lấp đầy những khoảng trống.
- [ ] Tôi đã đánh giá riêng mức độ nghiêm trọng và mức độ ưu tiên rồi đưa ra quyết định cuối cùng.