Lợi nhuận:
- Hiểu thế nào là hoài nghi nghề nghiệp và nguy cơ rơi vào thiên kiến xác nhận, thiên kiến tự động hóa khi sử dụng trí tuệ nhân tạo
- Khả năng kiểm tra đầu ra trí tuệ nhân tạo bằng kỹ thuật đặt câu hỏi cố gắng bác bỏ (tìm điều ngược lại)
- Có thể hiểu rằng sự thông thạo của trí tuệ nhân tạo không có nghĩa là chính xác, rằng tâm trí hoài nghi là cốt lõi của sự kiểm soát và không thể chuyển giao được.
Có một thái độ tinh thần giúp phân biệt kiểm toán độc lập với nhiều ngành nghề khác: tính hoài nghi nghề nghiệp. ISA định nghĩa điều này là kiểm toán viên làm việc “với tư duy tìm hiểu, lưu ý xem liệu bằng chứng có chỉ ra sai sót tiềm ẩn hay không và đánh giá bằng chứng một cách nghiêm túc”. Nghĩa là, kiểm toán viên không tự động chấp nhận bất kỳ thông tin nào được trình bày—không phải báo cáo quản lý, không phải tài liệu, thậm chí không phải tài khoản “có vẻ hợp lý”—là đúng. Tôi không ngừng tự hỏi "Có thật như vậy không?" anh ấy hỏi. Thái độ này là cốt lõi của sự kiểm soát và không thể thay đổi được.
Trong thời đại trí tuệ nhân tạo, lõi này phải đối mặt với một thử thách hoàn toàn mới. Bởi vì AI rất giỏi trong việc khơi dậy hai điểm yếu sâu xa trong tâm trí con người - thành kiến tự động hóa và thành kiến xác nhận. Trong phần này, chúng tôi sẽ đề cập đến cách kiểm toán viên sử dụng AI có thể duy trì hoặc thậm chí củng cố thái độ hoài nghi của mình. Luận điểm chính là sự trôi chảy của AI không phải là độ chính xác; Tâm trí hoài nghi càng trở nên quan trọng hơn khi đối mặt với AI.
Hai thành kiến nguy hiểm
Thiên kiến tự động hóa là xu hướng mọi người tin tưởng vào kết quả đầu ra của máy/phần mềm hơn là phán đoán của chính họ. "Máy tính tính toán, chính xác." Mối nguy hiểm này càng tăng cao khi nói đến AI, bởi vì AI không chỉ tính toán; Nói những câu nói lưu loát, tự tin, giống người, có lý. Giọng điệu tự tin có sức thuyết phục ngay cả khi thông tin không chính xác.
Thiên kiến xác nhận là xu hướng mọi người tìm kiếm thông tin hỗ trợ cho kết luận mà họ đã tin tưởng hoặc hy vọng trước đó và bỏ qua những thông tin mâu thuẫn. Điều này rất nguy hiểm trong kiểm toán: Kiểm toán viên cho rằng "Khách hàng này phải trong sạch" sẽ cảm thấy nhẹ nhõm khi hỏi AI và nhận được xác nhận, đồng thời sẽ ngừng tìm kiếm bằng chứng ngược lại. Bởi vì AI có xu hướng tập trung vào câu hỏi đang được hỏi (nếu bạn hỏi “không sao đâu, phải không?”, nó có nhiều khả năng đưa ra câu trả lời đồng ý với bạn hơn), nên nó có thể thúc đẩy thành kiến xác nhận.
Ngoài ra còn có một thứ ba: ảo giác. Chúng tôi đã thấy điều đó nhiều lần trong mô-đun - AI có thể tạo ra một số, vật phẩm, tài nguyên không tồn tại một cách trôi chảy. Mối nguy hiểm càng tăng thêm khi ba điểm yếu kết hợp với nhau: AI tạo ra mọi thứ (ảo giác), bạn tin vào nó vì nó linh hoạt (thiên kiến tự động hóa), bạn không đặt câu hỏi về nó vì nó cho bạn biết bạn mong đợi điều gì (thiên kiến xác nhận).
Ba công cụ của tâm trí hoài nghi chống lại AI
Hãy đặt sự hoài nghi vào các kỹ thuật cụ thể chống lại AI:
- Cố gắng bác bỏ, không xác nhận. AI có thể hỏi kết quả đầu ra của nó "có đúng không?" không phải "làm sao tôi biết điều này là sai?" câu hỏi. Hãy tự hỏi: “Nếu tuyên bố này là sai, bằng chứng nào sẽ chứng minh điều đó?” và tìm kiếm bằng chứng đó. Thật dễ dàng để tìm thấy một ví dụ xác nhận duy nhất; Cố gắng bác bỏ và thất bại mang lại sự đảm bảo thực sự.
- Hỏi một cách trung lập và ngược lại. Hỏi AI "ở đây không có vấn đề gì phải không?" Đừng hỏi; điều này mời một phản hồi phê duyệt. Thay vào đó, “những rủi ro mà tôi có thể đã bỏ lỡ trong dữ liệu này là gì?” và “ba tình huống có khả năng xảy ra nhất mà kết quả này có thể sai là gì?” hỏi. Đặt cùng một câu hỏi từ hai phía đối diện và so sánh các câu trả lời.
- Tải về nguồn và sao chép. Đối với mỗi vấn đề, ghi nhận và kết luận, “tôi có thể xác minh độc lập điều này ở đâu?” Đặt câu hỏi và thực sự xác minh. Xem kết quả đầu ra của AI dưới dạng khẳng định; Bằng chứng nằm ngoài tuyên bố.
Mẹo: Tạo thói quen: Bên cạnh mỗi kết quả quan trọng mà AI đưa ra, hãy viết tay hai điều - “(1) tôi đã xác minh điều này bằng cái gì, (2) bằng chứng nào sẽ cho thấy điều này nếu nó sai.” Hai lưu ý này phá vỡ cả xu hướng tự động hóa và xác nhận.
Các phán quyết mà kiểm toán viên không thể ủy quyền
Một số công việc vốn đòi hỏi sự hoài nghi và phán xét; những thứ này không thể được ủy quyền cho AI, chỉ được hỗ trợ:
quyền tài phán không thể chuyển nhượng
tại sao
Liệu bằng chứng có đầy đủ và phù hợp hay không
Đánh giá chuyên môn; phụ thuộc vào bối cảnh
Tính hợp lý của lời giải thích
Yêu cầu xem xét doanh nghiệp và ý định
Đánh giá rủi ro gian lận
Chủ nghĩa hoài nghi và trực giác; ngoài mẫu dữ liệu
Quyết định về tính trọng yếu và ý kiến
Cơ quan tư pháp có trách nhiệm trước công chúng
Ý kiến về tính trung thực của quản lý
Đọc hành vi của con người; AI không thể làm được điều này
Sự khác biệt giữa chủ nghĩa hoài nghi và tính thông thái: một thái độ có chừng mực
Hoài nghi nghề nghiệp không có nghĩa là không tin vào mọi thứ hoặc đổ lỗi cho ban quản lý trước; Đây sẽ là một sự vượt quá và sẽ làm cho việc kiểm soát không hiệu quả. Chủ nghĩa hoài nghi không phải là sự tin tưởng thuần túy (chấp nhận mọi điều bạn được nói) cũng không phải là sự phủ nhận mù quáng (bác bỏ mọi thứ); Ở giữa đó là thái độ tìm hiểu tương xứng với bằng chứng. Kiểm toán viên có thể chấp nhận ban quản lý là trung thực nhưng kiểm tra sự chấp nhận này bằng bằng chứng; có thể tìm thấy một lời giải thích hợp lý, nhưng xác nhận tính hợp lý. AI có thể làm đảo lộn sự cân bằng này: theo một hướng, nó khiến bạn trở nên tự tin thái quá với sản lượng linh hoạt của nó; Mặt khác, nếu bạn bảo nó "tìm lỗi trong mọi thứ", nó sẽ bắn phá bạn với vô số kết quả dương tính giả. Thái độ đúng đắn là luôn cân nhắc kết quả với sức nặng của bằng chứng, đồng thời vận hành AI để đưa ra bằng chứng và bác bỏ bằng chứng. Hoài nghi không phải là một nét tính cách mà là cách làm việc có tính kỷ luật; Và chính kiểm toán viên là người thiết lập, duy trì và chứng minh nguyên tắc này chứ không phải AI.
ba trường hợp nhỏ
Trường hợp 1 - Kỹ thuật bác bỏ có tác dụng. Một kiểm toán viên đã in ra AI nói rằng “việc định giá cổ phiếu này có vẻ hợp lý”. Thay vì xác nhận, anh ta hỏi lại: “Nếu mức định giá này bị phóng đại, bằng chứng nào sẽ cho thấy điều đó?” YZ cho biết: “Các mặt hàng có giá sau bán hàng thấp hơn giá thành”. Kiểm toán viên đã tìm kiếm những khoản mục này và tìm thấy một nhóm thực sự bị định giá thấp. Câu hỏi bác bỏ đã bộc lộ nguy cơ mà sự xác nhận đã che giấu.
Trường hợp 2 - Rơi vào khuynh hướng xác nhận. Một thành viên trong nhóm đã hỏi AI trong thời gian khó khăn, “tài khoản này không có vấn đề gì lớn, phải không?” anh ấy hỏi. YZ dựa vào câu hỏi và nói: "Theo thông tin bạn cung cấp, có vẻ như không có vấn đề gì đáng kể." Thành viên trong nhóm thư giãn và đậy nắp bút. Tuy nhiên, anh ta đã không đưa ra bất kỳ bằng chứng nào; AI chỉ đơn thuần phản ánh câu nói của anh ấy. Người chịu trách nhiệm cho thấy câu hỏi được hỏi không khách quan. Bài học: cách bạn đặt câu hỏi quyết định câu trả lời bạn nhận được; Một câu hỏi tìm kiếm sự xác nhận sẽ tạo ra sự xác nhận.
Trường hợp 3 - Rơi vào sự trôi chảy. Một kiểm toán viên cho rằng cách giải thích luật mà YZ giải thích bằng một đoạn văn rất trôi chảy và hợp lý là chính xác và đã đưa nó vào báo cáo làm việc. Văn bản quá gọn gàng đến nỗi anh không hề thắc mắc về nó. Người chịu trách nhiệm cho thấy rằng tài liệu tham khảo không có nội dung tương đương trong văn bản chính thức. Bài học: sự trôi chảy và tự tin không phải là bằng chứng của sự chính xác; Kết quả có vẻ thuyết phục nhất có thể lại nguy hiểm nhất.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Phân tích này là chính xác, phải không? Bạn có chấp thuận không?
Vấn đề: một câu hỏi thiên vị nhằm tìm kiếm sự xác nhận. Nó thúc đẩy AI tham gia cùng bạn; Nó thúc đẩy sự thiên vị xác nhận và che giấu rủi ro thực sự.
Lời nhắc mạnh mẽ:
Vai trò của bạn: bạn là đối tác điều tra quan trọng của kiểm toán viên độc lập. Nhiệm vụ của bạn không phải là ĐỒNG Ý với tôi mà là cố gắng TỪ CHỐI kết quả đầu ra của tôi. Bối cảnh: Dưới đây là kết luận của tôi về một quy trình phân tích và kết luận dự kiến của tôi.[result text]Nhiệm vụ:1) Liệt kê 3 tình huống có khả năng xảy ra nhất mà kết luận này có thể là SAI.2) Đối với mỗi tình huống: "nếu điều này là đúng, bằng chứng nào sẽ cho thấy điều đó?" Đề xuất bằng chứng cụ thể, có thể tìm kiếm được. 3) Đánh dấu bất kỳ dữ liệu hoặc giả định nào mà tôi có thể đã bỏ sót. 4) Đừng đưa ra những câu đồng ý với tôi; Bạn có nhiệm vụ tìm ra điểm yếu. Đánh dấu "không xác định" ở chỗ bạn không chắc chắn.
Lời nhắc này rất mạnh mẽ vì nó đảo ngược vai trò của AI (bác bỏ), yêu cầu các kịch bản phản bác và bằng chứng có thể tìm kiếm được, đồng thời cấm ngôn ngữ tìm kiếm xác nhận. Điều này khiến AI phục vụ cho chủ nghĩa hoài nghi hơn là một công cụ xác nhận thành kiến.
Những lỗi thường gặp
- Đặt câu hỏi để tìm kiếm sự chấp thuận. "Không sao đâu, phải không?" bằng cách hỏi và đảm bảo câu trả lời đã được thống nhất.
- Nhầm lẫn sự trôi chảy với sự chính xác. Chấp nhận kết quả viết tốt, tự tin mà không cần thắc mắc.
- Hãy hài lòng với một ví dụ xác nhận duy nhất. Kết thúc bằng phát hiện hỗ trợ đầu tiên mà không cố gắng bác bỏ nó.
- Để ủy quyền quyền tài phán không thể chuyển nhượng. Hãy để việc quyết định về bằng chứng đầy đủ, tính hợp lý, quan điểm cho AI.
- Buông bỏ sự hoài nghi dưới áp lực thời gian. Nương tựa vào câu trả lời an ủi của AI khi bạn bế tắc.
Thận trọng: Áp lực thời gian là kẻ thù lớn nhất của chủ nghĩa hoài nghi và AI trở nên nguy hiểm nhất dưới áp lực này; bởi vì nó cung cấp cho bạn một câu trả lời nhanh chóng, trôi chảy và an ủi. Hãy đặt câu hỏi phản bác khi bạn đang vội.
Tóm lại
Chủ nghĩa hoài nghi nghề nghiệp là cốt lõi của hoạt động kiểm toán và càng trở nên quan trọng hơn trong thời đại AI. AI gây ra ba điểm yếu: ảo giác (bịa đặt), thành kiến tự động hóa (chúng tôi tin vào điều đó vì nó linh hoạt), thành kiến xác nhận (chúng tôi không đặt câu hỏi về nó vì nó nói lên những gì chúng tôi hy vọng). Thuốc giải là vội vàng bác bỏ AI chứ không phải xác nhận nó: “nếu điều này là sai thì bằng chứng nào sẽ chứng minh điều đó?” ’ và tìm kiếm bằng chứng trái ngược, hỏi khách quan và ngược lại, sao chép mọi đầu ra từ nguồn. Các phán đoán như có đầy đủ bằng chứng, tính hợp lý, rủi ro gian lận và phán đoán theo quan điểm đòi hỏi sự hoài nghi và không thể chuyển nhượng được. Sự trôi chảy không phải là sự chính xác; Tâm trí hoài nghi là của bạn.
Nhiệm vụ ứng dụng
Nhận kết quả kiểm toán của bạn (hoặc kết quả giả định). Trước tiên hãy hỏi AI bằng câu hỏi yếu "tìm kiếm sự xác nhận", sau đó bằng mẫu gợi ý mạnh mẽ "phản bác" ở trên. Đặt hai kết quả cạnh nhau và viết ra sự khác biệt: rủi ro nào chỉ được bộc lộ qua câu hỏi bác bỏ? Sau đó, thêm hai ghi chú bên cạnh mỗi tuyên bố chính trong kết quả đầu ra của bạn: "tôi đã xác minh bằng điều gì" và "bằng chứng nào sẽ cho thấy nếu điều đó sai".
danh sách kiểm tra
- [ ] Tôi hỏi những câu hỏi phản bác/trung lập của AI, không phải những câu hỏi tìm kiếm sự xác nhận.
- [ ] Đối với mỗi kết quả quan trọng, “nếu điều này là sai thì bằng chứng nào sẽ chứng minh điều đó?” Tôi đặt câu hỏi và tìm kiếm bằng chứng.
- [ ] Tôi đã thử nghiệm kết quả đầu ra, có vẻ mượt mà và tự tin, nhưng lại thêm hoài nghi.
- [ ] Tôi không dừng lại ở một ví dụ xác nhận duy nhất; Tôi đã cố gắng bác bỏ nó nhưng không thành công.
- [ ] Tôi đã đưa ra những đánh giá của riêng mình như có đầy đủ bằng chứng, tính hợp lý và ý kiến.
- [ ] Ngay cả dưới áp lực về thời gian, tôi cũng không bỏ qua câu hỏi phản bác.
- [ ] Bên cạnh những tuyên bố quan trọng, tôi ghi chú "những gì tôi đã xác minh / những gì sẽ hiển thị nếu nó sai".