Lợi nhuận:
- Hiểu rủi ro lấy mẫu và logic của thử nghiệm toàn bộ dân số (thử nghiệm 100%) và có thể sử dụng trí tuệ nhân tạo để chuẩn bị dữ liệu, viết quy tắc và giải thích kết quả.
- Khả năng thiết kế và thực hiện các bài kiểm tra khớp, đầy đủ và chính xác trong các tập dữ liệu lớn với sự hỗ trợ của trí tuệ nhân tạo
- Khả năng hiểu rằng danh sách ngoại lệ trong bài kiểm tra tổng thể đầy đủ không phải là kết quả mà là sự khởi đầu mà kiểm toán viên sẽ xem xét và đánh giá cuối cùng thuộc về kiểm toán viên.
Một trong những hạn chế cơ bản nhất của nghề kiểm toán là kiểm toán viên phải làm việc với việc lấy mẫu trong nhiều năm. Bạn không thể xem xét thủ công 180.000 hóa đơn mà doanh nghiệp phát hành trong một năm; Vì vậy, bạn chọn vài trăm bản ghi bằng phương pháp thống kê hoặc phán đoán, kiểm tra chúng và khái quát hóa kết quả cho toàn bộ dân số. Lấy mẫu là một kỹ thuật mạnh mẽ và hợp pháp, nhưng nó tiềm ẩn một rủi ro cố hữu: rủi ro lấy mẫu - mẫu bạn chọn có thể không đại diện cho tổng thể và sai số thực sự trong đó có thể không rơi chính xác vào vị trí bạn đang tìm kiếm.
Phân tích dữ liệu và AI thay đổi bức tranh này: giờ đây bạn có thể kiểm tra toàn bộ dân số, tức là 100%. Điều này được gọi là thử nghiệm dân số hoàn chỉnh. Chúng tôi dành học phần này để tìm hiểu quá trình chuyển đổi từ “mẫu sang tổng thể”, sức mạnh mà nó mang lại và những trách nhiệm mới mà nhiều người bỏ qua. Bởi vì việc kiểm tra toàn bộ dân số không tạo điều kiện thuận lợi cho việc kiểm tra; Nó thay đổi bản chất của bài thi và đặt thêm gánh nặng mới cho giám khảo.
Sự khác biệt giữa lấy mẫu và thử nghiệm toàn bộ dân số
Trong lấy mẫu cổ điển, logic là: "Hãy để tôi kiểm tra kỹ lưỡng một nhóm nhỏ nhưng mang tính đại diện và diễn giải kết quả một cách tổng thể". Trong bài kiểm tra dân số đầy đủ, logic bị đảo ngược: “Hãy để tôi quét toàn bộ theo các quy tắc nhất định, tìm những trường hợp ngoại lệ nằm ngoài quy tắc và kiểm tra chúng một cách kỹ lưỡng”. Ở cách tiếp cận thứ nhất, rủi ro là “chọn sai mẫu”; Thứ hai, rủi ro là "viết sai quy tắc" và "làm việc với dữ liệu không đầy đủ/sai".
Bảng sau so sánh hai cách tiếp cận:
Kích thước
lấy mẫu
Kiểm tra toàn bộ dân số (100%)
Phạm vi
một phần dân số
toàn bộ dân số
Rủi ro chính
Rủi ro lấy mẫu (lỗi biểu diễn)
Lỗi quy tắc + lỗi toàn vẹn dữ liệu
đầu ra
Số lượng kết quả kiểm tra hạn chế
Danh sách các trường hợp ngoại lệ không tuân thủ quy tắc
Gánh nặng của kiểm toán viên
lựa chọn + kiểm tra
Thiết kế quy tắc + đánh giá ngoại lệ
Vai trò của AI
Trợ giúp chọn mẫu
Chuẩn bị dữ liệu, viết quy tắc, đánh dấu ngoại lệ
Lưu ý: xét nghiệm toàn bộ dân số không có nghĩa là "Tôi đã kiểm tra mọi thứ, đã hoàn thành công việc". Ngược lại, nó thường cung cấp cho bạn nhiều mục hơn để kiểm tra. Khi bạn chạy tất cả 180.000 hoá đơn thông qua quy tắc phê duyệt ngày-số tiền, bạn sẽ thấy có thể có 900 trường hợp ngoại lệ. Mỗi câu hỏi này đều là một câu hỏi; không phải là một câu trả lời Đây là lúc cơ quan tư pháp kiểm toán phát huy tác dụng.
Tính đầy đủ của dữ liệu: cơ sở vô hình của thử nghiệm
Cạm bẫy lớn nhất của việc kiểm tra toàn bộ dân số là chất lượng của bài kiểm tra phụ thuộc vào chất lượng dữ liệu. "Tôi đã kiểm tra 100% dữ liệu" chỉ có ý nghĩa nếu dữ liệu bạn có thực sự là 100% dân số. Nếu bộ lọc không chính xác khi lấy dữ liệu từ hệ thống, một số bản ghi bị bỏ sót hoặc cột số lượng được truyền có lỗi thập phân, thì bài kiểm tra "đầy đủ" của bạn sẽ thực sự được thực hiện trên dữ liệu không đầy đủ hoặc bị hỏng. Vì vậy, việc xác nhận tính đầy đủ và chính xác của dữ liệu là bước đầu tiên và không thể thiếu trong việc kiểm tra toàn bộ dân số.
Kiểm tra thực tế để xác minh tính đầy đủ:
- Đối chiếu số lượng bản ghi: Số hàng trong tập dữ liệu bạn kéo có khớp với tổng số bản ghi trong hệ thống không?
- Đối chiếu số tiền: Tổng số tiền trong tập dữ liệu có khớp với tổng tài khoản liên quan trong số dư thử/công ty con không?
- Phạm vi ngày: Là ngày đầu tiên và ngày cuối cùng của khoảng thời gian được đưa vào dữ liệu; Có thiếu tháng/ngày không?
- Quét khoảng trống và không hợp lệ: Có khoảng trống hoặc giá trị vô nghĩa trong các trường bắt buộc (ngày, số tiền, mã tài khoản) không?
AI hỗ trợ thực hiện tất cả các bước kiểm tra này: thu thập dữ liệu, lấy tổng, đếm khoảng trống, phạm vi ngày báo cáo. Nhưng chính kiểm toán viên là người quyết định liệu thỏa thuận có “giữ nguyên” hay không, điều tra sự khác biệt và xác nhận rằng dữ liệu phù hợp với mục đích kiểm toán.
Thận trọng: Không viết "Tôi đã kiểm tra tất cả dữ liệu" trên bảng tính mà không xác minh tính đầy đủ của dữ liệu. Việc kiểm tra tổng thể đầy đủ về dữ liệu bị thiếu mang lại sự đảm bảo có vẻ đầy đủ nhưng gây nhầm lẫn.
Kiểm tra toàn bộ dân số bằng AI: từng bước
- Chuẩn bị dữ liệu một cách an toàn. Ẩn danh các trường cá nhân/riêng tư hoặc thay thế chúng bằng phần giữ chỗ. Nếu có thể, hãy sử dụng xe hợp đồng của công ty.
- Xác nhận tính đầy đủ. Đối chiếu số lượng hồ sơ và số lượng.
- Xác định rõ ràng quy tắc kiểm tra. Điều gì được coi là "ngoại lệ"? (Ví dụ: hóa đơn chưa được phê duyệt, hóa đơn phát hành vào ngày cuối tuần, thanh toán vòng lớn, thu nhập được ghi nhận sau ngày khóa sổ.)
- Áp dụng quy tắc với AI. AI áp dụng quy tắc cho dữ liệu và đưa ra danh sách các trường hợp ngoại lệ; Viết quy tắc rõ ràng để nó có thể được kiểm tra.
- Ưu tiên và xem xét các trường hợp ngoại lệ. Điều tra mọi ngoại lệ bằng bằng chứng; giải quyết các kết quả dương tính giả, biện minh cho những phát hiện thực tế.
- Ghi lại kết quả. Liên kết quy tắc, số lượng ngoại lệ, các mục được kiểm tra và kết luận với bảng tính.
ba trường hợp nhỏ
Trường hợp 1 - Thử cắt. Một kiểm toán viên muốn kiểm tra mức cắt giảm doanh thu cuối năm. Anh ta lấy 42.000 hóa đơn bán hàng làm tổng thể và nhờ AI thực thi "danh sách các bản ghi có ngày lập hóa đơn trước ngày 31 tháng 12 nhưng ngày vận chuyển/giao hàng vào hoặc sau ngày 1 tháng 1". YZ đánh dấu 118 bản ghi. Kiểm toán viên đã kiểm tra: 96 giao dịch là hợp pháp, không có sự khác biệt về thời gian (giao hàng trong cùng ngày), 22 giao dịch là doanh thu thực tế của năm sau và được ghi nhận vào kỳ trước. 22 mục này được báo cáo vì chúng cho thấy một khuôn mẫu, mặc dù mức độ quan trọng thấp hơn. AI hỏi 118 câu hỏi; Kiểm toán viên đã tìm thấy 22 câu trả lời.
Trường hợp 2 - Khi tính đầy đủ bị bỏ qua. Một thành viên trong nhóm cho biết anh đã thực hiện kiểm tra toàn bộ dân số trên 180.000 hóa đơn; Không có trường hợp ngoại lệ nào và anh cảm thấy nhẹ nhõm. Người chịu trách nhiệm so sánh tổng số lượng tập dữ liệu với số dư dùng thử: dữ liệu 155 triệu TL, số dư dùng thử 210 triệu TL. Hóa ra là trong khi dữ liệu được lấy ra khỏi hệ thống, một nhánh đã bị lọc và bị loại bỏ. Bài kiểm tra "đầy đủ" thực sự đã bỏ lỡ một phần tư dữ liệu. Cuộc thử nghiệm đã được thực hiện với dữ liệu chính xác. Bài học: không có cuộc kiểm tra dân số hoàn chỉnh nếu không có xác nhận đầy đủ.
Trường hợp 3 - Lỗi quy tắc. Một kiểm toán viên đã nhờ AI viết quy tắc "Liệt kê các khoản thanh toán chưa được phê duyệt trên 50.000 TL", nhưng không nhận ra rằng trường "phê duyệt" được giữ ở hai cột khác nhau trong hệ thống (phê duyệt điện tử và phê duyệt thủ công). AI đã đánh dấu 300 khoản thanh toán là "bị từ chối" vì nó chỉ xem xét một khoản; Qua kiểm tra thì thấy hầu hết đều được tán thành ở cột bên kia. Quy tắc sai lầm đã tạo ra hàng trăm kết quả dương tính giả. Kiểm toán viên đã sửa lại quy tắc để bao gồm cả hai cột. Bài học: kiểm toán viên xác minh rằng quy tắc có phù hợp với dữ liệu và quy trình kinh doanh hay không.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Tìm bản ghi có vấn đề trong dữ liệu hóa đơn này.
Vấn đề: Không có định nghĩa về “có vấn đề”. AI không biết nên coi ngoại lệ là gì; Anh ta làm việc theo những tín hiệu ngẫu nhiên hoặc theo một tiêu chí mà anh ta đã đặt ra. Nó không thể lặp lại và kiểm tra được.
Lời nhắc mạnh mẽ:
Vai trò của bạn: bạn là trợ lý phân tích dữ liệu cho kiểm toán viên độc lập. Sự phán xét là của tôi; Bạn sẽ áp dụng quy tắc và tạo danh sách ngoại lệ. Bối cảnh: Bên dưới là dữ liệu hóa đơn bán hàng ẩn danh (các cột: số hóa đơn, ngày hóa đơn, ngày giao hàng, số tiền, trạng thái phê duyệt, chi nhánh). Cuối năm: 31.12.BƯỚC 1 - Tính đầy đủ: Cho tổng số bản ghi và tổng số tiền để mình đối chiếu với bảng cân đối thử. Báo cáo nếu có khoảng trống/thiếu. BƯỚC 2 - Quy tắc kiểm tra cắt: Liệt kê các bản ghi có ngày hóa đơn <= 31.12 VÀ ngày giao hàng >= 01.01 là "ngoại lệ giới hạn". BƯỚC 3 - Viết quy tắc bằng văn bản thuần túy (bạn đã áp dụng điều kiện gì) để có thể kiểm tra. Quy tắc: Tôi đã đưa ra quy tắc, không thay đổi nó. Gửi hồ sơ mà bạn gắn cờ là "ngoại lệ để xem xét"; Đừng nói "lỗi/tìm thấy". Đừng bịa ra những gì bạn không thể suy luận từ dữ liệu.
Yêu cầu này có hiệu lực vì trước tiên nó xác nhận tính đầy đủ, xác định rõ ràng quy tắc ngoại lệ, yêu cầu bản rõ của quy tắc (khả năng kiểm tra) và định vị đầu ra là “ngoại lệ”.
Những lỗi thường gặp
- Bỏ qua xác minh tính đầy đủ. Thực hiện kiểm tra "đầy đủ" trên dữ liệu không đầy đủ/hỏng và đưa ra đảm bảo sai.
- Nhầm lẫn ngoại lệ cho một phát hiện. Đếm lỗi mà không xác minh bản ghi được AI đánh dấu; tránh loại bỏ những kết quả dương tính giả.
- Không kiểm tra quy tắc. Tạo ra hàng trăm cờ sai mà không kiểm tra xem quy tắc có tuân thủ dữ liệu và quy trình kinh doanh hay không.
- Viết những quy định mơ hồ Nhận được kết quả không thể lặp lại với lời nhắc không xác định như "tìm bản ghi có vấn đề".
- Hài lòng với một khởi đầu duy nhất. Không truy vấn quy tắc hoặc dữ liệu nếu số lượng ngoại lệ rất khác so với dự kiến.
Mẹo: Hãy cảnh giác nếu số lượng ngoại lệ quá nhỏ (gần bằng 0) hoặc quá lớn. Số 0 thường có nghĩa là "quy tắc được viết sai" hoặc "thiếu dữ liệu"; Một con số cực lớn cho thấy quy tắc này quá rộng. Một kiểm toán viên giỏi nghi ngờ cả “không có ngoại lệ” và “mọi thứ đều là ngoại lệ”.
Tóm lại
Kiểm tra toàn bộ dân số là một bước tiến vượt bậc trong kiểm toán: nó loại bỏ rủi ro lấy mẫu, sàng lọc 100% dữ liệu. Nhưng nó không miễn phí. Nó mang đến hai trách nhiệm mới: (1) xác minh tính đầy đủ và chính xác của dữ liệu, (2) đánh giá các trường hợp ngoại lệ riêng lẻ phát sinh. AI chuẩn bị dữ liệu, áp dụng quy tắc, gắn cờ ngoại lệ và giảm thời gian quét xuống còn vài giây; Nhưng tính chính xác của quy tắc, tính đầy đủ của dữ liệu và việc đánh giá các trường hợp ngoại lệ thuộc về kiểm toán viên. Ngoại lệ không phải là kết quả, nó là sự khởi đầu.
Nhiệm vụ ứng dụng
Hãy xem xét một tập dữ liệu giao dịch hiện có (hoặc giả định). Đầu tiên xác định hai kiểm tra tính đầy đủ (số lượng hồ sơ và đối chiếu số lượng). Sau đó viết quy tắc ngoại lệ rõ ràng cho mục đích kiểm toán (ví dụ: hóa đơn được phát hành vào cuối tuần hoặc cắt giảm các trường hợp ngoại lệ). Với mẫu nhắc nhở mạnh mẽ ở trên, hãy để AI thực thi tính đầy đủ trước rồi đến quy tắc. 10 trường hợp ngoại lệ đầu tiên xuất hiện là "kết quả thật hay dương tính giả?" Hãy thực hành phân loại như sau và viết ra những bằng chứng bạn sẽ tìm kiếm cho mỗi loại.
danh sách kiểm tra
- [ ] Tôi đã ẩn danh dữ liệu và lái xe an toàn.
- [ ] Tôi đã xác nhận tính đầy đủ của dữ liệu bằng cách đối chiếu số lượng hồ sơ và số lượng.
- [ ] Tôi đã quét tìm dung lượng trống/không hợp lệ.
- [ ] Tôi đã xác định quy tắc ngoại lệ một cách rõ ràng và có thể lặp lại.
- [ ] Tôi đã nhận được văn bản đơn giản của quy tắc từ AI và đã xác minh sự tuân thủ của nó với dữ liệu và quy trình kinh doanh.
- [ ] Tôi đặt câu hỏi về tính hợp lý của số lượng trường hợp ngoại lệ (quá ít/không quá nhiều).
- [ ] Tôi coi mỗi ngoại lệ là một câu hỏi cần được xem xét chứ không phải một phát hiện; Tôi đã loại bỏ những kết quả dương tính giả.