이득:
- 샘플링 위험과 전체 모집단 테스트(100% 테스트)의 논리를 이해하고 데이터 준비, 규칙 작성 및 결과 해석에 인공 지능을 사용할 수 있습니다.
- 인공 지능 지원을 통해 대규모 데이터 세트에서 일치, 완전성 및 정확성 테스트를 설계하고 구현하는 능력
- 전체 모집단 테스트의 예외 목록은 결과가 아니라 감사자가 검토할 시작이며 최종 평가는 감사자의 몫이라는 것을 이해하는 능력.
감사 직업의 가장 근본적인 한계 중 하나는 감사자가 수년에 걸쳐 샘플링 작업을 해야 한다는 것입니다. 1년 동안 비즈니스에서 발행한 180,000개의 송장을 수동으로 검토할 수 없습니다. 따라서 통계적 또는 판단적 방법을 사용하여 수백 개의 기록을 선택하고 이를 테스트한 다음 결과를 전체 모집단에 일반화합니다. 샘플링은 강력하고 합법적인 기술이지만 내재된 위험이 있습니다. 샘플링 위험 - 선택한 샘플이 모집단을 대표하지 않을 수 있으며, 실제 오류가 찾고 있는 위치에 정확히 포함되지 않을 수 있습니다.
데이터 분석과 AI는 이러한 상황을 변화시킵니다. 이제 전체 모집단, 즉 100%를 테스트할 수 있습니다. 이를 완전 모집단 테스트라고 합니다. 우리는 이 단원을 '샘플에서 전체로'의 전환, 그것이 가져오는 힘, 그리고 많은 사람들이 간과하는 새로운 책임을 이해하는 데 전념합니다. 전체 모집단 테스트는 검사를 용이하게 하지 않기 때문입니다. 이는 시험의 성격을 바꾸고 시험관에게 새로운 부담을 줍니다.
샘플링과 전체 모집단 테스트의 차이점
클래식 샘플링에서는 "작지만 대표적인 그룹을 철저하게 테스트하고 결과를 전체적으로 해석하겠습니다."라는 논리가 있습니다. 전체 모집단 테스트에서는 논리가 반전됩니다. "특정 규칙에 따라 전체를 스캔하고 규칙을 벗어나는 예외를 찾아 철저하게 검토하겠습니다." 첫 번째 접근 방식에서는 "잘못된 샘플을 선택"하는 위험이 있습니다. 두 번째 위험은 "잘못된 규칙 작성"과 "불완전/잘못된 데이터 작업"입니다.
다음 표에서는 두 가지 접근 방식을 비교합니다.
크기
샘플링
전체 모집단 테스트(100%)
범위
인구의 일부
전체 인구
주요 위험
샘플링 위험(표현 오류)
규칙 오류 + 데이터 무결성 오류
출력
제한된 수의 테스트 결과
규칙을 준수하지 않는 예외 목록
감사인의 부담
선택 + 테스트
규칙 설계 + 예외 평가
AI의 역할
샘플 선택에 도움
데이터 준비, 규칙 작성, 예외 표시
참고: 전체 모집단 테스트는 "모든 것을 테스트했고 작업이 완료되었습니다"를 의미하지 않습니다. 반대로, 일반적으로 조사할 항목이 더 많아집니다. 날짜-금액-승인 규칙을 통해 180,000개의 송장을 모두 실행하면 아마도 900개의 예외가 발견될 것입니다. 이들 각각은 질문입니다. 대답이 아닙니다. 여기서 사법부 감사가 시작됩니다.
데이터 완전성: 테스트의 보이지 않는 기초
전체 모집단 테스트의 가장 큰 함정은 테스트의 품질이 데이터의 품질에 달려 있다는 것입니다. "나는 데이터의 100%를 테스트했습니다"는 보유한 데이터가 실제로 모집단의 100%인 경우에만 의미가 있습니다. 시스템에서 데이터를 가져올 때 필터가 올바르지 않거나 일부 레코드가 누락되었거나 금액 열이 소수 오류로 전송된 경우 "전체" 테스트는 실제로 불완전하거나 손상된 데이터에 대해 수행됩니다. 따라서 데이터 완전성과 정확성의 확인은 전체 모집단 테스트의 첫 번째이자 필수 단계입니다.
완전성 검증을 위한 실제 점검:
- 레코드 수 조정: 가져온 데이터세트의 행 수가 시스템의 총 레코드 수와 일치합니까?
- 금액 조정: 데이터 세트의 총액이 시산표/자회사의 해당 계정 총액과 조정됩니까?
- 기간: 데이터에 포함된 기간의 첫 번째 날과 마지막 날입니다. 월/일이 누락되었나요?
- 비어있고 불량한 공간 스캐닝 : 필수항목(날짜, 금액, 계좌코드)에 공백이나 의미없는 값이 있나요?
AI는 데이터 크롤링, 합계 가져오기, 빈 공간 계산, 날짜 범위 보고 등 모든 검사에 도움을 줍니다. 그러나 계약이 "유지"되는지 여부를 결정하고, 차이점을 조사하고, 데이터가 감사 목적에 적합한지 확인하는 사람은 감사인입니다.
주의: 데이터 완전성을 확인하지 않고 워크시트에 "모든 데이터를 테스트했습니다"라고 쓰지 마십시오. 누락된 데이터에 대한 전체 모집단 테스트는 겉으로는 완전해 보이지만 오해의 소지가 있는 보증을 제공합니다.
AI를 사용한 전체 모집단 테스트: 단계별
- 데이터를 안전하게 준비하세요. 개인/비공개 필드를 익명화하거나 자리 표시자로 대체합니다. 가능하다면 법인, 계약 차량을 이용하세요.
- 완전성을 확인하십시오. 기록수와 금액을 조정합니다.
- 테스트 규칙을 명확하게 정의하십시오. "예외"로 간주되는 것은 무엇입니까? (예: 승인되지 않은 청구서, 주말에 발행된 청구서, 대규모 라운드 지불, 마감일 이후에 기록된 소득.)
- AI에 규칙을 적용합니다. AI는 데이터에 규칙을 적용하고 예외 목록을 생성합니다. 감사할 수 있도록 규칙을 명확하게 작성합니다.
- 예외의 우선순위를 지정하고 검토합니다. 증거를 가지고 모든 예외를 조사하십시오. 거짓 긍정을 해결하고 실제 결과를 정당화합니다.
- 결과를 문서화하십시오. 규칙, 예외 수, 검사 항목 및 결론을 워크시트에 연결합니다.
세 개의 미니 케이스
사례 1 - 절단 테스트. 한 감사자가 연말 수익 컷오프를 테스트하고 싶었습니다. 그는 42,000개의 판매 송장을 전체 모집단으로 가져와 AI가 "송장 날짜가 12월 31일까지, 배송/배송 날짜가 1월 1일 이후인 목록 기록"을 시행하도록 했습니다. YZ는 118개의 기록을 기록했습니다. 감사인은 다음 사항을 조사했습니다. 96건은 시기적 차이가 없는 합법적인 거래(당일 배송)였으며, 22건은 이전 기간에 기록된 다음 연도의 실제 수익이었습니다. 이 22개 항목은 비록 유의성은 낮지만 패턴을 보여주었기 때문에 보고되었습니다. AI는 118개의 질문을 했다. 감사자는 22개의 답변을 찾았습니다.
사례 2 - 완전성이 생략된 경우. 한 팀원은 180,000개의 송장에 대해 전체 모집단 테스트를 수행했다고 말했습니다. 예외는 없었고 그는 안도감을 느꼈다. 담당자는 데이터 세트의 총량을 시산표와 비교했습니다: 데이터 1억 5천 5백만 TL, 시산표 2억 1천만 TL. 시스템에서 데이터를 가져오는 동안 분기가 필터링되어 제외된 것으로 나타났습니다. "전체" 테스트에서는 실제로 데이터의 1/4이 누락되었습니다. 테스트는 올바른 데이터로 실행되었습니다. 교훈: 완전성 확인 없이는 완전한 모집단 테스트가 없습니다.
사례 3 - 규칙 오류. 감사자는 AI가 "50,000TL을 초과하는 승인되지 않은 지불 목록" 규칙을 작성하도록 했지만 "승인" 필드가 시스템의 두 가지 다른 열(전자 승인 및 수동 승인)에 보관되어 있다는 사실을 인식하지 못했습니다. AI는 300건의 결제만 검토했기 때문에 '비승인'으로 표시했습니다. 검토해 보니 다른 항목에서는 대부분 승인이 된 것으로 나타났습니다. 잘못된 규칙으로 인해 수백 건의 오탐이 발생했습니다. 감사자는 두 열을 모두 포함하도록 규칙을 수정했습니다. 교훈: 감사자는 규칙이 데이터 및 비즈니스 프로세스를 준수하는지 확인합니다.
약한 프롬프트 / 강한 프롬프트
약한 프롬프트:
이 송장 데이터에서 문제가 있는 기록을 찾아보세요.
문제: "문제가 있는"이라는 정의가 없습니다. AI는 무엇을 예외로 간주해야 할지 모릅니다. 그는 무작위 신호에 따라 일하거나 자신이 만들어낸 기준에 따라 일합니다. 반복하거나 감사할 수 없습니다.
강력한 프롬프트:
귀하의 역할: 귀하는 독립 감사자의 데이터 분석 보조자입니다. 판단은 나의 것입니다. 규칙을 적용하고 예외 목록을 생성합니다.컨텍스트: 아래는 익명화된 판매 송장 데이터입니다(열: 송장_번호, 송장_날짜, 배송_날짜, 금액, 승인_상태, 지점). 연말 : 31.12.STEP 1 - 완전성 : 시산표와 비교할 수 있도록 총 기록수와 총액을 기재합니다. 비어 있거나 누락된 공간이 있으면 보고합니다. 2단계 - 절단 테스트 규칙: "컷오프 예외"로 송장_날짜 <= 31.12 AND 배달_날짜 >= 01.01인 레코드를 나열합니다. 3단계 - 감사할 수 있도록 규칙을 일반 텍스트(어떤 조건을 적용했는가)로 작성합니다. 규칙: 내가 규칙을 주었으니 변경하지 마세요. "검토 예외"로 표시한 기록을 제출하십시오. "오류/발견"이라고 말하지 마세요. 데이터에서 추론할 수 없는 것을 꾸며내지 마세요.
이 요청은 먼저 완전성을 확인하고, 예외 규칙을 명확하게 정의하고, 규칙의 일반 텍스트(감사 가능성)를 요구하고, 출력을 "예외"로 배치하기 때문에 강력합니다.
일반적인 실수
- 완전성 검증을 건너뜁니다. 불완전하거나 손상된 데이터에 대해 "전체" 테스트를 수행하고 잘못된 보증을 제공합니다.
- 예외를 결과로 착각함. AI가 표시한 기록을 확인하지 않고 오류를 계산하는 행위 거짓 긍정을 제거하는 것을 방지합니다.
- 규칙을 확인하지 않습니다. 규칙이 데이터 및 비즈니스 프로세스를 준수하는지 여부를 확인하지 않고 수백 개의 잘못된 플래그를 생성합니다.
- 모호한 규칙을 작성합니다. "문제가 있는 기록 찾기"와 같은 정의되지 않은 프롬프트로 반복할 수 없는 결과를 얻습니다.
- 한 번의 시작으로 만족합니다. 예외 수가 예상한 것과 크게 다른 경우 규칙이나 데이터를 쿼리하지 않습니다.
팁: 예외 수가 너무 적거나(0에 가까움) 너무 크면 경고하세요. 0은 일반적으로 "규칙이 잘못 작성됨" 또는 "데이터 누락"을 의미합니다. 숫자가 너무 크면 규칙이 너무 광범위하다는 의미입니다. 훌륭한 감사인은 '예외 없음'과 '모든 것이 예외임'을 모두 의심합니다.
요약하면
전체 모집단 테스트는 감사에 있어서 큰 도약입니다. 즉, 샘플링 위험을 제거하고 데이터를 100% 선별합니다. 하지만 그것은 무료가 아닙니다. (1) 데이터 완전성 및 정확성 확인, (2) 발생하는 개별 예외 평가라는 두 가지 새로운 책임이 발생합니다. AI는 데이터를 준비하고, 규칙을 적용하고, 예외에 플래그를 지정하고, 스캔 시간을 몇 초로 단축합니다. 그러나 규칙의 정확성, 데이터의 완전성 및 예외 사항의 평가는 감사관의 몫입니다. 예외는 결과가 아니라 시작이다.
응용과제
기존(또는 가상) 트랜잭션 데이터세트를 고려해보세요. 먼저 두 가지 완전성 검사(레코드 수 및 금액 조정)를 정의합니다. 그런 다음 감사 목적을 위한 명확한 예외 규칙을 작성합니다(예: 주말에 발행된 송장 또는 예외 삭제). 위의 강력한 프롬프트 패턴을 사용하여 AI가 완성도를 먼저 실행한 다음 규칙을 실행하도록 합니다. 나타나는 예외 중 처음 10개는 "실제 결과입니까, 아니면 거짓 긍정입니까?"입니다. 다음과 같이 분류하는 것을 연습하고 각각에 대해 어떤 증거를 찾을 것인지 적어보세요.
체크리스트
- [ ] 데이터를 익명화하여 안전하게 운전하였습니다.
- [ ] 기록건수와 금액을 조정하여 데이터의 완전성을 확인하였습니다.
- [ ] 여유 공간/잘못된 공간을 검색했습니다.
- [ ] 나는 명확하고 반복 가능한 방식으로 예외 규칙을 정의했습니다.
- [ ] AI로부터 규칙의 일반 텍스트를 수신하고 데이터 및 비즈니스 프로세스를 준수하는지 확인했습니다.
- [ ] 예외 수의 합리성에 대해 의문을 제기했습니다(너무 적거나 많지 않음).
- [ ] 나는 각각의 예외를 결과가 아니라 조사해야 할 질문으로 다루었습니다. 오탐지를 제거했습니다.