전문적 회의주의와 인공 지능: 확증 편향, 환각, 비판적 탐구

이득:

• 전문가적 회의론이 무엇인지 이해하고 인공지능을 사용할 때 확증 편향과 자동화 편향에 빠질 위험을 이해합니다.
• 반박(반대 찾기)을 시도하는 질문 기법으로 인공지능 출력을 테스트하는 능력
• 인공지능의 유창함이 정확성을 의미하는 것은 아니며, 회의적인 마음은 통제의 핵심이며 전달될 수 없다는 것을 이해할 수 있다.

독립적인 감사를 다른 많은 직업과 구별하는 한 가지 정신적 태도가 있습니다. 바로 전문적 회의주의입니다. ISA는 이를 감사인이 "탐구하는 마음으로 증거가 잠재적인 왜곡을 나타내는지 여부를 주목하고 증거를 비판적으로 평가하는" 작업으로 정의합니다. 즉, 감사인은 자신에게 제시된 정보(경영진술서, ​​문서, 심지어 "합리적으로 보이는" 계정도 포함)를 자동으로 사실로 받아들이지 않습니다. "정말 그럴까?"라는 의문이 끊임없이 듭니다. 그는 묻습니다. 이러한 태도는 통제의 핵심이며 양도할 수 없습니다.

인공지능 시대에 이 핵심은 완전히 새로운 시험에 직면하게 된다. AI는 인간 정신의 두 가지 뿌리 깊은 약점, 즉 자동화 편향과 확증 편향을 유발하는 데 능숙하기 때문입니다. 이번 단원에서는 AI를 사용하는 감사자가 어떻게 회의론을 유지하거나 심지어 강화할 수 있는지 다룰 것입니다. 주요 논제는 AI의 유창성은 정확성이 아니라는 것입니다. 회의적인 마음은 AI 앞에서 더욱 중요해진다.

두 가지 위험한 편견

자동화 편향은 사람들이 자신의 판단보다 기계/소프트웨어의 출력을 더 신뢰하는 경향입니다. "컴퓨터가 계산한 것이 맞습니다." AI의 경우 이러한 위험은 더욱 커집니다. AI는 단순히 계산만 하는 것이 아니기 때문입니다. 유창하고, 자신감 있고, 인간답게 이성적인 문장을 구사합니다. 정보가 정확하지 않더라도 자신감 있는 어조는 설득력이 있습니다.

확증 편향은 사람들이 이전에 믿었거나 바랐던 결론을 뒷받침하는 정보를 찾고 상충되는 정보를 무시하는 경향입니다. 이는 감사에 치명적이다. '이 의뢰인은 깨끗해야 한다'고 생각하는 감사자는 AI에게 물어 확인을 받으면 안도하고, 반대 증거를 찾는 것을 중단하게 된다. AI는 묻는 질문에 의지하는 경향이 있기 때문에(“괜찮아요?”라고 묻는다면 동의하는 답변을 생성할 가능성이 더 높음) 확증 편향을 조장할 수 있습니다.

세 번째도 있는데, 바로 환각이다. 우리는 모듈에서 이를 여러 번 보았습니다. AI는 존재하지 않는 숫자, 항목, 리소스를 유창하게 구성할 수 있습니다. 세 가지 약점이 결합되면 위험은 더욱 가중됩니다. AI가 상황을 만들어 내는 것(환각), 유동적이기 때문에 믿는 것(자동화 편향), 기대하는 바를 알려주기 때문에 의문을 제기하지 않는 것(확증 편향).

AI에 대항하는 회의적인 마음의 세 가지 도구

AI에 대한 구체적인 기술에 회의론을 넣어 보겠습니다.

1. 확인하지 말고 반박해 보세요. AI는 출력 결과에 "그것이 사실인가요?"라고 물을 수 있습니다. "이것이 잘못된 것인지 어떻게 알 수 있나요?"가 아닙니다. 질문. 스스로에게 물어보세요: "만약 이 진술이 거짓이라면, 그것을 보여줄 증거는 무엇입니까?" 그리고 그 증거를 찾아보세요. 단일한 확인 사례를 찾는 것은 쉽습니다. 반박하려고 노력하고 실패하는 것은 진정한 확신을 줍니다.
2. 중립적으로 그리고 거꾸로 물어보세요. AI에게 "여기는 문제 없지?"라고 물어보세요. 묻지 마세요. 이는 승인 응답을 요청합니다. 대신 "이 데이터에서 내가 놓쳤을 수 있는 위험은 무엇입니까?" 그리고 "이 결과가 틀릴 가능성이 가장 높은 세 가지 시나리오는 무엇입니까?" 묻다. 서로 반대되는 두 측면에서 동일한 질문을 하고 답변을 비교하십시오.
3. 소스로 다운로드하여 재현하세요. 각 문제, 귀속, 결론에 대해 "이를 독립적으로 어디서 확인합니까?" 질문하고 실제로 확인해보세요. AI의 출력을 어설션으로 봅니다. 증거는 주장 외부에 있습니다.

팁: 습관을 들이세요: AI가 제공하는 모든 중요한 출력 옆에 두 가지를 직접 적습니다. "(1) 내가 이것을 무엇으로 확인했는지, (2) 그것이 거짓이라면 어떤 증거가 이를 보여줄 것인가." 이 두 가지 메모는 자동화와 확증 편향을 모두 깨뜨립니다.

감사인이 위임할 수 없는 판단

일부 직업에는 본질적으로 회의주의와 판단이 필요합니다. 이는 AI에 위임할 수 없으며 다음만 지원됩니다.

양도할 수 없는 관할권

왜?

증거가 충분하고 적절한지 여부

전문적 판단; 상황에 따라 다름

설명의 타당성

기획과 의도에 대한 고려가 필요합니다.

사기 위험 평가

회의주의와 직관; 데이터 패턴을 넘어서

중요성 및 의견결정

국민을 책임지는 사법부

경영의 정직성에 대한 의견

인간 행동을 읽는 것; AI는 이런 일을 할 수 없다

회의주의와 행상주의의 차이: 신중한 태도

전문가적 회의주의는 모든 것을 믿지 않거나 사전에 경영진을 비난하는 것을 의미하지 않습니다. 이는 과도한 조치이며 통제가 효과적이지 않게 만들 수 있습니다. 회의주의는 순수한 신뢰(들은 모든 것을 받아들이는 것)도 아니고 맹목적인 부정(모든 것을 거부하는 것)도 아닙니다. 그 사이에는 증거에 상응하는 탐구의 태도가 있다. 감사인은 경영진이 정직하다고 인정할 수 있지만 증거를 통해 이러한 인정 여부를 테스트합니다. 설명이 타당하다고 생각할 수도 있지만 타당성을 확인합니다. AI는 이러한 균형을 깨뜨릴 수 있습니다. 한 방향에서는 유동적인 출력에 대해 과신하게 만듭니다. 반면에, "모든 것에서 결점을 찾아내라"고 말하면 끝없는 거짓 긍정이 당신을 공격할 것입니다. 올바른 태도는 항상 증거의 무게와 결과를 비교하면서 AI를 실행하여 증거를 생성하고 증거를 반증하는 것입니다. 회의주의는 성격 특성이 아니라 규율 있는 업무 방식입니다. 그리고 이 규율을 확립하고 유지하며 입증하는 사람은 AI가 아닌 감사인입니다.

세 개의 미니 케이스

사례 1 — 반박 기술이 작동합니다. 감사인은 “이 주식 가치 평가는 합리적으로 보인다”고 AI를 인쇄했다. 그는 확인 대신 “이런 평가가 과대평가됐다면 무슨 증거가 있겠느냐”고 되물었다. YZ는 "판매 후 가격이 원가 이하로 떨어지는 품목"이라고 말했습니다. 감사인은 이러한 항목을 검색한 결과 실제로 저평가된 그룹을 발견했습니다. 반박 질문은 확인이 감추고 있는 위험을 노출시켰습니다.

사례 2 — 확증 편향에 빠지다. 크런치타임에 한 팀원이 AI에게 “이 계정에는 큰 문제가 없지 않습니까?”라고 물었다. 그는 물었다. YZ 측은 해당 질문에 대해 "제공해주신 정보에 따르면 큰 문제는 없어 보인다"고 말했다. 팀원은 긴장을 풀고 펜 뚜껑을 닫았습니다. 그러나 그는 어떤 증거도 제시하지 않았습니다. AI는 그의 문장을 그대로 반영했을 뿐이다. 책임자는 해당 질문이 공정하게 제기되지 않았음을 보여주었습니다. 교훈: 질문을 어떻게 하느냐에 따라 얻는 답이 결정됩니다. 확인을 구하는 질문은 확인을 낳습니다.

사례 3 - 유창함에 반함. 감사인은 YZ가 매우 유창하고 합리적인 문단으로 설명한 법률 해석이 정확하다고 생각하여 이를 작업 문서에 포함시켰습니다. 글이 너무 깔끔해서 질문할 생각도 나지 않았습니다. 책임자는 해당 참조가 공식 텍스트에 상응하는 내용이 없음을 보여주었습니다. 교훈: 유창함과 자신감은 정확성을 증명하지 않습니다. 가장 설득력 있어 보이는 결과가 가장 위험할 수도 있습니다.

약한 프롬프트 / 강한 프롬프트

약한 프롬프트:

이 분석이 맞죠? 승인하시나요?

문제: 확인을 추구하는 편향된 질문입니다. AI가 당신과 합류하도록 밀어붙입니다. 이는 확증 편향을 조장하고 실제 위험을 숨깁니다.

강력한 프롬프트:

귀하의 역할: 귀하는 독립 감사인의 중요한 문의 파트너입니다. 귀하의 임무는 나와 동의하는 것이 아니라 내 결과를 거부하려고 시도하는 것입니다. 상황: 다음은 분석 절차에 대한 나의 결론과 잠정적인 결론입니다.[결과 텍스트]과제:1) 이 결론이 거짓일 수 있는 가장 가능성이 높은 3가지 시나리오를 나열하십시오.2) 각 시나리오에 대해: "이것이 사실이라면 어떤 증거가 이를 보여줄까요?" 구체적이고 검색 가능한 증거를 제안합니다. 3) 내가 놓쳤을 수 있는 데이터나 가정을 표시하십시오. 4) 나와 일치하는 문장을 만들지 마십시오. 당신은 약점을 찾는 임무를 맡고 있습니다. 확실하지 않은 부분은 "알 수 없음"으로 표시하세요.

이 프롬프트는 AI(반박)의 역할을 뒤집어 반박 시나리오와 검색 가능한 증거를 요구하고 확인을 구하는 언어를 금지하기 때문에 강력합니다. 이로 인해 AI는 확증 편향의 도구가 아닌 회의론에 서비스를 제공하게 됩니다.

일반적인 실수

• 승인을 구하는 질문을 합니다. "괜찮아, 그렇지?" 합의된 답변을 묻고 확인함으로써.
• 유창함을 정확성으로 착각합니다. 질문 없이 잘 쓰여지고 자신감 있는 결과를 받아들입니다.
• 하나의 확증적인 예로 만족하십시오. 반박하지 않고 첫 번째 뒷받침하는 결과로 마무리합니다.
• 양도할 수 없는 관할권을 위임합니다. 증거의 충분성, 합리성, 의견 등의 판단은 AI에 맡깁니다.
• 시간적 압박 속에서 회의론을 버리십시오. 막혔을 때 AI의 위로가 되는 답변에 귀를 기울이세요.

주의: 시간적 압박은 회의론의 가장 큰 적이며 AI는 이러한 압박 속에서 가장 위험해집니다. 빠르고 유창하며 편안한 답변을 제공하기 때문입니다. 급할 때 반박 질문을 꼭 하도록 하세요.

요약하면

전문가적 회의론은 감사의 핵심이며 AI 시대에는 더욱 중요해집니다. AI는 환각(만들기), 자동화 편향(유동적이기 때문에 믿는다), 확증 편향(우리가 바라는 것을 말해주기 때문에 의문을 제기하지 않음)이라는 세 가지 약점을 유발합니다. 해결책은 AI를 확인하는 것이 아니라 서둘러 AI를 반박하는 것입니다. "이것이 거짓이라면 어떤 증거가 이를 보여줄까요?" ' 그리고 반대 증거를 찾고, 객관적이고 거꾸로 질문하고, 소스의 모든 출력을 재현합니다. 증거의 충분성, 합리성, 사기 위험, 의견 판단 등의 판단에는 회의론이 필요하며 양도할 수 없습니다. 유창함은 정확성이 아닙니다. 회의적인 마음은 당신의 것입니다.

응용과제

감사 결과(또는 가상 결과)를 받으세요. 먼저 "확인 추구" 약한 질문으로 AI에게 질문한 다음, 위의 "반박" 강한 프롬프트 패턴으로 질문합니다. 두 결과를 나란히 놓고 차이점을 적어보세요. 반박 질문에서만 드러난 위험은 무엇입니까? 그런 다음 출력의 각 주요 주장 옆에 "내가 무엇을 확인했는지"와 "거짓인 경우 어떤 증거가 표시되는지"라는 두 개의 메모를 추가합니다.

체크리스트

• [ ] 확인을 위한 질문이 아닌 AI 반박/중립 질문을 했습니다.
• [ ] 각각의 중요한 결과에 대해 "이것이 거짓이라면 어떤 증거가 이를 보여줄 것인가?" 나는 질문을 하고 증거를 찾았다.
• [ ] 나는 더욱 회의적인 태도로 매끄럽고 자신감 있게 보이는 출력을 테스트했습니다.
• [ ] 나는 단 하나의 확증적인 예로 그치지 않았습니다. 나는 그것을 반박하려 했으나 실패했다.
• [ ] 증거의 충분성, 합리성, 의견 등은 제가 스스로 판단한 것입니다.
• [ ] 시간적 압박 속에서도 반박 질문을 빼먹지 않았습니다.
• [ ] 중요한 주장 옆에는 "내가 확인한 내용 / 틀린 경우 무엇을 보여줄 것인가"를 메모했습니다.