利益:
- 専門的懐疑論とは何か、また人工知能を使用する際に確証バイアスと自動化バイアスに陥るリスクを理解する
- 反論を試みる（反対を探す）質問手法を使用して人工知能の出力をテストする能力
- 人工知能の流暢さは正確さを意味するものではなく、懐疑的な心は制御の中核であり、移すことはできないことを理解できること。
独立監査を他の多くの専門職と区別する精神的態度が 1 つあります。それは、職業的懐疑論です。 ISA はこれを、監査人が「探究心をもって、証拠が虚偽表示の可能性を示しているかどうかに注目し、証拠を批判的に評価する」作業を行うことと定義しています。つまり、監査人は、経営者の声明や文書、さらには「合理的と思われる」説明でさえも、提示された情報を自動的に真実として受け入れることはありません。 「本当にそうだろうか？」といつも思ってしまいます。彼は尋ねます。この姿勢はコントロールの中核であり、譲ることはできません。
人工知能の時代において、このコアはまったく新しい試練に直面しています。なぜなら、AIは、自動化バイアスと確証バイアスという、人間の心の奥深くにある2つの弱点を引き起こすことに長けているからです。この単元では、AI を使用する監査人がどのようにして懐疑心を維持、さらには強化できるかについて説明します。主な主張は、AI の流暢さは正確さではない、ということです。 AI に直面すると、懐疑的な心はさらに重要になります。
2 つの危険な偏見
自動化バイアスとは、人々が自分の判断よりもマシン/ソフトウェアの出力を信頼する傾向です。 「コンピューターが計算したので、間違いありません。」 AI は単に計算するだけではないため、この危険は AI に関してさらに大きくなります。流暢で、自信を持って、人間らしく、理にかなった文章を話します。たとえ情報が正確でなくても、自信に満ちた口調には説得力があります。
確証バイアスとは、人々が以前信じていたり期待していた結論を裏付ける情報を求め、矛盾する情報を無視する傾向のことです。これは監査において致命的です。「このクライアントはクリーンなはずだ」と考える監査人は、AIに質問して確認が得られると安心して、反対の証拠を探すのをやめてしまいます。 AI は尋ねられている質問に傾く傾向があるため (「大丈夫ですよね?」と尋ねると、同意する答えが得られる可能性が高くなります)、確証バイアスを助長する可能性があります。
3番目の幻覚もあります。このモジュールでは、AI が存在しない数字、項目、リソースを滑らかに作り上げることができるということを何度も見てきました。 AI が物事をでっち上げる (幻覚)、AI が流動的であるため信じてしまう (自動化バイアス)、期待していることを教えてくれるから疑わない (確証バイアス) という 3 つの弱点が組み合わさると、危険はさらに悪化します。
AI に対する懐疑的な心の 3 つのツール
AI に対する具体的な手法に懐疑を入れてみましょう。
- 肯定するのではなく、反論するようにしてください。 AI はその出力に「それは本当ですか?」と尋ねるかもしれません。 「これが間違っているかどうかをどうやって知ることができますか?」ではありません。質問。 「もしこの発言が虚偽だったとしたら、どのような証拠がそれを示すでしょうか?」と自問してください。そしてその証拠を探してください。確認できる例を 1 つ見つけるのは簡単です。反論しようとして失敗することで、本当の確信が得られます。
- 中立的かつ後ろ向きに質問してください。 AIに「ここは問題ないですよね？」と尋ねます。尋ねないでください。これにより、承認の反応が得られます。代わりに、「このデータで見逃した可能性のあるリスクは何ですか?」 「この結果が間違っている可能性が最も高い 3 つのシナリオは何ですか?」聞く。反対側の 2 つの側から同じ質問をし、答えを比較します。
- ソースにダウンロードして複製します。それぞれの問題、帰属、結論について、「これをどこで独自に検証すればよいでしょうか?」質問して実際に検証してみましょう。 AI の出力をアサーションとして表示します。証拠は主張の外部にあります。
ヒント: 習慣をつけましょう。AI が与えるすべての重要な出力の横に、2 つのことを手書きで書きます。「(1) これを何で検証したか、(2) それが間違っていた場合、どのような証拠がこれを示すか」。これら 2 つのメモは、自動化と確証バイアスの両方を打ち破ります。
監査人が委任できない判断
一部の仕事には本質的に懐疑と判断が必要です。これらは AI に委任できず、以下のみがサポートされます。
不可侵の管轄権
なぜ
証拠が十分かつ適切かどうか
専門的な判断。コンテキスト依存
説明の妥当性
企業と意図を考慮する必要がある
不正リスク評価
懐疑と直観。データパターンを超えて
重要性と意見の決定
国民に対して責任を負う司法
経営者の誠実さに関する意見
人間の行動を読む。 AIにはこれができない
懐疑主義と衒学趣味の違い: 慎重な態度
職業上の懐疑論は、すべてを信じなかったり、事前に経営陣を非難したりすることを意味するものではありません。これは行き過ぎであり、制御が無効になります。懐疑論は、純粋な信頼 (言われたことをすべて受け入れる) や盲目的な否定 (すべてを拒否する) ではありません。その中間にあるのは、証拠に見合った探究の姿勢です。監査人は経営陣が誠実であると認めるかもしれないが、この受け入れを証拠によってテストする。もっともらしい説明が見つかるかもしれないが、もっともらしさを裏付けるものである。 AI はこのバランスを崩す可能性があります。ある方向では、その流動的な出力によって人を過信に陥らせます。一方で、「すべてのあら探し」を指示すると、際限なく誤検知が降り注ぐことになります。正しい態度は、AI を実行して証拠を生成し、証拠を反証する一方で、結果と証拠の重みを常に比較検討することです。懐疑主義は性格的な特徴ではなく、規律ある仕事のやり方です。そして、この規律を確立、維持、証明するのは AI ではなく監査人です。
ミニケース3個
ケース 1 — 反論テクニックは機能します。監査人は「この株式評価は妥当に見える」というAIを出力した。同氏は確認する代わりに、「もしこの評価が過大評価されているとしたら、どのような証拠がそれを示すだろうか？」と裏返しに尋ねた。 「アフターセールス価格が原価を下回る品目」とYZ氏は述べた。監査人はこれらの項目を検索し、実際に過小評価されているグループを発見しました。反論の質問は、確認が隠していたリスクを暴露した。
ケース 2 — 確証バイアスに陥っている。チームメンバーは危機的な状況で AI に「このアカウントには大きな問題はありませんね?」と尋ねました。彼は尋ねた。 YZはこの質問に「あなたが提供した情報によると、重大な問題はないようです」と述べた。チームメンバーはリラックスしてペンのキャップを閉めた。しかし、彼は何の証拠も提示しなかった。 AIは彼の文章をただ反映しただけだ。責任者は、質問が公平に行われていなかったことを示した。教訓: 質問の仕方によって、得られる答えが決まります。確認を求める質問は確認を生み出します。
ケース 3 — 流暢さに夢中になる。監査人は、YZ が非常に流暢かつ論理的な文章で説明した法律の解釈が正しいと考え、それを作業報告書に含めました。その文章はとてもきちんとしていたので、彼はそれを疑問に思うことは思いつきませんでした。担当者は、この参考文献には公式テキストに相当するものがないことを示しました。教訓: 流暢さと自信は正確さの証拠ではありません。最も説得力があるように見える結果は、最も危険である可能性があります。
弱いプロンプト / 強いプロンプト
弱いプロンプト:
この分析は正しいですよね？承認しますか？
問題: 確認を求める偏った質問。 AI をあなたに参加させるよう促します。それは確証バイアスを助長し、真のリスクを隠します。
強力なプロンプト:
あなたの役割: あなたは独立監査人の重要な調査パートナーです。あなたの仕事は、私に同意することではなく、私の出力を拒否することです。文脈: 以下は、分析手順の私の結論と暫定的な結論です。[結果テキスト] タスク:1) この結論が偽である可能性が最も高い 3 つのシナリオをリストします。2) 各シナリオについて: 「これが真実である場合、どのような証拠がそれを示しますか?」具体的で検索可能な証拠を提案します。 3) 見逃した可能性のあるデータや仮定をマークします。 4) 私に同意する文章を作らないでください。あなたには弱点を見つけるという使命があります。不明な場合は「不明」とマークしてください。
このプロンプトは、AI (反論) の役割を逆転させ、反論シナリオと検索可能な証拠を要求し、確認を求める言葉を禁止するため、強力です。これにより、AI は確証バイアスの道具としてではなく、懐疑論に役立つようになります。
よくある間違い
- 承認を求めて質問する。 「大丈夫ですよね？」質問し、合意された答えを確実にすることによって。
- 流暢さを正確さと誤解する。よく書かれた自信に満ちた出力を何の疑問もなく受け入れます。
- 確認できる例を 1 つだけ挙げて満足してください。最初の裏付けとなる発見で終わりますが、それに反論するつもりはありません。
- 不可侵の管轄権を委任する。証拠の十分性、合理性、意見の判断をAIに任せる。
- 時間のプレッシャーの下で懐疑心を手放す。行き詰まったときは、AI の心地よい答えに逃げましょう。
注意: 時間のプレッシャーは懐疑論の最大の敵であり、このプレッシャーの下では AI が最も危険になります。なぜなら、迅速かつ流暢で安心できる答えを提供してくれるからです。急いでいるときは、必ず反論の質問をしてください。
要約すると
専門的な懐疑論は監査の中核であり、AI の時代にはさらに重要になります。 AI は 3 つの弱点を引き起こします。それは、幻覚 (でっちあげ)、自動化バイアス (流動的なため信じてしまう)、確証バイアス (期待通りのことを言っているので疑問に思わない) です。解毒剤は、AI を肯定するのではなく、急いで反証することです。「もしこれが偽りであるなら、どんな証拠がそれを示すでしょうか?」そして反対の証拠を探し、客観的かつ逆向きに質問し、ソースからすべての出力を再現します。証拠の十分性、合理性、詐欺の危険性、見解の判断などの判断には懐疑が必要であり、譲渡することはできません。流暢さは正確さではありません。懐疑的な心はあなたのものです。
アプリケーションタスク
監査結果 (または仮説の結果) を取得します。最初に「確認を求める」弱い質問で AI に質問し、次に上記の「反論」の強いプロンプト パターンで質問します。 2 つの結果を並べて違いを書き留めます。どのリスクが反駁質問によってのみ明らかになりましたか?次に、出力内の各主要な主張の横に、「何を検証したか」と「それが偽だった場合にどのような証拠が示されるか」という 2 つのメモを追加します。
チェックリスト
- [ ] 私は確認を求める質問ではなく、AI の反論/中立的な質問をしました。
- [ ] 重要な結果ごとに、「これが誤りである場合、どのような証拠がそれを示すでしょうか?」私は質問をして証拠を探しました。
- [ ] スムーズで自信に満ちているように見える出力を、さらに懐疑的にテストしました。
- [ ] 私は 1 つの確認例にとどまりませんでした。反論しようとしたが失敗した。
- [ ] 証拠の十分性、合理性、意見などについて独自に判断しました。
- [ ] 時間に追われていたにもかかわらず、私は反論の質問を飛ばしませんでした。
- [ ] 重要な主張の隣に、「何を検証したか/間違っていた場合に何が分かるか」をメモしました。