Gains :
- Comprendre ce qu'est l'esprit critique et les risques de tomber dans le biais de confirmation et le biais d'automatisation lors de l'utilisation de l'intelligence artificielle
- Capacité à tester les résultats de l'intelligence artificielle avec une technique de questionnement qui tente de réfuter (chercher le contraire)
- Être capable de comprendre que la maîtrise de l’intelligence artificielle ne signifie pas l’exactitude, que l’esprit sceptique est au cœur du contrôle et ne peut être transféré.
Il existe une attitude mentale qui distingue l’audit indépendant de nombreuses autres professions : l’esprit critique. Les ISA définissent cela comme un auditeur travaillant « avec un esprit curieux, notant si les éléments probants indiquent des anomalies potentielles et évaluant ces éléments probants de manière critique ». Autrement dit, l’auditeur n’accepte pas automatiquement comme vraie toute information qui lui est présentée – ni une déclaration de la direction, ni un document, ni même un compte qui « semble raisonnable ». Je me demande constamment « Est-ce vraiment le cas ? » demande-t-il. Cette attitude est au cœur du contrôle et est inaliénable.
À l’ère de l’intelligence artificielle, ce noyau est confronté à une toute nouvelle épreuve. Parce que l’IA est capable de déclencher deux faiblesses profondément ancrées dans l’esprit humain : le biais d’automatisation et le biais de confirmation. Dans cette unité, nous verrons comment un auditeur utilisant l’IA peut maintenir, voire renforcer son scepticisme. La thèse principale est que la maîtrise de l’IA n’est pas synonyme d’exactitude ; L’esprit sceptique devient encore plus important face à l’IA.
Deux préjugés dangereux
Le biais d’automatisation est la tendance des gens à faire plus confiance au résultat d’une machine/d’un logiciel qu’à leur propre jugement. "L'ordinateur l'a calculé, c'est correct." Ce danger est amplifié lorsqu’il s’agit de l’IA, car l’IA ne se contente pas de calculer ; Prononce des phrases raisonnées, fluides, confiantes, à l’image d’un humain. Un ton confiant est convaincant même si l’information n’est pas exacte.
Le biais de confirmation est la tendance des gens à rechercher des informations qui soutiennent la conclusion à laquelle ils croyaient ou espéraient auparavant et à ignorer les informations contradictoires. C'est fatal en audit : un auditeur qui pense « Ce client doit être propre » sera soulagé lorsqu'il demandera à l'IA et obtiendra confirmation, et cessera de chercher des preuves du contraire. Parce que l'IA a tendance à se pencher sur la question posée (si vous demandez « ça va, n'est-ce pas ? », il est plus probable que vous produisiez une réponse qui est d'accord avec vous), elle peut favoriser un biais de confirmation.
Il y en a aussi une troisième : l’hallucination. Nous l'avons vu à plusieurs reprises dans le module : l'IA peut créer couramment un nombre, un élément, une ressource qui n'existe pas. Le danger est accru lorsque trois faiblesses se combinent : l’IA invente les choses (hallucination), on y croit parce qu’elle est fluide (biais d’automatisation), on ne la remet pas en question parce qu’elle vous dit ce que l’on attend (biais de confirmation).
Les trois outils de l'esprit sceptique contre l'IA
Mettons du scepticisme dans les techniques concrètes contre l'IA :
- Essayez de réfuter, pas de confirmer. Une IA pourrait demander à son résultat : « est-ce vrai ? » pas "comment puis-je savoir si c'est faux ?" question. Demandez-vous : « Si cette affirmation était fausse, quelle preuve la prouverait ? » et recherchez cette preuve. Il est facile de trouver un seul exemple confirmant ; Essayer de réfuter et échouer donne une réelle assurance.
- Demandez de manière neutre et à l’envers. Demandez à l'IA "pas de problème ici, n'est-ce pas ?" Ne demandez pas ; cela appelle une réponse approbatrice. Au lieu de cela, « quels sont les risques que j'ai pu manquer dans ces données ? » » et « quels sont les trois scénarios les plus probables dans lesquels ce résultat pourrait être erroné ? » demander. Posez la même question de deux côtés opposés et comparez les réponses.
- Téléchargez à la source et reproduisez. Pour chaque problème, attribution et conclusion, « où puis-je vérifier cela de manière indépendante ? » Posez la question et vérifiez réellement. Visualiser la sortie de l'IA comme une assertion ; La preuve est externe à la réclamation.
Astuce : prenez l'habitude : à côté de chaque résultat significatif fourni par l'IA, écrivez deux choses à la main : "(1) avec quoi ai-je vérifié cela, (2) quelles preuves montreraient cela si c'était faux." Ces deux notes brisent à la fois les biais d’automatisation et de confirmation.
Jugements que le commissaire aux comptes ne peut pas déléguer
Certains emplois nécessitent intrinsèquement du scepticisme et du jugement ; ceux-ci ne peuvent pas être délégués à l'IA, uniquement pris en charge :
juridiction inaliénable
Pourquoi
La preuve est-elle suffisante et appropriée
Jugement professionnel ; dépendant du contexte
Plausibilité d'une explication
Nécessite une prise en compte de l’entreprise et de l’intention
Évaluation des risques de fraude
Scepticisme et intuition ; au-delà du modèle de données
Décision sur l'importance relative et l'opinion
Un pouvoir judiciaire responsable envers le public
Opinion sur l'honnêteté de la direction
Lire le comportement humain ; L'IA ne peut pas faire ça
La différence entre scepticisme et pédantisme : une attitude mesurée
Le scepticisme professionnel ne signifie pas ne pas croire tout ou blâmer la direction à l’avance ; Ce serait aller trop loin et rendrait le contrôle inefficace. Le scepticisme n’est ni une pure confiance (accepter tout ce qu’on vous dit) ni un déni aveugle (tout rejeter) ; Entre les deux, il s’agit d’une attitude d’enquête à la mesure des preuves. L'auditeur peut considérer la direction comme honnête, mais il teste cette acceptation par des preuves ; peut trouver une explication plausible, mais confirme la plausibilité. L’IA peut perturber cet équilibre : dans un sens, elle vous berce dans un excès de confiance grâce à sa production fluide ; D’un autre côté, si vous lui dites de « trouver à redire à tout », il vous bombardera de faux positifs sans fin. L'attitude correcte est de toujours peser le résultat par rapport au poids des preuves, tout en exécutant l'IA pour produire des preuves et réfuter les preuves. Le scepticisme n’est pas un trait de personnalité, mais une façon disciplinée de travailler ; Et c’est l’auditeur qui établit, maintient et met en évidence cette discipline, et non l’IA.
trois mini-cases
Cas 1 — La technique de réfutation fonctionne. Un auditeur a imprimé l’IA en disant que « cette valorisation boursière semble raisonnable ». Au lieu de confirmer, il a demandé en détournant les yeux : « Si cette valorisation est surestimée, quelles preuves le démontreraient ? » "des articles pour lesquels les prix après-vente sont inférieurs au coût", a déclaré YZ. L'auditeur a recherché ces éléments et a trouvé un groupe qui était en réalité sous-évalué. La question de réfutation a révélé le risque que dissimulait la confirmation.
Cas 2 — Tomber dans le biais de confirmation. Un membre de l'équipe a demandé à l'IA à un moment critique : "il n'y a rien de grave avec ce compte, n'est-ce pas ?" il a demandé. YZ s'est penché sur la question et a déclaré : « D'après les informations que vous avez fournies, il ne semble pas y avoir de problème important. Le membre de l'équipe s'est détendu et a rebouché le stylo. Cependant, il n’a présenté aucune preuve ; L'IA n'a fait que refléter sa phrase. Le responsable a montré que la question n'avait pas été posée de manière impartiale. Leçon : la façon dont vous posez la question détermine la réponse que vous obtenez ; Une question cherchant une confirmation produit une confirmation.
Cas 3 – Tomber amoureux de la maîtrise. Un auditeur a estimé qu'une interprétation de la législation que YZ expliquait dans un paragraphe très fluide et motivé était correcte et l'a incluse dans le document de travail. Le texte était si soigné qu'il ne lui vint pas à l'esprit de le remettre en question. Le responsable a montré que la référence n'avait pas d'équivalent dans le texte officiel. Leçon : la maîtrise et la confiance ne sont pas une preuve d’exactitude ; Le résultat qui semble le plus convaincant peut être le plus dangereux.
Invite faible/Invite forte
Invite faible :
Cette analyse est correcte, non ? Approuvez-vous ?
Le problème : une question biaisée qui cherche une confirmation. Cela pousse l’IA à vous rejoindre ; Cela favorise le biais de confirmation et cache le véritable risque.
Invite puissante :
Votre rôle : vous êtes l'interlocuteur critique d'un auditeur indépendant. Votre tâche n'est pas d'être d'accord avec moi, mais d'essayer de REFUSER mes résultats.Contexte : Vous trouverez ci-dessous ma conclusion d'une procédure analytique et ma conclusion provisoire.[texte du résultat]Tâche :1) Énumérez les 3 scénarios les plus probables dans lesquels cette conclusion pourrait être FAUX.2) Pour chaque scénario : "si cela était vrai, quelles preuves le montreraient ?" Suggérez des preuves concrètes et consultables. 3) Marquez toutes les données ou hypothèses que j'ai pu manquer. 4) Ne faites pas de phrases qui me conviennent ; Vous avez pour mission de trouver les points faibles. Marquez « inconnu » lorsque vous n'êtes pas sûr.
Cette invite est puissante car elle inverse le rôle de l'IA (réfutation), exigeant des scénarios de réfutation et des preuves consultables, et interdisant le langage de recherche de confirmation. Cela met l’IA au service du scepticisme plutôt que comme un instrument de biais de confirmation.
Erreurs courantes
- Poser des questions pour obtenir l'approbation. "C'est bon, n'est-ce pas ?" en posant et en garantissant la réponse convenue.
- Confondre aisance et précision. Accepter sans aucun doute un résultat bien écrit et confiant.
- Contentez-vous d’un seul exemple confirmatif. Terminons par la première conclusion à l’appui, sans chercher à la réfuter.
- Déléguer une juridiction inaliénable. Laisser la décision sur la suffisance des preuves, le caractère raisonnable et l’opinion à AI.
- Abandonner le scepticisme sous la pression du temps. Réfugiez-vous dans la réponse réconfortante de l’IA lorsque vous êtes coincé.
Attention : la pression du temps est le plus grand ennemi du scepticisme, et l'IA devient la plus dangereuse sous cette pression ; car il vous offre une réponse rapide, fluide et réconfortante. Assurez-vous de poser la question de réfutation lorsque vous êtes pressé.
En résumé
L’esprit critique est au cœur de l’audit et devient encore plus critique à l’ère de l’IA. L'IA déclenche trois faiblesses : l'hallucination (l'invente), le biais d'automatisation (on y croit parce que c'est fluide), le biais de confirmation (on ne la remet pas en question car elle dit ce qu'on espère). L’antidote consiste à se précipiter pour réfuter l’IA, et non la confirmer : « si c’est faux, quelles preuves le démontreraient ? » et à la recherche de preuves contraires, en posant des questions objectives et rétrospectives, en reproduisant chaque sortie de la source. Les jugements tels que la suffisance des preuves, le caractère raisonnable, le risque de fraude et le jugement d’opinion nécessitent du scepticisme et ne sont pas transférables. La maîtrise n'est pas l'exactitude ; L’esprit sceptique est le vôtre.
Tâche de candidature
Obtenez votre résultat d’audit (ou un résultat hypothétique). Posez d'abord à l'IA une question faible de « recherche de confirmation », puis avec le modèle d'invite forte de « réfutation » ci-dessus. Mettez les deux résultats côte à côte et notez la différence : quels risques ont été révélés uniquement par la question de réfutation ? Ajoutez ensuite deux notes à côté de chaque affirmation clé dans votre sortie : "avec quoi ai-je vérifié" et "quelles preuves montreraient si elles étaient fausses".
liste de contrôle
- [ ] J'ai posé à l'IA des questions de réfutation/neutres, pas des questions de recherche de confirmation.
- [ ] Pour chaque résultat significatif, « si cela est faux, quelles preuves le démontreraient ? » J'ai posé la question et cherché des preuves.
- [ ] J'ai testé le résultat, qui semblait fluide et confiant, avec un scepticisme supplémentaire.
- [ ] Je ne me suis pas arrêté à un seul exemple confirmatif ; J'ai essayé de le réfuter mais j'ai échoué.
- [ ] J'ai formulé mes propres jugements tels que la suffisance des preuves, le caractère raisonnable et l'opinion.
- [ ] Même sous la pression du temps, je n'ai pas ignoré la question de réfutation.
- [ ] À côté des affirmations importantes, j'ai noté "ce que j'ai vérifié avec / ce qui montrerait si c'était faux".