Tests de population complète avec analyse de données : de l'échantillon à l'ensemble — Intelligence artificielle dans l'audit et l'audit indépendant

Gains :

Comprendre le risque d'échantillonnage et la logique des tests sur une population complète (tests à 100 %) et être capable d'utiliser l'intelligence artificielle pour la préparation des données, la rédaction de règles et l'interprétation des résultats.
Capacité à concevoir et à mettre en œuvre des tests de correspondance, d'exhaustivité et d'exactitude dans de grands ensembles de données avec prise en charge de l'intelligence artificielle
Capacité à comprendre que la liste d'exceptions dans le test de population complète n'est pas un résultat, mais un début que l'auditeur examinera, et que l'évaluation finale appartient à l'auditeur.

L’une des limites les plus fondamentales de la profession d’auditeur était que l’auditeur devait travailler par échantillonnage pendant de nombreuses années. Vous ne pouvez pas examiner manuellement les 180 000 factures qu’une entreprise émet chaque année ; Vous sélectionnez donc quelques centaines d'enregistrements à l'aide d'une méthode statistique ou de jugement, vous les testez et généralisez le résultat à l'ensemble de la population. L'échantillonnage est une technique puissante et légitime, mais elle comporte un risque inhérent : le risque d'échantillonnage — l'échantillon que vous choisissez peut ne pas être représentatif de la population, et la véritable erreur peut ne pas se situer exactement là où vous regardez.

L’analyse des données et l’IA changent la donne : vous pouvez désormais tester l’ensemble de la population, c’est-à-dire 100 %. C’est ce qu’on appelle des tests complets sur la population. Nous consacrons cette unité à comprendre la transition de « l’échantillon au tout », le pouvoir qu’elle apporte et les nouvelles responsabilités que beaucoup de gens négligent. Parce que les tests sur l’ensemble de la population ne facilitent pas l’inspection ; Cela change la nature du test et impose de nouvelles charges à l'examinateur.

Différence entre l'échantillonnage et les tests sur l'ensemble de la population

Dans l'échantillonnage classique, la logique est la suivante : "Permettez-moi de tester minutieusement un groupe restreint mais représentatif et d'interpréter le résultat dans son ensemble." Dans le test de population complète, la logique est inversée : « Laissez-moi analyser l'ensemble selon certaines règles, trouver les exceptions qui ne respectent pas la règle et les examiner minutieusement. » Dans la première approche, le risque est de « choisir le mauvais échantillon » ; Dans le second cas, le risque est de « rédiger une mauvaise règle » et de « travailler avec des données incomplètes/erronées ».

Le tableau suivant compare les deux approches :

Taille

échantillonnage

Tests sur l'ensemble de la population (100 %)

Portée

une partie de la population

population entière

Risque principal

Risque d'échantillonnage (erreur de représentation)

Erreur de règle + erreur d'intégrité des données

sortie

Nombre limité de résultats de tests

Liste des exceptions non conformes à la règle

Charge de l'auditeur

choix + test

Conception de règles + évaluation des exceptions

Rôle de l'IA

Aide à la sélection des échantillons

Préparation des données, rédaction des règles, marquage des exceptions

Remarque : les tests sur l'ensemble de la population ne signifient pas « J'ai tout testé, travail terminé ». Au contraire, cela vous donne généralement plus d’éléments à examiner. Lorsque vous exécutez les 180 000 factures via une règle d’approbation date-montant, vous trouverez peut-être 900 exceptions. Chacune de ces questions est une question ; pas une réponse. C’est ici qu’intervient le pouvoir judiciaire d’audit.

L'exhaustivité des données : la base invisible des tests

Le plus grand écueil des tests sur l’ensemble de la population est que la qualité du test dépend de la qualité des données. "J'ai testé 100 % des données" n'a de sens que si les données dont vous disposez concernent en réalité 100 % de la population. Si un filtre était incorrect lors de l'extraction des données du système, si certains enregistrements ont été omis ou si la colonne de montant a été transférée avec une erreur décimale, votre test « complet » sera en fait effectué sur des données incomplètes ou corrompues. Par conséquent, la confirmation de l’exhaustivité et de l’exactitude des données est la première étape indispensable des tests sur l’ensemble de la population.

Contrôles pratiques pour la vérification de l'exhaustivité :

Rapprochement du nombre d'enregistrements : le nombre de lignes de l'ensemble de données que vous avez extrait correspond-il au nombre total d'enregistrements dans le système ?
Rapprochement du montant : le montant total de l'ensemble de données est-il rapproché du total du compte concerné dans la balance de vérification/filiale ?
Plage de dates : le premier et le dernier jour de la période sont-ils inclus dans les données ? Y a-t-il un mois/jour manquant ?
Analyse des espaces vides et incorrects : Y a-t-il des espaces ou des valeurs dénuées de sens dans les champs obligatoires (date, montant, code compte) ?

L'IA facilite toutes ces vérifications : analyse les données, obtient les totaux, compte les espaces vides, rapporte la plage de dates. Mais c'est l'auditeur qui décide si l'accord « est valable », étudie la différence et confirme que les données conviennent aux objectifs de l'audit.

Attention : N'écrivez pas « J'ai testé toutes les données » sur la feuille de calcul sans vérifier l'exhaustivité des données. Un test de population complet sur les données manquantes donne une assurance apparemment complète mais trompeuse.

Tests sur l'ensemble de la population avec l'IA : étape par étape

Préparez les données en toute sécurité. Anonymisez les champs personnels/privés ou remplacez-les par des espaces réservés. Si possible, utilisez un véhicule d'entreprise sous contrat.
Confirmez l'exhaustivité. Rapprochez le nombre d’enregistrements et le montant.
Définissez clairement la règle de test. Qu’est-ce qui constitue une « exception » ? (Par exemple : facture non approuvée, facture émise le week-end, paiement rond important, revenus enregistrés après la date limite.)
Appliquez la règle avec l'IA. L'IA applique la règle aux données et produit une liste d'exceptions ; Écrivez clairement la règle afin qu'elle puisse être auditée.
Hiérarchisez et examinez les exceptions. Enquêter sur chaque exception avec des preuves ; traiter les faux positifs, justifier les résultats réels.
Documentez le résultat. Reliez la règle, le nombre d’exceptions, les éléments examinés et la conclusion à la feuille de travail.

trois mini-cases

Cas 1 — Test de découpe. Un auditeur souhaitait tester le seuil de revenus de fin d’année. Il a pris 42 000 factures de vente comme population complète et a demandé à AI d'appliquer la « liste des enregistrements avec les dates de facture avant le 31 décembre, mais les dates d'expédition/de livraison au 1er janvier ou après ». YZ a marqué 118 enregistrements. L'auditeur a examiné ces éléments : 96 étaient des transactions légitimes sans différence temporelle (livraison le jour même), 22 étaient en réalité des revenus de l'année suivante et ont été enregistrés dans la période précédente. Ces 22 éléments ont été signalés car ils présentaient une tendance, quoique inférieure à la signification. L'IA a posé 118 questions ; L'auditeur a trouvé 22 réponses.

Cas 2 — Lorsque l’exhaustivité est omise. Un membre de l'équipe a déclaré avoir effectué des tests complets sur 180 000 factures ; Il n’y avait aucune exception et il était soulagé. La personne responsable a comparé le montant total de l'ensemble de données avec la balance de vérification : données 155 millions de TL, balance de vérification 210 millions de TL. Il s’avère que pendant l’extraction des données du système, une branche a été filtrée et laissée de côté. Le test « complet » a en fait manqué un quart des données. Le test a été réalisé avec les données correctes. Leçon : il n'y a pas de test de population complète sans confirmation de l'exhaustivité.

Cas 3 — Erreur de règles. Un auditeur a demandé à AI d'écrire la règle « Liste des paiements non approuvés supérieurs à 50 000 TL », mais n'a pas réalisé que le champ « approbation » était conservé dans deux colonnes différentes dans le système (approbation électronique et approbation manuelle). L'IA a marqué 300 paiements comme « refusés » parce qu'elle n'en a examiné qu'un ; Après examen, il s’est avéré que la plupart d’entre eux étaient approuvés dans l’autre colonne. Une mauvaise règle a produit des centaines de faux positifs. L'auditeur a corrigé la règle pour inclure les deux colonnes. Leçon : l'auditeur vérifie que la règle est conforme aux données et au processus métier.

Invite faible/Invite forte

Invite faible :

Recherchez les enregistrements problématiques dans ces données de facture.

Problème : Aucune définition de « problématique ». L'IA ne sait pas quoi considérer comme une exception ; Il travaille soit selon des signaux aléatoires, soit selon un critère qu'il a constitué. Ce n’est pas reproductible et vérifiable.

Invite puissante :

Votre rôle : vous êtes assistant data analytique auprès d'un auditeur indépendant. Le jugement m’appartient ; Vous appliquerez la règle et générerez une liste d'exceptions. Contexte : Vous trouverez ci-dessous les données anonymisées des factures de vente (colonnes : facture_no, facture_date, date_de-livraison, montant, statut_approbation, succursale). Fin d'année : 31.12.ÉTAPE 1 - Complétude : Donner le nombre total de dossiers et le montant total afin que je puisse le comparer avec la balance de vérification. Signalez s'il y a un espace vide/manquant.ÉTAPE 2 - Règle de test de coupe : répertoriez les enregistrements avec date_facture <= 31.12 ET date_de_livraison >= 01.01 comme "exception limite".ÉTAPE 3 - Écrivez la règle en texte brut (quelle condition avez-vous appliquée) afin qu'elle puisse être auditée.Règles : j'ai donné la règle, ne la modifiez pas. Soumettez les enregistrements que vous signalez comme « exceptions pour examen » ; Ne dites pas « erreur/constatation ». N'inventez pas ce que vous ne pouvez pas déduire des données.

Cette requête est puissante car elle confirme d'abord l'exhaustivité, définit clairement la règle d'exception, requiert le texte brut de la règle (auditabilité) et positionne le résultat comme « exception ».

Erreurs courantes

Ignorer la vérification de l'intégralité. Effectuer des tests « complets » sur des données incomplètes/corrompues et donner une fausse assurance.
Prendre l’exception pour une constatation. Comptage des erreurs sans vérifier l'enregistrement marqué par l'IA ; en évitant d'éliminer les faux positifs.
Je ne vérifie pas la règle. Générer des centaines de faux drapeaux sans vérifier si la règle est conforme aux données et au processus métier.
Écrire des règles vagues. Obtenir des résultats irremplaçables avec des invites non définies telles que « rechercher des enregistrements problématiques ».
Se contenter d'un seul départ. Ne pas interroger la règle ou les données si le nombre d'exceptions est très différent de celui attendu.

Astuce : Soyez alarmé si le nombre d’exceptions est trop faible (proche de zéro) ou trop grand. Zéro signifie généralement « règle écrite de manière incorrecte » ou « données manquantes » ; Un nombre extrêmement élevé indique que la règle est trop large. Un bon auditeur soupçonne à la fois « aucune exception » et « tout est exception ».

En résumé

Les tests sur l’ensemble de la population constituent un énorme pas en avant en matière d’audit : ils éliminent le risque d’échantillonnage et examinent 100 % des données. Mais ce n'est pas gratuit. Cela apporte deux nouvelles responsabilités : (1) vérifier l’exhaustivité et l’exactitude des données, (2) évaluer les exceptions individuelles qui surviennent. L'IA prépare les données, applique la règle, signale l'exception et réduit les heures d'analyse à quelques secondes ; Mais l'exactitude de la règle, l'exhaustivité des données et l'évaluation des exceptions appartiennent à l'auditeur. L'exception n'est pas un résultat, c'est un début.

Tâche de candidature

Considérons un ensemble de données de transaction existant (ou hypothétique). Définissez d'abord deux contrôles d'exhaustivité (nombre d'enregistrements et rapprochement des montants). Ensuite, rédigez une règle d'exception claire à des fins d'audit (par exemple, factures émises le week-end ou suppression des exceptions). Avec le puissant modèle d'invite ci-dessus, demandez à l'IA d'exécuter d'abord l'intégralité, puis la règle. Les 10 premières exceptions qui apparaissent sont « des résultats réels ou des faux positifs ? » Entraînez-vous à classer comme suit et notez les preuves que vous rechercherez pour chacune.

liste de contrôle

[ ] J'ai anonymisé les données et j'ai conduit en toute sécurité.
[ ] J'ai confirmé l'exhaustivité des données en rapprochant le nombre d'enregistrements et le montant.
[ ] J'ai recherché un espace libre/mauvais.
[ ] J'ai défini la règle d'exception de manière claire et reproductible.
[ ] J'ai reçu le texte brut de la règle de l'IA et vérifié sa conformité avec les données et le processus métier.
[ ] J'ai remis en question le caractère raisonnable du nombre d'exceptions (trop peu/pas trop).
[ ] J'ai traité chaque exception comme une question à examiner et non comme une conclusion ; J'ai éliminé les faux positifs.