Vollständige Bevölkerungstests mit Datenanalyse: Von der Stichprobe zum Ganzen

Gewinne:

• Verstehen Sie das Stichprobenrisiko und die Logik vollständiger Populationstests (100 %-Tests) und können Sie künstliche Intelligenz für die Datenaufbereitung, Regelerstellung und Ergebnisinterpretation nutzen.
• Fähigkeit, Matching-, Vollständigkeits- und Genauigkeitstests in großen Datensätzen mit Unterstützung künstlicher Intelligenz zu entwerfen und umzusetzen
• Fähigkeit zu verstehen, dass die Ausnahmeliste im Vollpopulationstest kein Ergebnis, sondern ein Anfang ist, den der Prüfer prüft, und dass die endgültige Bewertung dem Prüfer obliegt.

Eine der grundlegendsten Einschränkungen des Wirtschaftsprüferberufs bestand darin, dass der Prüfer über viele Jahre hinweg mit Stichproben arbeiten musste. Sie können die 180.000 Rechnungen, die ein Unternehmen in einem Jahr ausstellt, nicht manuell überprüfen. Sie wählen also mithilfe einer statistischen oder wertenden Methode einige hundert Datensätze aus, testen sie und verallgemeinern das Ergebnis auf die gesamte Grundgesamtheit. Die Stichprobenziehung ist eine leistungsstarke und legitime Technik, birgt jedoch ein inhärentes Risiko: Stichprobenrisiko – die von Ihnen gewählte Stichprobe ist möglicherweise nicht repräsentativ für die Bevölkerung, und der tatsächliche Fehler liegt möglicherweise nicht genau dort, wo Sie suchen.

Datenanalyse und KI ändern dieses Bild: Sie können jetzt die gesamte Bevölkerung testen, also 100 %. Dies wird als vollständiger Bevölkerungstest bezeichnet. Wir widmen diese Einheit dem Verständnis des Übergangs von der „Probe zum Ganzen“, der damit verbundenen Macht und den neuen Verantwortlichkeiten, die viele Menschen übersehen. Weil vollständige Bevölkerungstests die Inspektion nicht erleichtern; Es verändert die Art der Prüfung und stellt den Prüfer vor neue Belastungen.

Unterschied zwischen Stichproben- und Vollpopulationstests

Beim klassischen Sampling lautet die Logik: „Lassen Sie mich eine kleine, aber repräsentative Gruppe gründlich testen und das Ergebnis als Ganzes interpretieren.“ Beim Vollpopulationstest ist die Logik umgekehrt: „Lassen Sie mich das Ganze nach bestimmten Regeln scannen, die Ausnahmen finden, die außerhalb der Regel liegen, und sie gründlich untersuchen.“ Beim ersten Ansatz besteht das Risiko darin, „die falsche Stichprobe auszuwählen“; Im zweiten Fall besteht das Risiko darin, „die falsche Regel zu schreiben“ und „mit unvollständigen/fehlerhaften Daten zu arbeiten“.

Die folgende Tabelle vergleicht die beiden Ansätze:

Größe

Probenahme

Vollständige Bevölkerungstests (100 %)

Umfang

Teil der Bevölkerung

gesamte Bevölkerung

Hauptrisiko

Stichprobenrisiko (Darstellungsfehler)

Regelfehler + Datenintegritätsfehler

Ausgabe

Begrenzte Anzahl an Testergebnissen

Liste der Ausnahmen, die nicht der Regel entsprechen

Belastung des Abschlussprüfers

Auswahl + Test

Regelentwurf + Ausnahmeauswertung

Rolle der KI

Hilfe bei der Probenauswahl

Datenvorbereitung, Regelschreiben, Ausnahmemarkierung

Hinweis: Vollständige Bevölkerungstests bedeuten nicht „Ich habe alles getestet, die Arbeit ist erledigt“. Im Gegenteil, es gibt Ihnen normalerweise mehr Gegenstände, die Sie untersuchen können. Wenn Sie alle 180.000 Rechnungen einer Datum-Betrag-Genehmigungsregel unterziehen, werden Sie vielleicht 900 Ausnahmen finden. Jedes davon ist eine Frage; keine Antwort. Hier kommt die Revisionsjustiz ins Spiel.

Datenvollständigkeit: die unsichtbare Grundlage des Testens

Die größte Gefahr beim Testen der Gesamtbevölkerung besteht darin, dass die Qualität des Tests von der Qualität der Daten abhängt. „Ich habe 100 % der Daten getestet“ macht nur dann Sinn, wenn die Daten, die Sie haben, tatsächlich 100 % der Bevölkerung umfassen. Wenn beim Abrufen der Daten aus dem System ein Filter falsch war, einige Datensätze weggelassen wurden oder die Betragsspalte mit einem Dezimalfehler übertragen wurde, wird Ihr „vollständiger“ Test tatsächlich für unvollständige oder beschädigte Daten durchgeführt. Daher ist die Bestätigung der Datenvollständigkeit und -genauigkeit der erste und unverzichtbare Schritt beim Testen vollständiger Populationen.

Praktische Kontrollen zur Vollständigkeitsprüfung:

• Abgleich der Datensatzanzahl: Stimmt die Anzahl der Zeilen im von Ihnen abgerufenen Datensatz mit der Gesamtzahl der Datensätze im System überein?
• Betragsabgleich: Stimmt der Gesamtbetrag im Datensatz mit der entsprechenden Kontosumme in der Probebilanz/Tochtergesellschaft überein?
• Datumsbereich: Sind der erste und der letzte Tag des in den Daten enthaltenen Zeitraums; Fehlt ein Monat/Tag?
• Scannen leerer und fehlerhafter Leerzeichen: Gibt es Leerzeichen oder bedeutungslose Werte in erforderlichen Feldern (Datum, Betrag, Kontocode)?

KI hilft bei all diesen Prüfungen: Durchsucht Daten, ruft Summen ab, zählt Leerzeichen und meldet Datumsbereiche. Aber es ist der Prüfer, der entscheidet, ob die Vereinbarung „gültig“ ist, den Unterschied untersucht und bestätigt, dass die Daten für den Prüfungszweck geeignet sind.

Achtung: Schreiben Sie nicht „Ich habe alle Daten getestet“ auf das Arbeitsblatt, ohne die Vollständigkeit der Daten zu überprüfen. Ein vollständiger Bevölkerungstest auf fehlende Daten liefert scheinbar vollständige, aber irreführende Sicherheit.

Vollständige Bevölkerungstests mit KI: Schritt für Schritt

1. Daten sicher aufbereiten. Anonymisieren Sie persönliche/private Felder oder ersetzen Sie sie durch Platzhalter. Wenn möglich, nutzen Sie ein Firmenfahrzeug, das von Vertragspartnern genutzt wird.
2. Vollständigkeit bestätigen. Stimmen Sie die Anzahl der Datensätze und den Betrag ab.
3. Definieren Sie die Testregel klar. Was gilt als „Ausnahme“? (Zum Beispiel: nicht genehmigte Rechnung, am Wochenende ausgestellte Rechnung, große Rundzahlung, Einnahmen, die nach dem Stichtag erfasst werden.)
4. Wenden Sie die Regel mit KI an. KI wendet die Regel auf die Daten an und erstellt eine Liste von Ausnahmen; Schreiben Sie die Regel klar und deutlich, damit sie überprüft werden kann.
5. Priorisieren und überprüfen Sie Ausnahmen. Untersuchen Sie jede Ausnahme mit Beweisen; Fehlalarme ansprechen, tatsächliche Ergebnisse begründen.
6. Dokumentieren Sie das Ergebnis. Verknüpfen Sie die Regel, die Anzahl der Ausnahmen, die untersuchten Elemente und die Schlussfolgerung mit dem Arbeitsblatt.

drei Mini-Koffer

Fall 1 – Schneidtest. Ein Wirtschaftsprüfer wollte die Umsatzuntergrenze zum Jahresende testen. Er nahm 42.000 Verkaufsrechnungen als Gesamtpopulation und ließ die KI die „Listendatensätze mit Rechnungsdaten bis zum 31. Dezember, aber Versand-/Lieferdaten am oder nach dem 1. Januar“ durchsetzen. YZ markierte 118 Datensätze. Der Prüfer untersuchte diese: 96 waren legitime Transaktionen ohne zeitliche Unterschiede (Lieferung am selben Tag), 22 waren tatsächlich Einnahmen für das Folgejahr und wurden in der Vorperiode erfasst. Diese 22 Elemente wurden gemeldet, weil sie ein Muster aufwiesen, wenn auch unter der Signifikanz. Die KI stellte 118 Fragen; Der Prüfer fand 22 Antworten.

Fall 2 – Wenn auf Vollständigkeit verzichtet wird. Ein Teammitglied sagte, er habe einen vollständigen Bevölkerungstest an 180.000 Rechnungen durchgeführt; Es gab keine Ausnahmen und er war erleichtert. Die verantwortliche Person verglich den Gesamtbetrag des Datensatzes mit der Probebilanz: Daten 155 Millionen TL, Probebilanz 210 Millionen TL. Es stellte sich heraus, dass beim Abrufen von Daten aus dem System ein Zweig gefiltert und weggelassen wurde. Beim „vollständigen“ Test fehlte tatsächlich ein Viertel der Daten. Der Test wurde mit den korrekten Daten durchlaufen. Lektion: Ohne Vollständigkeitsbestätigung gibt es keinen vollständigen Bevölkerungstest.

Fall 3 – Regelfehler. Ein Prüfer ließ von AI die Regel „Liste nicht genehmigter Zahlungen über 50.000 TL“ schreiben, erkannte jedoch nicht, dass das Feld „Genehmigung“ in zwei verschiedenen Spalten im System gespeichert war (elektronische Genehmigung und manuelle Genehmigung). Die KI markierte 300 Zahlungen als „abgelehnt“, weil sie nur eine betrachtete; Bei der Prüfung stellte sich heraus, dass die meisten davon in der anderen Spalte genehmigt wurden. Die falsche Regel führte zu Hunderten von Fehlalarmen. Der Prüfer hat die Regel dahingehend korrigiert, dass beide Spalten einbezogen werden. Lektion: Der Prüfer überprüft, ob die Regel den Daten und dem Geschäftsprozess entspricht.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Finden Sie problematische Datensätze in diesen Rechnungsdaten.

Problem: Keine Definition von „problematisch“. Die KI weiß nicht, was sie als Ausnahme betrachten soll. Er arbeitet entweder nach Zufallssignalen oder nach einem selbst erfundenen Kriterium. Es ist nicht wiederholbar und überprüfbar.

Kraftvolle Aufforderung:

Ihre Rolle: Sie sind Datenanalyseassistent eines unabhängigen Wirtschaftsprüfers. Das Urteil liegt bei mir; Sie wenden die Regel an und erstellen eine Ausnahmeliste. Kontext: Nachfolgend finden Sie anonymisierte Verkaufsrechnungsdaten (Spalten: Rechnungsnummer, Rechnungsdatum, Lieferdatum, Betrag, Genehmigungsstatus, Filiale). Jahresende: 31.12. SCHRITT 1 – Vollständigkeit: Geben Sie die Gesamtzahl der Datensätze und den Gesamtbetrag an, damit ich diese mit der Probebilanz vergleichen kann. Melden Sie, ob Leerzeichen vorhanden sind/fehlen. SCHRITT 2 – Testregel ausschneiden: Listen Sie die Datensätze mit Rechnungsdatum <= 31.12 UND Lieferdatum >= 01.01 als „Grenzausnahme“ auf. SCHRITT 3 – Schreiben Sie die Regel im Klartext (welche Bedingung haben Sie angewendet), damit sie geprüft werden kann. Regeln: Ich habe die Regel gegeben, ändern Sie sie nicht. Reichen Sie die Datensätze ein, die Sie als „Ausnahmen zur Überprüfung“ kennzeichnen. Sagen Sie nicht „Fehler/Befund“. Erfinden Sie nichts, was Sie nicht aus den Daten ableiten können.

Diese Anforderung ist leistungsstark, da sie zunächst die Vollständigkeit bestätigt, die Ausnahmeregel klar definiert, den Klartext der Regel erfordert (Überprüfbarkeit) und die Ausgabe als „Ausnahme“ positioniert.

Häufige Fehler

• Überspringen der Vollständigkeitsprüfung. Durchführung „vollständiger“ Tests unvollständiger/korrupter Daten und Abgabe falscher Sicherheit.
• Die Ausnahme mit einem Befund verwechseln. Zählfehler ohne Überprüfung des von der KI markierten Datensatzes; Vermeidung der Eliminierung falsch positiver Ergebnisse.
• Die Regel wird nicht überprüft. Es werden Hunderte von False Flags generiert, ohne zu prüfen, ob die Regel den Daten und dem Geschäftsprozess entspricht.
• Vage Regeln schreiben. Erhalten Sie unwiederholbare Ergebnisse mit undefinierten Eingabeaufforderungen wie „Problematische Datensätze finden“.
• Mit einem einzigen Start zufrieden sein. Die Regel oder Daten werden nicht abgefragt, wenn die Anzahl der Ausnahmen stark von der erwarteten Anzahl abweicht.

Tipp: Seien Sie alarmiert, wenn die Anzahl der Ausnahmen zu klein (nahe Null) oder zu groß ist. Null bedeutet normalerweise „Regel falsch geschrieben“ oder „Daten fehlen“; Eine extrem große Zahl weist darauf hin, dass die Regel zu weit gefasst ist. Ein guter Prüfer vermutet sowohl „keine Ausnahmen“ als auch „alles sind Ausnahmen“.

Zusammenfassend

Vollständige Populationstests sind ein großer Fortschritt in der Prüfung: Sie eliminieren das Stichprobenrisiko und prüfen 100 % der Daten. Aber es ist nicht kostenlos. Es bringt zwei neue Verantwortlichkeiten mit sich: (1) Überprüfung der Vollständigkeit und Richtigkeit der Daten, (2) Bewertung einzelner auftretender Ausnahmen. KI bereitet die Daten vor, wendet die Regel an, markiert die Ausnahme und reduziert Stunden des Scannens auf Sekunden; Aber die Richtigkeit der Regel, die Vollständigkeit der Daten und die Bewertung von Ausnahmen obliegen dem Prüfer. Eine Ausnahme ist kein Ergebnis, sie ist ein Anfang.

Anwendungsaufgabe

Betrachten Sie einen vorhandenen (oder hypothetischen) Transaktionsdatensatz. Definieren Sie zunächst zwei Vollständigkeitsprüfungen (Anzahl der Datensätze und Mengenabgleich). Schreiben Sie dann eine klare Ausnahmeregel für einen Prüfzweck (z. B. Rechnungen, die am Wochenende ausgestellt werden, oder Kürzung von Ausnahmen). Lassen Sie die KI mit dem leistungsstarken Eingabeaufforderungsmuster oben zuerst die Vollständigkeit und dann die Regel ausführen. Die ersten 10 der angezeigten Ausnahmen sind „echte Ergebnisse oder falsch positive Ergebnisse?“ Üben Sie die Klassifizierung wie folgt und schreiben Sie auf, nach welchen Beweisen Sie jeweils suchen werden.

Checkliste

• [ ] Ich habe die Daten anonymisiert und bin sicher gefahren.
• [ ] Ich habe die Vollständigkeit der Daten bestätigt, indem ich die Anzahl der Datensätze und die Menge abgeglichen habe.
• [ ] Ich habe nach freiem/schlechtem Speicherplatz gesucht.
• [ ] Ich habe die Ausnahmeregel klar und wiederholbar definiert.
• [ ] Ich habe den Klartext der Regel von der KI erhalten und deren Übereinstimmung mit den Daten und dem Geschäftsprozess überprüft.
• [ ] Ich habe die Angemessenheit der Anzahl der Ausnahmen in Frage gestellt (zu wenige/nicht zu viele).
• [ ] Ich habe jede Ausnahme als eine zu prüfende Frage und nicht als Feststellung behandelt; Ich habe Fehlalarme eliminiert.