Berufsskepsis und künstliche Intelligenz: Bestätigungsverzerrung, Halluzination und kritische Untersuchung

Gewinne:

• Verstehen Sie, was professionelle Skepsis ist und welche Risiken beim Einsatz künstlicher Intelligenz dem Bestätigungs- und Automatisierungsbias unterliegen
• Fähigkeit, die Ergebnisse künstlicher Intelligenz mit einer Fragetechnik zu testen, die zu widerlegen versucht (auf das Gegenteil achten)
• Zu verstehen, dass die Gewandtheit künstlicher Intelligenz nicht gleichbedeutend mit Genauigkeit ist, dass der skeptische Geist der Kern der Kontrolle ist und nicht übertragen werden kann.

Es gibt eine Geisteshaltung, die die unabhängige Wirtschaftsprüfung von vielen anderen Berufen unterscheidet: Berufsskepsis. Die ISAs definieren dies als den Prüfer, der „mit forschendem Geist arbeitet, feststellt, ob die Beweise auf eine mögliche Falschdarstellung hinweisen, und die Beweise kritisch bewertet“. Das heißt, der Abschlussprüfer akzeptiert keine Informationen, die ihm vorgelegt werden – keine Managementerklärung, kein Dokument, nicht einmal ein Bericht, der „vernünftig erscheint“ – als wahr. Ich frage mich ständig: „Ist das wirklich so?“ er fragt. Diese Haltung ist der Kern der Kontrolle und unveräußerlich.

Im Zeitalter der künstlichen Intelligenz steht dieser Kern vor einer völlig neuen Bewährungsprobe. Weil KI in der Lage ist, zwei tiefsitzende Schwächen des menschlichen Geistes auszulösen – Automatisierungs-Bias und Bestätigungs-Bias. In dieser Einheit befassen wir uns damit, wie ein Prüfer mithilfe von KI seine Skepsis aufrechterhalten oder sogar verstärken kann. Die Hauptthese ist, dass die Geläufigkeit der KI nicht auf Genauigkeit beruht; Der skeptische Geist wird angesichts der KI noch wichtiger.

Zwei gefährliche Vorurteile

Automatisierungsbias ist die Tendenz von Menschen, der Ausgabe einer Maschine/Software mehr zu vertrauen als ihrem eigenen Urteilsvermögen. „Der Computer hat es berechnet, es ist richtig.“ Diese Gefahr wird bei KI noch größer, denn KI rechnet nicht nur; Spricht fließende, sichere, menschenähnliche und begründete Sätze. Ein sicherer Ton ist überzeugend, auch wenn die Informationen nicht korrekt sind.

Unter Bestätigungsverzerrung versteht man die Tendenz von Menschen, nach Informationen zu suchen, die die Schlussfolgerung stützen, an die sie zuvor geglaubt oder gehofft hatten, und widersprüchliche Informationen zu ignorieren. Das ist im Auditing fatal: Ein Auditor, der denkt „Dieser Kunde muss sauber sein“, wird erleichtert sein, wenn er die KI fragt und eine Bestätigung erhält, und wird aufhören, nach Beweisen für das Gegenteil zu suchen. Da die KI dazu neigt, sich auf die gestellte Frage einzulassen (wenn Sie fragen: „Ist schon in Ordnung, oder?“, ist es wahrscheinlicher, dass sie eine Antwort liefert, die mit Ihnen übereinstimmt), kann sie eine Bestätigungsverzerrung begünstigen.

Es gibt noch eine dritte: Halluzination. Wir haben es im Modul oft gesehen – KI kann eine Zahl, einen Artikel oder eine Ressource, die nicht existiert, fließend erfinden. Die Gefahr verschärft sich, wenn drei Schwächen kombiniert werden: KI erfindet Dinge (Halluzination), Sie glauben es, weil es fließend ist (Automatisierungsbias), Sie stellen es nicht in Frage, weil es Ihnen sagt, was Sie erwarten (Bestätigungsbias).

Die drei Werkzeuge des skeptischen Geistes gegen KI

Lassen Sie uns Skepsis in konkrete Techniken gegen KI umsetzen:

1. Versuchen Sie zu widerlegen, nicht zu bestätigen. Eine KI könnte ihre Ausgabe fragen: „Ist es wahr?“ nicht „Woher weiß ich, ob das falsch ist?“ Frage. Fragen Sie sich: „Wenn diese Aussage falsch wäre, welche Beweise würden das belegen?“ und suchen Sie nach diesen Beweisen. Es ist leicht, ein einziges bestätigendes Beispiel zu finden; Der Versuch zu widerlegen und zu scheitern gibt echte Sicherheit.
2. Fragen Sie neutral und rückwärts. Fragen Sie die KI: „Kein Problem hier, oder?“ Fragen Sie nicht; Dies lädt zu einer zustimmenden Antwort ein. Stattdessen: „Welche Risiken habe ich in diesen Daten möglicherweise übersehen?“ und „Was sind die drei wahrscheinlichsten Szenarien, in denen dieses Ergebnis falsch sein könnte?“ fragen. Stellen Sie dieselbe Frage von zwei gegenüberliegenden Seiten und vergleichen Sie die Antworten.
3. Zur Quelle herunterladen und reproduzieren. Für jedes Problem, jede Zuschreibung und jede Schlussfolgerung: „Wo kann ich dies unabhängig überprüfen?“ Stellen Sie die Frage und überprüfen Sie sie tatsächlich. Betrachten Sie die Ausgabe der KI als Behauptung; Der Beweis liegt außerhalb der Behauptung.

Tipp: Machen Sie es sich zur Gewohnheit: Schreiben Sie neben jede signifikante Ausgabe der KI zwei Dinge handschriftlich – „(1) womit habe ich das verifiziert, (2) welche Beweise würden dies zeigen, wenn es falsch wäre.“ Diese beiden Hinweise durchbrechen sowohl den Automatisierungs- als auch den Bestätigungsbias.

Beurteilungen, die der Abschlussprüfer nicht delegieren kann

Manche Jobs erfordern von Natur aus Skepsis und Urteilsvermögen; Diese können nicht an AI delegiert, sondern nur unterstützt werden:

unveräußerliche Gerichtsbarkeit

Warum

Ob die Beweise ausreichend und angemessen sind

Professionelles Urteilsvermögen; kontextabhängig

Plausibilität einer Erklärung

Erfordert die Berücksichtigung von Unternehmertum und Absicht

Bewertung des Betrugsrisikos

Skeptizismus und Intuition; über das Datenmuster hinaus

Wesentlichkeits- und Meinungsentscheidung

Der Öffentlichkeit gegenüber verantwortliche Justiz

Meinung zur Ehrlichkeit des Managements

Menschliches Verhalten lesen; KI kann das nicht

Der Unterschied zwischen Skeptizismus und Pedanterie: eine maßvolle Haltung

Professionelle Skepsis bedeutet nicht, alles anzuzweifeln oder dem Management im Vorhinein die Schuld zuzuschieben; Dies wäre eine Überschreitung und würde die Kontrolle unwirksam machen. Skeptizismus ist weder reines Vertrauen (alles akzeptieren, was einem gesagt wird) noch blindes Leugnen (alles ablehnen); Dazwischen liegt eine den Beweisen entsprechende Untersuchungshaltung. Der Prüfer mag das Management als ehrlich akzeptieren, überprüft diese Akzeptanz jedoch anhand von Beweisen; mag eine Erklärung plausibel finden, bestätigt aber die Plausibilität. KI kann dieses Gleichgewicht stören: Einerseits wiegt sie Sie mit ihrer flüssigen Leistung in Selbstüberschätzung; Wenn Sie ihm hingegen sagen, dass es „an allem Fehler finden“ soll, werden Sie mit endlosen Fehlalarmen bombardiert. Die richtige Einstellung besteht darin, das Ergebnis immer gegen die Beweiskraft abzuwägen und gleichzeitig die KI zu betreiben, um Beweise zu liefern und die Beweise zu widerlegen. Skepsis ist kein Persönlichkeitsmerkmal, sondern eine disziplinierte Arbeitsweise; Und es ist der Prüfer, der diese Disziplin etabliert, aufrechterhält und nachweist, nicht die KI.

drei Mini-Koffer

Fall 1 – Die Widerlegungstechnik funktioniert. Ein Wirtschaftsprüfer druckte die KI aus und sagte: „Diese Aktienbewertung sieht vernünftig aus.“ Anstatt zu bestätigen, fragte er hinterhältig: „Wenn diese Bewertung überbewertet ist, welche Beweise würden das belegen?“ „Artikel, deren After-Sales-Preise unter dem Selbstkostenpreis liegen“, sagte YZ. Der Prüfer suchte nach diesen Posten und fand eine Gruppe, die tatsächlich unterbewertet war. Die Widerlegungsfrage enthüllte das Risiko, das die Bestätigung verbarg.

Fall 2 – Der Bestätigungsvoreingenommenheit verfallen. Ein Teammitglied fragte die KI während einer kritischen Phase: „Mit diesem Konto ist nichts Großes in Ordnung, oder?“ fragte er. YZ stützte sich auf die Frage und sagte: „Nach den von Ihnen bereitgestellten Informationen scheint es kein nennenswertes Problem zu geben.“ Das Teammitglied entspannte sich und verschloss den Stift. Er hatte jedoch keine Beweise vorgelegt; Die KI spiegelte lediglich seinen Satz wider. Der Verantwortliche zeigte, dass die Frage nicht unparteiisch gestellt wurde. Lektion: Die Art und Weise, wie Sie die Frage stellen, bestimmt die Antwort, die Sie erhalten. Eine Frage, die Bestätigung sucht, erzeugt Bestätigung.

Fall 3 – Der Sprachgewandtheit verfallen. Ein Prüfer war der Meinung, dass eine Auslegung der Gesetzgebung, die YZ in einem sehr fließenden und begründeten Absatz dargelegt hatte, korrekt war, und nahm sie in das Arbeitspapier auf. Der Text war so ordentlich, dass es ihm nicht in den Sinn kam, ihn in Frage zu stellen. Der Verantwortliche wies nach, dass der Verweis im offiziellen Text keine Entsprechung habe. Lektion: Geläufigkeit und Selbstvertrauen sind kein Beweis für Genauigkeit; Das Ergebnis, das am überzeugendsten erscheint, kann das gefährlichste sein.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Diese Analyse ist richtig, oder? Sind Sie damit einverstanden?

Das Problem: eine voreingenommene Frage, die Bestätigung sucht. Es drängt die KI, sich Ihnen anzuschließen; Es fördert den Bestätigungsfehler und verbirgt das wahre Risiko.

Kraftvolle Aufforderung:

Ihre Rolle: Sie sind der kritische Untersuchungspartner eines unabhängigen Wirtschaftsprüfers. Ihre Aufgabe besteht nicht darin, mir zuzustimmen, sondern zu versuchen, meine Ausgabe abzulehnen. Kontext: Nachfolgend finden Sie meine Schlussfolgerung eines analytischen Verfahrens und meine vorläufige Schlussfolgerung. [Ergebnistext] Aufgabe: 1) Listen Sie die drei wahrscheinlichsten Szenarien auf, in denen diese Schlussfolgerung FALSCH sein könnte. 2) Für jedes Szenario: „Wenn dies wahr wäre, welche Beweise würden es zeigen?“ Schlagen Sie konkrete, durchsuchbare Beweise vor. 3) Markieren Sie alle Daten oder Annahmen, die ich möglicherweise übersehen habe. 4) Bilden Sie keine Sätze, die mit mir übereinstimmen; Ihre Aufgabe ist es, Schwachstellen zu finden. Markieren Sie „unbekannt“, wenn Sie sich nicht sicher sind.

Diese Aufforderung ist wirkungsvoll, weil sie die Rolle der KI (Widerlegung) umkehrt, Widerlegungsszenarien und durchsuchbare Beweise erfordert und eine nach Bestätigung suchende Sprache verbietet. Dadurch wird KI eher in den Dienst der Skepsis gestellt als in ein Instrument der Bestätigungsverzerrung.

Häufige Fehler

• Stellen Sie Fragen und suchen Sie nach Zustimmung. „Es ist okay, oder?“ indem man fragt und die vereinbarte Antwort sicherstellt.
• Geläufigkeit mit Genauigkeit verwechseln. Akzeptieren Sie gut geschriebene, sichere Ergebnisse ohne Fragen.
• Begnügen Sie sich mit einem einzigen bestätigenden Beispiel. Mit dem ersten unterstützenden Befund abschließen, ohne zu versuchen, ihn zu widerlegen.
• Unveräußerliche Gerichtsbarkeit delegieren. Die Entscheidung über die Angemessenheit der Beweise, die Angemessenheit und die Meinung wird der KI überlassen.
• Unter Zeitdruck die Skepsis loslassen. Nehmen Sie Zuflucht in der beruhigenden Antwort der KI, wenn Sie nicht weiterkommen.

Achtung: Zeitdruck ist der größte Feind des Skeptizismus, und KI wird unter diesem Druck am gefährlichsten; weil es Ihnen eine schnelle, flüssige und beruhigende Antwort bietet. Machen Sie es zu einem Muss, die Gegenfrage zu stellen, wenn Sie in Eile sind.

Zusammenfassend

Professionelle Skepsis ist der Kern der Wirtschaftsprüfung und wird im Zeitalter der KI noch wichtiger. KI löst drei Schwächen aus: Halluzination (erfindet etwas), Automatisierungsfehler (wir glauben es, weil es fließend ist), Bestätigungsfehler (wir stellen es nicht in Frage, weil es sagt, was wir uns erhoffen). Das Gegenmittel besteht darin, die KI überstürzt zu widerlegen, statt sie zu bestätigen: „Wenn das falsch ist, welche Beweise würden das belegen?“ ' und nach Gegenbeweisen suchen, objektiv und rückwärts fragen und jede Ausgabe der Quelle reproduzieren. Urteile wie hinreichende Beweise, Angemessenheit, Betrugsgefahr und Meinungsurteile erfordern Skepsis und sind nicht übertragbar. Geläufigkeit ist nicht gleichbedeutend mit Genauigkeit; Der skeptische Geist gehört Ihnen.

Anwendungsaufgabe

Erhalten Sie Ihr Audit-Ergebnis (oder ein hypothetisches Ergebnis). Fragen Sie die KI zunächst mit einer schwachen „Bestätigungssuche“-Frage und dann mit dem oben genannten starken Aufforderungsmuster „Widerlegung“. Stellen Sie die beiden Ergebnisse nebeneinander und notieren Sie den Unterschied: Welche Risiken wurden erst durch die Gegenfrage aufgedeckt? Fügen Sie dann neben jeder wichtigen Behauptung in Ihrer Ausgabe zwei Notizen hinzu: „Womit habe ich überprüft“ und „Welche Beweise würden ergeben, wenn sie falsch wären“.

Checkliste

• [ ] Ich habe der KI widerlegende/neutrale Fragen gestellt, keine bestätigenden Fragen.
• [ ] Für jedes signifikante Ergebnis: „Wenn dies falsch ist, welche Beweise würden es beweisen?“ Ich stellte die Frage und suchte nach Beweisen.
• [ ] Ich habe die Ausgabe, die reibungslos und sicher wirkte, mit zusätzlicher Skepsis getestet.
• [ ] Ich habe mich nicht auf ein einziges bestätigendes Beispiel beschränkt; Ich habe versucht, es zu widerlegen, bin aber gescheitert.
• [ ] Ich habe meine eigenen Urteile gefällt, z. B. hinsichtlich ausreichender Beweise, Angemessenheit und Meinung.
• [ ] Selbst unter Zeitdruck habe ich die Gegenfrage nicht ausgelassen.
• [ ] Neben den wichtigen Behauptungen habe ich mir Notizen darüber gemacht, „womit ich überprüft habe / was angezeigt würde, wenn es falsch wäre“.