Winst:
- Begrijp wat professioneel scepticisme is en wat de risico's zijn van een voorkeur voor bevestiging en automatisering bij het gebruik van kunstmatige intelligentie
- Mogelijkheid om de output van kunstmatige intelligentie te testen met een ondervragingstechniek die probeert te weerleggen (zoek naar het tegenovergestelde)
- In staat zijn te begrijpen dat de vloeiendheid van kunstmatige intelligentie niet nauwkeurigheid betekent, dat de sceptische geest de kern van controle is en niet kan worden overgedragen.
Er is één mentaliteit die onafhankelijke auditing onderscheidt van veel andere beroepen: professioneel scepticisme. De ISA’s definiëren dit als de auditor die ‘met een onderzoekende geest werkt, waarbij hij opmerkt of het bewijsmateriaal op mogelijke afwijkingen wijst, en het bewijsmateriaal kritisch evalueert’. Dat wil zeggen dat de auditor niet automatisch de informatie die hem wordt voorgelegd – geen managementverklaring, geen document, zelfs geen rekening die ‘redelijk lijkt’ – als waar accepteert. Ik vraag me voortdurend af: "Is het echt zo?" vraagt hij. Deze houding is de kern van controle en is onvervreemdbaar.
In het tijdperk van kunstmatige intelligentie wordt deze kern geconfronteerd met een geheel nieuwe test. Omdat AI bedreven is in het aanwakkeren van twee diepgewortelde zwakheden van de menselijke geest: automatiseringsvooroordelen en bevestigingsvooroordelen. In deze unit bespreken we hoe een auditor die AI gebruikt, zijn scepticisme kan behouden of zelfs versterken. De belangrijkste stelling is dat de vloeiendheid van AI niet gelijk staat aan nauwkeurigheid; De sceptische geest wordt nog belangrijker in het licht van AI.
Twee gevaarlijke vooroordelen
Automatiseringsbias is de neiging van mensen om de output van een machine/software meer te vertrouwen dan hun eigen oordeel. "De computer heeft het berekend, het klopt." Dit gevaar wordt vergroot als het om AI gaat, omdat AI niet alleen maar rekent; Spreekt vloeiende, zelfverzekerde, mensachtige, beredeneerde zinnen. Een zelfverzekerde toon is overtuigend, zelfs als de informatie niet accuraat is.
Bevestigingsbias is de neiging van mensen om informatie te zoeken die de conclusie ondersteunt waar ze eerder in geloofden of op hoopten, en om tegenstrijdige informatie te negeren. Bij auditing is dat fataal: een auditor die denkt ‘Deze cliënt moet schoon zijn’ zal opgelucht zijn als hij het aan de AI vraagt en bevestiging krijgt, en zal stoppen met zoeken naar bewijs van het tegendeel. Omdat AI de neiging heeft om in te gaan op de vraag die wordt gesteld (als je vraagt: “Het is oké, toch?”, is de kans groter dat je een antwoord krijgt dat het met jou eens is), kan het de voorkeur voor bevestiging bevorderen.
Er is nog een derde: hallucinatie. We hebben het vaak gezien in de module: AI kan vloeiend een getal, item of hulpbron verzinnen die niet bestaat. Het gevaar wordt groter als drie zwakke punten worden gecombineerd: AI verzint dingen (hallucinatie), je gelooft het omdat het vloeiend is (automatiseringsbias), je trekt het niet in twijfel omdat het je vertelt wat je verwacht (bevestigingsbias).
De drie instrumenten van de sceptische geest tegen AI
Laten we scepsis omzetten in concrete technieken tegen AI:
- Probeer te weerleggen, niet te bevestigen. Een AI zou zich bij zijn output kunnen afvragen: is het waar? niet "hoe weet ik of dit verkeerd is?" vraag. Vraag uzelf af: „Als deze bewering onjuist zou zijn, welk bewijs zou dit dan aantonen?” en zoek naar dat bewijs. Het is gemakkelijk om één bevestigend voorbeeld te vinden; Proberen te weerleggen en falen geeft echte zekerheid.
- Vraag neutraal en achterstevoren. Vraag de AI "geen probleem hier, toch?" Vraag het niet; dit nodigt uit tot een goedkeurende reactie. In plaats daarvan: “Wat zijn de risico’s die ik mogelijk heb gemist in deze gegevens?” en “wat zijn de drie meest waarschijnlijke scenario’s waarin dit resultaat verkeerd zou kunnen zijn?” vragen. Stel dezelfde vraag van twee tegenovergestelde kanten en vergelijk de antwoorden.
- Downloaden naar bron en reproduceren. Voor elk probleem, elke toeschrijving en conclusie: “Waar kan ik dit onafhankelijk verifiëren?” Stel de vraag en verifieer daadwerkelijk. Bekijk de output van de AI als een bewering; Het bewijs ligt buiten de claim.
Tip: Maak er een gewoonte van: naast elke significante output die de AI geeft, schrijf je twee dingen met de hand: “(1) waarmee heb ik dit geverifieerd, (2) welk bewijs zou dit aantonen als het vals was.” Deze twee opmerkingen doorbreken zowel de automatisering als de voorkeur voor bevestiging.
Oordelen die de accountant niet kan delegeren
Sommige banen vereisen inherent scepticisme en oordeelsvermogen; deze kunnen niet worden gedelegeerd aan AI, maar worden alleen ondersteund:
onvervreemdbare jurisdictie
Waarom
Of het bewijs voldoende en passend is
Professioneel oordeel; contextafhankelijk
Plausibiliteit van een verklaring
Vereist overweging van ondernemingszin en intentie
Frauderisicobeoordeling
Scepsis en intuïtie; voorbij het datapatroon
Materialiteit en opiniebeslissing
Rechterlijke instantie die verantwoordelijk is voor het publiek
Mening over de eerlijkheid van het management
Het lezen van menselijk gedrag; AI kan dit niet
Het verschil tussen scepticisme en pedanterie: een afgemeten houding
Professioneel scepticisme betekent niet dat je alles niet gelooft of het management bij voorbaat de schuld geeft; Dit zou overdreven zijn en de controle ineffectief maken. Scepsis is noch puur vertrouwen (alles accepteren wat je wordt verteld) noch blinde ontkenning (alles afwijzen); Daartussenin is het een onderzoekende houding die in overeenstemming is met het bewijsmateriaal. De accountant kan het management als eerlijk aanvaarden, maar toetst deze aanvaarding met bewijsmateriaal; kan een verklaring plausibel vinden, maar bevestigt de plausibiliteit. AI kan dit evenwicht verstoren: in één richting wiegt het je in overmoed met zijn vloeiende output; Aan de andere kant, als je zegt dat het 'in alles fouten moet zoeken', zal het je bombarderen met eindeloze valse positieven. De juiste houding is om altijd de uitkomst af te wegen tegen het gewicht van het bewijsmateriaal, terwijl je de AI aanstuurt om bewijsmateriaal te produceren en het bewijsmateriaal te weerleggen. Scepticisme is geen persoonlijkheidskenmerk, maar een gedisciplineerde manier van werken; En het is de auditor die deze discipline vaststelt, onderhoudt en bewijst, en niet AI.
drie minikoffers
Geval 1 – De weerleggingstechniek werkt. Een auditor drukte de AI uit en zei: “deze aandelenwaardering ziet er redelijk uit.” In plaats van dit te bevestigen, vroeg hij achterbaks: “Als deze waardering overdreven is, welk bewijs zou dat dan aantonen?” "artikelen waarvoor de after-sales prijzen onder de kostprijs liggen", zei YZ. De accountant zocht naar deze posten en vond een groep die feitelijk ondergewaardeerd was. De weerleggingsvraag legde het risico bloot dat de bevestiging verhulde.
Geval 2 – Vervallen in een voorkeur voor bevestiging. Een teamlid vroeg de AI tijdens een kritieke tijd: “Er is niets ernstigs mis met dit account, toch?” vroeg hij. YZ leunde op de vraag en zei: 'Volgens de door u verstrekte informatie lijkt er geen groot probleem te zijn.' Het teamlid ontspande zich en sloot de pen af. Hij had echter geen enkel bewijs geleverd; De AI spiegelde slechts zijn straf. De verantwoordelijke heeft laten zien dat de vraag niet onpartijdig is gesteld. Les: hoe je de vraag stelt, bepaalt het antwoord dat je krijgt; Een vraag die bevestiging zoekt, levert bevestiging op.
Geval 3 – Vallen voor vloeiendheid. Een auditor vond dat een interpretatie van wetgeving die YZ in een zeer vloeiende en beredeneerde paragraaf uitlegde juist was en nam deze op in het werkdocument. De tekst was zo netjes dat het niet bij hem opkwam om er vraagtekens bij te zetten. De verantwoordelijke persoon toonde aan dat de verwijzing geen equivalent had in de officiële tekst. Les: vloeiendheid en vertrouwen zijn geen bewijs van nauwkeurigheid; De uitkomst die het meest overtuigend lijkt, kan wel eens het gevaarlijkst zijn.
Zwakke prompt/sterke prompt
Zwakke prompt:
Deze analyse klopt toch? Keurt u het goed?
Het probleem: een bevooroordeelde vraag die bevestiging zoekt. Het dwingt de AI om zich bij je aan te sluiten; Het bevordert de voorkeur voor bevestiging en verbergt het echte risico.
Krachtige prompt:
Jouw rol: jij bent de kritische onderzoekspartner van de onafhankelijke accountant. Jouw taak is niet om het met mij eens te zijn, maar om te proberen mijn output te WEIGEREN. Context: Hieronder staat mijn conclusie van een analytische procedure en mijn voorlopige conclusie. [resultaattekst] Taak: 1) Noem de drie meest waarschijnlijke scenario's waarin deze conclusie ONWAAR zou kunnen zijn. 2) Voor elk scenario: "Als dit waar zou zijn, welk bewijs zou dit dan aantonen?" Suggereer concreet, doorzoekbaar bewijsmateriaal. 3) Markeer alle gegevens of aannames die ik mogelijk heb gemist. 4) Maak geen zinnen die het met mij eens zijn; Het is jouw taak om zwakke punten te vinden. Markeer "onbekend" als u het niet zeker weet.
Deze prompt is krachtig omdat het de rol van de AI (weerlegging) omkeert, waarbij weerleggingsscenario’s en doorzoekbaar bewijsmateriaal vereist is, en bevestigend taalgebruik wordt verboden. Dit stelt AI in dienst van scepticisme in plaats van een instrument van bevestigingsvoorkeur.
Veel voorkomende fouten
- Vragen stellen om goedkeuring te verkrijgen. "Het is oké, toch?" door te vragen en het afgesproken antwoord te garanderen.
- Vloeiendheid verwarren met nauwkeurigheid. Goedgeschreven, zelfverzekerde output zonder twijfel accepteren.
- Wees tevreden met één enkel bevestigend voorbeeld. We sluiten af met de eerste ondersteunende bevinding, zonder te proberen deze te weerleggen.
- Om onvervreemdbare jurisdictie te delegeren. De beslissing over voldoende bewijsmateriaal, redelijkheid en mening overlaten aan AI.
- Scepticisme loslaten onder tijdsdruk. Toevlucht nemen tot het geruststellende antwoord van AI als je vastzit.
Let op: tijdsdruk is de grootste vijand van scepticisme, en AI wordt onder deze druk het gevaarlijkst; omdat het u een snel, vloeiend en geruststellend antwoord biedt. Maak het een must om de weerleggingsvraag te stellen als je haast hebt.
Samengevat
Professioneel scepticisme vormt de kern van auditing en wordt zelfs nog belangrijker in het tijdperk van AI. AI veroorzaakt drie zwakke punten: hallucinatie (verzint het), automatiseringsvooroordeel (we geloven het omdat het vloeibaar is), bevestigingsvooroordeel (we trekken het niet in twijfel omdat het zegt waar we op hopen). Het tegengif is om AI haastig te weerleggen en niet te bevestigen: “als dit onwaar is, welk bewijs zou dit dan aantonen?” ' en zoeken naar tegenbewijs, objectief en achterstevoren vragen, en elke output van de bron reproduceren. Oordelen zoals voldoende bewijsmateriaal, redelijkheid, frauderisico en opinieoordeel vereisen scepticisme en zijn niet overdraagbaar. Vloeiendheid is geen nauwkeurigheid; De sceptische geest is van jou.
Applicatie taak
Ontvang uw auditresultaat (of een hypothetisch resultaat). Stel de AI eerst met een “op bevestiging gerichte” zwakke vraag, en vervolgens met het “weerlegging” sterke promptpatroon hierboven. Zet de twee uitkomsten naast elkaar en schrijf het verschil op: welke risico’s kwamen alleen aan het licht door de weerleggingsvraag? Voeg vervolgens twee opmerkingen toe naast elke belangrijke claim in uw uitvoer: "waarmee heb ik geverifieerd" en "welk bewijsmateriaal zou aantonen als deze vals zou zijn".
controlelijst
- [ ] Ik stelde de AI weerleggende/neutrale vragen, geen vragen die bevestiging zochten.
- [ ] Voor elke significante uitkomst: “Als dit onjuist is, welk bewijs zou dit dan aantonen?” Ik stelde de vraag en zocht naar bewijs.
- [ ] Ik heb de uitvoer, die soepel en zelfverzekerd leek, met extra scepsis getest.
- [ ] Ik bleef niet bij één enkel bevestigend voorbeeld; Ik probeerde het te weerleggen, maar dat mislukte.
- [ ] Ik maakte mijn eigen oordelen, zoals voldoende bewijs, redelijkheid en mening.
- [ ] Zelfs onder tijdsdruk heb ik de weerleggingsvraag niet overgeslagen.
- [ ] Naast de belangrijke beweringen heb ik aantekeningen gemaakt van "waarmee ik heb geverifieerd / waaruit zou blijken of het verkeerd was".