Profesjonell skepsis og kunstig intelligens: Bekreftelsesskjevhet, hallusinasjoner og kritiske undersøkelser — Kunstig intelligens i revisjon og uavhengig revisjon

Gevinster:

Forstå hva profesjonell skepsis er og risikoen for å falle inn i bekreftelsesskjevhet og automatiseringsskjevhet ved bruk av kunstig intelligens
Evne til å teste produksjon av kunstig intelligens med en spørreteknikk som prøver å tilbakevise (se etter det motsatte)
Å kunne forstå at flyten til kunstig intelligens ikke betyr nøyaktighet, at det skeptiske sinnet er kjernen i kontrollen og ikke kan overføres.

Det er én mental holdning som skiller uavhengig revisjon fra mange andre profesjoner: profesjonell skepsis. ISA-ene definerer dette som at revisor arbeider "med et spørrende sinn, legger merke til om bevisene indikerer potensiell feilinformasjon, og kritisk vurderer bevisene." Det vil si at revisor ikke automatisk aksepterer informasjon som presenteres for ham – ikke en ledelseserklæring, ikke et dokument, ikke engang en konto som «virker rimelig» – som sann. Jeg lurer stadig på "Er det virkelig slik?" spør han. Denne holdningen er kjernen i kontroll og er umistelig.

I en tidsalder med kunstig intelligens står denne kjernen overfor en helt ny test. Fordi AI er dyktig til å utløse to dyptliggende svakheter i menneskesinnet – automatiseringsskjevhet og bekreftelsesskjevhet. I denne enheten vil vi dekke hvordan en revisor som bruker AI kan opprettholde eller til og med styrke sin skepsis. Hovedtesen er at AIs flyt ikke er nøyaktighet; Det skeptiske sinnet blir enda viktigere i møte med AI.

To farlige skjevheter

Automatiseringsbias er tendensen til at folk stoler mer på produksjonen fra en maskin/programvare enn deres egen dømmekraft. "Datamaskinen beregnet det, det er riktig." Denne faren er forstørret når det kommer til AI, fordi AI ikke bare beregner; Snakker flytende, selvsikker, menneskelignende, begrunnede setninger. En selvsikker tone er overbevisende selv om informasjonen ikke er nøyaktig.

Bekreftelsesbias er folks tendens til å søke informasjon som støtter konklusjonen de tidligere trodde eller håpet på, og til å ignorere motstridende informasjon. Dette er fatalt i revisjon: En revisor som mener "Denne klienten må være ren" vil bli lettet når han spør AI og får bekreftelse, og vil slutte å lete etter bevis på det motsatte. Fordi AI har en tendens til å lene seg inn på spørsmålet som stilles (hvis du spør «det er greit, ikke sant?» er det mer sannsynlig at det gir et svar som stemmer med deg), kan det fremme bekreftelsesskjevhet.

Det er også en tredje: hallusinasjon. Vi så det mange ganger i modulen - AI kan flytende utgjøre et tall, element, ressurs som ikke eksisterer. Faren forsterkes når tre svakheter kombineres: AI finner opp ting (hallusinasjon), du tror det fordi det er flytende (automatiseringsbias), du stiller ikke spørsmål ved det fordi det forteller deg hva du forventer (bekreftelsesskjevhet).

Det skeptiske sinnets tre verktøy mot AI

La oss sette skepsis til konkrete teknikker mot AI:

Prøv å avkrefte, ikke bekrefte. En AI kan spørre utgangen "er det sant?" ikke "hvordan vet jeg om dette er feil?" spørsmål. Spør deg selv: "Hvis denne uttalelsen var falsk, hvilke bevis ville vise den?" og se etter bevisene. Det er lett å finne ett enkelt bekreftende eksempel; Å prøve å motbevise og feile gir reell trygghet.
Spør nøytralt og baklengs. Spør AI "ingen problem her, ikke sant?" Ikke spør; dette inviterer til et godkjennende svar. I stedet, "hva er risikoene jeg kan ha gått glipp av i disse dataene?" og "hva er de tre mest sannsynlige scenariene der dette resultatet kan være feil?" spørre. Still det samme spørsmålet fra to motsatte sider og sammenlign svarene.
Last ned til kilde og reproduser. For hver sak, attribusjon og konklusjon, "hvor bekrefter jeg dette uavhengig?" Still spørsmålet og faktisk bekrefte. Se utdata fra AI som en påstand; Bevisene er utenfor påstanden.

Tips: Gjør deg til en vane: Ved siden av alle betydelige utdata AI gir, skriv to ting for hånd - "(1) hva bekreftet jeg dette med, (2) hvilke bevis ville vise dette hvis det var usant." Disse to notatene bryter både automatisering og bekreftelsesskjevhet.

Dommer som revisor ikke kan delegere

Noen jobber krever iboende skepsis og dømmekraft; disse kan ikke delegeres til AI, kun støttes:

umistelig jurisdiksjon

Hvorfor

Om bevisene er tilstrekkelige og hensiktsmessige

Profesjonell dømmekraft; kontekstavhengig

Plausibiliteten til en forklaring

Krever hensyn til virksomhet og intensjon

Risikovurdering av svindel

Skepsis og intuisjon; utover datamønsteret

Vesentlighet og meningsavgjørelse

Rettsvesenet er ansvarlig overfor offentligheten

Mening om ærligheten til ledelsen

Lese menneskelig atferd; AI kan ikke gjøre dette

Forskjellen mellom skepsis og pedanteri: en avmålt holdning

Profesjonell skepsis betyr ikke å vantro alt eller skylde på ledelsen på forhånd; Dette ville være en overskridelse og ville gjøre kontrollen ineffektiv. Skepsis er verken ren tillit (å akseptere alt du blir fortalt) eller blind fornektelse (avvise alt); Innimellom er det en undersøkelsesholdning som står i forhold til bevisene. Revisor kan godta ledelsen som ærlig, men tester denne aksepten med bevis; kan finne en forklaring plausibel, men bekrefter plausibiliteten. AI kan forstyrre denne balansen: i én retning lurer den deg til oversikkerhet med sin flytende effekt; På den annen side, hvis du forteller den å "finne feil i alt", vil den bombardere deg med endeløse falske positiver. Den riktige holdningen er å alltid veie resultatet mot vekten av bevisene, mens du kjører AI for å produsere bevis og motbevise bevisene. Skepsis er ikke et personlighetstrekk, men en disiplinert måte å jobbe på; Og det er revisoren som etablerer, vedlikeholder og beviser denne disiplinen, ikke AI.

tre minisaker

Tilfelle 1 - Gjenvisningsteknikken fungerer. En revisor skrev ut AI og sa "denne aksjevurderingen ser rimelig ut." I stedet for å bekrefte, spurte han bakhånd: "Hvis denne verdsettelsen er overvurdert, hvilke bevis vil vise det?" "varer der ettersalgsprisene faller under kostprisen," sa YZ. Revisor søkte etter disse elementene og fant en gruppe som faktisk var undervurdert. Tilbakevisningsspørsmålet eksponerte risikoen for at bekreftelsen skjulte.

Case 2 - Faller inn i bekreftelsesskjevhet. Et teammedlem spurte AI i løpet av en vanskelig periode, "det er ikke noe stort galt med denne kontoen, ikke sant?" spurte han. YZ lente seg på spørsmålet og sa: "I følge informasjonen du ga, ser det ikke ut til å være et betydelig problem." Teammedlemmet slappet av og satte lokk på pennen. Han hadde imidlertid ikke lagt fram noen bevis; AI speilet bare setningen hans. Ansvarlig viste at spørsmålet ikke ble stilt upartisk. Leksjon: hvordan du stiller spørsmålet avgjør svaret du får; Et spørsmål som søker bekreftelse produserer bekreftelse.

Tilfelle 3 — Faller for flyt. En revisor mente at en tolkning av lovgivningen som YZ forklarte i en svært flytende og begrunnet paragraf var riktig og inkluderte den i arbeidspapiret. Teksten var så ryddig at det ikke falt ham inn å stille spørsmål ved den. Ansvarlig viste at henvisningen ikke hadde noen motsvarighet i den offisielle teksten. Leksjon: flyt og selvtillit er ikke bevis på nøyaktighet; Resultatet som virker mest overbevisende kan være det farligste.

Svak forespørsel / Sterk forespørsel

Svak melding:

Denne analysen er riktig, ikke sant? Godkjenner du?

Problemet: et partisk spørsmål som søker bekreftelse. Det presser AI til å bli med deg; Det fremmer bekreftelsesskjevhet og skjuler sann risiko.

Kraftig ledetekst:

Din rolle: du er en uavhengig revisors kritiske undersøkelsespartner. Din oppgave er ikke å VÆRE ENIG med meg, men å prøve å AVVISE resultatet mitt.Kontekst: Nedenfor er min konklusjon av en analytisk prosedyre og min foreløpige konklusjon.[resultattekst]Oppgave:1) List opp de 3 mest sannsynlige scenariene der denne konklusjonen kan være FALSKT.2) For hvert scenario: "hvis dette var sant, hvilke bevis ville vise det?" Foreslå konkrete, søkbare bevis. 3) Merk alle data eller forutsetninger jeg kan ha gått glipp av. 4) Ikke lag setninger som stemmer med meg; Du har i oppgave å finne svake punkter. Merk "ukjent" der du ikke er sikker.

Denne forespørselen er kraftig fordi den reverserer rollen til AI (motvisning), krever motbevisning og søkbare bevis, og forbyr bekreftelsessøkende språk. Dette setter AI i tjeneste for skepsis i stedet for et instrument for bekreftelsesskjevhet.

Vanlige feil

Stille spørsmål for å søke godkjenning. "Det er greit, ikke sant?" ved å spørre og sikre det avtalte svaret.
Ta feil av flyt for nøyaktighet. Godta velskrevet, selvsikker utgang uten spørsmål.
Vær fornøyd med et enkelt bekreftende eksempel. Avslutter med det første støttende funnet, uten å prøve å motbevise det.
Å delegere umistelig jurisdiksjon. Overlater avgjørelsen om bevistilstrekkelighet, rimelighet, mening til AI.
Å gi slipp på skepsisen under tidspress. Ta tilflukt i det trøstende svaret til AI når du står fast.

Forsiktig: Tidspress er skepsisens største fiende, og AI blir farligst under dette presset; fordi det gir deg et raskt, flytende og trøstende svar. Gjør det til et must å stille tilbakevisningsspørsmålet når du har det travelt.

Oppsummert

Profesjonell skepsis er kjernen i revisjon og blir enda mer kritisk i AI-tiden. AI utløser tre svakheter: hallusinasjon (gjør det opp), automatiseringsbias (vi tror det fordi det er flytende), bekreftelsesskjevhet (vi stiller ikke spørsmål ved det fordi det sier hva vi håper på). Motgiften er å skynde seg å motbevise AI, ikke bekrefte det: "hvis dette er usant, hvilke bevis vil vise det?" ' og leter etter motsatte bevis, spør objektivt og baklengs, og gjengir hver utgang fra kilden. Dommer som tilstrekkelig med bevis, rimelighet, risiko for svindel og meningsvurdering krever skepsis og kan ikke overføres. Flytende er ikke nøyaktighet; Det skeptiske sinnet er ditt.

Søknadsoppgave

Få ditt revisjonsresultat (eller et hypotetisk resultat). Spør AI-en først med et "bekreftelsessøkende" svakt spørsmål, deretter med det "motbevisende" sterke spørsmålsmønsteret ovenfor. Sett de to utfallene side om side og skriv ned forskjellen: hvilke risikoer ble bare avslørt av tilbakevisningsspørsmålet? Legg deretter til to notater ved siden av hver nøkkelpåstand i utdataene dine: "hva har jeg verifisert med" og "hvilke bevis ville vise hvis det var usant".

sjekkliste

[ ] Jeg stilte AI motbevisende/nøytrale spørsmål, ikke bekreftelsessøkende spørsmål.
[ ] For hvert signifikant utfall, "hvis dette er usant, hvilke bevis vil vise det?" Jeg stilte spørsmålet og lette etter bevis.
[ ] Jeg testet utgangen, som virket jevn og selvsikker, med ekstra skepsis.
[ ] Jeg stoppet ikke med et eneste bekreftende eksempel; Jeg prøvde å motbevise det, men mislyktes.
[ ] Jeg gjorde mine egne vurderinger som tilstrekkelig med bevis, rimelighet og mening.
[ ] Selv under tidspress hoppet jeg ikke over tilbakevisningsspørsmålet.
[ ] Ved siden av de viktige påstandene gjorde jeg notater om "hva jeg verifiserte med / hva som ville vise seg hvis det var feil".