Gevinster:
- Forstå, hvad professionel skepsis er og risikoen for at falde i bekræftelsesbias og automatiseringsbias ved brug af kunstig intelligens
- Evne til at teste kunstig intelligens output med en spørgeteknik, der forsøger at gendrive (se efter det modsatte)
- At være i stand til at forstå, at flydende kunstig intelligens ikke betyder nøjagtighed, at det skeptiske sind er kernen i kontrollen og ikke kan overføres.
Der er én mental indstilling, der adskiller uafhængig revision fra mange andre professioner: professionel skepsis. ISA'erne definerer dette som, at revisor arbejder "med et spørgende sind, noterer sig, om beviserne indikerer potentiel fejlinformation, og kritisk vurderer beviset." Det vil sige, at revisor ikke automatisk accepterer nogen information, der præsenteres for ham – ikke en ledelseserklæring, ikke et dokument, ikke engang et regnskab, der "synes rimeligt" - som sandt. Jeg undrer mig konstant "Er det virkelig sådan?" spørger han. Denne holdning er kernen i kontrol og er umistelig.
I en tidsalder med kunstig intelligens står denne kerne over for en helt ny test. Fordi AI er dygtig til at udløse to dybtliggende svagheder i det menneskelige sind - automatiseringsbias og bekræftelsesbias. I denne enhed vil vi dække, hvordan en revisor, der bruger AI, kan bevare eller endda styrke sin skepsis. Hovedtesen er, at AI's flydende ikke er nøjagtighed; Det skeptiske sind bliver endnu vigtigere i forhold til AI.
To farlige skævheder
Automatiseringsbias er tendensen til, at folk stoler mere på outputtet fra en maskine/software end deres egen dømmekraft. "Computeren har beregnet det, det er korrekt." Denne fare forstørres, når det kommer til AI, fordi AI ikke kun beregner; Udtaler flydende, selvsikker, menneskelignende, begrundede sætninger. En sikker tone er overbevisende, selvom oplysningerne ikke er nøjagtige.
Bekræftelsesbias er folks tendens til at søge information, der understøtter den konklusion, de tidligere troede eller håbede på, og til at ignorere modstridende information. Dette er fatalt i auditering: En revisor, der tror, "Denne klient skal være ren", vil blive lettet, når han spørger AI og får bekræftet, og vil stoppe med at lede efter beviser for det modsatte. Fordi AI har en tendens til at læne sig ind i det spørgsmål, der stilles (hvis du spørger "det er okay, ikke?" er det mere sandsynligt, at det giver et svar, der stemmer overens med dig), kan det fremme bekræftelsesbias.
Der er også en tredje: hallucination. Vi så det mange gange i modulet - AI kan flydende udgøre et nummer, en vare, en ressource, der ikke eksisterer. Faren forstærkes, når tre svagheder kombineres: AI finder på ting (hallucination), du tror på det, fordi det er flydende (automatiseringsbias), du sætter ikke spørgsmålstegn ved det, fordi det fortæller dig, hvad du forventer (bekræftelsesbias).
Det skeptiske sinds tre værktøjer mod AI
Lad os sætte skepsis i konkrete teknikker mod AI:
- Prøv at afvise, ikke bekræfte. En AI spørger måske dens output "er det sandt?" ikke "hvordan ved jeg, om dette er forkert?" spørgsmål. Spørg dig selv: "Hvis denne udtalelse var falsk, hvilke beviser ville så vise den?" og se efter beviserne. Det er nemt at finde et enkelt bekræftende eksempel; At forsøge at gendrive og fejle giver reel sikkerhed.
- Spørg neutralt og baglæns. Spørg AI "ingen problem her, ikke?" Spørg ikke; dette inviterer til et godkendt svar. I stedet, "hvad er de risici, jeg måske er gået glip af i disse data?" og "hvad er de tre mest sandsynlige scenarier, hvor dette resultat kan være forkert?" spørge. Stil det samme spørgsmål fra to modsatte sider og sammenlign svarene.
- Download til kilde og gengiv. For hver problemstilling, tilskrivning og konklusion, "hvor bekræfter jeg dette uafhængigt?" Stil spørgsmålet og bekræft. Se output fra AI som en påstand; Beviserne er eksterne i forhold til påstanden.
Tip: Gør det til en vane: Ud for hvert væsentligt output, AI giver, skal du skrive to ting i hånden - "(1) hvad bekræftede jeg dette med, (2) hvilket bevis ville vise dette, hvis det var falsk." Disse to noter bryder både automatisering og bekræftelsesbias.
Domme, som revisor ikke kan delegere
Nogle job kræver i sagens natur skepsis og dømmekraft; disse kan ikke delegeres til AI, kun understøttes:
umistelig jurisdiktion
Hvorfor
Om beviserne er tilstrækkelige og passende
Professionel dømmekraft; kontekst afhængig
Plausibiliteten af en forklaring
Kræver hensyntagen til virksomhed og hensigt
Risikovurdering af svindel
Skepsis og intuition; ud over datamønsteret
Væsentlighed og meningsbeslutning
Retsvæsenet er ansvarligt over for offentligheden
Udtalelse om ledelsens ærlighed
Læsning af menneskelig adfærd; AI kan ikke gøre dette
Forskellen mellem skepsis og pedanteri: en afmålt holdning
Professionel skepsis betyder ikke, at man ikke tror på alt eller giver ledelsen skylden på forhånd; Dette ville være en overskridelse og ville gøre kontrollen ineffektiv. Skepsis er hverken ren tillid (at acceptere alt, du får at vide) eller blind benægtelse (afvise alt); Ind i mellem er det en undersøgelsesholdning, der står mål med beviserne. Revisor kan acceptere ledelsen som ærlig, men tester denne accept med beviser; kan finde en forklaring plausibel, men bekræfter plausibiliteten. AI kan forrykke denne balance: i én retning luner den dig til overmod med dets flydende output; På den anden side, hvis du fortæller den at "finde fejl i alt", vil den bombardere dig med endeløse falske positiver. Den korrekte holdning er altid at veje resultatet mod vægten af beviserne, mens du kører AI for at producere beviser og modbevise beviserne. Skepsis er ikke et personlighedstræk, men en disciplineret måde at arbejde på; Og det er revisoren, der etablerer, vedligeholder og beviser denne disciplin, ikke AI.
tre minisager
Sag 1 — Gendrivelsesteknikken virker. En revisor udskrev AI'en og sagde "denne aktievurdering ser rimelig ud." I stedet for at bekræfte, spurgte han baghånd: "Hvis denne værdiansættelse er overvurderet, hvilke beviser ville vise det?" "varer, for hvilke eftersalgspriserne falder under kostprisen," sagde YZ. Revisoren søgte efter disse elementer og fandt en gruppe, der faktisk var undervurderet. Afvisningsspørgsmålet afslørede risikoen for, at bekræftelsen skjulte.
Case 2 — Falder i bekræftelsesbias. Et teammedlem spurgte AI'en under en knasende tid, "der er ikke noget større galt med denne konto, vel?" spurgte han. YZ lænede sig op af spørgsmålet og sagde: "Ifølge de oplysninger, du har givet, ser der ikke ud til at være et væsentligt problem." Teammedlemmet slappede af og lukkede pennen. Han havde dog ikke fremlagt beviser; AI'en spejlede blot hans sætning. Den ansvarlige viste, at spørgsmålet ikke var stillet upartisk. Lektion: hvordan du stiller spørgsmålet afgør, hvilket svar du får; Et spørgsmål, der søger bekræftelse, giver bekræftelse.
Case 3 - Falder for flydende. En revisor mente, at en fortolkning af lovgivning, som YZ forklarede i et meget flydende og begrundet afsnit, var korrekt og inkluderede det i arbejdspapiret. Teksten var så pæn, at det ikke faldt ham ind at sætte spørgsmålstegn ved den. Den ansvarlige viste, at referencen ikke havde nogen ækvivalent i den officielle tekst. Lektion: flydende og selvtillid er ikke bevis på nøjagtighed; Det resultat, der virker mest overbevisende, kan være det farligste.
Svag prompt / Stærk prompt
Svag prompt:
Denne analyse er korrekt, ikke? Godkender du?
Problemet: et forudindtaget spørgsmål, der søger bekræftelse. Det presser AI til at slutte sig til dig; Det fremmer bekræftelsesbias og skjuler sand risiko.
Kraftig prompt:
Din rolle: Du er en uafhængig revisors kritiske forespørgselspartner. Din opgave er ikke at være ENIG med mig, men at forsøge at AFVISE mit output.Kontekst: Nedenfor er min konklusion på en analytisk procedure og min foreløbige konklusion.[resultattekst]Opgave:1) Angiv de 3 mest sandsynlige scenarier, hvor denne konklusion kunne være FALSK.2) For hvert scenarie: "hvis dette var sandt, hvilke beviser ville vise det?" Foreslå konkrete, søgbare beviser. 3) Marker alle data eller antagelser, jeg kan have overset. 4) Lav ikke sætninger, der stemmer overens med mig; Du har til opgave at finde svage punkter. Marker "ukendt", hvor du ikke er sikker.
Denne prompt er kraftfuld, fordi den omvendte rollen som AI (gendrivelse), kræver gendrivelsesscenarier og søgbare beviser og forbyder bekræftelsessøgende sprog. Dette sætter AI i skepsisens tjeneste snarere end et instrument til bekræftelsesbias.
Almindelige fejl
- Stil spørgsmål for at søge godkendelse. "Det er okay, ikke?" ved at spørge og sikre det aftalte svar.
- Forkert flydende for nøjagtighed. Accepterer velskrevet, selvsikkert output uden spørgsmål.
- Vær tilfreds med et enkelt bekræftende eksempel. Afslutning med det første støttende fund, uden at forsøge at tilbagevise det.
- At uddelegere umistelig jurisdiktion. Overlader afgørelsen om tilstrækkelighed af beviser, rimelighed, mening til AI.
- At give slip på skepsis under tidspres. Søg tilflugt i det trøstende svar fra AI, når du sidder fast.
Forsigtig: Tidspres er skepsisens største fjende, og AI bliver farligst under dette pres; fordi det giver dig et hurtigt, flydende og trøstende svar. Gør det til et must at stille tilbagevisningsspørgsmålet, når du har travlt.
Sammenfattende
Professionel skepsis er kernen i revision og bliver endnu mere kritisk i AI's tidsalder. AI udløser tre svagheder: hallucination (gør det op), automatiseringsbias (vi tror på det, fordi det er flydende), bekræftelsesbias (vi sætter ikke spørgsmålstegn ved det, fordi det siger, hvad vi håber på). Modgiften er at skynde sig at modbevise AI, ikke bekræfte det: "hvis dette er falsk, hvilke beviser ville vise det?" ' og leder efter modsatte beviser, spørger objektivt og baglæns, gengiver hvert output fra kilden. Bedømmelser såsom tilstrækkelige beviser, rimelighed, risiko for bedrageri og meningsvurdering kræver skepsis og kan ikke overføres. Flydende er ikke nøjagtighed; Det skeptiske sind er dit.
Ansøgningsopgave
Få dit revisionsresultat (eller et hypotetisk resultat). Stil AI'en først med et "bekræftelsessøgende" svagt spørgsmål, derefter med det "afkræftende" stærke promptmønster ovenfor. Sæt de to udfald ved siden af hinanden og skriv forskellen ned: hvilke risici blev kun afsløret af gendrivelsesspørgsmålet? Tilføj derefter to noter ud for hver nøglepåstand i dit output: "hvad har jeg verificeret med" og "hvilke beviser ville vise, hvis det var falsk".
tjekliste
- [ ] Jeg stillede AI-afvisnings-/neutrale spørgsmål, ikke bekræftelsessøgende spørgsmål.
- [ ] For hvert væsentligt resultat, "hvis dette er falsk, hvilke beviser ville vise det?" Jeg stillede spørgsmålet og ledte efter beviser.
- [ ] Jeg testede outputtet, som virkede glat og selvsikkert, med ekstra skepsis.
- [ ] Jeg stoppede ikke med et eneste bekræftende eksempel; Jeg forsøgte at afvise det, men det lykkedes ikke.
- [ ] Jeg lavede mine egne vurderinger, såsom tilstrækkelighed af beviser, rimelighed og mening.
- [ ] Selv under tidspres sprang jeg ikke gendrivelsesspørgsmålet over.
- [ ] Ved siden af de vigtige påstande lavede jeg noter om "hvad jeg verificerede med / hvad ville vise, hvis det var forkert".