Vinster:
- Förstå vad professionell skepticism är och riskerna att hamna i bekräftelsebias och automationsbias vid användning av artificiell intelligens
- Förmåga att testa artificiell intelligens med en frågeteknik som försöker motbevisa (leta efter motsatsen)
- Att kunna förstå att artificiell intelligenss flyt inte betyder noggrannhet, att det skeptiska sinnet är kärnan i kontrollen och inte kan överföras.
Det finns en mental attityd som skiljer oberoende revision från många andra yrken: professionell skepsis. ISA definierar detta som att revisorn arbetar "med ett frågande sinne, noterar om bevisen indikerar potentiella felaktigheter och kritiskt utvärderar bevisen." Det vill säga att revisorn inte automatiskt accepterar någon information som presenteras för honom – inte ett ledningsuttalande, inte ett dokument, inte ens ett konto som ”verkar rimligt” – som sant. Jag undrar hela tiden "Är det verkligen så?" frågar han. Denna attityd är kärnan i kontrollen och är omistlig.
I en tid av artificiell intelligens står denna kärna inför ett helt nytt test. Eftersom AI är skicklig på att utlösa två djupt rotade svagheter i det mänskliga sinnet - automationsbias och bekräftelsebias. I denna enhet kommer vi att täcka hur en revisor som använder AI kan behålla eller till och med stärka sin skepsis. Huvudtesen är att AI:s flyt inte är noggrannhet; Det skeptiska sinnet blir ännu viktigare inför AI.
Två farliga fördomar
Automationsbias är tendensen för människor att lita på resultatet av en maskin/programvara mer än sitt eget omdöme. "Datorn beräknade det, det stämmer." Denna fara förstoras när det kommer till AI, eftersom AI inte bara räknar; Talar flytande, självsäker, människoliknande, motiverade meningar. En säker ton är övertygande även om informationen inte är korrekt.
Bekräftelsebias är tendensen hos människor att söka information som stöder den slutsats de tidigare trodde eller hoppats på och att ignorera motstridig information. Detta är ödesdigert i revision: En revisor som tror att "den här klienten måste vara ren" kommer att bli lättad när han frågar AI och får bekräftelse, och kommer att sluta leta efter bevis för motsatsen. Eftersom AI tenderar att luta sig in i frågan som ställs (om du frågar "det är okej, eller hur?" är det mer sannolikt att det ger ett svar som stämmer överens med dig), kan det främja bekräftelsebias.
Det finns också en tredje: hallucination. Vi såg det många gånger i modulen — AI kan flytande utgöra ett nummer, ett objekt, en resurs som inte finns. Faran förvärras när tre svagheter kombineras: AI hittar på saker (hallucination), du tror på det för att det är flytande (automationsbias), du ifrågasätter det inte för att det säger dig vad du förväntar dig (bekräftelsebias).
Det skeptiska sinnets tre verktyg mot AI
Låt oss sätta skepsis i konkreta tekniker mot AI:
- Försök att motbevisa, inte bekräfta. En AI kan fråga sin utdata "är det sant?" inte "hur vet jag om detta är fel?" fråga. Fråga dig själv: "Om detta uttalande var falskt, vilka bevis skulle visa det?" och leta efter bevisen. Det är lätt att hitta ett enda bekräftande exempel; Att försöka motbevisa och misslyckas ger verklig säkerhet.
- Fråga neutralt och baklänges. Fråga AI:n "inga problem här, eller hur?" Fråga inte; detta uppmanar till ett godkännande svar. Istället, "vilka är riskerna jag kan ha missat i denna data?" och "vilka är de tre mest sannolika scenarierna där detta resultat kan vara fel?" be. Ställ samma fråga från två motsatta sidor och jämför svaren.
- Ladda ner till källa och reproducera. För varje fråga, tillskrivning och slutsats, "var ska jag självständigt verifiera detta?" Ställ frågan och verifiera faktiskt. Se utdata från AI som ett påstående; Bevisen ligger utanför påståendet.
Tips: Gör en vana: Bredvid varje betydande utdata som AI ger, skriv två saker för hand - "(1) vad har jag verifierat detta med, (2) vilka bevis skulle visa detta om det var falskt." Dessa två anteckningar bryter både automatisering och bekräftelsebias.
Bedömningar som revisorn inte kan delegera
Vissa jobb kräver i sig skepsis och omdöme; dessa kan inte delegeras till AI, endast stöds:
omistlig jurisdiktion
Varför
Huruvida bevisningen är tillräcklig och lämplig
Professionellt omdöme; kontextberoende
Plausibiliteten i en förklaring
Kräver hänsyn till företagsamhet och avsikt
Bedrägerieriskbedömning
Skepticism och intuition; bortom datamönstret
Väsentlighet och opinionsbeslut
Rättsväsendet ansvarar för allmänheten
Åsikt om ledningens ärlighet
Läsa mänskligt beteende; AI kan inte göra detta
Skillnaden mellan skepticism och pedanteri: en mätt attityd
Professionell skepsis betyder inte att man inte tror på allt eller att man i förväg skyller på ledningen; Detta skulle vara ett övergrepp och skulle göra kontrollen ineffektiv. Skepticism är varken ren tillit (att acceptera allt du får höra) eller blind förnekelse (förkasta allt); Däremellan är det en undersökningshållning som står i proportion till bevisningen. Revisorn kan acceptera ledningen som ärlig, men testar denna acceptans med bevis; kan finna en förklaring rimlig, men bekräftar rimligheten. AI kan rubba denna balans: i en riktning invaggar den dig till övertro med sin flytande produktion; Å andra sidan, om du säger till den att "finna fel i allt" kommer den att bombardera dig med oändliga falska positiva resultat. Den korrekta inställningen är att alltid väga resultatet mot vikten av bevisen, samtidigt som man kör AI för att producera bevis och motbevisa bevisen. Skepticism är inte ett personlighetsdrag, utan ett disciplinerat sätt att arbeta; Och det är revisorn som etablerar, upprätthåller och bevisar denna disciplin, inte AI.
tre minifodral
Fall 1 — Motbevisningstekniken fungerar. En revisor skrev ut AI och sa "den här aktievärderingen ser rimlig ut." Istället för att bekräfta frågade han bakhand: "Om denna värdering är överskattad, vilka bevis skulle visa det?" "artiklar för vilka efterförsäljningspriserna faller under kostnaden," sa YZ. Revisorn sökte efter dessa föremål och hittade en grupp som faktiskt var undervärderad. Svarsfrågan exponerade risken för att bekräftelsen döljde.
Fall 2 — Faller i bekräftelsebias. En teammedlem frågade AI:n under en kristid, "det är inget större fel med det här kontot, eller hur?" frågade han. YZ lutade sig mot frågan och sa: "Enligt den information du lämnat verkar det inte finnas något betydande problem." Teammedlemmen slappnade av och lockade pennan. Han hade dock inte lagt fram några bevis; AI:n speglade bara hans mening. Den ansvarige visade att frågan inte ställdes opartiskt. Lektion: hur du ställer frågan avgör svaret du får; En fråga som söker bekräftelse ger bekräftelse.
Fall 3 — Faller för flytande. En revisor ansåg att en tolkning av lagstiftning som YZ förklarade i ett mycket flytande och motiverat stycke var korrekt och tog med det i arbetsdokumentet. Texten var så snygg att det inte föll honom in att ifrågasätta den. Den ansvarige visade att hänvisningen inte hade någon motsvarighet i den officiella texten. Lektion: flyt och självförtroende är inte bevis på riktighet; Det resultat som verkar mest övertygande kan vara det farligaste.
Svag prompt / Stark prompt
Svag uppmaning:
Denna analys är korrekt, eller hur? Godkänner du?
Problemet: en partisk fråga som söker bekräftelse. Det pressar AI:n att ansluta sig till dig; Det främjar bekräftelsebias och döljer verklig risk.
Kraftfull uppmaning:
Din roll: du är en oberoende revisors kritiska förfrågningspartner. Din uppgift är inte att hålla med mig, utan att försöka AVVISA min produktion. Sammanhang: Nedan är min slutsats av en analytisk procedur och min preliminära slutsats.[resultattext]Uppgift:1) Lista de 3 mest sannolika scenarierna där denna slutsats kan vara FALSK.2) För varje scenario: "om detta var sant, vilka bevis skulle visa det?" Föreslå konkreta, sökbara bevis. 3) Markera alla data eller antaganden som jag kan ha missat. 4) Gör inte meningar som stämmer överens med mig; Du har till uppgift att hitta svaga punkter. Markera "okänt" där du inte är säker.
Den här uppmaningen är kraftfull eftersom den vänder på rollen för AI (bekräftelse), kräver motbevisning och sökbara bevis, och förbjuder bekräftelsesökande språk. Detta sätter AI i skepsisens tjänst snarare än ett instrument för bekräftelsefördomar.
Vanliga misstag
- Ställ frågor för att söka godkännande. "Det är okej, eller hur?" genom att fråga och säkerställa det överenskomna svaret.
- Misstag flytande för noggrannhet. Accepterar välskriven, säker produktion utan att ifrågasätta.
- Nöj dig med ett enda bekräftande exempel. Avslutar med det första stödjande fyndet, utan att försöka motbevisa det.
- Att delegera omistlig jurisdiktion. Överlåter beslutet om bevistillräcklighet, rimlighet, åsikt till AI.
- Att släppa skepsisen under tidspress. Ta din tillflykt till det tröstande svaret från AI när du har fastnat.
Varning: Tidspress är skepticismens största fiende, och AI blir farligast under denna press; eftersom det ger dig ett snabbt, flytande och tröstande svar. Gör det till ett måste att ställa svarsfrågan när du har bråttom.
Sammanfattningsvis
Professionell skepsis är kärnan i revision och blir ännu mer kritisk i AI-tiden. AI utlöser tre svagheter: hallucination (gör det upp), automationsbias (vi tror det eftersom det är flytande), bekräftelsebias (vi ifrågasätter det inte eftersom det säger vad vi hoppas på). Motgiften är att skynda sig att motbevisa AI, inte bekräfta det: "om detta är falskt, vilka bevis skulle visa det?" ' och letar efter motsatta bevis, frågar objektivt och baklänges, reproducerar varje utdata från källan. Bedömningar som tillräckliga bevis, rimlighet, risk för bedrägeri och åsiktsbedömning kräver skepsis och är inte överförbara. Flytande är inte noggrannhet; Det skeptiska sinnet är ditt.
Applikationsuppgift
Få ditt revisionsresultat (eller ett hypotetiskt resultat). Ställ AI:en först med en "bekräftelsesökande" svag fråga, sedan med det "motbevisande" starka promptmönstret ovan. Lägg de två resultaten sida vid sida och skriv ner skillnaden: vilka risker avslöjades endast av vederlagsfrågan? Lägg sedan till två anteckningar bredvid varje nyckelpåstående i din utdata: "vad har jag verifierat med" och "vilka bevis skulle visa om det var falskt".
checklista
- [ ] Jag ställde AI motbevisande/neutrala frågor, inte bekräftelsesökande frågor.
- [ ] För varje betydande resultat, "om detta är falskt, vilka bevis skulle visa det?" Jag ställde frågan och letade efter bevis.
- [ ] Jag testade resultatet, som verkade smidigt och säkert, med extra skepsis.
- [ ] Jag slutade inte med ett enda bekräftande exempel; Jag försökte motbevisa det men misslyckades.
- [ ] Jag gjorde mina egna bedömningar såsom tillräckliga bevis, rimlighet och åsikter.
- [ ] Även under tidspress hoppade jag inte över motfrågan.
- [ ] Bredvid de viktiga påståendena gjorde jag anteckningar om "vad jag verifierade med / vad skulle visa om det var fel".