Guadagni:
- Comprendere cos'è lo scetticismo professionale e i rischi di cadere nel bias di conferma e nel bias di automazione quando si utilizza l'intelligenza artificiale
- Capacità di testare i risultati dell'intelligenza artificiale con una tecnica di domande che tenta di confutare (cercare il contrario)
- Essere in grado di comprendere che la fluidità dell'intelligenza artificiale non significa precisione, che la mente scettica è il nucleo del controllo e non può essere trasferita.
C’è un atteggiamento mentale che distingue l’audit indipendente da molte altre professioni: lo scetticismo professionale. Gli ISA lo definiscono come il fatto che il revisore lavori “con uno spirito indagatore, rilevando se le prove indicano potenziali errori e valutando criticamente le prove”. Cioè, il revisore non accetta automaticamente alcuna informazione presentatagli – né una dichiarazione di gestione, né un documento, nemmeno un resoconto che “sembra ragionevole” – come vera. Mi chiedo costantemente "È davvero così?" chiede. Questo atteggiamento è il fulcro del controllo ed è inalienabile.
Nell’era dell’intelligenza artificiale, questo nucleo deve affrontare una prova completamente nuova. Perché l’intelligenza artificiale è abile nell’innescare due debolezze profondamente radicate nella mente umana: il pregiudizio dell’automazione e il pregiudizio della conferma. In questa unità tratteremo di come un auditor che utilizza l’intelligenza artificiale possa mantenere o addirittura rafforzare il suo scetticismo. La tesi principale è che la fluidità dell'intelligenza artificiale non è la precisione; La mente scettica diventa ancora più importante di fronte all’intelligenza artificiale.
Due pregiudizi pericolosi
Il bias dell’automazione è la tendenza delle persone a fidarsi più dell’output di una macchina/software che del proprio giudizio. "Il computer l'ha calcolato, è corretto." Questo pericolo è amplificato quando si parla di intelligenza artificiale, perché l'intelligenza artificiale non si limita a calcolare; Pronuncia frasi fluenti, sicure, umane e ragionate. Un tono fiducioso è persuasivo anche se le informazioni non sono accurate.
Il bias di conferma è la tendenza delle persone a cercare informazioni che supportino la conclusione in cui credevano o speravano in precedenza e a ignorare informazioni contrastanti. Questo è fatale nell'auditing: un auditor che pensa "Questo cliente deve essere pulito" si sentirà sollevato quando lo chiederà all'IA e ne riceverà conferma, e smetterà di cercare prove del contrario. Poiché l'intelligenza artificiale tende a concentrarsi sulla domanda che viene posta (se chiedi "va bene, vero?" è più probabile che produca una risposta che sia d'accordo con te), può favorire un pregiudizio di conferma.
Ce n'è anche una terza: l'allucinazione. Lo abbiamo visto molte volte nel modulo: l'intelligenza artificiale può creare fluentemente un numero, un elemento, una risorsa che non esiste. Il pericolo aumenta quando si combinano tre punti deboli: l’intelligenza artificiale inventa le cose (allucinazione), ci credi perché è fluida (bias di automazione), non la metti in dubbio perché ti dice cosa ti aspetti (bias di conferma).
I tre strumenti della mente scettica contro l'intelligenza artificiale
Mettiamo lo scetticismo sulle tecniche concrete contro l'IA:
- Prova a confutare, non a confermare. Un’intelligenza artificiale potrebbe chiedere al suo output “è vero?” non "come faccio a sapere se è sbagliato?" domanda. Chiediti: “Se questa affermazione fosse falsa, quali prove lo dimostrerebbero?” e cercare quelle prove. È facile trovare un unico esempio confermante; Cercare di confutare e fallire dà una vera garanzia.
- Chiedi in modo neutrale e al contrario. Chiedi all'IA "nessun problema qui, giusto?" Non chiedere; questo invita a una risposta di approvazione. Invece, “quali sono i rischi che avrei potuto perdere in questi dati?” e “quali sono i tre scenari più probabili in cui questo risultato potrebbe essere sbagliato?” chiedere. Fai la stessa domanda da due lati opposti e confronta le risposte.
- Scarica alla fonte e riproduci. Per ogni problema, attribuzione e conclusione, "dove posso verificarlo in modo indipendente?" Fai la domanda e verifica effettivamente. Visualizza l’output dell’IA come un’asserzione; Le prove sono esterne alla domanda.
Suggerimento: prendi un'abitudine: accanto a ogni risultato significativo fornito dall'intelligenza artificiale, scrivi due cose a mano: "(1) con cosa l'ho verificato, (2) quali prove lo dimostrerebbero se fosse falso". Queste due note interrompono sia il bias di automazione che quello di conferma.
Giudizi che il revisore non può delegare
Alcuni lavori richiedono intrinsecamente scetticismo e giudizio; questi non possono essere delegati all'IA, ma solo supportati:
giurisdizione inalienabile
Perché
Se le prove sono sufficienti e appropriate
Giudizio professionale; dipendente dal contesto
Plausibilità di una spiegazione
Richiede la considerazione dell'impresa e dell'intento
Valutazione del rischio di frode
Scetticismo e intuizione; oltre lo schema dei dati
Materialità e decisione di opinione
Magistratura responsabile nei confronti del pubblico
Opinione sull'onestà della direzione
Leggere il comportamento umano; L'intelligenza artificiale non può farlo
La differenza tra scetticismo e pedanteria: un atteggiamento misurato
Lo scetticismo professionale non significa non credere a tutto o incolpare anticipatamente il management; Ciò costituirebbe un eccesso di portata e renderebbe il controllo inefficace. Lo scetticismo non è né pura fiducia (accettare tutto ciò che ti viene detto) né negazione cieca (rifiutare tutto); Nel mezzo, c’è un atteggiamento di indagine commisurato alle prove. Il revisore può accettare che la direzione sia onesta, ma verifica tale accettazione con prove; può trovare una spiegazione plausibile, ma conferma la plausibilità. L’intelligenza artificiale può sconvolgere questo equilibrio: in una direzione, ti induce ad avere troppa sicurezza con i suoi risultati fluidi; D'altro canto, se gli dite di "trovare difetti in ogni cosa" vi bombarderà di infiniti falsi positivi. L’atteggiamento corretto è quello di valutare sempre il risultato rispetto al peso delle prove, mentre si utilizza l’intelligenza artificiale per produrre prove e confutarle. Lo scetticismo non è un tratto della personalità, ma un modo disciplinato di lavorare; Ed è l’auditor a stabilire, mantenere e dimostrare questa disciplina, non l’intelligenza artificiale.
tre mini custodie
Caso 1 – La tecnica della confutazione funziona. Un revisore ha stampato l’intelligenza artificiale affermando che “questa valutazione azionaria sembra ragionevole”. Invece di confermare, ha chiesto in modo ambiguo: “Se questa valutazione è sopravvalutata, quali prove lo dimostrerebbero?” "articoli per i quali i prezzi post-vendita scendono al di sotto del costo", ha affermato YZ. Il revisore ha cercato questi elementi e ha trovato un gruppo che in realtà era sottovalutato. La domanda di confutazione metteva in luce il rischio che la conferma nascondeva.
Caso 2 – Cadere nel bias di conferma. Un membro del team ha chiesto all'IA durante un momento critico: "non c'è niente di grave che non va in questo account, giusto?" chiese. YZ si è appoggiato alla domanda e ha detto: "Secondo le informazioni fornite, non sembra esserci un problema significativo". Il membro del team si rilassò e chiuse la penna. Tuttavia non aveva presentato alcuna prova; L’intelligenza artificiale ha semplicemente rispecchiato la sua frase. La persona responsabile ha dimostrato che la domanda non era stata posta in modo imparziale. Lezione: il modo in cui poni la domanda determina la risposta che ottieni; Una domanda in cerca di conferma produce conferma.
Caso 3 – Innamoramento della fluidità. Un revisore dei conti ha ritenuto che l'interpretazione della legislazione spiegata da YZ in un paragrafo molto fluido e ragionato fosse corretta e l'ha inclusa nel documento di lavoro. Il testo era così chiaro che non gli venne in mente di metterlo in discussione. Il responsabile ha dimostrato che il riferimento non ha equivalenti nel testo ufficiale. Lezione: la fluidità e la sicurezza non sono prova di accuratezza; Il risultato che sembra più convincente potrebbe essere il più pericoloso.
Prompt debole / Prompt forte
Suggerimento debole:
Questa analisi è corretta, vero? Approvi?
Il problema: una domanda parziale che cerca conferme. Spinge l'IA a unirsi a te; Favorisce il bias di conferma e nasconde il rischio reale.
Suggerimento potente:
Il tuo ruolo: sei il partner critico per le indagini di un revisore indipendente. Il tuo compito non è ACCORDARE con me, ma provare a RIFIUTARE il mio risultato. Contesto: di seguito è riportata la mia conclusione di una procedura analitica e la mia conclusione provvisoria. [testo del risultato] Compito: 1) Elencare i 3 scenari più probabili in cui questa conclusione potrebbe essere FALSA. 2) Per ogni scenario: "se questo fosse vero, quali prove lo dimostrerebbero?" Suggerire prove concrete e ricercabili. 3) Segna eventuali dati o ipotesi che potrei aver perso. 4) Non fare frasi che siano d'accordo con me; Hai il compito di trovare i punti deboli. Segna "sconosciuto" dove non sei sicuro.
Questo suggerimento è potente perché inverte il ruolo dell’IA (confutazione), richiedendo scenari di confutazione e prove ricercabili e vietando il linguaggio in cerca di conferma. Ciò mette l’intelligenza artificiale al servizio dello scetticismo piuttosto che uno strumento di pregiudizio di conferma.
Errori comuni
- Fare domande in cerca di approvazione. "Va tutto bene, vero?" chiedendo e garantendo la risposta concordata.
- Confondere la fluidità con la precisione. Accettare senza fare domande risultati ben scritti e sicuri.
- Accontentati di un unico esempio confermativo. Concludo con la prima constatazione a sostegno, senza cercare di confutarla.
- Delegare la giurisdizione inalienabile. Lasciare all'AI la decisione sulla sufficienza delle prove, sulla ragionevolezza e sull'opinione.
- Lasciare andare lo scetticismo sotto la pressione del tempo. Rifugiarsi nella risposta confortante dell’intelligenza artificiale quando sei bloccato.
Attenzione: la pressione del tempo è il più grande nemico dello scetticismo e l’intelligenza artificiale diventa molto pericolosa sotto questa pressione; perché ti offre una risposta veloce, fluida e confortante. Rendi obbligatorio porre la domanda di confutazione quando sei di fretta.
In sintesi
Lo scetticismo professionale è al centro dell’auditing e diventa ancora più critico nell’era dell’intelligenza artificiale. L’intelligenza artificiale innesca tre punti deboli: allucinazione (si inventa), bias di automazione (ci crediamo perché è fluido), bias di conferma (non lo mettiamo in dubbio perché dice ciò che speriamo). L’antidoto è affrettarsi a confutare l’intelligenza artificiale, non a confermarla: “se questo è falso, quali prove lo dimostrerebbero?” ' e cercando prove contrarie, chiedendo oggettivamente e all'indietro, riproducendo ogni output dalla fonte. Giudizi come la sufficienza delle prove, la ragionevolezza, il rischio di frode e il giudizio di opinione richiedono scetticismo e non sono trasferibili. La fluidità non è precisione; La mente scettica è tua.
Compito dell'applicazione
Ottieni il risultato dell'audit (o un risultato ipotetico). Chiedi all'IA prima con una domanda debole di "ricerca di conferma", poi con lo schema di risposta forte di "confutazione" sopra. Affianca i due risultati e scrivi la differenza: quali rischi sono stati rivelati solo dalla domanda di confutazione? Quindi aggiungi due note accanto a ciascuna affermazione chiave nel tuo output: "con cosa ho verificato" e "quali prove mostrerebbero se fossero false".
lista di controllo
- [ ] Ho posto domande di confutazione/neutre all'IA, non domande di ricerca di conferma.
- [ ] Per ogni risultato significativo, “se questo è falso, quali prove lo dimostrerebbero?” Ho posto la domanda e ho cercato le prove.
- [ ] Ho testato il risultato, che sembrava fluido e sicuro, con ulteriore scetticismo.
- [ ] Non mi sono fermato ad un solo esempio confermativo; Ho provato a confutarlo ma non ci sono riuscito.
- [] Ho espresso i miei giudizi come sufficienza delle prove, ragionevolezza e opinione.
- [ ] Anche sotto la pressione del tempo, non ho saltato la domanda di confutazione.
- [ ] Accanto alle affermazioni importanti, ho annotato "cosa ho verificato con / cosa mostrerebbe se fosse sbagliato".