Test sull'intera popolazione con analisi dei dati: dal campione all'intero

Guadagni:

• Comprendere il rischio di campionamento e la logica dei test sull'intera popolazione (test al 100%) ed essere in grado di utilizzare l'intelligenza artificiale per la preparazione dei dati, la scrittura delle regole e l'interpretazione dei risultati.
• Capacità di progettare e implementare test di corrispondenza, completezza e accuratezza in grandi set di dati con il supporto dell'intelligenza artificiale
• Capacità di comprendere che l'elenco delle eccezioni nel test sull'intera popolazione non è un risultato, ma un inizio che l'auditor esaminerà e che la valutazione finale spetta all'auditor.

Uno dei limiti fondamentali della professione di revisore dei conti era che il revisore doveva lavorare con il campionamento per molti anni. Non è possibile rivedere manualmente le 180.000 fatture emesse da un'azienda in un anno; Quindi selezioni alcune centinaia di record utilizzando un metodo statistico o di giudizio, li testi e generalizzi il risultato all'intera popolazione. Il campionamento è una tecnica potente e legittima, ma comporta un rischio intrinseco: il rischio di campionamento: il campione scelto potrebbe non essere rappresentativo della popolazione e il vero errore in esso contenuto potrebbe non cadere esattamente dove stai cercando.

L’analisi dei dati e l’intelligenza artificiale cambiano questo quadro: ora è possibile testare l’intera popolazione, ovvero il 100%. Questo si chiama test completo sulla popolazione. Dedichiamo questa unità alla comprensione della transizione dal "campione all'intero", al potere che comporta e alle nuove responsabilità che molte persone trascurano. Perché i test su tutta la popolazione non facilitano l’ispezione; Cambia la natura del test e impone nuovi oneri all'esaminatore.

Differenza tra campionamento e test su tutta la popolazione

Nel campionamento classico, la logica è: "Fammi testare a fondo un gruppo piccolo ma rappresentativo e interpreto il risultato nel suo insieme". Nel test su tutta la popolazione, la logica è invertita: "Lasciami analizzare il tutto secondo determinate regole, trovare le eccezioni che non rientrano nella regola ed esaminarle a fondo". Nel primo approccio il rischio è “scegliere il campione sbagliato”; Nella seconda il rischio è “scrivere la regola sbagliata” e “lavorare con dati incompleti/errati”.

La tabella seguente mette a confronto i due approcci:

Dimensioni

campionamento

Test su tutta la popolazione (100%)

Ambito

parte della popolazione

intera popolazione

Rischio principale

Rischio di campionamento (errore di rappresentazione)

Errore della regola + errore di integrità dei dati

uscita

Numero limitato di risultati dei test

Elenco delle eccezioni che non rispettano la regola

Onere del revisore

scelta + prova

Progettazione di regole + valutazione delle eccezioni

Ruolo dell'intelligenza artificiale

Aiuto con la selezione del campione

Preparazione dei dati, scrittura delle regole, marcatura delle eccezioni

Nota: il test su tutta la popolazione non significa "Ho testato tutto, lavoro fatto". Al contrario, di solito ti dà più elementi da esaminare. Quando esegui tutte le 180.000 fatture attraverso una regola di approvazione data-importo, troverai forse 900 eccezioni. Ognuna di queste è una domanda; non una risposta. È qui che entra in gioco la magistratura di controllo.

Completezza dei dati: la base invisibile del testing

La più grande trappola dei test sull’intera popolazione è che la qualità del test dipende dalla qualità dei dati. "Ho testato il 100% dei dati" ha senso solo se i dati in tuo possesso riguardano effettivamente il 100% della popolazione. Se un filtro non era corretto durante l'estrazione dei dati dal sistema, alcuni record sono stati omessi o la colonna dell'importo è stata trasferita con un errore decimale, il test "completo" verrà effettivamente eseguito su dati incompleti o corrotti. Pertanto, la conferma della completezza e dell’accuratezza dei dati è il primo e indispensabile passo nel test dell’intera popolazione.

Verifiche pratiche per la verifica di completezza:

• Riconciliazione del conteggio dei record: il numero di righe nel set di dati estratto corrisponde al numero totale di record nel sistema?
• Riconciliazione dell'importo: l'importo totale nel set di dati è riconciliabile con il totale del conto pertinente nel bilancio di verifica/filiale?
• Intervallo di date: sono il primo e l'ultimo giorno del periodo inclusi nei dati; Manca un mese/giorno?
• Scansione spazi vuoti e non corretta: sono presenti spazi o valori senza significato nei campi obbligatori (data, importo, codice conto)?

L'intelligenza artificiale aiuta con tutti questi controlli: esegue la scansione dei dati, ottiene i totali, conta gli spazi vuoti, segnala l'intervallo di date. Ma è l'auditor che decide se l'accordo "regge", indaga la differenza e conferma che i dati sono idonei allo scopo dell'audit.

Attenzione: non scrivere "Ho testato tutti i dati" sul foglio di lavoro senza verificare la completezza dei dati. Un test completo sulla popolazione sui dati mancanti fornisce una garanzia apparentemente completa ma fuorviante.

Test su tutta la popolazione con l'intelligenza artificiale: passo dopo passo

1. Preparare i dati in modo sicuro. Anonimizza i campi personali/privati ​​o sostituiscili con segnaposto. Se possibile, utilizzare un veicolo aziendale convenzionato.
2. Conferma la completezza. Riconciliare il numero di record e l'importo.
3. Definire chiaramente la regola di test. Cosa conta come "eccezione"? (Ad esempio: fattura non approvata, fattura emessa nel fine settimana, pagamento in tondo di importo elevato, reddito registrato dopo la data limite.)
4. Applica la regola con l'intelligenza artificiale. L’intelligenza artificiale applica la regola ai dati e produce un elenco di eccezioni; Scrivere la regola in modo chiaro in modo che possa essere verificata.
5. Assegnare priorità e rivedere le eccezioni. Investigare ogni eccezione con prove; affrontare i falsi positivi, giustificare i risultati effettivi.
6. Documentare il risultato. Collega la regola, il numero di eccezioni, gli elementi esaminati e la conclusione al foglio di lavoro.

tre mini custodie

Caso 1 — Prova di taglio. Un revisore voleva testare il taglio delle entrate di fine anno. Ha considerato 42.000 fatture di vendita come popolazione completa e ha chiesto ad AI di applicare "l'elenco dei record con le date delle fatture entro il 31 dicembre, ma le date di spedizione/consegna a partire dal 1 gennaio". YZ ha segnato 118 record. La società di revisione ha esaminato queste: 96 erano transazioni legittime senza differenze temporali (consegna lo stesso giorno), 22 erano effettivamente entrate per l'anno successivo e erano state registrate nel periodo precedente. Questi 22 elementi sono stati segnalati perché mostravano uno schema, anche se al di sotto della significatività. L’IA ha posto 118 domande; Il revisore ha trovato 22 risposte.

Caso 2 – Quando viene omessa la completezza. Un membro del team ha affermato di aver effettuato test completi su 180.000 fatture; Non c'erano eccezioni e lui si sentiva sollevato. La persona responsabile ha confrontato l'importo totale del set di dati con il bilancio di verifica: dati 155 milioni di TL, bilancio di verifica 210 milioni di TL. Si scopre che mentre i dati venivano estratti dal sistema, un ramo veniva filtrato e lasciato fuori. Il test "completo" in realtà ha mancato un quarto dei dati. Il test è stato eseguito con i dati corretti. Lezione: non esiste un test completo sulla popolazione senza la conferma della completezza.

Caso 3 – Errore nelle regole. Un revisore ha chiesto ad AI di scrivere la regola "Elenca pagamenti non approvati superiori a 50.000 TL", ma non si è reso conto che il campo "approvazione" era mantenuto in due colonne diverse nel sistema (approvazione elettronica e approvazione manuale). L’IA ha contrassegnato 300 pagamenti come “disapprovati” perché ne ha esaminato solo uno; Dall'esame si è visto che la maggior parte di essi erano approvati nell'altra colonna. La regola sbagliata ha prodotto centinaia di falsi positivi. Il revisore ha corretto la regola per includere entrambe le colonne. Lezione: l'auditor verifica che la regola sia conforme ai dati e al processo aziendale.

Prompt debole / Prompt forte

Suggerimento debole:

Trova record problematici nei dati di questa fattura.

Problema: nessuna definizione di “problematico”. L'intelligenza artificiale non sa cosa considerare un'eccezione; Funziona o secondo segnali casuali o secondo un criterio da lui inventato. Non è ripetibile e verificabile.

Suggerimento potente:

Il tuo ruolo: sei un assistente di analisi dei dati per un revisore indipendente. Il giudizio è mio; Applicherai la regola e genererai un elenco di eccezioni. Contesto: di seguito sono riportati i dati della fattura di vendita in forma anonima (colonne: numero_fattura, data_fattura, data_consegna, importo, stato_approvazione, filiale). Fine anno: 31.12.FASE 1 - Completezza: fornire il numero totale di record e l'importo totale in modo da poterlo confrontare con il bilancio di verifica. Segnala se c'è spazio vuoto/mancante. PASSO 2 - Regola del test di taglio: elenca i record con data_fattura <= 31.12 E data_consegna >= 01.01 come "eccezione di interruzione". PASSO 3 - Scrivi la regola in testo semplice (quale condizione hai applicato) in modo che possa essere controllata. Regole: ho dato la regola, non modificarla. Invia i record contrassegnati come "eccezioni per la revisione"; Non dire "errore/risultato". Non inventare ciò che non puoi dedurre dai dati.

Questa richiesta è potente perché prima conferma la completezza, definisce chiaramente la regola di eccezione, richiede il testo in chiaro della regola (udibilità) e posiziona l’output come “eccezione”.

Errori comuni

• Saltare la verifica di completezza. Esecuzione di test "completi" su dati incompleti/corrotti e fornitura di false garanzie.
• Confondere l'eccezione per una constatazione. Errori di conteggio senza verificare il record segnato dall'AI; evitando di eliminare i falsi positivi.
• Non controllare la regola. Generando centinaia di false flag senza verificare se la regola è conforme ai dati e al processo aziendale.
• Scrivere regole vaghe. Ottenere risultati irripetibili con istruzioni non definite come "trova record problematici".
• Accontentarsi di un solo inizio. Non interrogare la regola o i dati se il numero di eccezioni è molto diverso da quanto previsto.

Suggerimento: allarmarsi se il numero di eccezioni è troppo piccolo (vicino allo zero) o troppo grande. Zero solitamente significa "regola scritta in modo errato" o "dati mancanti"; Un numero estremamente elevato indica che la regola è troppo ampia. Un buon auditor sospetta sia “nessuna eccezione” sia “tutto è eccezione”.

In sintesi

Il test su tutta la popolazione rappresenta un enorme passo avanti nell’auditing: elimina il rischio di campionamento, analizzando il 100% dei dati. Ma non è gratuito. Porta con sé due nuove responsabilità: (1) verificare la completezza e l'accuratezza dei dati, (2) valutare le singole eccezioni che si presentano. L’intelligenza artificiale prepara i dati, applica la regola, segnala l’eccezione e riduce le ore di scansione a pochi secondi; Ma l'esattezza della regola, la completezza dei dati e la valutazione delle eccezioni spettano al revisore. L’eccezione non è un risultato, è un inizio.

Compito dell'applicazione

Considera un set di dati di transazione esistente (o ipotetico). Innanzitutto definire due controlli di completezza (numero di record e riconciliazione degli importi). Quindi scrivi una regola di eccezione chiara per uno scopo di controllo (ad esempio fatture emesse nel fine settimana o riduzione delle eccezioni). Con il potente modello di prompt sopra, chiedi all'IA di eseguire prima la completezza e poi la regola. Le prime 10 eccezioni che appaiono sono "risultati reali o falsi positivi?" Esercitati a classificare come segue e scrivi quali prove cercherai per ciascuna.

lista di controllo

• [ ] Ho reso anonimi i dati e ho guidato in sicurezza.
• [ ] Ho confermato la completezza dei dati riconciliando il numero di record e l'importo.
• [ ] Ho cercato lo spazio libero/non valido.
• [ ] Ho definito la regola di eccezione in modo chiaro e ripetibile.
• [ ] Ho ricevuto dall'AI il testo in chiaro della norma e ne ho verificato la conformità ai dati e al processo aziendale.
• [ ] Ho messo in dubbio la ragionevolezza del numero di eccezioni (troppo poche/non troppe).
• [ ] Ho trattato ogni eccezione come una questione da esaminare, non come una scoperta; Ho eliminato i falsi positivi.