Winst:
- Begrijp het steekproefrisico en de logica van volledige populatietests (100% testen) en kan kunstmatige intelligentie gebruiken voor het voorbereiden van gegevens, het schrijven van regels en het interpreteren van resultaten.
- Mogelijkheid om matching-, volledigheids- en nauwkeurigheidstests te ontwerpen en implementeren in grote datasets met ondersteuning voor kunstmatige intelligentie
- Vermogen om te begrijpen dat de uitzonderingenlijst in de volledige bevolkingstest geen resultaat is, maar een begin dat de auditor zal onderzoeken, en dat de eindevaluatie aan de auditor toebehoort.
Eén van de meest fundamentele beperkingen van het accountantsberoep was dat de accountant jarenlang met steekproeven moest werken. U kunt de 180.000 facturen die een bedrijf in een jaar uitgeeft niet handmatig bekijken; U selecteert dus een paar honderd records met behulp van een statistische of beoordelingsmethode, test ze en generaliseert het resultaat naar de hele populatie. Steekproeven nemen is een krachtige en legitieme techniek, maar brengt een inherent risico met zich mee: steekproefrisico: de steekproef die u kiest is mogelijk niet representatief voor de populatie, en de echte fout daarin ligt misschien niet precies waar u zoekt.
Data-analyse en AI veranderen dit beeld: je kunt nu de hele populatie testen, dus 100%. Dit heet volledige populatietesten. We wijden deze unit aan het begrijpen van de overgang van ‘voorbeeld naar geheel’, de kracht die dit met zich meebrengt en de nieuwe verantwoordelijkheden die veel mensen over het hoofd zien. Omdat volledige populatietests de inspectie niet vergemakkelijken; Het verandert de aard van de toets en legt nieuwe lasten op de schouders van de examinator.
Verschil tussen steekproeven en volledige populatietesten
Bij klassieke steekproeven is de logica: "Laat me een kleine maar representatieve groep grondig testen en het resultaat als geheel interpreteren." Bij de volledige bevolkingstoets wordt de logica omgedraaid: ‘Laat mij het geheel volgens bepaalde regels scannen, de uitzonderingen opsporen die buiten de regel vallen en die grondig onderzoeken.’ Bij de eerste benadering bestaat het risico uit het "kiezen van de verkeerde steekproef"; In het tweede geval bestaat het risico uit het ‘schrijven van de verkeerde regel’ en ‘het werken met onvolledige/foutieve gegevens’.
De volgende tabel vergelijkt de twee benaderingen:
Grootte
bemonstering
Volledige populatietesten (100%)
Reikwijdte
een deel van de bevolking
gehele bevolking
Belangrijkste risico
Steekproefrisico (representatiefout)
Regelfout + gegevensintegriteitsfout
uitgang
Beperkt aantal testresultaten
Lijst met uitzonderingen die niet aan de regel voldoen
Last van de accountant
keuze + testen
Regelontwerp + evaluatie van uitzonderingen
Rol van AI
Hulp bij monsterselectie
Gegevensvoorbereiding, het schrijven van regels, het markeren van uitzonderingen
Let op: een volledige populatietest betekent niet: "Ik heb alles getest, klus geklaard". Integendeel, het geeft je meestal meer items om te onderzoeken. Wanneer u alle 180.000 facturen doorloopt via een goedkeuringsregel voor datum en bedrag, zult u misschien wel 900 uitzonderingen tegenkomen. Elk van deze is een vraag; geen antwoord. Hier komt de auditrechter in beeld.
Volledigheid van gegevens: de onzichtbare basis van testen
De grootste valkuil van het testen van hele populaties is dat de kwaliteit van de test afhangt van de kwaliteit van de gegevens. "Ik heb 100% van de gegevens getest" heeft alleen zin als de gegevens die u heeft daadwerkelijk 100% van de bevolking betreffen. Als een filter onjuist was bij het ophalen van gegevens uit het systeem, sommige records zijn weggelaten of de bedragkolom is overgedragen met een decimale fout, wordt uw "volledige" test feitelijk uitgevoerd op onvolledige of corrupte gegevens. Daarom is de bevestiging van de volledigheid en nauwkeurigheid van gegevens de eerste en onmisbare stap bij het testen van volledige populaties.
Praktische controles voor volledigheidscontrole:
- Afstemming van het aantal records: komt het aantal rijen in de gegevensset die u hebt opgehaald overeen met het totale aantal records in het systeem?
- Bedragafstemming: komt het totaalbedrag in de dataset overeen met het relevante rekeningtotaal in de proefbalans/dochtermaatschappij?
- Datumbereik: Zijn de eerste en laatste dag van de periode opgenomen in de gegevens; Is er een ontbrekende maand/dag?
- Scannen van lege en slechte ruimtes: Zijn er spaties of betekenisloze waarden in verplichte velden (datum, bedrag, rekeningcode)?
AI helpt bij al deze controles: crawlt gegevens, haalt totalen op, telt lege ruimtes, rapporteert het datumbereik. Maar het is de auditor die beslist of de overeenkomst ‘geldt’, het verschil onderzoekt en bevestigt dat de gegevens geschikt zijn voor het auditdoel.
Let op: Schrijf niet 'Ik heb alle gegevens getest' op het werkblad zonder de volledigheid van de gegevens te verifiëren. Een volledige populatietest op ontbrekende gegevens geeft ogenschijnlijk volledige maar misleidende zekerheid.
Volledige populatietesten met AI: stap voor stap
- Bereid gegevens veilig voor. Anonimiseer persoonlijke/privévelden of vervang ze door tijdelijke aanduidingen. Maak indien mogelijk gebruik van een door de onderneming gecontracteerd voertuig.
- Bevestig de volledigheid. Stem het aantal records en het bedrag af.
- Definieer de testregel duidelijk. Wat geldt als een ‘uitzondering’? (Bijvoorbeeld: niet-goedgekeurde factuur, factuur uitgegeven in het weekend, grote rondebetaling, inkomsten geregistreerd na de afsluitdatum.)
- Pas de regel toe met AI. AI past de regel toe op de data en produceert een lijst met uitzonderingen; Schrijf de regel duidelijk op, zodat deze kan worden gecontroleerd.
- Prioriteer uitzonderingen en beoordeel deze. Onderzoek elke uitzondering met bewijs; vals-positieve resultaten aanpakken en feitelijke bevindingen rechtvaardigen.
- Documenteer het resultaat. Koppel de regel, het aantal uitzonderingen, de onderzochte items en de conclusie aan het werkblad.
drie minikoffers
Geval 1 — Snijtest. Een accountant wilde de omzetafsluiting aan het einde van het jaar testen. Hij nam 42.000 verkoopfacturen als de volledige populatie en liet AI de "lijstrecords met factuurdatums vóór 31 december, maar verzend-/leveringsdata op of na 1 januari" afdwingen. YZ markeerde 118 records. De accountant heeft deze onderzocht: 96 waren legitieme transacties zonder timingverschillen (levering op dezelfde dag), 22 waren daadwerkelijk inkomsten voor het volgende jaar en werden in de voorgaande periode geregistreerd. Deze 22 items zijn gerapporteerd omdat ze een patroon vertoonden, zij het onder de significantie. De AI stelde 118 vragen; De auditor vond 22 antwoorden.
Geval 2 — Wanneer de volledigheid wordt weggelaten. Eén teamlid zei dat hij een volledige populatietest had uitgevoerd op 180.000 facturen; Er waren geen uitzonderingen en hij was opgelucht. De verantwoordelijke persoon vergeleek het totale bedrag van de dataset met het proefsaldo: data 155 miljoen TL, proefsaldo 210 miljoen TL. Het blijkt dat terwijl gegevens uit het systeem werden gehaald, een tak werd gefilterd en weggelaten. De "volledige" test miste feitelijk een kwart van de gegevens. De test werd overlopen met de juiste gegevens. Les: er is geen volledig bevolkingsonderzoek zonder bevestiging van de volledigheid.
Geval 3 — Regelfout. Een auditor liet AI de regel schrijven "Lijst van niet-goedgekeurde betalingen van meer dan 50.000 TL", maar realiseerde zich niet dat het veld "goedkeuring" in twee verschillende kolommen in het systeem werd bewaard (elektronische goedkeuring en handmatige goedkeuring). De AI markeerde 300 betalingen als ‘afgekeurd’ omdat er maar naar één werd gekeken; Bij onderzoek bleek dat de meeste ervan in de andere kolom waren goedgekeurd. De verkeerde regel leverde honderden valse positieven op. De auditor heeft de regel gecorrigeerd om beide kolommen op te nemen. Les: de auditor verifieert dat de regel overeenkomt met de gegevens en het bedrijfsproces.
Zwakke prompt/sterke prompt
Zwakke prompt:
Vind problematische records in deze factuurgegevens.
Probleem: Geen definitie van ‘problematisch’. AI weet niet wat een uitzondering moet zijn; Hij werkt óf volgens willekeurige signalen, óf volgens een door hem zelf opgesteld criterium. Het is niet herhaalbaar en controleerbaar.
Krachtige prompt:
Jouw rol: je bent data-analyseassistent van een onafhankelijke auditor. Het oordeel is aan mij; U past de regel toe en genereert een uitzonderingslijst. Context: Hieronder vindt u geanonimiseerde verkoopfactuurgegevens (kolommen: factuurnummer, factuurdatum, leveringsdatum, bedrag, goedkeuringsstatus, filiaal). Jaareinde: 31.12.STAP 1 - Volledigheid: Geef het totaal aantal records en het totaalbedrag zodat ik het kan vergelijken met de proefbalans. Rapporteer of er lege/ontbrekende ruimte is. STAP 2 - Snijtestregel: vermeld de records met factuurdatum <= 31.12 EN leveringsdatum >= 01.01 als "cutoff exception". STAP 3 - Schrijf de regel in platte tekst (welke voorwaarde heeft u toegepast) zodat deze kan worden gecontroleerd. Regels: ik heb de regel opgegeven, wijzig deze niet. Dien de records in die u markeert als "uitzonderingen voor beoordeling"; Zeg niet "fout/bevinding". Verzin niet wat je niet uit de gegevens kunt afleiden.
Dit verzoek is krachtig omdat het eerst de volledigheid bevestigt, de uitzonderingsregel duidelijk definieert, de leesbare tekst van de regel vereist (controleerbaarheid) en de uitvoer als de ‘uitzondering’ positioneert.
Veel voorkomende fouten
- Volledigheidscontrole overslaan. Het uitvoeren van "volledige" tests op onvolledige/corrupte gegevens en het geven van valse zekerheid.
- De uitzondering voor een bevinding aanzien. Fouten tellen zonder het door de AI gemarkeerde record te verifiëren; het vermijden van het elimineren van valse positieven.
- De regel niet controleren. Het genereren van honderden valse vlaggen zonder te controleren of de regel voldoet aan de gegevens en het bedrijfsproces.
- Vage regels schrijven. Krijg onherhaalbare resultaten met ongedefinieerde aanwijzingen zoals "vind problematische records".
- Tevreden zijn met één enkele start. Geen bevraging van de regel of gegevens als het aantal uitzonderingen heel anders is dan verwacht.
Tip: Wees ongerust als het aantal uitzonderingen te klein (bijna nul) of te groot is. Nul betekent meestal "verkeerd geschreven regel" of "ontbrekende gegevens"; Een extreem groot aantal geeft aan dat de regel te breed is. Een goede auditor vermoedt zowel ‘geen uitzonderingen’ als ‘alles is uitzonderingen’.
Samengevat
Het testen van volledige populaties is een enorme stap voorwaarts in auditing: het elimineert het steekproefrisico en screent 100% van de gegevens. Maar het is niet gratis. Het brengt twee nieuwe verantwoordelijkheden met zich mee: (1) het verifiëren van de volledigheid en nauwkeurigheid van gegevens, (2) het evalueren van individuele uitzonderingen die zich voordoen. AI bereidt de gegevens voor, past de regel toe, markeert de uitzondering en reduceert uren scannen tot seconden; Maar de nauwkeurigheid van de regel, de volledigheid van de gegevens en de evaluatie van uitzonderingen behoren toe aan de auditor. Uitzondering is geen uitkomst, het is een begin.
Applicatie taak
Overweeg een bestaande (of hypothetische) transactiegegevensset. Definieer eerst twee volledigheidscontroles (aantal records en bedragafstemming). Schrijf vervolgens een duidelijke uitzonderingsregel voor auditdoeleinden (bijvoorbeeld facturen die in het weekend worden uitgegeven of uitzonderingen schrappen). Met het krachtige promptpatroon hierboven laat u de AI eerst de volledigheid uitvoeren en daarna de regel. De eerste tien van de uitzonderingen die verschijnen, zijn 'echte bevindingen of valse positieven?' Oefen met het classificeren als volgt en schrijf op naar welk bewijsmateriaal je voor elk ervan gaat zoeken.
controlelijst
- [ ] Ik heb de gegevens geanonimiseerd en veilig gereden.
- [ ] Ik heb de volledigheid van de gegevens bevestigd door het aantal records en het aantal met elkaar in overeenstemming te brengen.
- [ ] Ik heb gescand op vrije/slechte ruimte.
- [ ] Ik heb de uitzonderingsregel op een duidelijke, herhaalbare manier gedefinieerd.
- [ ] Ik ontving de platte tekst van de regel van de AI en controleerde de naleving ervan met de gegevens en het bedrijfsproces.
- [ ] Ik twijfelde aan de redelijkheid van het aantal uitzonderingen (te weinig/niet te veel).
- [ ] Ik behandelde elke uitzondering als een vraag die onderzocht moest worden, en niet als een bevinding; Ik heb valse positieven geëlimineerd.