zisky:
- Porozumět vzorkovacímu riziku a logice testování plné populace (100% testování) a umět používat umělou inteligenci pro přípravu dat, psaní pravidel a interpretaci výsledků.
- Schopnost navrhnout a implementovat testy shody, úplnosti a přesnosti ve velkých souborech dat s podporou umělé inteligence
- Schopnost pochopit, že seznam výjimek v úplném základním testu není výsledkem, ale začátkem, který bude auditor zkoumat, a že konečné hodnocení náleží auditorovi.
Jedním z nejzásadnějších omezení auditorské profese bylo, že auditor musel mnoho let pracovat se vzorkováním. Nemůžete ručně zkontrolovat 180 000 faktur, které firma vystaví za rok; Vyberete tedy několik stovek záznamů pomocí statistické nebo úsudkové metody, otestujete je a výsledek zobecníte na celou populaci. Vzorkování je výkonná a legitimní technika, ale nese v sobě určité riziko: riziko výběru – vzorek, který zvolíte, nemusí být reprezentativní pro populaci a skutečná chyba v něm nemusí spadat přesně tam, kam hledáte.
Analytika dat a umělá inteligence mění tento obrázek: nyní můžete testovat celou populaci, tedy 100 %. Toto se nazývá kompletní populační testování. Věnujeme tuto jednotku porozumění přechodu od „vzorku k celku“, síle, kterou přináší, a novým povinnostem, které mnoho lidí přehlíží. Protože testování plné populace neusnadňuje kontrolu; Mění povahu testu a klade na zkoušejícího novou zátěž.
Rozdíl mezi odběrem vzorků a testováním celé populace
V klasickém vzorkování je logika: "Nechte mě důkladně otestovat malou, ale reprezentativní skupinu a interpretovat výsledek jako celek." V testu plné populace je logika obrácená: "Nechte mě naskenovat celek podle určitých pravidel, najít výjimky, které se vymykají pravidlu, a důkladně je prozkoumat." V prvním přístupu je riziko „výběr špatného vzorku“; Ve druhém je riziko „napsání špatného pravidla“ a „práce s neúplnými/chybnými daty“.
Následující tabulka porovnává dva přístupy:
Velikost
odběr vzorků
Kompletní testování populace (100 %)
Rozsah
část populace
celé populace
Hlavní riziko
Riziko odběru vzorků (chyba v reprezentaci)
Chyba pravidla + chyba integrity dat
výstup
Omezený počet výsledků testů
Seznam výjimek, které neodpovídají pravidlu
Zátěž auditora
výběr + test
Návrh pravidel + vyhodnocení výjimek
Role AI
Pomoc s výběrem vzorku
Příprava dat, zápis pravidel, označování výjimek
Poznámka: testování plné populace neznamená „testoval jsem všechno, práce hotová“. Naopak, obvykle vám dá více předmětů ke zkoumání. Když všech 180 000 faktur prověříte pravidlem schvalování datumu a částky, najdete možná 900 výjimek. Každá z nich je otázkou; není odpověď. Zde vstupuje do hry auditní soudnictví.
Úplnost dat: neviditelný základ testování
Největším úskalím celopopulačního testování je, že kvalita testu závisí na kvalitě dat. „Testoval jsem 100 % dat“ má smysl pouze v případě, že data, která máte, jsou ve skutečnosti 100 % populace. Pokud byl filtr při stahování dat ze systému nesprávný, některé záznamy byly vynechány nebo sloupec částky byl přenesen s desetinnou chybou, váš "úplný" test bude skutečně proveden na neúplných nebo poškozených datech. Proto je potvrzení úplnosti a přesnosti dat prvním a nezbytným krokem v testování celé populace.
Praktické kontroly pro ověření úplnosti:
- Odsouhlasení počtu záznamů: Odpovídá počet řádků v datové sadě, kterou jste stáhli, celkovému počtu záznamů v systému?
- Odsouhlasení částky: Odpovídá celková částka v datové sadě s příslušným součtem účtu ve zkušebním zůstatku/pobočce?
- Rozsah dat: Jsou první a poslední dny období zahrnuté v datech; Chybí tam měsíc/den?
- Skenování prázdného a špatného místa: Jsou v povinných polích mezery nebo nesmyslné hodnoty (datum, částka, kód účtu)?
Umělá inteligence pomáhá se všemi těmito kontrolami: prochází data, získává součty, počítá prázdná místa, hlásí rozsah dat. Ale je to auditor, kdo rozhodne, zda dohoda „drží“, prošetří rozdíl a potvrdí, že data jsou vhodná pro účely auditu.
Pozor: Nepište do listu "Testoval jsem všechna data" bez ověření úplnosti dat. Úplný populační test chybějících údajů poskytuje zdánlivě úplnou, ale zavádějící jistotu.
Kompletní testování populace s AI: krok za krokem
- Připravte data bezpečně. Anonymizujte osobní/soukromá pole nebo je nahraďte zástupnými symboly. Pokud je to možné, použijte firemní, smluvní vozidlo.
- Potvrďte úplnost. Srovnejte počet záznamů a množství.
- Jasně definujte testovací pravidlo. Co se počítá jako „výjimka“? (Například: neschválená faktura, faktura vystavená o víkendu, velká kulatá platba, příjem zaznamenaný po datu uzávěrky.)
- Aplikujte pravidlo s AI. AI aplikuje pravidlo na data a vytvoří seznam výjimek; Napište pravidlo jasně, aby bylo možné jej zkontrolovat.
- Stanovte priority a kontrolujte výjimky. Prozkoumejte každou výjimku s důkazy; řešit falešná pozitiva, zdůvodňovat skutečná zjištění.
- Výsledek zdokumentujte. Propojte pravidlo, počet výjimek, zkoumané položky a závěr s pracovním listem.
tři mini pouzdra
Případ 1 – Řezný test. Auditor chtěl otestovat přerušení příjmů na konci roku. Vzal 42 000 prodejních faktur jako plnou populaci a nechal AI prosadit „seznam záznamů s daty faktur do 31. prosince, ale s daty odeslání/dodání 1. ledna nebo později“. YZ označil 118 záznamů. Auditor tyto prověřoval: 96 byly legitimní transakce bez rozdílů v načasování (dodání ve stejný den), 22 byly skutečně výnosy za následující rok a byly zaúčtovány v předchozím období. Těchto 22 položek bylo hlášeno, protože vykazovaly vzorec, i když pod významem. AI položila 118 otázek; Auditor našel 22 odpovědí.
Případ 2 – Když je vynechána úplnost. Jeden člen týmu uvedl, že provedl úplné testování populace na 180 000 fakturách; Nebyly žádné výjimky a ulevilo se mu. Odpovědná osoba porovnala celkové množství datového souboru se zkušebním zůstatkem: údaje 155 milionů TL, zkušební zůstatek 210 milionů TL. Ukázalo se, že při stahování dat ze systému byla větev odfiltrována a vynechána. "Plný" test ve skutečnosti minul čtvrtinu dat. Test byl proveden se správnými údaji. Poučení: Bez potvrzení úplnosti neexistuje kompletní testování populace.
Případ 3 – Chyba v pravidlech. Auditor nechal AI napsat pravidlo „Vypsat neschválené platby nad 50 000 TL“, ale neuvědomil si, že pole „schválení“ bylo v systému vedeno ve dvou různých sloupcích (elektronické schválení a ruční schválení). AI označila 300 plateb jako „neschválené“, protože se zabývala pouze jednou; Po prozkoumání bylo vidět, že většina z nich byla schválena ve druhém sloupci. Nesprávné pravidlo způsobilo stovky falešně pozitivních výsledků. Auditor opravil pravidlo tak, aby zahrnovalo oba sloupce. Poučení: Auditor ověřuje, zda je pravidlo v souladu s daty a obchodním procesem.
Slabá výzva / Silná výzva
Slabá výzva:
Najděte problematické záznamy v těchto fakturačních údajích.
Problém: Žádná definice „problematického“. AI neví, co považovat za výjimku; Pracuje buď podle náhodných signálů, nebo podle kritéria, které si vymyslel. Není opakovatelný a auditovatelný.
Výkonná výzva:
Vaše role: jste asistentem analýzy dat nezávislého auditora. Soud je můj; Uplatníte pravidlo a vygenerujete seznam výjimek. Kontext: Níže jsou anonymizovaná data prodejní faktury (sloupce: číslo_faktury, datum_faktury, datum_dodání, částka, stav_schválení, pobočka). Konec roku: 31.12.KROK 1 - Úplnost: Uveďte celkový počet záznamů a celkovou částku, abych to mohl porovnat se zkušebním zůstatkem. Nahlaste, zda je nějaké prázdné/chybějící místo. KROK 2 - Pravidlo ořezového testu: Vypište záznamy s datem_faktury <= 31.12 A datem_dodávky >= 01.01 jako "výjimkou cutoff". KROK 3 - Napište pravidlo v prostém textu (jakou podmínku jste použili), aby bylo možné jej zkontrolovat. Pravidla: Pravidlo jsem dal, neměňte ho. Odešlete záznamy, které označíte jako „výjimky ke kontrole“; Neříkejte „chyba/nález“. Nevymýšlej si to, co nelze z dat odvodit.
Tento požadavek je účinný, protože nejprve potvrzuje úplnost, jasně definuje pravidlo výjimky, vyžaduje prostý text pravidla (kontrolovatelnost) a umísťuje výstup jako „výjimku“.
Časté chyby
- Přeskočení ověření úplnosti. Provádění "úplného" testování na neúplných/poškozených datech a poskytování falešného ujištění.
- Záměna výjimky za nález. Počítání chyb bez ověření záznamu označeného AI; vyhnout se eliminaci falešných poplachů.
- Nekontrolovat pravidlo. Generování stovek falešných příznaků bez kontroly, zda pravidlo vyhovuje datům a obchodnímu procesu.
- Psaní vágních pravidel. Získávání neopakovatelných výsledků s nedefinovanými výzvami jako „najít problematické záznamy“.
- Být spokojený s jediným startem. Nebude se dotazovat na pravidlo nebo data, pokud se počet výjimek velmi liší od očekávaného počtu.
Tip: Buďte znepokojeni, pokud je počet výjimek příliš malý (blízko nuly) nebo příliš velký. Nula obvykle znamená „pravidlo napsané nesprávně“ nebo „chybějící data“; Extrémně velké číslo znamená, že pravidlo je příliš široké. Dobrý auditor má podezření, že „žádné výjimky“ a „všechno jsou výjimky“.
V souhrnu
Testování celé populace je obrovským skokem v auditování: eliminuje riziko odběru vzorků a prověřuje 100 % dat. Ale není to zadarmo. Přináší dvě nové odpovědnosti: (1) ověřování úplnosti a správnosti dat, (2) vyhodnocování jednotlivých vzniklých výjimek. AI připraví data, aplikuje pravidlo, označí výjimku a zkrátí hodiny skenování na sekundy; Ale správnost pravidla, úplnost údajů a vyhodnocení výjimek patří auditorovi. Výjimka není výsledek, je to začátek.
Aplikační úkol
Zvažte existující (nebo hypotetickou) transakční datovou sadu. Nejprve definujte dvě kontroly úplnosti (počet záznamů a odsouhlasení částek). Poté napište jasné pravidlo výjimky pro účely auditu (např. faktury vystavené o víkendu nebo zkrácení výjimek). S výkonným vzorem výzvy výše nechte AI nejprve provést úplnost a poté pravidlo. Prvních 10 z výjimek, které se objevují, jsou "skutečné nálezy nebo falešně pozitivní?" Procvičte si klasifikaci následovně a zapište si, jaké důkazy budete pro každý hledat.
kontrolní seznam
- [ ] Anonymizoval jsem data a jel bezpečně.
- [ ] Úplnost údajů jsem potvrdil odsouhlasením počtu záznamů a částky.
- [ ] Hledal jsem volné/špatné místo.
- [ ] Pravidlo výjimky jsem definoval jasným, opakovatelným způsobem.
- [ ] Obdržel jsem prostý text pravidla od AI a ověřil jsem jeho soulad s daty a obchodním procesem.
- [ ] Zpochybnil jsem přiměřenost počtu výjimek (příliš málo / málo).
- [ ] Ke každé výjimce jsem přistupoval jako k otázce ke zkoumání, nikoli k zjištění; Vyloučil jsem falešné poplachy.