zisky:
- Porozumieť vzorkovaciemu riziku a logike testovania celej populácie (100% testovanie) a vedieť použiť umelú inteligenciu na prípravu údajov, písanie pravidiel a interpretáciu výsledkov.
- Schopnosť navrhnúť a implementovať testy zhody, úplnosti a presnosti vo veľkých súboroch údajov s podporou umelej inteligencie
- Schopnosť pochopiť, že zoznam výnimiek v teste úplného súboru nie je výsledkom, ale začiatkom, ktorý bude audítor skúmať, a že konečné hodnotenie patrí audítorovi.
Jedným z najzásadnejších obmedzení audítorskej profesie bolo, že audítor musel mnoho rokov pracovať so vzorkovaním. Nemôžete manuálne skontrolovať 180 000 faktúr, ktoré firma vystaví za rok; Vyberiete teda niekoľko stoviek záznamov pomocou štatistickej alebo úsudkovej metódy, otestujete ich a výsledok zovšeobecníte na celú populáciu. Odber vzoriek je výkonná a legitímna technika, ale nesie so sebou určité riziko: riziko výberu vzorky – vzorka, ktorú si vyberiete, nemusí byť reprezentatívna pre populáciu a skutočná chyba v nej nemusí spadať presne tam, kam hľadáte.
Analytika údajov a AI menia tento obraz: teraz môžete testovať celú populáciu, t. j. 100 %. Toto sa nazýva kompletné testovanie populácie. Túto jednotku venujeme pochopeniu prechodu od „vzorky k celku“, sile, ktorú prináša, a novým povinnostiam, ktoré mnohí ľudia prehliadajú. Pretože testovanie celej populácie neuľahčuje inšpekciu; Mení charakter testu a kladie na skúšajúceho novú záťaž.
Rozdiel medzi odberom vzoriek a testovaním celej populácie
Pri klasickom odbere vzoriek je logika: "Dovoľte mi dôkladne otestovať malú, ale reprezentatívnu skupinu a interpretovať výsledok ako celok." V teste plnej populácie je logika obrátená: "Dovoľte mi skenovať celok podľa určitých pravidiel, nájsť výnimky, ktoré sa vymykajú pravidlu a dôkladne ich preskúmať." V prvom prístupe je rizikom „výber nesprávnej vzorky“; V druhom je riziko „napísanie nesprávneho pravidla“ a „práca s neúplnými/chybnými údajmi“.
Nasledujúca tabuľka porovnáva tieto dva prístupy:
Veľkosť
odber vzoriek
Kompletné testovanie populácie (100 %)
Rozsah
časť populácie
celú populáciu
Hlavné riziko
Riziko odberu vzoriek (chyba v zastúpení)
Chyba pravidla + chyba integrity údajov
výstup
Obmedzený počet výsledkov testov
Zoznam výnimiek, ktoré nie sú v súlade s pravidlom
Záťaž audítora
výber + test
Návrh pravidiel + vyhodnotenie výnimiek
Úloha AI
Pomoc s výberom vzorky
Príprava dát, písanie pravidiel, označovanie výnimiek
Poznámka: testovanie celej populácie neznamená „všetko som otestoval, práca hotová“. Naopak, zvyčajne vám poskytne viac predmetov na preskúmanie. Keď všetkých 180 000 faktúr prevediete pravidlom schválenia dátumu a sumy, nájdete možno 900 výnimiek. Každá z nich je otázkou; nie odpoveď. Tu vstupuje do hry audítorské súdnictvo.
Úplnosť údajov: neviditeľný základ testovania
Najväčšou nástrahou celopopulačného testovania je, že kvalita testu závisí od kvality dát. „Otestoval som 100 % údajov“ má zmysel iba vtedy, ak údaje, ktoré máte, sú v skutočnosti 100 % populácie. Ak bol filter pri sťahovaní údajov zo systému nesprávny, niektoré záznamy boli vynechané alebo stĺpec sumy bol prenesený s desiatkovou chybou, váš "úplný" test bude skutočne vykonaný na neúplných alebo poškodených údajoch. Preto je potvrdenie úplnosti a presnosti údajov prvým a nevyhnutným krokom v testovaní celej populácie.
Praktické kontroly na overenie úplnosti:
- Zosúladenie počtu záznamov: Zhoduje sa počet riadkov v množine údajov, ktorú ste vybrali, celkovému počtu záznamov v systéme?
- Odsúhlasenie čiastky: Zhoduje sa celková čiastka v súbore údajov s príslušným súčtom účtov v skúšobnom zostatku/pobočke?
- Rozsah dátumov: sú prvé a posledné dni obdobia zahrnuté v údajoch; Chýba tam mesiac/deň?
- Skenovanie prázdneho a zlého priestoru: Sú v povinných poliach medzery alebo nezmyselné hodnoty (dátum, suma, kód účtu)?
Umelá inteligencia pomáha so všetkými týmito kontrolami: prehľadáva údaje, získava súčty, počíta prázdne miesta, hlási rozsah dátumov. Ale je to audítor, kto rozhodne, či dohoda „platí“, preskúma rozdiel a potvrdí, že údaje sú vhodné na účely auditu.
Upozornenie: Nepíšte do pracovného hárka „Otestoval som všetky údaje“ bez overenia úplnosti údajov. Úplný populačný test chýbajúcich údajov poskytuje zdanlivo úplné, ale zavádzajúce uistenie.
Kompletné testovanie populácie pomocou AI: krok za krokom
- Pripravte dáta bezpečne. Anonymizovať osobné/súkromné polia alebo ich nahradiť zástupnými symbolmi. Ak je to možné, použite firemné, zmluvné vozidlo.
- Potvrďte úplnosť. Zosúladiť počet záznamov a množstvo.
- Jasne definujte testovacie pravidlo. Čo sa považuje za „výnimku“? (Napríklad: neschválená faktúra, faktúra vystavená cez víkend, veľká okrúhla platba, príjem zaznamenaný po uzávierke.)
- Aplikujte pravidlo s AI. AI aplikuje pravidlo na údaje a vytvorí zoznam výnimiek; Napíšte pravidlo jasne, aby bolo možné ho skontrolovať.
- Stanovte priority a preskúmajte výnimky. Preskúmajte každú výnimku s dôkazmi; riešiť falošne pozitívne výsledky, odôvodniť skutočné zistenia.
- Výsledok zdokumentujte. Prepojte pravidlo, počet výnimiek, preskúmané položky a záver s pracovným listom.
tri mini prípady
Prípad 1 – Skúška rezom. Audítor chcel otestovať prerušenie príjmov na konci roka. Zobral 42 000 predajných faktúr ako plnú populáciu a nechal AI presadiť „zoznam záznamov s dátumami faktúr do 31. decembra, ale s dátumami odoslania/dodania 1. januára alebo neskôr“. YZ označil 118 záznamov. Audítor preskúmal tieto: 96 boli legitímne transakcie bez rozdielov v načasovaní (dodanie v ten istý deň), 22 boli skutočné príjmy za nasledujúci rok a boli zaznamenané v predchádzajúcom období. Týchto 22 položiek bolo hlásených, pretože vykazovali vzorec, aj keď pod významom. AI položila 118 otázok; Audítor našiel 22 odpovedí.
Prípad 2 – Ak sa vynechá úplnosť. Jeden člen tímu povedal, že vykonal úplné testovanie populácie na 180 000 faktúrach; Neexistovali žiadne výnimky a uľavilo sa mu. Zodpovedná osoba porovnala celkové množstvo súboru údajov so skúšobnou bilanciou: údaje 155 miliónov TL, skúšobná bilancia 210 miliónov TL. Ukázalo sa, že počas sťahovania údajov zo systému bola odfiltrovaná a vynechaná vetva. „Plný“ test v skutočnosti minul štvrtinu údajov. Test bol vykonaný so správnymi údajmi. Ponaučenie: neexistuje kompletné testovanie populácie bez potvrdenia úplnosti.
Prípad 3 – Chyba pravidiel. Audítor nechal AI napísať pravidlo „Vypísať neschválené platby nad 50 000 TL“, ale neuvedomil si, že pole „schválenie“ sa v systéme nachádza v dvoch rôznych stĺpcoch (elektronické schválenie a manuálne schválenie). AI označila 300 platieb ako „zamietnuté“, pretože sa zaoberala iba jednou; Po preskúmaní sa zistilo, že väčšina z nich bola schválená v druhom stĺpci. Nesprávne pravidlo prinieslo stovky falošne pozitívnych výsledkov. Audítor opravil pravidlo, aby zahŕňalo oba stĺpce. Ponaučenie: Audítor overí, či je pravidlo v súlade s údajmi a obchodným procesom.
Slabá výzva / Silná výzva
Slabá výzva:
Nájdite problematické záznamy v týchto fakturačných údajoch.
Problém: Žiadna definícia „problematického“. AI nevie, čo má považovať za výnimku; Pracuje buď podľa náhodných signálov, alebo podľa kritéria, ktoré si sám vymyslel. Nie je opakovateľný a auditovateľný.
Výkonná výzva:
Vaša úloha: ste asistent analýzy údajov nezávislého audítora. Súd je môj; Uplatníte pravidlo a vygenerujete zoznam výnimiek. Kontext: Nižšie sú uvedené anonymizované údaje z predajnej faktúry (stĺpce: číslo_faktúry, dátum_faktúry, dátum_dodania, suma, stav_schválenia, pobočka). Koniec roka: 31.12.1. KROK - Úplnosť: Uveďte celkový počet záznamov a celkovú sumu, aby som to mohol porovnať so skúšobnou bilanciou. Nahláste, ak je tam nejaké prázdne/chýbajúce miesto. 2. KROK - Pravidlo orezania: Vypíšte záznamy s dátumom_faktúry <= 31.12 A dátumom_dodania >= 01.01 ako "výnimkou uzávierky". 3. KROK - Napíšte pravidlo v čistom texte (akú podmienku ste použili), aby sa dalo skontrolovať.Pravidlá: Pravidlo som dal ja, nemeňte ho. Odošlite záznamy, ktoré označíte ako „výnimky na kontrolu“; Nehovorte „chyba/nález“. Nevymýšľajte si, čo z údajov neviete vydedukovať.
Táto požiadavka je účinná, pretože najprv potvrdzuje úplnosť, jasne definuje pravidlo výnimky, vyžaduje čistý text pravidla (kontrolovateľnosť) a umiestňuje výstup ako „výnimku“.
Časté chyby
- Preskočenie overenia úplnosti. Vykonávanie „úplného“ testovania neúplných/poškodených údajov a poskytovanie falošného uistenia.
- Zámena výnimky za nález. Počítanie chýb bez overenia záznamu označeného AI; vyhnúť sa eliminácii falošných poplachov.
- Nekontroluje pravidlo. Generovanie stoviek falošných príznakov bez kontroly, či je pravidlo v súlade s údajmi a obchodným procesom.
- Písanie nejasných pravidiel. Získanie neopakovateľných výsledkov s nedefinovanými výzvami ako „nájdite problematické záznamy“.
- Byť spokojný s jediným štartom. Nepýtať sa na pravidlo alebo údaje, ak sa počet výnimiek veľmi líši od očakávaného počtu.
Tip: Buďte znepokojení, ak je počet výnimiek príliš malý (blízko nule) alebo príliš vysoký. Nula zvyčajne znamená „pravidlo napísané nesprávne“ alebo „chýbajúce údaje“; Extrémne veľký počet naznačuje, že pravidlo je príliš široké. Dobrý audítor má podozrenie, že „žiadne výnimky“ aj „všetko sú výnimky“.
V súhrne
Úplné testovanie populácie je obrovský skok vpred v audite: eliminuje riziko odberu vzoriek, skríning 100 % údajov. Ale nie je to zadarmo. Prináša dve nové povinnosti: (1) overovanie úplnosti a správnosti údajov, (2) vyhodnocovanie jednotlivých vzniknutých výnimiek. AI pripraví údaje, aplikuje pravidlo, označí výnimku a skráti hodiny skenovania na sekundy; Ale správnosť pravidla, úplnosť údajov a vyhodnotenie výnimiek patrí audítorovi. Výnimka nie je výsledok, je to začiatok.
Aplikačná úloha
Zvážte existujúci (alebo hypotetický) súbor údajov o transakciách. Najprv definujte dve kontroly úplnosti (počet záznamov a odsúhlasenie sumy). Potom napíšte jasné pravidlo výnimky na účely auditu (napr. faktúry vystavené cez víkend alebo skrátenie výnimiek). S výkonným vzorom výzvy vyššie nechajte AI najskôr vykonať úplnosť a potom pravidlo. Prvých 10 výnimiek, ktoré sa objavujú, sú „skutočné nálezy alebo falošne pozitívne výsledky?“ Precvičte si triedenie nasledovne a zapíšte si, aké dôkazy budete pre každý hľadať.
kontrolný zoznam
- [ ] Anonymizoval som údaje a jazdil som bezpečne.
- [ ] Úplnosť údajov som potvrdil odsúhlasením počtu záznamov a sumy.
- [ ] Hľadal som voľné/zlé miesto.
- [ ] Pravidlo výnimky som definoval jasným a opakovateľným spôsobom.
- [ ] Od AI som dostal čistý text pravidla a overil som jeho súlad s údajmi a obchodným procesom.
- [ ] Spochybnil som opodstatnenosť počtu výnimiek (príliš málo / nie príliš veľa).
- [ ] Každú výnimku som považoval za otázku na preskúmanie, nie za zistenie; Vylúčil som falošné poplachy.