Dobici:
- Razumjeti rizik uzorkovanja i logiku testiranja pune populacije (100% testiranje) i moći koristiti umjetnu inteligenciju za pripremu podataka, pisanje pravila i tumačenje rezultata.
- Sposobnost dizajniranja i implementacije testova podudaranja, potpunosti i točnosti u velikim skupovima podataka uz podršku umjetne inteligencije
- Sposobnost razumijevanja da popis izuzetaka u testu pune populacije nije rezultat, već početak koji će revizor ispitati, te da konačna ocjena pripada revizoru.
Jedno od najtemeljnijih ograničenja revizorske profesije bilo je to što je revizor morao godinama raditi s uzorkovanjem. Ne možete ručno pregledati 180.000 faktura koje tvrtka izda godišnje; Dakle, odabirete nekoliko stotina zapisa korištenjem statističke metode ili metode prosudbe, testirate ih i generalizirate rezultat na cijelu populaciju. Uzorkovanje je moćna i legitimna tehnika, ali nosi inherentni rizik: rizik uzorkovanja — uzorak koji odaberete možda nije reprezentativan za populaciju, a prava pogreška u njemu možda neće pasti točno tamo gdje tražite.
Analitika podataka i AI mijenjaju ovu sliku: sada možete testirati cijelu populaciju, tj. 100%. To se zove potpuno testiranje populacije. Ovu jedinicu posvećujemo razumijevanju prijelaza s "uzorka na cjelinu", moći koju donosi i novim odgovornostima koje mnogi ljudi zanemaruju. Budući da potpuno testiranje populacije ne olakšava inspekciju; Mijenja prirodu testa i stavlja nova opterećenja na ispitivača.
Razlika između uzorkovanja i testiranja pune populacije
U klasičnom uzorkovanju logika je: "Dopustite mi da temeljito testiram malu, ali reprezentativnu skupinu, i interpretiram rezultat kao cjelinu." U testu pune populacije logika je obrnuta: "Dopustite mi da pregledam cjelinu prema određenim pravilima, pronađem iznimke koje su izvan pravila i temeljito ih ispitam." U prvom pristupu, rizik je "odabir pogrešnog uzorka"; U drugom, rizik je "pisanje krivog pravila" i "rad s nepotpunim/pogrešnim podacima".
Sljedeća tablica uspoređuje dva pristupa:
Veličina
uzorkovanje
Puno testiranje populacije (100%)
Opseg
dio stanovništva
cjelokupno stanovništvo
Glavni rizik
Rizik uzorkovanja (pogreška u predstavljanju)
Pogreška pravila + pogreška integriteta podataka
izlaz
Ograničen broj rezultata ispitivanja
Popis izuzetaka koji nisu u skladu s pravilom
Opterećenje revizora
izbor + test
Dizajn pravila + procjena izuzetaka
Uloga umjetne inteligencije
Pomoć pri odabiru uzorka
Priprema podataka, pisanje pravila, označavanje izuzetaka
Napomena: potpuno testiranje populacije ne znači "Sve sam testirao, posao obavljen". Naprotiv, obično vam daje više predmeta za ispitivanje. Kada svih 180.000 faktura provedete kroz pravilo za odobrenje datuma i iznosa, pronaći ćete možda 900 iznimaka. Svaki od njih je pitanje; nije odgovor. Tu na scenu stupa revizijsko pravosuđe.
Potpunost podataka: nevidljiva osnova testiranja
Najveća zamka testiranja cijele populacije je da kvaliteta testa ovisi o kvaliteti podataka. "Testirao sam 100% podataka" ima smisla samo ako su podaci koje imate zapravo 100% populacije. Ako filtar nije bio točan prilikom povlačenja podataka iz sustava, neki su zapisi izostavljeni ili je stupac iznosa prenesen s decimalnom pogreškom, vaš "puni" test zapravo će se izvesti na nepotpunim ili oštećenim podacima. Stoga je potvrda potpunosti i točnosti podataka prvi i neizostavan korak u potpunom populacijskom testiranju.
Praktične provjere za provjeru cjelovitosti:
- Usklađivanje broja zapisa: Odgovara li broj redaka u skupu podataka koji ste izvukli ukupnom broju zapisa u sustavu?
- Usklađivanje iznosa: Usklađuje li se ukupni iznos u skupu podataka s relevantnim ukupnim iznosom računa u probnoj bilanci/podružnici?
- Raspon datuma: jesu li prvi i posljednji dani razdoblja uključeni u podatke; Nedostaje li mjesec/dan?
- Skeniranje praznog i lošeg prostora: Ima li razmaka ili besmislenih vrijednosti u obaveznim poljima (datum, iznos, šifra računa)?
AI pomaže u svim tim provjerama: indeksira podatke, dobiva ukupne iznose, broji prazne prostore, izvješćuje o rasponu datuma. Ali revizor je taj koji odlučuje "drži li dogovor", istražuje razliku i potvrđuje da su podaci prikladni za svrhu revizije.
Oprez: Nemojte pisati "Testirao sam sve podatke" na radnom listu bez provjere potpunosti podataka. Potpuni populacijski test podataka koji nedostaju daje naizgled potpunu, ali pogrešnu sigurnost.
Potpuno testiranje populacije s AI: korak po korak
- Sigurno pripremite podatke. Anonimizirajte osobna/privatna polja ili ih zamijenite rezerviranim mjestima. Ako je moguće, koristite korporativno, ugovoreno vozilo.
- Potvrdite potpunost. Uskladite broj zapisa i iznos.
- Jasno definirajte pravilo testa. Što se računa kao "iznimka"? (Na primjer: neodobrena faktura, faktura izdana vikendom, veliko okruglo plaćanje, prihod evidentiran nakon datuma presjeka.)
- Primijenite pravilo s AI. AI primjenjuje pravilo na podatke i proizvodi popis iznimaka; Jasno napišite pravilo kako bi se moglo provjeriti.
- Odredite prioritete i pregledajte iznimke. Istražite svaki izuzetak s dokazima; riješiti lažno pozitivne rezultate, opravdati stvarne nalaze.
- Dokumentirajte rezultat. Povežite pravilo, broj iznimaka, ispitane stavke i zaključak s radnim listom.
tri mini kućišta
Slučaj 1 — Ispitivanje rezanjem. Revizor je htio testirati ograničenje prihoda na kraju godine. Uzeo je 42.000 prodajnih faktura kao punu populaciju i dao je AI-ju da provede "zapise popisa s datumima faktura do 31. prosinca, ali datume otpreme/isporuke na ili nakon 1. siječnja". YZ je obilježio 118 zapisa. Revizor ih je ispitao: 96 bile su legitimne transakcije bez vremenskih razlika (isporuka isti dan), 22 su bile stvarni prihod za sljedeću godinu i zabilježene su u prethodnom razdoblju. Te su 22 stavke prijavljene jer su pokazale uzorak, iako ispod značajnosti. AI je postavio 118 pitanja; Revizor je pronašao 22 odgovora.
Slučaj 2 — Kada je potpunost izostavljena. Jedan član tima rekao je da je izvršio potpuno testiranje populacije na 180.000 faktura; Nije bilo iznimaka i laknulo mu je. Odgovorna osoba usporedila je ukupan iznos skupa podataka s probnom bilancom: podaci 155 milijuna TL, probna bilanca 210 milijuna TL. Ispostavilo se da je grana filtrirana i izostavljena dok su podaci izvlačeni iz sustava. "Puni" test zapravo je propustio četvrtinu podataka. Test je prošao s točnim podacima. Pouka: nema potpunog testiranja populacije bez potvrde potpunosti.
Slučaj 3 — Pogreška pravila. Revizor je tražio od umjetne inteligencije da napiše pravilo "Popis neodobrenih plaćanja iznad 50.000 TL", ali nije shvatio da se polje "odobrenje" čuva u dva različita stupca u sustavu (elektroničko odobrenje i ručno odobrenje). AI je označio 300 uplata kao "neodobreno" jer je pogledao samo jednu; Pregledom se vidjelo da je većina odobrena u drugoj koloni. Pogrešno pravilo proizvelo je stotine lažno pozitivnih rezultata. Revizor je ispravio pravilo kako bi uključio oba stupca. Lekcija: revizor provjerava je li pravilo u skladu s podacima i poslovnim procesom.
Slab upit / Jak upit
Slab upit:
Pronađite problematične zapise u ovim podacima fakture.
Problem: Nema definicije "problematičnog". AI ne zna što bi smatrala iznimkom; On radi ili prema nasumičnim signalima ili prema kriteriju koji je sam izmislio. Nije ponovljiv i revizijski.
Snažan upit:
Vaša uloga: Vi ste pomoćnik neovisnog revizora za analitiku podataka. Presuda je moja; Primijenit ćete pravilo i generirati popis iznimaka. Kontekst: Ispod su anonimizirani podaci prodajne fakture (stupci: invoice_no, invoice_date, delivery_date, iznos, approval_status, podružnica). Kraj godine: 31.12. KORAK 1 - Potpunost: Navedite ukupan broj zapisa i ukupni iznos kako bih ga mogao usporediti s probnim stanjem. Prijavite ako ima praznog/nedostajućeg prostora. KORAK 2 - Pravilo testa rezanja: Navedite zapise s invoice_date <= 31.12 I delivery_date >= 01.01 kao "cutoff izuzetak". KORAK 3 - Napišite pravilo u običnom tekstu (koji ste uvjet primijenili) tako da se može revidirati. Pravila: Dao sam pravilo, nemojte ga mijenjati. Pošaljite zapise koje označite kao "iznimke za pregled"; Nemojte reći "greška/nalaz". Nemojte izmišljati ono što ne možete zaključiti iz podataka.
Ovaj zahtjev je moćan jer najprije potvrđuje cjelovitost, jasno definira pravilo iznimke, zahtijeva otvoreni tekst pravila (mogućnost provjere) i pozicionira izlaz kao "iznimku".
Uobičajene greške
- Preskakanje provjere potpunosti. Izvođenje "potpunog" testiranja na nepotpunim/oštećenim podacima i davanje lažnih uvjerenja.
- Zamjena iznimke za nalaz. Pogreške u brojanju bez provjere zapisa koje je označio AI; izbjegavanje eliminiranja lažno pozitivnih rezultata.
- Ne provjerava pravilo. Generiranje stotina lažnih oznaka bez provjere je li pravilo u skladu s podacima i poslovnim procesom.
- Pisanje nejasnih pravila. Dobivanje neponovljivih rezultata s nedefiniranim upitima poput "pronađi problematične zapise".
- Biti zadovoljan jednim startom. Ne postavlja se upit pravilu ili podacima ako se broj iznimaka jako razlikuje od očekivanog.
Savjet: Budite zabrinuti ako je broj izuzetaka premalen (blizu nule) ili prevelik. Nula obično znači "neispravno napisano pravilo" ili "nedostaju podaci"; Iznimno velik broj ukazuje na to da je pravilo preširoko. Dobar revizor sumnja i na "nema iznimaka" i na "sve su iznimke".
Ukratko
Puno testiranje populacije veliki je korak naprijed u reviziji: eliminira rizik uzorkovanja, provjeravajući 100% podataka. Ali nije besplatno. Donosi dvije nove odgovornosti: (1) provjeru potpunosti i točnosti podataka, (2) procjenu pojedinačnih iznimaka koje se pojave. AI priprema podatke, primjenjuje pravilo, označava iznimku i smanjuje sate skeniranja na sekunde; Ali točnost pravila, cjelovitost podataka i procjena iznimaka pripadaju revizoru. Iznimka nije ishod, to je početak.
Zadatak aplikacije
Razmotrite postojeći (ili hipotetski) skup podataka o transakciji. Prvo definirajte dvije provjere potpunosti (broj zapisa i usklađivanje iznosa). Zatim napišite jasno pravilo iznimke u svrhu revizije (npr. fakture izdane vikendom ili smanjenje iznimki). Pomoću gornjeg snažnog obrasca upita neka AI prvo izvrši potpunost, a zatim pravilo. Prvih 10 iznimaka koje se pojavljuju su "pravi nalazi ili lažno pozitivni?" Vježbajte klasificiranje na sljedeći način i zapišite koje ćete dokaze tražiti za svaki.
popis za provjeru
- [ ] Anonimizirao sam podatke i vozio sigurno.
- [ ] Potpunost podataka potvrdio sam usklađivanjem broja zapisa i iznosa.
- [ ] Skenirao sam slobodan/loš prostor.
- [ ] Definirao sam pravilo iznimke na jasan, ponovljiv način.
- [ ] Dobio sam čisti tekst pravila od AI i provjerio njegovu usklađenost s podacima i poslovnim procesom.
- [ ] Doveo sam u pitanje razumnost broja iznimaka (premalo / ne previše).
- [ ] Svaku sam iznimku tretirao kao pitanje koje treba ispitati, a ne kao nalaz; Eliminirao sam lažne rezultate.