Testiranje celotne populacije z analizo podatkov: od vzorca do celote

Dobički:

• Razumeti tveganje vzorčenja in logiko testiranja celotne populacije (100-odstotno testiranje) ter biti sposoben uporabljati umetno inteligenco za pripravo podatkov, pisanje pravil in interpretacijo rezultatov.
• Sposobnost oblikovanja in izvajanja testov ujemanja, popolnosti in točnosti v velikih nizih podatkov s podporo umetne inteligence
• Sposobnost razumevanja, da seznam izjem v testu celotne populacije ni rezultat, ampak začetek, ki ga bo preučil revizor, in da končna ocena pripada revizorju.

Ena najbolj temeljnih omejitev revizijskega poklica je bila, da je moral revizor več let delati z vzorčenjem. Ne morete ročno pregledati 180.000 računov, ki jih podjetje izda v enem letu; Torej izberete nekaj sto zapisov z uporabo statistične ali metode presoje, jih preizkusite in rezultat posplošite na celotno populacijo. Vzorčenje je zmogljiva in legitimna tehnika, vendar nosi neločljivo tveganje: tveganje vzorčenja – vzorec, ki ga izberete, morda ni reprezentativen za populacijo in resnična napaka v njem morda ne pade točno tam, kjer iščete.

Analitika podatkov in umetna inteligenca spremenita to sliko: zdaj lahko testirate celotno populacijo, tj. 100 %. To se imenuje popolno populacijsko testiranje. To enoto posvečamo razumevanju prehoda od »vzorca do celote«, moči, ki jo prinaša, in novih odgovornosti, ki jih mnogi ljudje spregledajo. Ker popolno testiranje populacije ne olajša inšpekcije; Spreminja naravo izpita in postavlja nove obremenitve na izpraševalca.

Razlika med vzorčenjem in testiranjem celotne populacije

Pri klasičnem vzorčenju je logika: "Naj temeljito testiram majhno, a reprezentativno skupino, in interpretiram rezultat kot celoto." Pri celotnem populacijskem testu je logika obratna: "Naj pregledam celoto po določenih pravilih, najdem izjeme, ki so zunaj pravila, in jih temeljito pregledam." Pri prvem pristopu je tveganje »izbira napačnega vzorca«; V drugem pa je tveganje "pisanje napačnega pravila" in "delo z nepopolnimi/napačnimi podatki".

Naslednja tabela primerja oba pristopa:

Velikost

vzorčenje

Popolno populacijsko testiranje (100 %)

Področje uporabe

del prebivalstva

celotno prebivalstvo

Glavno tveganje

Tveganje vzorčenja (napaka pri predstavitvi)

Napaka pravila + napaka celovitosti podatkov

izhod

Omejeno število rezultatov testov

Seznam izjem, ki niso v skladu s pravilom

Revizorjevo breme

izbira + test

Oblikovanje pravil + vrednotenje izjem

Vloga AI

Pomoč pri izbiri vzorcev

Priprava podatkov, pisanje pravil, označevanje izjem

Opomba: popolno populacijsko testiranje ne pomeni "vse sem testiral, delo opravljeno". Nasprotno, običajno vam ponudi več predmetov za pregled. Ko zaženete vseh 180.000 računov skozi pravilo za odobritev datuma in zneska, boste našli morda 900 izjem. Vsako od teh je vprašanje; ne odgovor. Tu nastopi revizijsko sodstvo.

Popolnost podatkov: nevidna osnova testiranja

Največja past testiranja celotne populacije je, da je kakovost testa odvisna od kakovosti podatkov. "Preizkusil sem 100 % podatkov" je smiselno le, če podatki, ki jih imate, dejansko zajemajo 100 % populacije. Če je bil filter pri črpanju podatkov iz sistema napačen, so bili nekateri zapisi izpuščeni ali je bil stolpec zneska prenesen z decimalno napako, bo vaš "polni" test dejansko izveden na nepopolnih ali poškodovanih podatkih. Zato je potrditev popolnosti in točnosti podatkov prvi in ​​nepogrešljiv korak pri testiranju celotne populacije.

Praktični pregledi za preverjanje popolnosti:

• Usklajevanje števila zapisov: ali se število vrstic v naboru podatkov, ki ste ga pridobili, ujema s skupnim številom zapisov v sistemu?
• Uskladitev zneska: Ali je skupni znesek v naboru podatkov usklajen z ustreznim zneskom računa v poskusnem stanju/hčerinski družbi?
• Datumsko obdobje: Ali sta prvi in ​​zadnji dan obdobja vključena v podatke; Ali manjka mesec/dan?
• Skeniranje praznega in slabega prostora: Ali so v zahtevanih poljih presledki ali nesmiselne vrednosti (datum, znesek, šifra računa)?

Umetna inteligenca pomaga pri vseh teh preverjanjih: preišče podatke, pridobi skupne vrednosti, prešteje prazne prostore, poroča o časovnem obdobju. Revizor pa je tisti, ki presodi, ali dogovor »drži«, razišče razliko in potrdi, da so podatki primerni za namen revizije.

Pozor: na delovni list ne napišite "Preizkusil sem vse podatke", ne da bi preverili popolnost podatkov. Popoln populacijski test na manjkajočih podatkih daje na videz popolno, a zavajajoče zagotovilo.

Popolno testiranje populacije z AI: korak za korakom

1. Varno pripravite podatke. Anonimizirajte osebna/zasebna polja ali jih zamenjajte z ogradami. Če je mogoče, uporabite službeno, pogodbeno vozilo.
2. Potrdite popolnost. Uskladite število zapisov in znesek.
3. Jasno določite testno pravilo. Kaj šteje za "izjemo"? (Na primer: neodobren račun, račun izdan ob koncu tedna, veliko okroglo plačilo, dohodek zabeležen po presečnem datumu.)
4. Uporabite pravilo z AI. AI uporabi pravilo za podatke in ustvari seznam izjem; Jasno zapišite pravilo, da ga bo mogoče pregledati.
5. Določite prednost in preglejte izjeme. Raziščite vsako izjemo z dokazi; obravnavanje lažnih pozitivnih rezultatov, utemeljitev dejanskih ugotovitev.
6. Dokumentirajte rezultat. Povežite pravilo, število izjem, pregledane postavke in zaključek z delovnim listom.

trije mini kovčki

Primer 1 – Preskus rezanja. Revizor je želel preizkusiti omejitev prihodkov ob koncu leta. Kot celotno populacijo je vzel 42.000 prodajnih računov in dal AI uveljaviti "seznam zapisov z datumi računov do 31. decembra, vendar datumi pošiljanja/dostave 1. januarja ali pozneje". YZ je označil 118 zapisov. Revizor jih je pregledal: 96 je bilo zakonitih transakcij brez časovnih razlik (dostava isti dan), 22 je bilo dejanskih prihodkov za naslednje leto in so bili evidentirani v preteklem obdobju. Teh 22 elementov je bilo prijavljenih, ker so pokazali vzorec, čeprav pod pomenom. Umetna inteligenca je postavila 118 vprašanj; Revizor je našel 22 odgovorov.

Primer 2 – Ko je popolnost izpuščena. En član ekipe je povedal, da je opravil celotno populacijsko testiranje na 180.000 računih; Ni bilo izjem in odleglo mu je. Odgovorna oseba je primerjala skupni znesek nabora podatkov s poskusno bilanco: podatki 155 milijonov TL, poskusna bilanca 210 milijonov TL. Izkazalo se je, da je bila veja med črpanjem podatkov iz sistema filtrirana in izpuščena. "Popolni" test je dejansko zamudil četrtino podatkov. Test je bil opravljen s pravilnimi podatki. Nauk: ni popolnega testiranja populacije brez potrditve popolnosti.

Primer 3 – Napaka pravil. Revizor je zahteval, da AI napiše pravilo »Seznam neodobrenih plačil nad 50.000 TL«, vendar ni ugotovil, da je polje »odobritev« shranjeno v dveh različnih stolpcih v sistemu (elektronska odobritev in ročna odobritev). Umetna inteligenca je 300 plačil označila kot "neodobrenih", ker je pregledala samo eno; Ob pregledu je bilo razvidno, da jih je večina odobrenih v drugem stolpcu. Napačno pravilo je povzročilo na stotine lažnih pozitivnih rezultatov. Revizor je pravilo popravil tako, da je vključil oba stolpca. Lekcija: revizor preveri, ali je pravilo v skladu s podatki in poslovnim procesom.

Šibek poziv/močan poziv

Šibek poziv:

Poiščite problematične zapise v teh podatkih računa.

Težava: Ni definicije "problematičnega". AI ne ve, kaj naj šteje za izjemo; Deluje bodisi glede na naključne signale bodisi glede na kriterij, ki si ga je izmislil. Ni ponovljiv in revizijski.

Močan poziv:

Vaša vloga: ste pomočnik pri analitiki podatkov neodvisnemu revizorju. Sodba je moja; Uporabili boste pravilo in ustvarili seznam izjem. Kontekst: Spodaj so anonimizirani podatki o prodajnih računih (stolpci: številka_računa, datum_računa, datum_dobitve, znesek, status_odobritve, podružnica). Konec leta: 31.12. KORAK 1 – Popolnost: Navedite skupno število zapisov in skupni znesek, da ga lahko primerjam s poskusno bilanco. Sporočite, če je kakšen prazen/manjkajoči prostor. 2. KORAK – Pravilo preizkusa rezanja: navedite zapise z invoice_date <= 31.12 IN datumom_dostave >= 01.01 kot "cutoff exception". 3. KORAK – Napišite pravilo v navadnem besedilu (kakšen pogoj ste uporabili), da ga bo mogoče revidirati. Pravila: Pravilo sem dal, ne spreminjajte ga. Predložite zapise, ki jih označite kot "izjeme za pregled"; Ne recite "napaka/ugotovitev". Ne izmišljujte si tistega, česar ne morete razbrati iz podatkov.

Ta zahteva je močna, ker najprej potrdi popolnost, jasno definira pravilo izjeme, zahteva golo besedilo pravila (možnost preverjanja) in postavi izhod kot »izjemo«.

Pogoste napake

• Preskok preverjanja popolnosti. Izvajanje "polnega" testiranja na nepopolnih/pokvarjenih podatkih in dajanje lažnih zagotovil.
• Zamenjati izjemo za ugotovitev. Napake pri štetju brez preverjanja zapisa, ki ga je označil AI; izogibanje odpravljanju lažnih pozitivnih rezultatov.
• Ne preverjanje pravila. Generiranje na stotine napačnih zastavic brez preverjanja, ali je pravilo v skladu s podatki in poslovnim procesom.
• Pisanje nejasnih pravil. Pridobivanje neponovljivih rezultatov z nedefiniranimi pozivi, kot je "poišči problematične zapise".
• Biti zadovoljen z enim samim začetkom. Brez poizvedovanja po pravilu ali podatkih, če se število izjem zelo razlikuje od pričakovanega.

Nasvet: Bodite prestrašeni, če je število izjem premajhno (blizu nič) ali preveliko. Ničla običajno pomeni "pravilo napisano napačno" ali "podatki manjkajo"; Izredno veliko število pomeni, da je pravilo preširoko. Dober revizor sumi, da "ni izjem" in "vse je izjema".

Če povzamem

Popolno populacijsko testiranje je velik korak naprej pri revidiranju: odpravlja tveganje vzorčenja in pregleduje 100 % podatkov. Ampak ni zastonj. Prinaša dve novi odgovornosti: (1) preverjanje popolnosti in točnosti podatkov, (2) vrednotenje posameznih izjem, ki se pojavijo. AI pripravi podatke, uporabi pravilo, označi izjemo in skrajša ure skeniranja na sekunde; Toda točnost pravila, popolnost podatkov in vrednotenje izjem pripada revizorju. Izjema ni rezultat, je začetek.

Aplikacijska naloga

Razmislite o obstoječem (ali hipotetičnem) naboru podatkov o transakcijah. Najprej določite dve kontroli popolnosti (število zapisov in uskladitev zneska). Nato napišite jasno pravilo izjeme za namen revizije (npr. računi, izdani ob koncu tedna, ali zmanjšanje izjem). Z zmogljivim vzorcem poziva zgoraj naj AI najprej izvede popolnost in nato pravilo. Prvih 10 izjem, ki se pojavijo, je "resnične ugotovitve ali lažno pozitivne?" Vadite razvrščanje na naslednji način in zapišite, katere dokaze boste iskali za vsakega.

kontrolni seznam

• [ ] Podatke sem anonimiziral in vozil varno.
• [ ] Popolnost podatkov sem potrdil z uskladitvijo števila zapisov in zneska.
• [ ] Pregledal sem prosti/slab prostor.
• [ ] Pravilo o izjemi sem definiral na jasen in ponovljiv način.
• [ ] Od umetne inteligence sem prejel golo besedilo pravila in preveril njegovo skladnost s podatki in poslovnim procesom.
• [ ] Dvomil sem o smiselnosti števila izjem (premalo / ne preveč).
• [ ] Vsako izjemo sem obravnaval kot vprašanje, ki ga je treba preučiti, ne kot ugotovitev; Odpravil sem lažne pozitivne rezultate.