Viso populiacijos testavimas naudojant duomenų analizę: nuo pavyzdžio iki visumos

Pelnas:

• Suprasti atrankos riziką ir pilno populiacijos testavimo logiką (100 % testavimas) ir mokėti naudoti dirbtinį intelektą duomenų ruošimui, taisyklių rašymui ir rezultatų interpretavimui.
• Gebėjimas kurti ir įgyvendinti atitikimo, išsamumo ir tikslumo testus dideliuose duomenų rinkiniuose su dirbtinio intelekto palaikymu
• Gebėjimas suprasti, kad išimčių sąrašas visos populiacijos teste yra ne rezultatas, o pradžia, kurią tikrins auditorius, ir kad galutinis įvertinimas priklauso auditoriui.

Vienas iš pagrindinių auditoriaus profesijos apribojimų buvo tas, kad auditorius daugelį metų turėjo dirbti su atranka. Negalite rankiniu būdu peržiūrėti 180 000 sąskaitų faktūrų, kurias įmonė išduoda per metus; Taigi jūs pasirenkate kelis šimtus įrašų, naudodami statistinį arba vertinimo metodą, patikrinate juos ir apibendrinate rezultatą visai populiacijai. Mėginių ėmimas yra galingas ir teisėtas metodas, tačiau jai būdinga rizika: atrankos rizika – jūsų pasirinkta imtis gali neatspindėti visumos, o tikroji jos klaida gali nepatekti tiksliai ten, kur ieškote.

Duomenų analizė ir AI pakeičia šį vaizdą: dabar galite išbandyti visą populiaciją, t. y. 100%. Tai vadinama visišku populiacijos testavimu. Šį skyrių skiriame tam, kad suprastume perėjimą nuo „pavyzdžio prie visumos“, jo suteikiamą galią ir naujas pareigas, kurių daugelis žmonių nepastebi. Kadangi pilnas populiacijos tyrimas nepalengvina patikrinimo; Tai keičia testo pobūdį ir užkrauna naują naštą egzaminuotojui.

Skirtumas tarp atrankos ir visos populiacijos testavimo

Klasikinės atrankos logika yra tokia: „Leiskite man nuodugniai išbandyti nedidelę, bet reprezentatyvią grupę ir interpretuoti rezultatą kaip visumą“. Atliekant visą populiacijos testą, logika yra atvirkštinė: „Leiskite man nuskaityti visumą pagal tam tikras taisykles, surasti išimtis, kurios nepatenka į taisyklę, ir jas nuodugniai išnagrinėti“. Pirmuoju požiūriu rizika yra „netinkamos imties parinkimas“; Antruoju atveju rizika yra „parašyti neteisingą taisyklę“ ir „dirbti su neišsamiais/klaidingais duomenimis“.

Toliau pateiktoje lentelėje palyginami du metodai:

Dydis

mėginių ėmimas

Visas populiacijos tyrimas (100 %)

Taikymo sritis

dalis gyventojų

visos populiacijos

Pagrindinė rizika

Atrankos rizika (vaizdavimo klaida)

Taisyklės klaida + duomenų vientisumo klaida

išvestis

Ribotas bandymo rezultatų skaičius

Taisyklės neatitinkančių išimčių sąrašas

Auditoriaus našta

pasirinkimas + testas

Taisyklių kūrimas + išimties įvertinimas

AI vaidmuo

Pagalba pasirenkant pavyzdį

Duomenų paruošimas, taisyklių rašymas, išimčių žymėjimas

Pastaba: pilnas populiacijos testavimas nereiškia „viską išbandžiau, darbas atliktas“. Priešingai, jis paprastai suteikia daugiau dalykų, kuriuos reikia ištirti. Kai vykdysite visas 180 000 sąskaitų faktūrų pagal datos ir sumos patvirtinimo taisyklę, rasite gal 900 išimčių. Kiekvienas iš jų yra klausimas; ne atsakymas. Čia atsiranda audito teismų sistema.

Duomenų išsamumas: nematomas testavimo pagrindas

Didžiausia visos populiacijos testavimo spąsta yra ta, kad testo kokybė priklauso nuo duomenų kokybės. „Išbandžiau 100% duomenų“ prasminga tik tuo atveju, jei jūsų turimi duomenys iš tikrųjų yra 100% visų gyventojų. Jei filtras buvo neteisingas imant duomenis iš sistemos, kai kurie įrašai buvo palikti arba sumos stulpelis buvo perkeltas su dešimtaine klaida, jūsų „pilnas“ testas iš tikrųjų bus atliktas su nepilnais arba sugadintais duomenimis. Todėl duomenų išsamumo ir tikslumo patvirtinimas yra pirmasis ir būtinas viso populiacijos testavimo žingsnis.

Praktiniai išsamumo patikrinimai:

• Įrašų skaičiaus suderinimas: ar ištraukto duomenų rinkinio eilučių skaičius atitinka bendrą sistemos įrašų skaičių?
• Sumos suderinimas: ar visa duomenų rinkinio suma atitinka bandomojo balanso / antrinės įmonės atitinkamos sąskaitos sumą?
• Datų intervalas: ar į duomenis įtraukta pirmoji ir paskutinė laikotarpio dienos; Ar trūksta mėnesio/dienos?
• Tuščios ir netinkamos vietos nuskaitymas: ar privalomuose laukuose (data, suma, sąskaitos kodas) yra tarpų ar bereikšmių reikšmių?

AI padeda atlikti visas šias patikras: tikrina duomenis, gauna sumas, skaičiuoja tuščias vietas, pateikia ataskaitas apie dienų seką. Bet būtent auditorius nusprendžia, ar sutartis „galioja“, ištiria skirtumą ir patvirtina, kad duomenys tinka audito tikslui.

Įspėjimas: Nerašykite „Išbandžiau visus duomenis“ darbalapyje nepatikrinęs duomenų išsamumo. Išsamus trūkstamų duomenų populiacijos testas suteikia iš pažiūros išsamų, bet klaidinantį patikinimą.

Visas populiacijos testavimas naudojant AI: žingsnis po žingsnio

1. Saugiai paruoškite duomenis. Anonimizuoti asmeninius / privačius laukus arba pakeisti juos vietos rezervavimo ženklais. Jei įmanoma, naudokite įmonės, sutartyje numatytą transporto priemonę.
2. Patvirtinti išsamumą. Suderinkite įrašų skaičių ir sumą.
3. Aiškiai apibrėžkite bandymo taisyklę. Kas laikoma „išimtimi“? (Pavyzdžiui: nepatvirtinta sąskaita faktūra, sąskaita faktūra išrašyta savaitgalį, didelis apvalus mokėjimas, pajamos įrašytos po termino datos.)
4. Taikykite taisyklę su AI. AI taiko taisyklę duomenims ir sudaro išimčių sąrašą; Aiškiai parašykite taisyklę, kad ją būtų galima patikrinti.
5. Suteikite pirmenybę ir peržiūrėkite išimtis. Ištirkite kiekvieną išimtį su įrodymais; pašalinti klaidingus teigiamus duomenis, pagrįsti faktines išvadas.
6. Dokumentuokite rezultatą. Susiekite taisyklę, išimčių skaičių, išnagrinėtus elementus ir išvadą su darbalapiu.

trys mini dėklai

1 atvejis – pjovimo bandymas. Auditorius norėjo patikrinti metų pabaigos pajamų ribą. Jis įvertino 42 000 pardavimo sąskaitų faktūrų kaip visą aibę ir pareikalavo, kad dirbtinis intelektas vykdytų „sąrašo įrašus su sąskaitų faktūrų datomis iki gruodžio 31 d., bet pristatymo / pristatymo datos sausio 1 d. arba vėliau“. YZ pažymėjo 118 įrašų. Auditorius išnagrinėjo šiuos dalykus: 96 buvo teisėti sandoriai be laiko skirtumų (pristatymas tą pačią dieną), 22 buvo faktinės kitų metų pajamos ir buvo įrašytos ankstesniu laikotarpiu. Apie šiuos 22 elementus buvo pranešta, nes jie parodė modelį, nors ir mažiau reikšmingi. AI uždavė 118 klausimų; Auditorius rado 22 atsakymus.

2 atvejis – kai nepraleidžiama išsamumo. Vienas komandos narys pasakė, kad atliko pilną populiacijos testą su 180 000 sąskaitų faktūrų; Išimčių nebuvo ir jam palengvėjo. Atsakingas asmuo palygino bendrą duomenų rinkinio kiekį su bandomuoju likučiu: duomenys 155 mln. Lt, bandomasis likutis 210 mln. Lt. Paaiškėjo, kad traukiant duomenis iš sistemos, šaka buvo išfiltruota ir palikta. „Visas“ testas iš tikrųjų praleido ketvirtadalį duomenų. Bandymas buvo atliktas naudojant teisingus duomenis. Pamoka: nėra visiško populiacijos testavimo be išsamumo patvirtinimo.

3 atvejis – taisyklių klaida. Auditorius turėjo AI parašyti taisyklę „Įrašyti nepatvirtintus mokėjimus, viršijančius 50 000 TL“, tačiau nesuvokė, kad „patvirtinimo“ laukas yra dviejuose skirtinguose sistemos stulpeliuose (elektroninis patvirtinimas ir patvirtinimas rankiniu būdu). AI pažymėjo 300 mokėjimų kaip „nepatvirtintus“, nes peržiūrėjo tik vieną; Apžiūrėjus paaiškėjo, kad dauguma jų patvirtinti kitoje skiltyje. Neteisinga taisyklė davė šimtus klaidingų teigiamų rezultatų. Auditorius pataisė taisyklę, įtraukdamas abu stulpelius. Pamoka: auditorius patikrina, ar taisyklė atitinka duomenis ir verslo procesą.

Silpnas raginimas / Stiprus raginimas

Silpnas raginimas:

Raskite probleminius įrašus šiose sąskaitos faktūros duomenyse.

Problema: nėra „probleminio“ apibrėžimo. AI nežino, ką laikyti išimtimi; Jis dirba arba pagal atsitiktinius signalus, arba pagal savo sugalvotą kriterijų. Jis nepakartojamas ir tikrinamas.

Galingas raginimas:

Jūsų vaidmuo: esate nepriklausomo auditoriaus duomenų analizės asistentas. Nuosprendis yra mano; Taikysite taisyklę ir sugeneruosite išimčių sąrašą. Kontekstas: toliau pateikiami anoniminiai pardavimo sąskaitos faktūros duomenys (stulpeliai: sąskaitos_nr., sąskaitos_data, pristatymo_data, suma, patvirtinimo_būsena, filialas). Metų pabaiga: 12.12.31.1 ŽINGSNIS – Išsamumas: nurodykite bendrą įrašų skaičių ir bendrą sumą, kad galėčiau palyginti su bandomuoju likučiu. Praneškite, jei yra tuščios / trūkstamos vietos.2 ŽINGSNIS. Bandymo taisyklės iškirpimas: įrašus su sąskaitos faktūros_data <= 31.12 IR pristatymo_data >= 01.01 nurodykite kaip "atjungimo išimtį". 3 ŽINGSNIS - Parašykite taisyklę paprastu tekstu (kokią sąlygą taikėte), kad ją būtų galima tikrinti. Taisyklės nepakeičiau. Pateikite įrašus, kuriuos pažymėjote kaip „išimtis peržiūrėti“; Nesakykite „klaida / radimas“. Negalvokite to, ko negalite išvesti iš duomenų.

Ši užklausa yra galinga, nes ji pirmiausia patvirtina išsamumą, aiškiai apibrėžia išimties taisyklę, reikalauja paprasto taisyklės teksto (audituojamumo) ir pateikia išvestį kaip „išimtį“.

Dažnos klaidos

• Praleidžiamas išsamumo patvirtinimas. „Viso“ neišsamių/sugadintų duomenų testavimas ir klaidingas patikinimas.
• Išimties klaidinimas dėl radinio. Klaidų skaičiavimas nepatikrinus AI pažymėto įrašo; vengiant pašalinti klaidingus teigiamus rezultatus.
• Netikrinama taisyklės. Sugeneruoti šimtus klaidingų vėliavėlių netikrinant, ar taisyklė atitinka duomenis ir verslo procesą.
• Neaiškių taisyklių rašymas. Nepakartojami rezultatai su neapibrėžtais raginimais, pvz., „rasti probleminius įrašus“.
• Pasitenkinimas vienu startu. Neklausoma taisyklės ar duomenų, jei išimčių skaičius labai skiriasi nuo to, ko tikimasi.

Patarimas: sunerimkite, jei išimčių skaičius yra per mažas (arti nulio) arba per didelis. Nulis paprastai reiškia „neteisingai parašyta taisyklė“ arba „trūksta duomenų“; Itin didelis skaičius rodo, kad taisyklė per plati. Geras auditorius įtaria ir „ne išimtis“, ir „viskas yra išimtys“.

Apibendrinant

Visiškas populiacijos testavimas yra didžiulis šuolis į priekį atliekant auditą: pašalinama atrankos rizika, patikrinama 100 % duomenų. Bet tai nėra nemokama. Ji atneša dvi naujas pareigas: (1) tikrinti duomenų išsamumą ir tikslumą, (2) įvertinti atskiras pasitaikančias išimtis. AI paruošia duomenis, taiko taisyklę, pažymi išimtį ir sutrumpina nuskaitymo valandas iki sekundžių; Bet taisyklės tikslumas, duomenų išsamumas ir išimčių įvertinimas priklauso auditoriui. Išimtis nėra rezultatas, tai yra pradžia.

Taikymo užduotis

Apsvarstykite esamą (arba hipotetinį) operacijų duomenų rinkinį. Pirmiausia apibrėžkite du išsamumo patikrinimus (įrašų skaičius ir sumos suderinimas). Tada parašykite aiškią išimčių taisyklę audito tikslais (pvz., savaitgalį išrašytos sąskaitos faktūros arba sumažintos išimtys). Naudodami aukščiau pateiktą galingą raginimo šabloną, tegul AI pirmiausia atlieka išsamumą, o tada taisyklę. Pirmosios 10 išimčių yra "tikros išvados ar klaidingi teigiami rezultatai?" Praktikuokite klasifikavimą taip, kaip nurodyta, ir užrašykite, kokių įrodymų ieškosite kiekvienam.

kontrolinis sąrašas

• [ ] Anonimizuojau duomenis ir važiavau saugiai.
• [ ] Duomenų išsamumą patvirtinau suderinęs įrašų skaičių ir sumą.
• [ ] Nuskaitau, ar nėra laisvos / netinkamos vietos.
• [ ] Išimties taisyklę apibrėžiau aiškiai, pakartojamai.
• [ ] Iš AI gavau paprastą taisyklės tekstą ir patikrinau, ar ji atitinka duomenis ir verslo procesus.
• [ ] Suabejojau išimčių skaičiaus pagrįstumu (per mažai / ne per daug).
• [ ] Kiekvieną išimtį traktavau kaip nagrinėtiną klausimą, o ne išvadą; Pašalinau klaidingus teigiamus rezultatus.