Dobici:
- Razumjeti rizik uzorkovanja i logiku testiranja pune populacije (100% testiranje) i biti u stanju koristiti umjetnu inteligenciju za pripremu podataka, pisanje pravila i tumačenje rezultata.
- Sposobnost dizajniranja i implementacije testova podudaranja, kompletnosti i tačnosti u velikim skupovima podataka uz podršku umjetne inteligencije
- Sposobnost razumijevanja da lista izuzetaka u punom testu populacije nije rezultat, već početak koji će revizor ispitati, a da konačna ocjena pripada revizoru.
Jedno od najosnovnijih ograničenja revizorske profesije bilo je to što je revizor morao raditi sa uzorkovanjem tokom mnogo godina. Ne možete ručno pregledati 180.000 faktura koje poslovanje izdaje u godini; Dakle, odabirete nekoliko stotina zapisa koristeći statističku metodu ili metodu prosuđivanja, testirate ih i generalizirate rezultat na cijelu populaciju. Uzorkovanje je moćna i legitimna tehnika, ali nosi inherentni rizik: rizik uzorkovanja — uzorak koji odaberete možda nije reprezentativan za populaciju, a prava greška u njemu možda neće pasti točno tamo gdje tražite.
Analitika podataka i AI mijenjaju ovu sliku: sada možete testirati cijelu populaciju, odnosno 100%. Ovo se zove kompletno testiranje populacije. Ovu jedinicu posvećujemo razumijevanju tranzicije od “uzorka u cjelinu”, moći koju donosi i novim odgovornostima koje mnogi ljudi zanemaruju. Zato što potpuno testiranje populacije ne olakšava inspekciju; To mijenja prirodu testa i stavlja nova opterećenja na ispitivača.
Razlika između uzorkovanja i testiranja pune populacije
U klasičnom uzorkovanju, logika je: "Dozvolite mi da temeljito testiram malu, ali reprezentativnu grupu, i interpretiram rezultat u cjelini." U testu punog stanovništva, logika je obrnuta: "Dozvolite mi da skeniram cjelinu prema određenim pravilima, pronađem izuzetke koji su izvan pravila i da ih temeljito ispitam." U prvom pristupu, rizik je "odabir pogrešnog uzorka"; U drugom, rizik je „pisanje pogrešnog pravila“ i „rad sa nepotpunim/pogrešnim podacima“.
Sljedeća tabela upoređuje dva pristupa:
Veličina
uzorkovanje
Kompletno testiranje populacije (100%)
Obim
dio populacije
cjelokupno stanovništvo
Glavni rizik
Rizik uzorkovanja (greška u predstavljanju)
Greška pravila + greška integriteta podataka
izlaz
Ograničen broj rezultata testa
Spisak izuzetaka koji nisu u skladu sa pravilom
Revizorov teret
izbor + test
Dizajn pravila + evaluacija izuzetaka
Uloga AI
Pomoć pri odabiru uzorka
Priprema podataka, pisanje pravila, označavanje izuzetaka
Napomena: potpuno populacijsko testiranje ne znači "testirao sam sve, posao obavljen". Naprotiv, obično vam daje više predmeta za pregled. Kada pokrenete svih 180.000 faktura kroz pravilo odobrenja datum-iznos, naći ćete možda 900 izuzetaka. Svako od njih je pitanje; nije odgovor. Tu na scenu stupa revizorsko pravosuđe.
Potpunost podataka: nevidljiva osnova testiranja
Najveća zamka testiranja cijele populacije je da kvalitet testa ovisi o kvaliteti podataka. "Testirao sam 100% podataka" ima smisla samo ako su podaci koje imate zapravo 100% populacije. Ako je filter bio netačan prilikom izvlačenja podataka iz sistema, neki zapisi su izostavljeni ili je kolona iznosa prenesena sa decimalnom greškom, vaš "pun" test će se zapravo izvršiti na nepotpunim ili oštećenim podacima. Stoga je potvrda potpunosti i tačnosti podataka prvi i nezamjenjiv korak u potpunom populacijskom testiranju.
Praktične provjere za provjeru kompletnosti:
- Usklađivanje broja zapisa: Da li se broj redova u skupu podataka koji ste izvukli podudara s ukupnim brojem zapisa u sistemu?
- Usklađivanje iznosa: Da li je ukupan iznos u skupu podataka usklađen sa relevantnim ukupnim računom u probnom saldu/podružnici?
- Raspon datuma: Da li su prvi i posljednji dan perioda uključeni u podatke; Da li nedostaje mjesec/dan?
- Skeniranje praznog i lošeg prostora: Ima li razmaka ili besmislenih vrijednosti u obaveznim poljima (datum, iznos, šifra računa)?
AI pomaže u svim ovim provjerama: indeksira podatke, dobiva ukupne vrijednosti, broji prazna mjesta, izvještava o rasponu datuma. Ali revizor je taj koji odlučuje da li se sporazum "drži", istražuje razliku i potvrđuje da su podaci prikladni za svrhu revizije.
Oprez: Nemojte pisati "Testirao sam sve podatke" na radnom listu bez provjere kompletnosti podataka. Potpuni test populacije na podacima koji nedostaju daje naizgled potpunu, ali pogrešnu sigurnost.
Puno testiranje populacije s AI: korak po korak
- Pripremite podatke bezbedno. Anonimizirajte lična/privatna polja ili ih zamijenite čuvarima mjesta. Ako je moguće, koristite korporativno, ugovoreno vozilo.
- Potvrdite kompletnost. Uskladite broj zapisa i iznos.
- Jasno definirajte pravilo testiranja. Šta se računa kao "izuzetak"? (Na primjer: neodobrena faktura, faktura izdata vikendom, velika kružna uplata, prihod evidentiran nakon graničnog datuma.)
- Primijenite pravilo pomoću AI. AI primjenjuje pravilo na podatke i proizvodi listu izuzetaka; Napišite pravilo jasno kako bi se moglo revidirati.
- Odredite prioritete i pregledajte izuzetke. Istražite svaki izuzetak sa dokazima; adresirati lažne pozitivne rezultate, opravdati stvarne nalaze.
- Dokumentirajte rezultat. Povežite pravilo, broj izuzetaka, ispitane stavke i zaključak sa radnim listom.
tri mini kofera
Slučaj 1 — Test rezanja. Revizor je želio testirati ograničenje prihoda na kraju godine. Uzeo je 42.000 prodajnih faktura kao punu populaciju i dao AI da sprovede "zapise na listi sa datumima faktura do 31. decembra, ali datumima isporuke/isporuke na ili nakon 1. januara". YZ je obilježio 118 rekorda. Revizor je ovo ispitao: 96 su bile legitimne transakcije bez vremenskih razlika (isporuka istog dana), 22 su zapravo prihod za narednu godinu i evidentirane su u prethodnom periodu. Ove 22 stavke su prijavljene jer su pokazale obrazac, iako ispod značaja. AI je postavio 118 pitanja; Revizor je pronašao 22 odgovora.
Slučaj 2 — Kada je potpunost izostavljena. Jedan član tima je rekao da je uradio kompletno testiranje populacije na 180.000 faktura; Nije bilo izuzetaka i laknulo mu je. Odgovorno lice je uporedilo ukupan iznos skupa podataka sa probnim bilansom: podaci 155 miliona TL, probni bilans 210 miliona TL. Ispostavilo se da je, dok su se podaci izvlačili iz sistema, grana filtrirana i izostavljena. "Puni" test je zapravo propustio četvrtinu podataka. Test je obavljen sa ispravnim podacima. Pouka: nema kompletnog testiranja populacije bez potvrde kompletnosti.
Slučaj 3 — Greška u pravilima. Revizor je dao AI da napiše pravilo "Navedite neodobrena plaćanja iznad 50.000 TL", ali nije shvatio da se polje "odobrenje" čuva u dvije različite kolone u sistemu (elektronsko odobrenje i ručno odobrenje). AI je označio 300 plaćanja kao "neodobreno" jer je pogledao samo jednu; Pregledom se vidjelo da je većina njih odobrena u drugoj koloni. Pogrešno pravilo je proizvelo stotine lažnih pozitivnih rezultata. Revizor je ispravio pravilo da uključi obje kolone. Lekcija: revizor potvrđuje da je pravilo u skladu s podacima i poslovnim procesom.
Slaba prompt / Jaka prompt
Slab upit:
Pronađite problematične zapise u ovim podacima o fakturi.
Problem: nema definicije "problematičnog". AI ne zna šta da smatra izuzetkom; Radi ili prema slučajnim signalima ili prema kriteriju koji je izmislio. Ne može se ponoviti i revidirati.
Snažan upit:
Vaša uloga: Vi ste pomoćnik za analizu podataka nezavisnom revizoru. Presuda je moja; Primijenit ćete pravilo i generirati listu izuzetaka. Kontekst: Ispod su anonimizirani podaci o fakturi prodaje (kolone: broj_fakture, datum_računa, datum_isporuke, iznos, status_odobrenja, grana). Kraj godine: 31.12.KORAK 1 - Kompletnost: Navedite ukupan broj zapisa i ukupan iznos kako bih ga mogao uporediti sa probnim stanjem. Prijavite ako ima prazan/nedostajući prostor. KORAK 2 - Pravilo testa rezanja: Navedite zapise sa datumom_fakture <= 31.12 I datumom_isporuke >= 01.01 kao "izuzetak isključenja". KORAK 3 - Napišite pravilo u običnom tekstu (koji uslov ste primijenili) tako da se može revidirati. Pravila: Ne mijenjam pravilo. Pošaljite zapise koje označite kao "izuzeci za pregled"; Nemojte reći "greška/pronalaženje". Ne izmišljajte ono što ne možete zaključiti iz podataka.
Ovaj zahtjev je moćan jer prvo potvrđuje potpunost, jasno definira pravilo izuzetka, zahtijeva otvoreni tekst pravila (auditabilnost) i pozicionira izlaz kao „izuzetak“.
Uobičajene greške
- Preskakanje provjere kompletnosti. Izvođenje "potpunog" testiranja nepotpunih/pokvarenih podataka i davanje lažnih uvjerenja.
- Mijenjanje izuzetka sa nalazom. Brojanje grešaka bez verifikacije zapisa označenog od strane AI; izbjegavanje eliminacije lažnih pozitivnih rezultata.
- Ne provjeravam pravilo. Generiranje stotina lažnih zastavica bez provjere da li je pravilo u skladu s podacima i poslovnim procesom.
- Pisanje nejasnih pravila. Dobivanje neponovljivih rezultata s nedefiniranim upitima poput "pronađi problematične zapise".
- Biti zadovoljan jednim startom. Ne postavlja se upit za pravilo ili podatke ako se broj izuzetaka jako razlikuje od očekivanog.
Savjet: Uzbunite se ako je broj izuzetaka premali (blizu nuli) ili prevelik. Nula obično znači "pravilo napisano pogrešno" ili "podaci nedostaju"; Izuzetno veliki broj ukazuje da je pravilo preširoko. Dobar revizor sumnja i u „nema izuzetaka“ i „sve su izuzeci“.
Ukratko
Puno testiranje populacije je ogroman korak naprijed u reviziji: eliminira rizik uzorkovanja, provjeravajući 100% podataka. Ali nije besplatno. To donosi dvije nove odgovornosti: (1) provjeru kompletnosti i tačnosti podataka, (2) procjenu pojedinačnih izuzetaka koji se pojave. AI priprema podatke, primjenjuje pravilo, označava izuzetak i smanjuje sate skeniranja na sekunde; Ali tačnost pravila, potpunost podataka i procjena izuzetaka pripadaju revizoru. Izuzetak nije ishod, to je početak.
Zadatak aplikacije
Razmotrite postojeći (ili hipotetički) skup podataka transakcije. Prvo definirajte dvije provjere kompletnosti (broj zapisa i usaglašavanje iznosa). Zatim napišite jasno pravilo izuzetaka u svrhu revizije (npr. fakture izdate vikendom ili smanjenje izuzetaka). S moćnim obrascem upita iznad, neka AI prvo izvrši potpunost, a zatim pravilo. Prvih 10 izuzetaka koji se pojavljuju su "pravi nalazi ili lažno pozitivni?" Vježbajte razvrstavanje na sljedeći način i zapišite koje ćete dokaze tražiti za svaki od njih.
kontrolna lista
- [ ] Anonimizirao sam podatke i vozio bezbedno.
- [ ] Potvrđivao sam kompletnost podataka usklađivanjem broja zapisa i iznosa.
- [ ] Skenirao sam slobodan/loš prostor.
- [ ] Definisao sam pravilo izuzetka na jasan, ponovljiv način.
- [ ] Dobio sam običan tekst pravila od AI i provjerio njegovu usklađenost s podacima i poslovnim procesom.
- [ ] Doveo sam u pitanje razumnost broja izuzetaka (premalo / ne previše).
- [ ] Svaki izuzetak sam tretirao kao pitanje koje treba ispitati, a ne kao nalaz; Uklonio sam lažne pozitivne rezultate.