Nyereség:
- Értse a mintavételi kockázatot és a teljes populációs tesztelés (100%-os tesztelés) logikáját, és tudja használni a mesterséges intelligenciát adat-előkészítéshez, szabályíráshoz és eredményértelmezéshez.
- Képesség illesztési, teljességi és pontossági tesztek tervezésére és megvalósítására nagy adathalmazokban mesterséges intelligencia támogatással
- Képes megérteni, hogy a teljes populációs tesztben szereplő kivétellista nem eredmény, hanem kezdet, amelyet az auditor megvizsgál, és hogy a végső értékelés az auditoré.
A könyvvizsgálói szakma egyik legalapvetőbb korlátja az volt, hogy a könyvvizsgálónak hosszú éveken keresztül kellett mintavételezéssel dolgoznia. Nem tudja manuálisan felülvizsgálni az egy év alatt kiállított 180 000 számlát. Tehát kiválaszt néhány száz rekordot statisztikai vagy ítélkezési módszerrel, teszteli őket, és általánosítja az eredményt a teljes sokaságra. A mintavétel hatékony és törvényes technika, de magában rejti a kockázatot: mintavételi kockázat – előfordulhat, hogy a kiválasztott minta nem reprezentatív a sokaságra nézve, és előfordulhat, hogy a benne lévő valódi hiba nem pontosan oda esik, ahová keres.
Az adatelemzés és a mesterséges intelligencia megváltoztatja ezt a képet: most már tesztelheti a teljes populációt, azaz 100%-osan. Ezt teljes populációs tesztelésnek nevezik. Ezt az egységet annak szenteljük, hogy megértsük a „mintából az egészbe” való átmenetet, a benne rejlő erőt és az új felelősségeket, amelyeket sokan figyelmen kívül hagynak. Mivel a teljes populációs tesztelés nem könnyíti meg az ellenőrzést; Megváltoztatja a teszt jellegét, és új terheket ró a vizsgáztatóra.
A mintavétel és a teljes populációteszt közötti különbség
A klasszikus mintavételben a logika a következő: "Hadd teszteljek alaposan egy kis, de reprezentatív csoportot, és értelmezzem az eredményt egészként." A teljes populációs tesztben a logika megfordul: "Hadd vizsgáljam át az egészet bizonyos szabályok szerint, keressem meg a szabályon kívül eső kivételeket és alaposan vizsgáljam meg." Az első megközelítésben a kockázat a „rossz minta kiválasztása”; A másodiknál a "rossz szabály megírása" és a "hiányos/hibás adatokkal való munkavégzés" a kockázat.
Az alábbi táblázat összehasonlítja a két megközelítést:
Méret
mintavétel
Teljes populációs tesztelés (100%)
Hatály
a lakosság egy része
teljes lakosság
Fő kockázat
Mintavételi kockázat (ábrázolási hiba)
Szabályhiba + adatintegritási hiba
kimenet
Korlátozott számú vizsgálati eredmény
A szabálynak nem megfelelő kivételek listája
A könyvvizsgáló terhe
választás + teszt
Szabálytervezés + kivételértékelés
Az AI szerepe
Segítség a minta kiválasztásában
Adatkészítés, szabályírás, kivételek megjelölése
Megjegyzés: a teljes populációteszt nem azt jelenti, hogy "mindent teszteltem, a munka kész". Éppen ellenkezőleg, ez általában több elemet ad, amit meg kell vizsgálnia. Ha mind a 180 000 számlát egy dátum-összeg-jóváhagyási szabályon keresztül futtatja, talán 900 kivételt talál. Ezek mindegyike egy kérdés; nem válasz. Itt jön képbe a számvevőszéki rendszer.
Az adatok teljessége: a tesztelés láthatatlan alapja
A teljes populáció tesztelésének legnagyobb buktatója, hogy a teszt minősége az adatok minőségétől függ. Az "az adatok 100%-át teszteltem" csak akkor van értelme, ha az Ön által birtokolt adatok a lakosság 100%-át jelentik. Ha egy szűrő hibás volt az adatok rendszerből való lehívásakor, néhány rekord kimaradt, vagy az összeg oszlop tizedes hibával került átadásra, akkor a „teljes” teszt valójában hiányos vagy sérült adatokon kerül végrehajtásra. Ezért az adatok teljességének és pontosságának megerősítése a teljes populációs tesztelés első és nélkülözhetetlen lépése.
Gyakorlati ellenőrzések a teljesség ellenőrzéséhez:
- Rekordszám-egyeztetés: A lehívott adatkészletben lévő sorok száma megegyezik a rendszerben lévő rekordok teljes számával?
- Összegegyeztetés: Az adatkészletben szereplő teljes összeg megegyezik-e a próbaegyenlegben/leányvállalatban szereplő számla végösszegével?
- Dátumtartomány: Az időszak első és utolsó napja szerepel-e az adatokban; Hiányzik egy hónap/nap?
- Üres és rossz hely szkennelés: Vannak szóközök vagy értelmetlen értékek a kötelező mezőkben (dátum, összeg, számlakód)?
A mesterséges intelligencia mindezen ellenőrzésekben segít: feltérképezi az adatokat, lekéri az összegeket, számolja az üres helyeket, jelentéseket készít a dátumtartományról. De a könyvvizsgáló dönti el, hogy a megállapodás „tartja-e”, megvizsgálja az eltérést, és megerősíti, hogy az adatok alkalmasak-e az ellenőrzési célra.
Vigyázat: Ne írja a munkalapra az "Összes adatot teszteltem" kifejezést az adatok teljességének ellenőrzése nélkül. A hiányzó adatok teljes populációs tesztje látszólag teljes, de félrevezető biztosítékot ad.
Teljes populációs tesztelés mesterséges intelligencia segítségével: lépésről lépésre
- Biztonságosan készítse elő az adatokat. A személyes/privát mezők névtelenítése vagy helyőrzőkkel helyettesíthető. Lehetőség szerint céges, szerződéses járművet használjunk.
- Erősítse meg a teljességet. Hasonlítsa össze a rekordok számát és az összeget.
- Világosan határozza meg a tesztszabályt. Mi számít "kivételnek"? (Például: jóvá nem hagyott számla, hétvégén kiállított számla, nagy körbefizetés, a határidő után rögzített bevétel.)
- Alkalmazza a szabályt az AI-val. A mesterséges intelligencia a szabályt alkalmazza az adatokra, és elkészíti a kivételek listáját; Írja le egyértelműen a szabályt, hogy ellenőrizhető legyen.
- A kivételek rangsorolása és áttekintése. Vizsgáljon meg minden kivételt bizonyítékkal; kezelje a hamis pozitívakat, igazolja a tényleges megállapításokat.
- Dokumentálja az eredményt. Kapcsolja össze a szabályt, a kivételek számát, a vizsgált tételeket és a következtetést a munkalappal.
három mini tok
1. eset – Vágási teszt. Egy könyvvizsgáló szerette volna tesztelni az év végi bevételcsökkentést. 42 000 értékesítési számlát vett fel a teljes sokaságnak, és a mesterséges intelligencia kényszerítette ki a „jegyzékrekordokat a számlák dátumával december 31-ig, de a szállítási/szállítási dátumokat január 1-jén vagy azt követően”. YZ 118 rekordot jelölt meg. A könyvvizsgáló ezeket megvizsgálta: 96 jogszerű tranzakció volt, időbeli eltérés nélkül (aznapi kézbesítés), 22 tényleges bevétel a következő évre vonatkozóan, és az előző időszakban került elszámolásra. Ezt a 22 elemet jelentették, mert mintázatot mutattak, bár a szignifikancia alattiak. Az AI 118 kérdést tett fel; A könyvvizsgáló 22 választ talált.
2. eset – Ha a teljesség nincs megadva. A csapat egyik tagja azt mondta, hogy teljes populációs tesztet végzett 180 000 számlán; Nem volt kivétel, és megkönnyebbült. A felelős személy összehasonlította az adatállomány teljes mennyiségét a próbaegyenleggel: adat 155 millió TL, próbaegyenleg 210 millió TL. Kiderült, hogy miközben az adatokat kihúzták a rendszerből, egy ágat kiszűrtek és kihagytak. A "teljes" teszt valójában az adatok negyedét hiányolta. A tesztet a megfelelő adatokkal lefuttattuk. Tanulság: nincs teljes populációteszt a teljesség megerősítése nélkül.
3. eset – Szabályhiba. Egy könyvvizsgáló írt mesterséges intelligencia szabályt: "50 000 TL feletti nem jóváhagyott kifizetések listázása", de nem vette észre, hogy a "jóváhagyás" mező két különböző oszlopban van a rendszerben (elektronikus jóváhagyás és kézi jóváhagyás). Az AI 300 kifizetést jelölt meg "elutasítottként", mert csak egyet vett figyelembe; A vizsgálat során kiderült, hogy többségüket a másik rovatban jóváhagyták. A rossz szabály több száz hamis pozitív eredményt produkált. A könyvvizsgáló úgy javította a szabályt, hogy mindkét oszlopot tartalmazza. Tanulság: a könyvvizsgáló ellenőrzi, hogy a szabály megfelel-e az adatoknak és az üzleti folyamatnak.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Keresse meg a problémás rekordokat ebben a számlaadatokban.
Probléma: A „problémás” kifejezés nincs meghatározva. Az AI nem tudja, mit tekintsen kivételnek; Vagy véletlenszerű jelek szerint, vagy egy általa kitalált kritérium szerint dolgozik. Nem ismételhető és nem auditálható.
Erőteljes felszólítás:
Az Ön szerepköre: Ön egy független auditor adatelemző asszisztense. Az ítélet az enyém; Alkalmazza a szabályt, és létrehoz egy kivétellistát. Kontextus: Az alábbiakban anonimizált értékesítési számla adatok láthatók (oszlopok: számla_száma, számla_dátuma, szállítási_dátum, összeg, jóváhagyási_állapot, ág). Év vége: 31.12.1. LÉPÉS - Teljesség: Adja meg a rekordok teljes számát és a teljes összeget, hogy össze tudjam hasonlítani a próbaegyenleggel. Jelentse, ha van üres/hiányzó hely. 2. LÉPÉS – Vágási tesztszabály: Lista a számla_dátuma <= 31.12 ÉS szállítási_dátum >= 01.01 rekordokat "lezárási kivételként". 3. LÉPÉS - Írja le a szabályt egyszerű szöveggel (milyen feltételt alkalmazott), hogy ellenőrizhető legyen. Szabályok: nem adtam meg a szabályt. Nyújtsa be a "kivételként" megjelölt rekordokat felülvizsgálatra; Ne mondd, hogy „hiba/találás”. Ne találd ki azt, amit az adatokból nem tudsz levonni.
Ez a kérés erős, mert először megerősíti a teljességet, egyértelműen meghatározza a kivételszabályt, megköveteli a szabály egyértelmű szövegét (audithatóság), és a kimenetet „kivételként” pozicionálja.
Gyakori hibák
- A teljesség ellenőrzésének kihagyása. "Teljes" tesztelés végrehajtása hiányos/sérült adatokon és hamis biztosíték adása.
- A kivételt egy megállapítással összetévesztve. Hibák számolása az AI által megjelölt rekord ellenőrzése nélkül; elkerülve a hamis pozitívumok kiküszöbölését.
- Nem ellenőrzi a szabályt. Hamis jelzők százainak generálása anélkül, hogy ellenőrizné, hogy a szabály megfelel-e az adatoknak és az üzleti folyamatnak.
- Homályos szabályok írása. Megismételhetetlen eredmények elérése olyan meghatározatlan promptokkal, mint a „problémás rekordok keresése”.
- Megelégedni egyetlen kezdéssel. Nem kérdezi le a szabályt vagy az adatokat, ha a kivételek száma nagyon eltér a várttól.
Tipp: Féljen, ha a kivételek száma túl kicsi (nullához közeli) vagy túl nagy. A nulla általában "hibásan írt szabályt" vagy "hiányzó adatot" jelent; A rendkívül nagy szám azt jelzi, hogy a szabály túl tág. A jó könyvvizsgáló azt gyanítja, hogy „nincs kivétel” és „minden kivétel”.
Összefoglalva
A teljes populációs tesztelés óriási előrelépés az auditálásban: kiküszöböli a mintavételi kockázatot, az adatok 100%-át szűri. De nem ingyenes. Két új feladatkörrel jár: (1) az adatok teljességének és pontosságának ellenőrzése, (2) a felmerülő egyedi kivételek értékelése. A mesterséges intelligencia előkészíti az adatokat, alkalmazza a szabályt, megjelöli a kivételt, és másodpercekre csökkenti az órákig tartó szkennelést; De a szabály pontossága, az adatok teljessége és a kivételek értékelése a könyvvizsgálóra tartozik. A kivétel nem eredmény, hanem kezdet.
Pályázati feladat
Vegyünk egy meglévő (vagy feltételezett) tranzakciós adatkészletet. Először határozzon meg két teljességi ellenőrzést (rekordok száma és összegegyeztetés). Ezután írjon egy világos kivételszabályt auditálási célból (pl. hétvégén kiállított számlák vagy vágási kivételek). A fenti erőteljes prompt mintával az AI először a teljességet, majd a szabályt hajtsa végre. A megjelenő kivételek közül az első 10 "valódi lelet vagy hamis pozitív eredmény?" Gyakorolja az osztályozást az alábbiak szerint, és írja le, milyen bizonyítékokat fog keresni mindegyikhez.
ellenőrző lista
- [ ] Anonimizáltam az adatokat, és biztonságosan vezettem.
- [ ] Az adatok teljességét a rekordok számának és mennyiségének egyeztetésével igazoltam.
- [ ] Szabad/rossz tárhelyet kerestem.
- [ ] A kivételszabályt világosan, megismételhetően határoztam meg.
- [ ] Megkaptam a szabály egyszerű szövegét az AI-tól, és ellenőriztem, hogy az megfelel-e az adatoknak és az üzleti folyamatoknak.
- [ ] Megkérdőjeleztem a kivételek számának ésszerűségét (túl kevés / nem túl sok).
- [ ] Minden kivételt vizsgálandó kérdésként kezeltem, nem megállapításként; Kiküszöböltem a hamis pozitívakat.