Добици:
- Разумети ризик узорковања и логику тестирања пуне популације (100% тестирање) и бити у стању да користи вештачку интелигенцију за припрему података, писање правила и тумачење резултата.
- Способност дизајнирања и имплементације тестова подударања, комплетности и тачности у великим скуповима података уз подршку вештачке интелигенције
- Способност разумевања да листа изузетака у тесту пуне популације није резултат, већ почетак који ће ревизор испитати, а да коначна оцена припада ревизору.
Једно од најосновнијих ограничења ревизорске професије било је то што је ревизор морао да ради са узорковањем током много година. Не можете ручно да прегледате 180.000 фактура које предузеће изда за годину дана; Дакле, бирате неколико стотина записа користећи статистичку методу или методу просуђивања, тестирате их и генерализујете резултат на целу популацију. Узорковање је моћна и легитимна техника, али носи инхерентни ризик: ризик узорковања — узорак који одаберете можда није репрезентативан за популацију, а права грешка у њему можда неће пасти тачно тамо где тражите.
Аналитика података и АИ мењају ову слику: сада можете тестирати целу популацију, односно 100%. Ово се зове комплетно тестирање популације. Ову јединицу посвећујемо разумевању преласка са „узорка на целину“, моћи коју она доноси и новим одговорностима које многи људи занемарују. Зато што потпуно тестирање популације не олакшава инспекцију; То мења природу теста и ставља нова оптерећења на испитивача.
Разлика између узорковања и тестирања пуне популације
У класичном узорковању, логика је: „Дозволите ми да темељно тестирам малу, али репрезентативну групу, и интерпретирам резултат у целини.“ У тесту пуне популације, логика је обрнута: „Дозволите ми да скенирам целину према одређеним правилима, да пронађем изузетке који су ван правила и да их детаљно испитам.“ У првом приступу, ризик је „одабир погрешног узорка“; У другом, ризик је „писање погрешног правила” и „рад са непотпуним/погрешним подацима”.
Следећа табела пореди два приступа:
Величина
узорковање
Комплетно тестирање популације (100%)
Обим
део становништва
целокупно становништво
Главни ризик
Ризик узорковања (грешка у представљању)
Грешка правила + грешка у интегритету података
излаз
Ограничен број резултата теста
Списак изузетака који нису у складу са правилом
Ревизоров терет
избор + тест
Дизајн правила + евалуација изузетака
Улога АИ
Помоћ при одабиру узорка
Припрема података, писање правила, обележавање изузетака
Напомена: потпуно тестирање популације не значи „Све сам тестирао, посао обављен“. Напротив, обично вам даје више предмета за преглед. Када покренете свих 180.000 фактура кроз правило одобрења датум-износ, наћи ћете можда 900 изузетака. Свако од ових је питање; није одговор. Ту на сцену ступа ревизорско правосуђе.
Потпуност података: невидљива основа тестирања
Највећа замка тестирања целе популације је да квалитет теста зависи од квалитета података. „Тестирао сам 100% података“ има смисла само ако подаци које имате заправо чине 100% популације. Ако је филтер био нетачан при преузимању података из система, неки записи су изостављени или је колона износа пренета са децималном грешком, ваш „пун“ тест ће се заправо извршити на непотпуним или оштећеним подацима. Стога је потврда потпуности и тачности података први и незаобилазан корак у потпуном тестирању популације.
Практичне провере за проверу комплетности:
- Усклађивање броја записа: Да ли се број редова у скупу података који сте извукли поклапа са укупним бројем записа у систему?
- Усклађивање износа: Да ли је укупан износ у скупу података усклађен са релевантним укупним рачуном у пробном билансу/подружници?
- Период: Да ли су први и последњи дан периода укључени у податке; Да ли недостаје месец/дан?
- Скенирање празног и лошег простора: Има ли размака или бесмислених вредности у обавезним пољима (датум, износ, шифра рачуна)?
АИ помаже у свим овим проверама: пописује податке, добија укупне вредности, броји празна места, извештава о периоду. Али ревизор је тај који одлучује да ли се споразум „држи“, истражује разлику и потврђује да су подаци погодни за сврху ревизије.
Опрез: Немојте писати „Тестирао сам све податке“ на радном листу без провере комплетности података. Потпуни тест популације на подацима који недостају даје наизглед потпуну, али погрешну сигурност.
Пуно тестирање популације са АИ: корак по корак
- Припремите податке безбедно. Анонимизирајте лична/приватна поља или их замените чуварима места. Ако је могуће, користите корпоративно, уговорено возило.
- Потврдите комплетност. Ускладите број записа и износ.
- Јасно дефинишите правило теста. Шта се рачуна као „изузетак“? (На пример: неодобрена фактура, фактура издата викендом, велика кружна уплата, приход евидентиран након граничног датума.)
- Примените правило са АИ. АИ примењује правило на податке и производи листу изузетака; Напишите правило јасно како би се могло ревидирати.
- Одредите приоритете и прегледајте изузетке. Истражите сваки изузетак са доказима; адресирати лажне позитивне резултате, оправдати стварне налазе.
- Документујте резултат. Повежите правило, број изузетака, испитане ставке и закључак са радним листом.
три мини кофера
Случај 1 — Тест резања. Ревизор је желео да тестира ограничење прихода на крају године. Узео је 42.000 продајних фактура као пуну популацију и натерао је АИ да примени „записе на листи са датумима фактура до 31. децембра, али датумима испоруке/испоруке 1. јануара или касније“. ИЗ је обележио 118 рекорда. Ревизор је ово испитао: 96 су биле легитимне трансакције без временских разлика (испорука истог дана), 22 су заправо приход за наредну годину и евидентиране су у претходном периоду. Ове 22 ставке су пријављене јер су показале образац, иако испод значаја. АИ је поставио 118 питања; Ревизор је пронашао 22 одговора.
Случај 2 — Када је потпуност изостављена. Један члан тима је рекао да је урадио комплетно тестирање популације на 180.000 фактура; Није било изузетака и лакнуло му је. Одговорно лице је упоредило укупан износ скупа података са пробним билансом: подаци 155 милиона ТЛ, пробни биланс 210 милиона ТЛ. Испоставило се да је док су се подаци извлачили из система, грана филтрирана и изостављена. "Пуни" тест је заправо пропустио четвртину података. Тест је завршен са тачним подацима. Поука: нема комплетног тестирања становништва без потврде комплетности.
Случај 3 — Грешка у правилима. Ревизор је дао АИ да напише правило „Наведите неодобрена плаћања преко 50.000 ТЛ“, али није схватио да се поље „одобрење“ чува у две различите колоне у систему (електронско одобрење и ручно одобрење). АИ је означила 300 уплата као „неодобрено“ јер је погледала само једну; Прегледом се видело да је већина њих одобрена у другој колони. Погрешно правило је произвело стотине лажних позитивних резултата. Ревизор је исправио правило да укључи обе колоне. Поука: ревизор проверава да ли је правило у складу са подацима и пословним процесом.
Слаби промпт / Јаки промпт
Слабо обавештење:
Пронађите проблематичне записе у овим подацима о фактури.
Проблем: Нема дефиниције „проблематичног“. АИ не зна шта да сматра изузетком; Ради или према насумичним сигналима или према критеријуму који је измислио. Није поновљиво и ревидирано.
Снажан упит:
Ваша улога: ви сте помоћник независног ревизора за анализу података. Пресуда је моја; Применићете правило и генерисати листу изузетака. Контекст: Испод су анонимизовани подаци о фактури продаје (колоне: број_фактуре, датум_фактуре, датум_испоруке, износ, статус_одобрења, филијала). Крај године: 31.12.КОРАК 1 – Комплетност: Наведите укупан број записа и укупан износ како бих могао да га упоредим са пробним стањем. Пријавите ако постоји празан/недостајући простор. КОРАК 2 – Правило теста резања: Наведите записе са датумом_фактуре <= 31.12 И датумом испоруке >= 01.01 као „изузетак искључења“. КОРАК 3 – Напишите правило у обичном тексту (који услов сте применили) да може да се ревидира. Правила: Не мењам правило. Пошаљите записе које означите као „изузеке за преглед“; Немојте рећи „грешка/проналажење“. Не измишљајте оно што не можете закључити из података.
Овај захтев је моћан јер прво потврђује потпуност, јасно дефинише правило изузетка, захтева отворени текст правила (могућност ревизије) и позиционира излаз као „изузетак“.
Уобичајене грешке
- Прескакање провере комплетности. Извођење „потпуног“ тестирања непотпуних/покварених података и давање лажних уверења.
- Грешка изузетка са налазом. Бројање грешака без верификације записа означеног од стране АИ; избегавање елиминисања лажних позитивних резултата.
- Не проверава правило. Генерисање стотина лажних заставица без провере да ли је правило у складу са подацима и пословним процесом.
- Писање нејасних правила. Добијање непоновљивих резултата са недефинисаним упитима попут „пронађи проблематичне записе“.
- Бити задовољан једним почетком. Не поставља се упит за правило или податке ако се број изузетака веома разликује од очекиваног.
Савет: Узбуните се ако је број изузетака премали (близу нули) или превелик. Нула обично значи "правило написано погрешно" или "недостају подаци"; Изузетно велики број указује да је правило прешироко. Добар ревизор сумња у „нема изузетака“ и „све су изузеци“.
Укратко
Пуно тестирање популације је огроман корак напред у ревизији: елиминише ризик узорковања, скрининг 100% података. Али није бесплатно. То доноси две нове одговорности: (1) проверу комплетности и тачности података, (2) процену појединачних изузетака који се јављају. АИ припрема податке, примењује правило, означава изузетак и смањује сате скенирања на секунде; Али тачност правила, потпуност података и процена изузетака припадају ревизору. Изузетак није исход, то је почетак.
Задатак апликације
Размотрите постојећи (или хипотетички) скуп података о трансакцијама. Прво дефинишите две провере комплетности (број записа и усаглашавање износа). Затим напишите јасно правило изузетака у сврху ревизије (нпр. фактуре издате викендом или смањење изузетака). Помоћу моћног обрасца обавештења изнад, нека АИ прво изврши комплетност, а затим правило. Првих 10 изузетака који се појављују су "прави налази или лажно позитивни?" Вежбајте да класификујете на следећи начин и запишите које доказе ћете тражити за сваки од њих.
контролна листа
- [ ] Анонимизовао сам податке и безбедно возио.
- [ ] Потврђивао сам комплетност података усаглашавањем броја записа и износа.
- [ ] Скенирао сам слободан/лош простор.
- [ ] Дефинисао сам правило изузетка на јасан, поновљив начин.
- [ ] Добио сам обичан текст правила од АИ и проверио његову усклађеност са подацима и пословним процесом.
- [ ] Довео сам у питање разумност броја изузетака (премало / не превише).
- [ ] Сваки изузетак сам третирао као питање које треба испитати, а не као налаз; Уклонио сам лажне позитивне резултате.