Прибуток:
- Розуміти ризик вибірки та логіку повного тестування сукупності (100% тестування) і вміти використовувати штучний інтелект для підготовки даних, написання правил та інтерпретації результатів.
- Здатність розробляти та впроваджувати тести відповідності, повноти та точності у великих наборах даних із підтримкою штучного інтелекту
- Здатність зрозуміти, що список винятків у тесті на повну популяцію – це не результат, а початок, який перевірить аудитор, і що остаточна оцінка належить аудитору.
Одним із найбільш фундаментальних обмежень професії аудитора було те, що аудитору доводилося багато років працювати з вибіркою. Ви не можете вручну переглянути 180 000 рахунків-фактур, які компанія виставляє за рік; Отже, ви вибираєте кілька сотень записів за допомогою статистичних або оціночних методів, перевіряєте їх і узагальнюєте результат для всієї сукупності. Вибірка є потужною та законною технікою, але вона несе в собі невід’ємний ризик: ризик вибірки — обрана вами вибірка може не бути репрезентативною для генеральної сукупності, і справжня помилка в ній може не припадати саме на те, що ви шукаєте.
Аналітика даних і штучний інтелект змінюють цю картину: тепер ви можете протестувати всю сукупність, тобто 100%. Це називається повним тестуванням населення. Ми присвячуємо цей розділ розумінню переходу від «зразка до цілого», потужності, яку він приносить, і нових обов’язків, які багато людей не помічають. Оскільки повне тестування населення не полегшує перевірку; Це змінює характер тесту та накладає новий тягар на екзаменатора.
Різниця між вибіркою та повним тестуванням сукупності
У класичній вибірці логіка така: «Дозвольте мені ретельно протестувати невелику, але репрезентативну групу та інтерпретувати результат у цілому». У тесті повної популяції логіка протилежна: «Дозвольте мені відсканувати все відповідно до певних правил, знайти винятки, які виходять за межі правила, і ретельно їх дослідити». При першому підході ризик полягає в «виборі невідповідного зразка»; У другому ризик полягає в «написанні неправильного правила» та «роботі з неповними/помилковими даними».
У наведеній нижче таблиці порівнюються два підходи:
Розмір
вибірка
Повне тестування населення (100%)
Область застосування
частина населення
все населення
Основний ризик
Ризик вибірки (помилка представлення)
Помилка правила + помилка цілісності даних
вихід
Обмежена кількість результатів тестування
Список винятків, які не відповідають правилу
Тягар аудитора
вибір + тест
Дизайн правил + оцінка винятків
Роль ШІ
Допомога з підбором зразка
Підготовка даних, написання правил, маркування винятків
Примітка: повне популяційне тестування не означає «я все перевірив, роботу виконано». Навпаки, це зазвичай дає вам більше предметів для вивчення. Коли ви перевірите всі 180 000 рахунків-фактур за правилом затвердження дати-суми, ви знайдете, можливо, 900 винятків. Кожне з них є питанням; не відповідь. Тут вступає в дію аудиторська юстиція.
Повнота даних: невидима основа тестування
Найбільший підводний камінь тестування всього населення полягає в тому, що якість тесту залежить від якості даних. «Я перевірив 100% даних» має сенс, лише якщо дані, які у вас є, насправді стосуються 100% населення. Якщо під час отримання даних із системи фільтр був неправильним, деякі записи були пропущені або стовпець суми було передано з десятковою помилкою, ваш «повний» тест фактично буде виконано на неповних або пошкоджених даних. Тому підтвердження повноти та точності даних є першим і неодмінним кроком у повному тестуванні населення.
Практичні перевірки для перевірки комплектності:
- Узгодження кількості записів: чи відповідає кількість рядків у наборі даних, який ви отримали, загальній кількості записів у системі?
- Звірка суми: чи узгоджується загальна сума в наборі даних із відповідною загальною сумою рахунку в пробному балансі/дочірній компанії?
- Діапазон дат: перші та останні дні періоду включені в дані; Чи відсутній місяць/день?
- Сканування порожнього та неправильного місця: чи є пробіли чи безглузді значення в обов’язкових полях (дата, сума, код рахунку)?
AI допомагає з усіма цими перевірками: сканує дані, отримує підсумки, підраховує порожні місця, повідомляє діапазон дат. Але саме аудитор вирішує, чи «тримається» угода, досліджує різницю та підтверджує, що дані придатні для цілей аудиту.
Застереження: не пишіть «Я перевірив усі дані» на робочому аркуші, не перевіривши повноту даних. Повне тестування сукупності відсутніх даних дає, здавалося б, повну, але оманливу гарантію.
Повне тестування населення за допомогою ШІ: крок за кроком
- Надійно підготуйте дані. Зробіть особисті/приватні поля анонімними або замініть їх заповнювачами. По можливості використовуйте корпоративний, договірний транспорт.
- Підтвердити повноту. Звірте кількість записів і суму.
- Чітко визначте правило перевірки. Що вважається «винятком»? (Наприклад: незатверджений рахунок-фактура, рахунок-фактура, виставлений у вихідні, великий круглий платіж, дохід, зареєстрований після кінцевої дати.)
- Застосуйте правило з ШІ. AI застосовує правило до даних і створює список винятків; Напишіть правило чітко, щоб його можна було перевірити.
- Розставляйте пріоритети та переглядайте винятки. Досліджуйте кожен виняток із доказами; розглядати помилкові спрацьовування, обґрунтовувати фактичні висновки.
- Задокументуйте результат. Зв’яжіть правило, кількість винятків, перевірені предмети та висновок із робочим аркушем.
три міні-чохла
Випадок 1 — Тест на різання. Аудитор хотів перевірити обмеження прибутку на кінець року. Він взяв 42 000 рахунків-фактур на продаж як повну сукупність і змусив ШІ забезпечити дотримання «записів списку з датами рахунків-фактур до 31 грудня, але дати доставки/доставки — 1 січня або пізніше». YZ позначив 118 записів. Аудитор перевірив їх: 96 були законними операціями без різниць у часі (поставка в той самий день), 22 були фактичними доходами за наступний рік і були зареєстровані в попередньому періоді. Про ці 22 елементи було повідомлено, оскільки вони показали певну закономірність, хоча й менш значущу. ШІ задав 118 питань; Аудитор знайшов 22 відповіді.
Випадок 2 — Коли повнота опущена. Один член команди сказав, що він провів повне тестування населення на 180 000 рахунків-фактур; Не було винятків, і він відчув полегшення. Відповідальна особа порівняла загальну суму набору даних із пробним балансом: дані 155 мільйонів TL, пробний баланс 210 мільйонів TL. Виявилося, що під час отримання даних із системи гілку було відфільтровано та виключено. «Повний» тест фактично пропустив чверть даних. Тест було виконано з правильними даними. Урок: немає повного тестування населення без підтвердження повноти.
Випадок 3 — помилка правил. Аудитор попросив штучний інтелект написати правило «Перелік непідтверджених платежів понад 50 000 TL», але не помітив, що поле «затвердження» зберігається в двох різних стовпцях системи (електронне затвердження та затвердження вручну). AI позначив 300 платежів як "відхилені", тому що він переглянув лише один; Під час перевірки було видно, що більшість із них затверджено в іншій графі. Неправильне правило породило сотні помилкових спрацьовувань. Аудитор виправив правило, включивши обидві колонки. Урок: аудитор перевіряє, чи правило відповідає даним і бізнес-процесу.
Слабка підказка / Сильна підказка
Слабка підказка:
Знайдіть проблемні записи в даних рахунку-фактури.
Проблема: немає визначення «проблемного». ШІ не знає, що вважати винятком; Він працює або за випадковими сигналами, або за вигаданим ним критерієм. Він не підлягає повторюванню та перевірці.
Потужна підказка:
Ваша роль: ви асистент незалежного аудитора з аналізу даних. Суд моє; Ви застосуєте правило та створите список винятків. Контекст: Нижче наведено анонімні дані рахунків-фактур продажів (стовпці: invoice_no, invoice_date, delivery_date, сума, approval_status, філія). Кінець року: 31.12. КРОК 1 – Повнота: укажіть загальну кількість записів і загальну суму, щоб я міг порівняти її з пробним балансом. Повідомте, якщо є порожні/відсутні місця. КРОК 2 – Правило перевірки вирізання: перелічіть записи з invoice_date <= 31.12 AND delivery_date >= 01.01 як «виняток відключення». КРОК 3 – Напишіть правило звичайним текстом (яку умову ви застосували), щоб його можна було перевірити. Правила: я надав правило, не змінюйте його. Надішліть записи, які ви позначили як "винятки для перегляду"; Не кажіть «помилка/знахідка». Не вигадуйте те, чого ви не можете зробити з даних.
Цей запит є потужним, оскільки спочатку підтверджує повноту, чітко визначає правило винятку, вимагає відкритий текст правила (можливість перевірки) і позиціонує вихідні дані як «виняток».
Поширені помилки
- Пропуск перевірки повноти. Виконання «повного» тестування на неповних/пошкоджених даних і надання неправдивих гарантій.
- Приймаючи виняток за знахідку. Підрахунок помилок без перевірки запису, позначеного ШІ; уникаючи усунення помилкових спрацьовувань.
- Не перевіряючи правило. Створення сотень помилкових позначок без перевірки відповідності правила даним і бізнес-процесу.
- Написання нечітких правил. Отримання неповторюваних результатів із невизначеними запитами на зразок «знайти проблемні записи».
- Задоволення одним стартом. Не запитувати правило або дані, якщо кількість винятків сильно відрізняється від очікуваної.
Порада. Будьте тривожні, якщо кількість винятків замала (близька до нуля) або завелика. Нуль зазвичай означає «правило написане неправильно» або «відсутні дані»; Надзвичайно велике число вказує на те, що правило занадто широке. Хороший аудитор підозрює як «немає винятків», так і «все є винятки».
Підсумовуючи
Повне тестування населення — це величезний стрибок уперед в аудиті: воно усуває ризик вибірки, перевіряючи 100% даних. Але це не безкоштовно. Це передбачає дві нові відповідальності: (1) перевірка повноти та точності даних, (2) оцінка окремих винятків, які виникають. AI готує дані, застосовує правило, позначає виняток і скорочує години сканування до секунд; Але точність правила, повнота даних і оцінка винятків належать аудитору. Виняток - це не результат, це початок.
Аплікаційне завдання
Розглянемо існуючий (або гіпотетичний) набір даних транзакцій. Спочатку визначте дві перевірки повноти (кількість записів і узгодження сум). Потім напишіть чітке правило винятку з метою перевірки (наприклад, рахунки-фактури, виставлені у вихідні, або скорочення винятків). За допомогою потужного шаблону підказок вище попросіть штучний інтелект спочатку виконати повноту, а потім правило. Перші 10 винятків, які з’являються, це «справжні результати чи хибні спрацьовування?» Потренуйтеся класифікувати наступним чином і запишіть, які докази ви будете шукати для кожного.
контрольний список
- [ ] Я анонімізував дані та їхав безпечно.
- [ ] Я підтвердив повноту даних шляхом звірки кількості записів і суми.
- [ ] Я просканував вільне/погане місце.
- [ ] Я визначив правило винятку чітким, повторюваним способом.
- [ ] Я отримав звичайний текст правила від ШІ та перевірив його відповідність даним і бізнес-процесу.
- [ ] Я поставив під сумнів доцільність кількості винятків (занадто мало/не надто багато).
- [ ] Я розглядав кожен виняток як питання, яке потрібно дослідити, а не як відкриття; Я усунув помилкові спрацьовування.