Прибыль:
- Понимать риск выборки и логику полномасштабного тестирования (100% тестирования), а также уметь использовать искусственный интеллект для подготовки данных, написания правил и интерпретации результатов.
- Способность разрабатывать и реализовывать тесты на соответствие, полноту и точность в больших наборах данных с поддержкой искусственного интеллекта.
- Способность понять, что список исключений в тесте полной совокупности — это не результат, а начало, которое будет проверять аудитор, и что окончательная оценка принадлежит аудитору.
Одним из наиболее фундаментальных ограничений профессии аудитора было то, что аудитору приходилось работать с выборкой на протяжении многих лет. Вы не можете вручную просмотреть 180 000 счетов, которые компания выставляет за год; Итак, вы выбираете несколько сотен записей, используя статистический или оценочный метод, проверяете их и обобщаете результат на всю совокупность. Выборка — мощный и законный метод, но она несет в себе неотъемлемый риск: риск выборки: выбранная вами выборка может не быть репрезентативной для генеральной совокупности, и истинная ошибка в ней может не попадать именно туда, куда вы ищете.
Аналитика данных и искусственный интеллект меняют эту картину: теперь вы можете протестировать всю совокупность, то есть 100%. Это называется полным популяционным тестированием. Мы посвящаем этот раздел пониманию перехода от «образца к целому», той власти, которую он дает, и новым обязанностям, которые многие люди упускают из виду. Потому что полное тестирование населения не облегчает проверку; Это меняет характер теста и возлагает на экзаменатора новое бремя.
Разница между выборочным и полным популяционным тестированием
В классической выборке логика такова: «Позвольте мне тщательно протестировать небольшую, но репрезентативную группу и интерпретировать результат в целом». В тесте полной совокупности логика обратная: «Позвольте мне просмотреть все в соответствии с определенными правилами, найти исключения, выходящие за рамки правила, и тщательно их изучить». При первом подходе риск заключается в «выборе неправильной выборки»; Во втором риск заключается в «написании неправильного правила» и «работе с неполными/ошибочными данными».
В следующей таблице сравниваются два подхода:
Размер
выборка
Полное популяционное тестирование (100%)
Область применения
часть населения
все население
Основной риск
Риск выборки (ошибка представления)
Ошибка правила + ошибка целостности данных
вывод
Ограниченное количество результатов испытаний
Список исключений, не соответствующих правилу
Бремя аудитора
выбор + тест
Разработка правил + оценка исключений
Роль ИИ
Помогите с выбором образца
Подготовка данных, написание правил, маркировка исключений
Примечание. Полное популяционное тестирование не означает «Я все протестировал, работа выполнена». Напротив, обычно это дает вам больше предметов для изучения. Если вы прогоните все 180 000 счетов по правилу утверждения даты и суммы, вы обнаружите около 900 исключений. Каждое из этих вопросов является вопросом; не ответ. Именно здесь в игру вступает аудиторская судебная система.
Полнота данных: невидимая основа тестирования
Самая большая ошибка тестирования всего населения заключается в том, что качество теста зависит от качества данных. «Я протестировал 100% данных» имеет смысл только в том случае, если имеющиеся у вас данные на самом деле охватывают 100% населения. Если фильтр был неправильным при извлечении данных из системы, некоторые записи были пропущены или столбец суммы был передан с десятичной ошибкой, ваша «полная» проверка фактически будет выполнена на неполных или поврежденных данных. Таким образом, подтверждение полноты и точности данных является первым и обязательным шагом в полномасштабном популяционном тестировании.
Практические проверки для проверки полноты:
- Согласование количества записей: соответствует ли количество строк в извлеченном наборе данных общему количеству записей в системе?
- Сверка сумм: сверяется ли общая сумма в наборе данных с соответствующей суммой счета в пробном балансе/дочерней компании?
- Диапазон дат: первый и последний дни периода, включенного в данные; Есть ли пропущенный месяц/день?
- Сканирование пустого и плохого пространства: есть ли пробелы или бессмысленные значения в обязательных полях (дата, сумма, код счета)?
ИИ помогает во всех этих проверках: сканирует данные, получает итоговые значения, подсчитывает пустые места, сообщает диапазон дат. Но именно аудитор решает, «соблюдается» ли соглашение, исследует разницу и подтверждает, что данные подходят для целей аудита.
Внимание: не пишите на листе «Я проверил все данные», не проверив полноту данных. Полный популяционный тест на недостающие данные дает, казалось бы, полную, но вводящую в заблуждение уверенность.
Полное популяционное тестирование с помощью ИИ: шаг за шагом
- Подготовьте данные безопасно. Анонимизируйте личные/приватные поля или замените их заполнителями. Если возможно, используйте корпоративный автомобиль, нанятый по контракту.
- Подтвердите комплектность. Согласуйте количество записей и сумму.
- Четко определите правило тестирования. Что считается «исключением»? (Например: неутвержденный счет, счет, выставленный на выходных, крупный платеж, доход, зарегистрированный после отчетной даты.)
- Примените правило с ИИ. ИИ применяет правило к данным и составляет список исключений; Напишите правило четко, чтобы его можно было проверить.
- Расставьте приоритеты и просмотрите исключения. Расследуйте каждое исключение с доказательствами; устранить ложные срабатывания, обосновать фактические выводы.
- Задокументируйте результат. Свяжите правило, количество исключений, проверенные элементы и вывод с рабочим листом.
три мини-кейса
Случай 1. Испытание на резку. Аудитор хотел протестировать сокращение доходов в конце года. Он взял 42 000 счетов-фактур за всю совокупность и поручил ИИ обеспечить «запись списка с датами счетов-фактур до 31 декабря, а датами отгрузки/доставки — 1 января или после этой даты». YZ отметил 118 рекордов. Аудитор проверил их: 96 операций были законными и не имели разницы во времени (доставка в тот же день), 22 фактически представляли собой выручку на следующий год и были зарегистрированы в предыдущем периоде. Об этих 22 пунктах сообщили, потому что они показали закономерность, хотя и ниже значимости. ИИ задал 118 вопросов; Аудитор нашел 22 ответа.
Случай 2 — Когда полнота опущена. Один из членов команды рассказал, что он провел полное тестирование на 180 000 счетов; Исключений не было, и он почувствовал облегчение. Ответственное лицо сравнило общую сумму набора данных с пробным балансом: данные 155 миллионов TL, пробный баланс 210 миллионов TL. Оказывается, пока данные извлекались из системы, ветка фильтровалась и не учитывалась. «Полный» тест фактически пропустил четверть данных. Тест был пройден с правильными данными. Урок: полное популяционное тестирование невозможно без подтверждения полноты.
Случай 3 — Ошибка правил. Аудитор попросил ИИ написать правило «Список неутвержденных платежей на сумму более 50 000 турецких лир», но не осознавал, что поле «одобрение» хранилось в двух разных столбцах в системе (электронное одобрение и одобрение вручную). ИИ пометил 300 платежей как «отклоненные», поскольку рассмотрел только один; При рассмотрении выяснилось, что большинство из них были одобрены в другой колонке. Неправильное правило привело к сотням ложных срабатываний. Аудитор исправил правило, включив в него оба столбца. Урок: аудитор проверяет соответствие правила данным и бизнес-процессу.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Найдите проблемные записи в данных этого счета.
Проблема: нет определения понятия «проблемный». ИИ не знает, что считать исключением; Он работает либо по случайным сигналам, либо по придуманному им критерию. Оно не повторяемо и не проверяемо.
Мощная подсказка:
Ваша роль: вы помощник независимого аудитора по анализу данных. Решение мое; Вы примените правило и создадите список исключений. Контекст: Ниже приведены анонимные данные счета-фактуры продаж (столбцы: номер счета-фактуры, дата_счета, дата_доставки, сумма, статус_утверждения, филиал). Конец года: 31.12.ШАГ 1. Полнота: укажите общее количество записей и общую сумму, чтобы я мог сравнить ее с пробным балансом. Сообщите, если есть какие-либо пустые/отсутствующие места. ШАГ 2 – Правило теста обрезки: перечислите записи с параметром "voice_date <= 31,12 И Delivery_date > = 01,01 как "исключение ограничения". ШАГ 3 – Напишите правило в виде обычного текста (какое условие вы применили), чтобы его можно было проверить. Правила: я дал правило, не меняйте его. Отправьте записи, которые вы пометили как «исключения для проверки»; Не говорите «ошибка/обнаружение». Не выдумывайте то, что не можете вывести из данных.
Этот запрос является мощным, поскольку он сначала подтверждает полноту, четко определяет правило исключения, требует открытого текста правила (проверяемость) и позиционирует выходные данные как «исключение».
Распространенные ошибки
- Пропуск проверки полноты. Выполнение «полного» тестирования на неполных/поврежденных данных и предоставление ложных гарантий.
- Принятие исключения за результат. Подсчет ошибок без проверки записи, отмеченной ИИ; избегая исключения ложных срабатываний.
- Не проверяю правило. Генерация сотен ложных сигналов без проверки соответствия правила данным и бизнес-процессу.
- Написание неясных правил. Получение неповторимых результатов с неопределенными подсказками, например «найти проблемные записи».
- Довольствуясь одним стартом. Не запрашивать правило или данные, если количество исключений сильно отличается от ожидаемого.
Совет: беспокойтесь, если количество исключений слишком мало (близко к нулю) или слишком велико. Ноль обычно означает «правило написано неправильно» или «отсутствуют данные»; Чрезвычайно большое число указывает на то, что правило слишком широкое. Хороший аудитор подозревает как «нет исключений», так и «все есть исключения».
В итоге
Полное популяционное тестирование — это огромный шаг вперед в аудите: оно устраняет риск выборки, проверяя 100% данных. Но это не бесплатно. Это влечет за собой две новые обязанности: (1) проверка полноты и точности данных, (2) оценка возникающих отдельных исключений. ИИ подготавливает данные, применяет правило, отмечает исключение и сокращает часы сканирования до секунд; Но точность правила, полнота данных и оценка исключений принадлежат аудитору. Исключение – это не результат, это начало.
Задача приложения
Рассмотрим существующий (или гипотетический) набор данных о транзакциях. Сначала определите две проверки полноты (количество записей и сверка сумм). Затем напишите четкое правило исключений для целей аудита (например, счета-фактуры, выставляемые в выходные дни, или сокращение исключений). С помощью мощного шаблона подсказок, приведенного выше, ИИ сначала выполняет полноту, а затем правило. Первые 10 появляющихся исключений — это «реальные результаты или ложноположительные результаты?» Попрактикуйтесь в классификации следующим образом и запишите, какие доказательства вы будете искать для каждого из них.
контрольный список
- [ ] Я анонимизировал данные и благополучно поехал.
- [ ] Я подтвердил полноту данных, сверив количество записей и сумму.
- [ ] Я просканировал свободное/недостаточное место.
- [ ] Я определил правило исключения ясным и воспроизводимым образом.
- [ ] Я получил от ИИ открытый текст правила и проверил его соответствие данным и бизнес-процессу.
- [ ] Я усомнился в разумности количества исключений (слишком мало/не слишком много).
- [ ] Я рассматривал каждое исключение как вопрос, который необходимо изучить, а не как вывод; Я исключил ложные срабатывания.