Прибыль:
- Поймите, что такое профессиональный скептицизм и риски впасть в предвзятость подтверждения и предвзятость автоматизации при использовании искусственного интеллекта.
- Возможность протестировать результаты искусственного интеллекта с помощью техники опроса, которая пытается опровергнуть (искать обратное)
- Способность понять, что беглость искусственного интеллекта не означает точности, что скептический ум является ядром контроля и не может быть передан.
Существует одна ментальная установка, которая отличает независимый аудит от многих других профессий: профессиональный скептицизм. ISA определяют это как работу аудитора «с пытливым умом, отмечая, указывают ли доказательства на потенциальное искажение, и критически оценивая доказательства». То есть аудитор не принимает автоматически никакую представленную ему информацию — ни заявление руководства, ни документ, ни даже отчет, который «кажется разумным» — как правдивый. Я постоянно задаюсь вопросом: «Неужели это так?» — спрашивает он. Такое отношение является основой контроля и является неотъемлемым.
В эпоху искусственного интеллекта этому ядру предстоит совершенно новое испытание. Потому что ИИ умеет вызывать две глубоко укоренившиеся слабости человеческого разума — предвзятость автоматизации и предвзятость подтверждения. В этом разделе мы рассмотрим, как одитор, использующий ИИ, может сохранить или даже усилить свой скептицизм. Основной тезис заключается в том, что беглость речи ИИ — это не точность; Скептический ум становится еще более важным перед лицом ИИ.
Два опасных предубеждения
Предвзятость автоматизации — это тенденция людей доверять результатам работы машины/программного обеспечения больше, чем собственному суждению. «Компьютер рассчитал это, это правильно». Эта опасность возрастает, когда дело касается ИИ, потому что ИИ не просто рассчитывает; Говорит бегло, уверенно, по-человечески, аргументированными предложениями. Уверенный тон убедителен, даже если информация неточна.
Предвзятость подтверждения — это тенденция людей искать информацию, подтверждающую выводы, на которые они раньше верили или на которые надеялись, и игнорировать противоречивую информацию. Это фатально для одитинга: одитор, который думает: «Этот клиент должен быть чистым», почувствует облегчение, когда спросит ИИ и получит подтверждение, и перестанет искать доказательства обратного. Поскольку ИИ имеет тенденцию опираться на задаваемый вопрос (если вы спросите: «Все в порядке, не так ли?», он с большей вероятностью даст ответ, который с вами согласится), он может способствовать предвзятости подтверждения.
Есть и третий: галлюцинация. Мы много раз видели это в модуле — ИИ может бегло придумать число, предмет, ресурс, которого не существует. Опасность усугубляется, когда объединяются три слабости: ИИ выдумывает вещи (галлюцинации), вы верите в него, потому что он изменчив (предвзятость автоматизации), вы не подвергаете его сомнению, потому что он говорит вам то, что вы ожидаете (предвзятость подтверждения).
Три инструмента скептического ума против ИИ
Давайте вложим скептицизм в конкретные методы борьбы с ИИ:
- Попробуйте опровергнуть, а не подтвердить. ИИ может спросить свой вывод: «Это правда?» а не «как мне узнать, что это неправильно?» вопрос. Спросите себя: «Если бы это утверждение было ложным, какие доказательства это подтвердят?» и искать эти доказательства. Легко найти единственный подтверждающий пример; Попытка опровергнуть и потерпеть неудачу дает реальную уверенность.
- Спросите нейтрально и задом наперед. Спросите ИИ: «Здесь нет проблем, верно?» Не спрашивай; это вызывает одобрительный ответ. Вместо этого: «Какие риски я мог упустить из этих данных?» и «Каковы три наиболее вероятных сценария, при которых этот результат может быть неверным?» просить. Задайте один и тот же вопрос с двух противоположных сторон и сравните ответы.
- Загрузите исходный код и воспроизведите. По каждой проблеме, атрибуции и выводу: «Где я могу это независимо проверить?» Задайте вопрос и действительно проверьте. Просмотрите вывод ИИ как утверждение; Доказательства являются внешними по отношению к иску.
Совет: выработайте привычку: рядом с каждым важным результатом, который дает ИИ, пишите от руки две вещи: «(1) чем я это проверил, (2) какие доказательства показали бы это, если бы это было ложью». Эти два замечания разрушают как автоматизацию, так и предвзятость подтверждения.
Суждения, которые аудитор не может делегировать
Некоторые профессии по своей сути требуют скептицизма и рассудительности; их нельзя делегировать ИИ, поддерживаются только:
неотъемлемая юрисдикция
Почему
Являются ли доказательства достаточными и уместными
Профессиональное суждение; контекстно-зависимый
Правдоподобие объяснения
Требуется рассмотрение предприимчивости и намерений
Оценка риска мошенничества
Скептицизм и интуиция; за пределами шаблона данных
Существенность и решение по мнению
Судебная власть ответственна перед обществом
Мнение о честности руководства
Чтение поведения человека; ИИ не может этого сделать
Разница между скептицизмом и педантичностью: размеренное отношение
Профессиональный скептицизм не означает не верить всему или заранее винить руководство; Это было бы превышением полномочий и сделало бы контроль неэффективным. Скептицизм — это не чистое доверие (принятие всего, что вам говорят) и не слепое отрицание (отрицание всего); Между тем, это позиция исследования, соразмерная доказательствам. Аудитор может признать руководство честным, но проверяет это признание доказательствами; может найти объяснение правдоподобным, но подтверждает правдоподобие. ИИ может нарушить этот баланс: с одной стороны, он внушает вам чрезмерную самоуверенность своей плавной производительностью; С другой стороны, если вы скажете ему «придираться ко всему», он будет бомбардировать вас бесконечными ложными срабатываниями. Правильный подход — всегда сопоставлять результат с весом доказательств, одновременно запуская ИИ для получения доказательств и их опровержения. Скептицизм — это не черта личности, а дисциплинированный способ работы; И именно одитор устанавливает, поддерживает и подтверждает эту дисциплину, а не ИИ.
три мини-кейса
Случай 1. Техника опровержения работает. Аудитор распечатал ИИ, в котором говорилось, что «эта оценка акций выглядит разумной». Вместо подтверждения он бесцеремонно спросил: «Если эта оценка завышена, какие доказательства это подтвердят?» «Товары, послепродажные цены на которые падают ниже себестоимости», - сказал YZ. Аудитор искал эти статьи и нашел группу, которая была фактически недооценена. Опровергающий вопрос выявил риск, который скрывал подтверждение.
Случай 2. Впадение в предвзятость подтверждения. В критический момент член команды спросил ИИ: «С этой учетной записью нет ничего серьезного, верно?» — спросил он. YZ склонился над вопросом и сказал: «Согласно предоставленной вами информации, серьезной проблемы не существует». Член команды расслабился и закрыл ручку. Однако он не представил никаких доказательств; ИИ просто отразил его предложение. Ответственное лицо показало, что вопрос был задан необъективно. Урок: то, как вы задаете вопрос, определяет ответ, который вы получите; Вопрос, требующий подтверждения, приводит к подтверждению.
Случай 3. Недостаток беглости речи. Аудитор посчитал, что интерпретация законодательства, которую YZ объяснил в очень беглом и аргументированном параграфе, была правильной, и включил ее в рабочий документ. Текст был настолько аккуратен, что ему не пришло в голову подвергнуть его сомнению. Ответственное лицо показало, что ссылка не имеет эквивалента в официальном тексте. Урок: беглость и уверенность не являются доказательством точности; Результат, который кажется наиболее убедительным, может оказаться самым опасным.
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Этот анализ верен, не так ли? Вы одобряете?
Проблема: предвзятый вопрос, требующий подтверждения. Это подталкивает ИИ присоединиться к вам; Это способствует предвзятости подтверждения и скрывает истинный риск.
Мощная подсказка:
Ваша роль: вы являетесь партнером независимого аудитора по критическим расследованиям. Ваша задача — не СОГЛАСИТЬСЯ со мной, а попытаться ОТКАЗАТЬСЯ от моего вывода. Контекст: Ниже приводится мой вывод аналитической процедуры и мой предварительный вывод. [текст результата]Задание: 1) Перечислите 3 наиболее вероятных сценария, в которых этот вывод мог бы быть ЛОЖНЫМ. 2) Для каждого сценария: «если бы это было правдой, какие доказательства подтвердят это?» Предложите конкретные, доступные для поиска доказательства. 3) Отметьте любые данные или предположения, которые я мог пропустить. 4) Не составляйте предложения, которые согласны со мной; Вам предстоит найти слабые места. Отметьте «неизвестно» там, где вы не уверены.
Эта подсказка является мощной, поскольку она меняет роль ИИ (опровержение), требуя сценариев опровержения и доступных для поиска доказательств, а также запрещая язык, требующий подтверждения. Это ставит ИИ на службу скептицизму, а не как инструмент предвзятости подтверждения.
Распространенные ошибки
- Задавать вопросы, требующие одобрения. «Все в порядке, да?» задав вопрос и обеспечив согласованный ответ.
- Принимаю беглость за точность. Без вопросов принимайте хорошо написанный, уверенный результат.
- Довольствуйтесь одним подтверждающим примером. Завершим первым подтверждающим выводом, не пытаясь его опровергнуть.
- Делегировать неотъемлемую юрисдикцию. Оставляя решение о достаточности доказательств, разумности и мнении за ИИ.
- Отпустить скептицизм в условиях нехватки времени. Если вы застряли, найдите утешающий ответ ИИ.
Внимание: нехватка времени — величайший враг скептицизма, и под этим давлением ИИ становится наиболее опасным; потому что он предлагает вам быстрый, беглый и утешительный ответ. Сделайте обязательным задавать опровергающий вопрос, когда вы спешите.
В заключение
Профессиональный скептицизм лежит в основе аудита и становится еще более важным в эпоху искусственного интеллекта. ИИ вызывает три слабости: галлюцинации (само собой), предвзятость автоматизации (мы верим в это, потому что это непостоянно), предвзятость подтверждения (мы не подвергаем сомнению это, потому что оно говорит то, на что мы надеемся). Противоядием является стремление опровергнуть ИИ, а не подтвердить его: «если это ложь, какие доказательства это подтвердят?» ' и искать противоположные доказательства, задавать объективные и задом наперед вопросы, воспроизводя каждый вывод источника. Такие суждения, как достаточность доказательств, разумность, риск мошенничества и мнение, требуют скептицизма и не подлежат передаче. Беглость — это не точность; Скептический ум принадлежит вам.
Задача приложения
Получите результат аудита (или гипотетический результат). Сначала задайте ИИ слабый вопрос «ищущего подтверждения», а затем с помощью шаблона сильной подсказки «опровержения», приведенного выше. Поместите два исхода рядом и запишите разницу: какие риски были выявлены только с помощью опровергающего вопроса? Затем добавьте две заметки рядом с каждым ключевым утверждением в выводе: «Что я проверял» и «Какие доказательства показали бы, если бы они были ложными».
контрольный список
- [ ] Я задавал ИИ опровергающие/нейтральные вопросы, а не вопросы, требующие подтверждения.
- [ ] Для каждого значимого исхода: «если это ложь, какие доказательства это подтвердят?» Я задал вопрос и поискал доказательства.
- [ ] Я протестировал результат, который показался мне плавным и уверенным, но с большим скептицизмом.
- [ ] Я не остановился на одном подтверждающем примере; Я пытался это опровергнуть, но не получилось.
- [ ] Я вынес свои собственные суждения, такие как достаточность доказательств, разумность и мнение.
- [ ] Даже в условиях нехватки времени я не пропустил опровергающий вопрос.
- [ ] Рядом с важными утверждениями я сделал пометки о том, «что я проверил / что показало бы, если бы это было неправильно».