Прибуток:
- Зрозумійте, що таке професійний скептицизм і ризик упередження підтвердження та автоматизації під час використання штучного інтелекту
- Можливість тестувати результати штучного інтелекту за допомогою техніки запитань, яка намагається спростувати (шукати протилежне)
- Здатність зрозуміти, що вільне володіння штучним інтелектом не означає точності, що скептичний розум є основою контролю і не може бути переданий.
Існує одна психологічна установка, яка відрізняє незалежного аудитора від багатьох інших професій: професійний скептицизм. МСА визначають це як роботу аудитора «з допитливим розумом, відзначаючи, чи вказують докази на потенційне викривлення, і критично оцінюючи докази». Тобто аудитор автоматично не приймає будь-яку подану йому інформацію — ні заяву керівництва, ні документ, ні навіть обліковий запис, який «здається розумним» — як правдиву. Постійно задаюся питанням "А чи справді це так?" — запитує він. Це ставлення є ядром контролю і є невідчужуваним.
В епоху штучного інтелекту це ядро стикається з абсолютно новим випробуванням. Тому що штучний інтелект вправно запускає дві глибоко вкорінені слабкості людського розуму — упередженість автоматизації та упередженість підтвердження. У цьому розділі ми розглянемо, як аудитор, який використовує ШІ, може зберегти або навіть посилити свій скептицизм. Основна теза полягає в тому, що плавність ШІ не є точністю; Скептичний розум стає ще важливішим перед лицем ШІ.
Два небезпечних упередження
Упередженість автоматизації — це схильність людей більше довіряти результатам роботи машини/програмного забезпечення, ніж власним судженням. «Комп’ютер розрахував, це правильно». Ця небезпека посилюється, коли мова заходить про ШІ, оскільки ШІ не просто обчислює; Говорить вільно, впевнено, по-людськи, обґрунтованими реченнями. Впевнений тон є переконливим, навіть якщо інформація є неточною.
Упередження підтвердження — це схильність людей шукати інформацію, яка підтверджує висновок, у який вони раніше вірили або на який сподівалися, і ігнорувати суперечливу інформацію. Це фатально в аудиті: аудитор, який думає, що «Цей клієнт має бути чистим», відчує полегшення, коли запитає ШІ та отримає підтвердження, і припинить шукати докази протилежного. Оскільки штучний інтелект зазвичай орієнтується на поставлене запитання (якщо ви запитуєте: «Це нормально, чи не так?», це, швидше за все, дасть відповідь, яка погоджується з вами), він може сприяти упередженню підтвердження.
Є й третя: галюцинація. Ми бачили це багато разів у модулі — штучний інтелект може вільно створити число, предмет, ресурс, яких не існує. Небезпека посилюється, коли поєднуються три слабкі сторони: штучний інтелект вигадує речі (галюцинація), ви вірите йому, тому що він текучий (упередження автоматизації), ви не сумніваєтеся, оскільки він говорить вам, що ви очікуєте (упередженість підтвердження).
Три інструменти скептичного розуму проти ШІ
Давайте скептично поставимося до конкретних методів проти ШІ:
- Спробуйте спростувати, а не підтвердити. Штучний інтелект може запитати свій результат: «Це правда?» а не "як я знаю, чи це не так?" запитання. Запитайте себе: «Якби це твердження було хибним, які докази це підтвердили б?» і шукати ці докази. Легко знайти один підтверджуючий приклад; Спроба спростувати і невдача дає справжню впевненість.
- Запитайте нейтрально і задом наперед. Запитайте ШІ "тут немає проблем, правда?" Не питай; це викликає схвальну відповідь. Натомість, «які ризики я міг упустити в цих даних?» і «які три найімовірніші сценарії, за яких цей результат може бути неправильним?» запитати. Поставте те саме питання з двох протилежних сторін і порівняйте відповіді.
- Завантажте до джерела та відтворіть. Для кожної проблеми, посилання та висновку, «де я можу це незалежно перевірити?» Поставте запитання та фактично перевірте. Перегляньте вихід ШІ як твердження; Докази є зовнішніми щодо позову.
Порада: виробіть звичку: поруч із кожним значним результатом, який дає ШІ, напишіть від руки дві речі: «(1) за допомогою чого я це підтвердив, (2) які докази показали б це, якби це було неправдою». Ці дві примітки порушують упередженість автоматизації та підтвердження.
Судження, які аудитор не може делегувати
Деякі роботи за своєю природою вимагають скептицизму та оцінки; їх не можна делегувати ШІ, підтримуються лише:
невідчужувана юрисдикція
чому
Чи є докази достатніми та відповідними
Професійне судження; залежить від контексту
Правдоподібність пояснення
Вимагає врахування підприємливості та намірів
Оцінка ризику шахрайства
Скептицизм і інтуїція; поза шаблоном даних
Рішення щодо суттєвості та думки
Судова влада відповідальна перед суспільством
Думка про чесність керівництва
Читання поведінки людини; ШІ не може цього зробити
Різниця між скептицизмом і педантизмом: виважене ставлення
Професійний скептицизм не означає не вірити всьому або заздалегідь звинувачувати керівництво; Це було б перевищенням і зробило б контроль неефективним. Скептицизм — це не чиста довіра (прийняття всього, що тобі говорять) і не сліпе заперечення (відкидання всього); Між ними – це дослідницька позиція, яка відповідає доказам. Аудитор може прийняти керівництво як чесне, але перевірить це визнання доказами; може вважати пояснення правдоподібним, але підтверджує правдоподібність. ШІ може порушити цей баланс: з одного боку, він заколисує вас до надмірної самовпевненості своїми плавними результатами; З іншого боку, якщо ви скажете йому «знайти недоліки в усьому», він буде бомбардувати вас нескінченними помилковими результатами. Правильне ставлення полягає в тому, щоб завжди зважувати результат із вагомістю доказів, одночасно запускаючи штучний інтелект, щоб отримати докази та спростовувати їх. Скептицизм – це не риса особистості, а дисциплінована манера роботи; І саме аудитор встановлює, підтримує та підтверджує цю дисципліну, а не ШІ.
три міні-чохла
Випадок 1. Техніка спростування працює. Аудитор роздрукував ШІ, сказавши, що «ця оцінка акцій виглядає розумною». Замість того, щоб підтвердити, він запитав навпіл: «Якщо ця оцінка завищена, які докази це підтвердять?» "предмети, на які післяпродажні ціни нижчі за собівартість", - сказав YZ. Аудитор шукав ці предмети та знайшов групу, яка фактично була недооцінена. Спростувальне запитання виявило ризик, який приховало підтвердження.
Випадок 2 — упередженість підтвердження. Член команди запитав ШІ під час кризи: «з цим обліковим записом немає нічого серйозного, чи не так?» запитав він. YZ схилився до запитання й сказав: «Згідно з наданою вами інформацією, суттєвої проблеми, здається, немає». Член команди розслабився й закрив ручку. Однак він не надав жодних доказів; ШІ лише віддзеркалив його вирок. Відповідальна особа показала, що питання було поставлене неупереджено. Урок: те, як ви ставите запитання, визначає відповідь, яку ви отримаєте; Питання, яке шукає підтвердження, створює підтвердження.
Випадок 3 — Захоплення вільного мовлення. Аудитор вважав, що тлумачення законодавства, яке YZ пояснив у дуже вільному та аргументованому параграфі, було правильним, і включив його в робочий документ. Текст був такий акуратний, що йому не спало на думку поставити його під сумнів. Відповідальна особа показала, що посилання не має еквівалента в офіційному тексті. Урок: плавність і впевненість не є доказом точності; Результат, який здається найбільш переконливим, може бути найнебезпечнішим.
Слабка підказка / Сильна підказка
Слабка підказка:
Цей аналіз правильний, чи не так? Ви схвалюєте?
Проблема: упереджене запитання, яке шукає підтвердження. Це штовхає ШІ приєднатися до вас; Це сприяє упередженості підтвердження та приховує справжній ризик.
Потужна підказка:
Ваша роль: ви партнер незалежного аудитора з критичних запитів. Ваше завдання полягає не в тому, щоб ПОГОДИТИСЯ зі мною, а в тому, щоб спробувати ВІДМОВИТИСЯ моїм результатам. Контекст: Нижче наведено мій висновок щодо аналітичної процедури та мій попередній висновок [текст результату] Завдання: 1) Перелічіть 3 найбільш вірогідні сценарії, за яких цей висновок може бути НЕПРАВИЛЬНИМ. 2) Для кожного сценарію: «якби це було правдою, які докази це підтвердили б?» Запропонуйте конкретні, доступні для пошуку докази. 3) Позначте будь-які дані або припущення, які я міг пропустити. 4) Не склади речень, які погоджуються зі мною; Перед вами стоїть завдання знайти слабкі місця. Позначте «невідомо», де ви не впевнені.
Ця підказка є потужною, оскільки вона змінює роль штучного інтелекту (спростування), вимагаючи сценаріїв спростування та доступних для пошуку доказів і забороняючи мову пошуку підтвердження. Це ставить штучний інтелект на службу скептицизму, а не інструмент упередженого підтвердження.
Поширені помилки
- Ставте запитання, шукаючи схвалення. «Нічого страшного, правда?» запитуючи та забезпечуючи узгоджену відповідь.
- Приймаючи плавність за точність. Прийняття добре написаного, впевненого результату без питань.
- Задовольнися одним підтверджуючим прикладом. Завершуючи першим підтверджуючим висновком, не намагаючись його спростувати.
- Делегувати невідчужувану юрисдикцію. Залишення рішення про достатність доказів, обґрунтованість, висновок AI.
- Позбавтеся скептицизму під тиском часу. Скористайтеся втішною відповіддю ШІ, коли ви застрягли.
Застереження: тиск часу є найбільшим ворогом скептицизму, і ШІ стає найнебезпечнішим під цим тиском; оскільки він пропонує вам швидку, вільну та комфортну відповідь. Коли ви поспішаєте, обов’язково задайте спростувальне запитання.
Підсумовуючи
Професійний скептицизм лежить в основі аудиту і стає ще більш критичним в епоху ШІ. ШІ викликає три слабкі сторони: галюцинації (вигадує), упередження автоматизації (ми віримо цьому, тому що він плинний), упередження підтвердження (ми не ставимо під сумнів, оскільки він говорить те, на що ми сподіваємося). Протиотрута полягає в тому, щоб поспішити спростувати ШІ, а не підтвердити його: «якщо це неправда, які докази це підтвердять?» ' і шукати докази протилежного, запитувати об'єктивно та назад, відтворюючи кожен вихід із джерела. Такі судження, як достатність доказів, обґрунтованість, ризик шахрайства та оцінка думки, вимагають скепсису та не підлягають передачі. Повільне мовлення – це не точність; Ваш скептичний розум.
Аплікаційне завдання
Отримайте результат аудиту (або гіпотетичний результат). Поставте штучному інтелекту спочатку слабке запитання «пошук підтвердження», а потім сильну підказку «спростування» вище. Поставте два результати поруч і запишіть різницю: які ризики були виявлені лише за допомогою спростувального запитання? Потім додайте дві примітки поряд із кожною ключовою претензією у вихідних даних: «що я перевірив за допомогою» та «які докази показали б, якби вони були неправдивими».
контрольний список
- [ ] Я поставив штучному інтелекту спростування/нейтральні запитання, а не запити для пошуку підтвердження.
- [ ] Для кожного важливого результату, «якщо це неправда, які докази це підтвердять?» Я ставив запитання і шукав докази.
- [ ] Я перевірив результати, які здавалися плавними та впевненими, з додатковим скептицизмом.
- [ ] Я не зупинився на жодному підтверджувальному прикладі; Я намагався це спростувати, але не вдалося.
- [ ] Я зробив власні судження, такі як достатність доказів, обґрунтованість і думка.
- [ ] Навіть у нестачі часу я не пропустив спростувальне запитання.
- [ ] Поруч із важливими претензіями я зробив нотатки про те, «що я перевірив за допомогою / що покаже, якщо це було неправильно».