Печалби:
- Разберете какво е професионален скептицизъм и рисковете от изпадане в пристрастие към потвърждението и пристрастие към автоматизацията при използване на изкуствен интелект
- Възможност за тестване на изхода на изкуствения интелект с техника за поставяне на въпроси, която се опитва да опровергае (търсете обратното)
- Да можеш да разбереш, че плавността на изкуствения интелект не означава точност, че скептичният ум е ядрото на контрола и не може да бъде прехвърлен.
Има една умствена нагласа, която отличава независимия одит от много други професии: професионалният скептицизъм. МОС определят това като одитор, който работи „с питащ ум, като отбелязва дали доказателствата показват потенциално неправилно твърдение и критично оценява доказателствата“. Това означава, че одиторът не приема автоматично каквато и да е информация, която му е представена - нито изявление на ръководството, нито документ, нито дори сметка, която "изглежда разумна" - за вярна. Постоянно се чудя "Наистина ли е така?" пита той. Това отношение е в основата на контрола и е неотменимо.
В ерата на изкуствения интелект това ядро е изправено пред съвсем нов тест. Тъй като AI е способен да задейства две дълбоко вкоренени слабости на човешкия ум – пристрастие към автоматизацията и пристрастие към потвърждение. В тази част ще разгледаме как одитор, използващ AI, може да поддържа или дори да засили своя скептицизъм. Основната теза е, че плавността на AI не е точност; Скептичният ум става още по-важен в лицето на ИИ.
Две опасни пристрастия
Пристрастието към автоматизацията е тенденцията хората да се доверяват повече на изхода на дадена машина/софтуер, отколкото на собствената си преценка. „Компютърът го изчисли, правилно е.“ Тази опасност се увеличава, когато става дума за AI, защото AI не само изчислява; Говори гладко, уверено, човешки, аргументирани изречения. Увереният тон е убедителен дори ако информацията не е точна.
Пристрастието към потвърждение е склонността на хората да търсят информация, която подкрепя заключението, в което преди са вярвали или на което са се надявали, и да игнорират противоречива информация. Това е фатално при одита: Одитор, който смята, че „Този клиент трябва да е чист“, ще изпита облекчение, когато попита AI и получи потвърждение, и ще спре да търси доказателства за противното. Тъй като AI има тенденция да се опира на зададения въпрос (ако попитате „Добре е, нали?“ е по-вероятно да даде отговор, който е съгласен с вас), той може да насърчи пристрастие към потвърждението.
Има и трето: халюцинация. Виждали сме го много пъти в модула — AI може свободно да състави число, елемент, ресурс, който не съществува. Опасността се усложнява, когато се комбинират три слабости: AI измисля нещата (халюцинация), вие му вярвате, защото е течен (пристрастие към автоматизацията), не го поставяте под въпрос, защото ви казва какво очаквате (пристрастие към потвърждението).
Трите инструмента на скептичния ум срещу ИИ
Нека вложим скептицизъм в конкретни техники срещу AI:
- Опитайте се да опровергаете, а не да потвърдите. AI може да попита резултата си „вярно ли е?“ не "как да разбера дали това не е наред?" въпрос. Запитайте се: „Ако това твърдение беше невярно, какви доказателства биха го показали?“ и потърсете това доказателство. Лесно е да се намери един потвърждаващ пример; Опитът да се опровергае и неуспехът дава истинска увереност.
- Питайте неутрално и обратно. Попитайте AI "тук няма проблем, нали?" Не питайте; това предизвиква одобрителен отговор. Вместо това „какви са рисковете, които може да съм пропуснал в тези данни?“ и „кои са трите най-вероятни сценария, при които този резултат може да е грешен?“ попитайте. Задайте един и същи въпрос от две противоположни страни и сравнете отговорите.
- Изтеглете до източник и възпроизведете. За всеки проблем, приписване и заключение, „къде мога независимо да проверя това?“ Задайте въпроса и действително проверете. Вижте изхода на AI като твърдение; Доказателствата са външни за твърдението.
Съвет: Създайте си навик: До всеки значителен изход, който AI дава, напишете две неща на ръка – „(1) с какво проверих това, (2) какви доказателства биха показали това, ако беше невярно.“ Тези две бележки нарушават както автоматизацията, така и пристрастието за потвърждение.
Преценки, които одиторът не може да делегира
Някои работни места по своята същност изискват скептицизъм и преценка; те не могат да бъдат делегирани на AI, поддържат се само:
неотменима юрисдикция
защо
Дали доказателствата са достатъчни и подходящи
Професионална преценка; зависим от контекста
Правдоподобност на обяснението
Изисква съобразяване с предприемчивостта и намерението
Оценка на риска от измами
Скептицизъм и интуиция; извън модела на данните
Решение за същественост и становище
Съдебната власт е отговорна към обществото
Мнение за честността на ръководството
Разчитане на човешкото поведение; AI не може да направи това
Разликата между скептицизма и педантичността: премерено отношение
Професионалният скептицизъм не означава да не вярвате на всичко или да обвинявате предварително ръководството; Това би било превишаване и би направило контрола неефективен. Скептицизмът не е нито чисто доверие (приемане на всичко, което ви се каже), нито сляпо отричане (отхвърляне на всичко); Между другото, това е отношение на разследване, съизмеримо с доказателствата. Одиторът може да приеме ръководството като честно, но тества това приемане с доказателства; може да намери обяснението за правдоподобно, но потвърждава правдоподобността. AI може да наруши този баланс: в една посока той ви приспива в прекомерна самоувереност с течния си изход; От друга страна, ако му кажете да „намери вина във всичко“, то ще ви бомбардира с безкрайни фалшиви положителни резултати. Правилното отношение е винаги да претегляте резултата спрямо тежестта на доказателствата, докато управлявате ИИ, за да произвеждате доказателства и да опровергавате доказателствата. Скептицизмът не е личностна черта, а дисциплиниран начин на работа; И одиторът е този, който установява, поддържа и доказва тази дисциплина, а не ИИ.
три мини калъфа
Случай 1 — Техниката за опровержение работи. Одитор разпечата AI, като казва, че „тази оценка на акциите изглежда разумна“. Вместо да потвърди, той попита небрежно: „Ако тази оценка е надценена, какви доказателства биха го показали?“ „артикули, за които следпродажбените цени падат под себестойността“, каза YZ. Одиторът потърси тези елементи и намери група, която всъщност беше подценена. Въпросът за опровержение разкри риска, който крие потвърждението.
Случай 2 — Изпадане в пристрастност за потвърждение. Член на екипа попита AI по време на критично време, „няма нищо лошо в този акаунт, нали?“ – попита той. YZ се облегна на въпроса и каза: „Според информацията, която предоставихте, не изглежда да има значителен проблем.“ Членът на екипа се отпусна и затвори химикалката. Той обаче не представи никакви доказателства; AI просто отразява изречението му. Отговорникът показа, че въпросът не е зададен безпристрастно. Урок: как задавате въпроса определя отговора, който получавате; Въпрос, търсещ потвърждение, произвежда потвърждение.
Случай 3 — Пристрастяване към свободното владеене. Един одитор сметна, че тълкуването на законодателството, което YZ обясни в много свободен и аргументиран параграф, е правилно и го включи в работния документ. Текстът беше толкова изпипан, че не му хрумна да го поставя под въпрос. Отговорното лице показа, че препратката няма еквивалент в официалния текст. Урок: плавността и увереността не са доказателство за точност; Резултатът, който изглежда най-убедителен, може да бъде най-опасен.
Слаба подкана / Силна подкана
Слаба подкана:
Този анализ е правилен, нали? одобрявате ли
Проблемът: пристрастен въпрос, който търси потвърждение. Той тласка AI да се присъедини към вас; Той насърчава пристрастието на потвърждението и скрива истинския риск.
Мощна подкана:
Вашата роля: вие сте партньор на независим одитор в критични запитвания. Вашата задача не е да СЕ СЪГЛАСИТЕ с мен, а да се опитате да ОТКАЖЕТЕ моите резултати. Контекст: По-долу е моето заключение за аналитична процедура и моето предварително заключение.[текст на резултата]Задача:1) Избройте 3-те най-вероятни сценария, при които това заключение може да е ГРЕШНО.2) За всеки сценарий: "ако това беше вярно, какви доказателства биха го показали?" Предложете конкретни, подлежащи на търсене доказателства. 3) Маркирайте всички данни или предположения, които може да съм пропуснал. 4) Не правете изречения, които са съгласни с мен; Вие имате задачата да намерите слаби места. Маркирайте „неизвестно“, където не сте сигурни.
Тази подкана е мощна, защото обръща ролята на AI (опровержение), изисквайки сценарии за опровержение и доказателства за търсене и забранявайки езика, търсещ потвърждение. Това поставя AI в услуга на скептицизма, а не като инструмент за пристрастност към потвърждението.
Често срещани грешки
- Задаване на въпроси с търсене на одобрение. — Всичко е наред, нали? чрез питане и осигуряване на договорения отговор.
- Грешка за плавност с точност. Приемане на добре написан, уверен изход без въпроси.
- Задоволете се с един единствен потвърждаващ пример. Завършвам с първата подкрепяща констатация, без да се опитвам да я опровергая.
- Да делегира неотменима юрисдикция. Оставяне на решението относно достатъчността на доказателствата, разумността и мнението на AI.
- Оставяне на скептицизма под натиска на времето. Търсене на убежище в утешителния отговор на AI, когато сте блокирани.
Внимание: Времевият натиск е най-големият враг на скептицизма и ИИ става най-опасен под този натиск; защото ви предлага бърз, плавен и утешителен отговор. Направете задължително да задавате опровергаващия въпрос, когато бързате.
В обобщение
Професионалният скептицизъм е в основата на одита и става още по-критичен в ерата на ИИ. AI задейства три слабости: халюцинация (измисля си), пристрастие към автоматизацията (вярваме му, защото е течно), пристрастие към потвърждение (не го поставяме под въпрос, защото казва това, на което се надяваме). Противоотровата е да бързате да опровергаете AI, а не да го потвърдите: „ако това е невярно, какви доказателства ще го покажат?“ “ и търсене на противоположни доказателства, питане обективно и назад, възпроизвеждане на всеки резултат от източника. Преценки като достатъчност на доказателствата, разумност, риск от измама и преценка на мнение изискват скептицизъм и не подлежат на прехвърляне. Плавността не е точност; Скептичният ум е ваш.
Задача за приложение
Получете резултата от вашия одит (или хипотетичен резултат). Попитайте изкуствения интелект първо със слаб въпрос „търсене на потвърждение“, след това със силния подканващ модел „опровержение“ по-горе. Поставете двата резултата един до друг и запишете разликата: кои рискове са разкрити само от опровергаващия въпрос? След това добавете две бележки до всяко ключово твърдение във вашия изход: „с какво проверих“ и „какво доказателство ще покаже, ако е невярно“.
контролен списък
- [ ] Зададох на AI опровергаващи/неутрални въпроси, а не въпроси за търсене на потвърждение.
- [ ] За всеки значим резултат, „ако това е невярно, какви доказателства ще го покажат?“ Зададох въпроса и потърсих доказателства.
- [ ] Тествах резултата, който изглеждаше плавен и уверен, с допълнителен скептицизъм.
- [ ] Не спрях с нито един потвърждаващ пример; Опитах се да го опровергая, но не успях.
- [ ] Направих свои собствени преценки като достатъчност на доказателствата, разумност и мнение.
- [ ] Дори под натиска на времето не пропуснах опровергаващия въпрос.
- [ ] До важните твърдения направих бележки за „с какво проверих / какво ще покаже, ако е грешно“.