Добици:
- Схватите шта је професионални скептицизам и ризик од пада у пристрасност потврде и пристрасност аутоматизације када користите вештачку интелигенцију
- Способност тестирања излаза вештачке интелигенције техником испитивања која покушава да оповргне (потражите супротно)
- Бити у стању да разумете да течност вештачке интелигенције не значи тачност, да је скептични ум срж контроле и да се не може пренети.
Постоји један ментални став који разликује независну ревизију од многих других професија: професионални скептицизам. МСР ово дефинишу као ревизор који ради „са упитним умом, примећујући да ли докази указују на потенцијално погрешно приказивање и критички процењујући доказе“. Односно, ревизор не прихвата аутоматски било коју информацију која му је презентована – ни изјаву менаџмента, ни документ, чак ни рачун који „изгледа разумно“ – као истинит. Стално се питам "Да ли је заиста тако?" пита он. Овај став је срж контроле и неотуђив.
У доба вештачке интелигенције, ово језгро се суочава са потпуно новим тестом. Зато што је вештачка интелигенција вешта у покретању две дубоко усађене слабости људског ума — пристрасности аутоматизације и пристрасности потврде. У овој јединици ћемо покрити како ревизор који користи АИ може одржати или чак ојачати свој скептицизам. Главна теза је да течност АИ није тачност; Скептични ум постаје још важнији пред АИ.
Две опасне предрасуде
Пристрасност аутоматизације је тенденција да људи верују више у излаз машине/софтвера него у сопственој процени. „Компјутер је то израчунао, тачно је. Ова опасност је увећана када је у питању вештачка интелигенција, јер вештачка интелигенција не рачуна само; Говори течно, самоуверено, људски, образложене реченице. Самоуверен тон је убедљив чак и ако информације нису тачне.
Пристрасност потврде је склоност људи да траже информације које подржавају закључак у који су раније веровали или коме су се надали и да игноришу конфликтне информације. Ово је погубно у ревизији: ревизор који мисли да „овај клијент мора бити чист“ биће лакнут када пита АИ и добије потврду, и престаће да тражи доказе који говоре супротно. Пошто АИ има тенденцију да се ослања на питање које се поставља (ако питате „у реду је, зар не?”, већа је вероватноћа да ће дати одговор који се слаже са вама), може да подстакне пристрасност потврде.
Постоји и трећи: халуцинација. Видели смо то много пута у модулу — АИ може течно да састави број, ставку, ресурс који не постоји. Опасност се повећава када се комбинују три слабости: АИ измишља ствари (халуцинације), верујете у то јер је флуидан (пристрасност аутоматизације), не доводите у питање јер вам говори шта очекујете (пристрасност потврде).
Три алата скептичног ума против АИ
Хајде да ставимо скептицизам у конкретне технике против АИ:
- Покушајте да оповргнете, а не потврдите. АИ би могао да пита свој резултат „да ли је то истина?“ не "како да знам да ли је ово погрешно?" питање. Запитајте се: „Да је ова изјава лажна, који докази би то показали?“ и тражити те доказе. Лако је наћи само један пример који потврђује; Покушај побијања и неуспех даје праву сигурност.
- Питајте неутрално и уназад. Питајте АИ "нема проблема овде, зар не?" Не питај; ово позива на одобравајући одговор. Уместо тога, „који су ризици које сам можда пропустио у овим подацима?“ и „која су три највероватнија сценарија у којима би овај резултат могао бити погрешан?“ питати. Поставите исто питање са две супротне стране и упоредите одговоре.
- Преузмите за извор и репродукујте. За свако питање, атрибуцију и закључак, „где да ово независно проверим?“ Поставите питање и заправо потврдите. Погледајте излаз АИ као тврдњу; Докази су изван тврдње.
Савет: Направите навику: Поред сваког значајног резултата који АИ даје, напишите две ствари руком — „(1) чиме сам ово проверио, (2) који доказ би то показао да је лажно.“ Ове две белешке разбијају и аутоматизацију и пристрасност потврде.
Просудбе које ревизор не може делегирати
Неки послови инхерентно захтевају скептицизам и расуђивање; они не могу бити делегирани АИ, само подржани:
неотуђива надлежност
Зашто
Да ли су докази довољни и одговарајући
Професионални суд; зависно од контекста
Уверљивост објашњења
Захтева разматрање предузетништва и намере
Процена ризика од преваре
Скептицизам и интуиција; изван обрасца података
Материјалност и одлука о мишљењу
Судство одговорно јавности
Мишљење о поштењу менаџмента
Читање људског понашања; АИ не може ово да уради
Разлика између скептицизма и педантности: одмерен став
Професионални скептицизам не значи не веровати свему или унапред окривити менаџмент; Ово би представљало прекорачење и учинило би контролу неефикасном. Скептицизам није ни чисто поверење (прихватање свега што вам се каже) нити слепо порицање (одбијање свега); Између тога, то је став истраге сразмеран доказима. Ревизор може прихватити менаџмент као поштен, али то прихватање тестира доказима; може сматрати да је објашњење уверљиво, али потврђује веродостојност. АИ може пореметити ову равнотежу: у једном смеру, уљуљкава вас у претерано самопоуздање својим течним излазом; С друге стране, ако му кажете да "нађе грешку у свему", бомбардоваће вас бескрајним лажним позитивним резултатима. Исправан став је да увек одмерите исход у односу на тежину доказа, док користите АИ да бисте произвели доказе и оповргли доказе. Скептицизам није особина личности, већ дисциплинован начин рада; И ревизор је тај који успоставља, одржава и доказује ову дисциплину, а не АИ.
три мини кофера
Случај 1 — Техника побијања функционише. Ревизор је одштампао АИ рекавши „ова процена акција изгледа разумно“. Уместо да потврди, он је безвезе питао: „Ако је ова процена прецењена, који докази би то показали?“ „ставке за које постпродајне цене падају испод цене“, рекао је ИЗ. Ревизор је тражио ове ставке и пронашао групу која је заправо била потцењена. Питање за побијање разоткрило је ризик који је потврда прикривала.
Случај 2 — Падање у пристрасност потврде. Члан тима је питао АИ током кризе: „Нема ништа страшно у реду са овим налогом, зар не?“ упитао је. ИЗ се наслонио на питање и рекао: „Према информацијама које сте дали, чини се да не постоји значајан проблем.“ Члан тима се опустио и затворио оловку. Међутим, он није изнео никакве доказе; АИ је само пресликао његову реченицу. Одговорно лице је показало да питање није постављено непристрасно. Лекција: начин на који постављате питање одређује одговор који ћете добити; Питање које тражи потврду производи потврду.
Случај 3 — Пад на течност. Ревизор је сматрао да је тумачење закона које је ИЗ објаснио у веома течном и образложеном параграфу исправно и укључио га је у радни документ. Текст је био толико уредан да му није пало на памет да га доводи у питање. Одговорно лице је показало да референца нема еквивалент у званичном тексту. Лекција: течност и самопоуздање нису доказ тачности; Исход који се чини најубедљивијим може бити најопаснији.
Слаби промпт / Јаки промпт
Слабо обавештење:
Ова анализа је тачна, зар не? Да ли одобравате?
Проблем: пристрасно питање које тражи потврду. То гура АИ да вам се придружи; То подстиче пристрасност потврде и скрива прави ризик.
Снажан упит:
Ваша улога: ви сте независни ревизоров партнер у критичном истраживању. Ваш задатак није да СЕ СЛАЖЕТЕ са мном, већ да покушате да ОДБИЈЕТЕ мој резултат. Контекст: Испод је мој закључак аналитичке процедуре и мој пробни закључак.[текст резултата]Задатак:1) Наведите 3 највероватнија сценарија у којима би овај закључак могао бити ЛАЖАН.2) За сваки сценарио: „да је ово тачно, који докази би то показали?“ Предложите конкретне доказе који се могу претраживати. 3) Означите све податке или претпоставке које сам можда пропустио. 4) Не прави реченице које се слажу са мном; Имате задатак да пронађете слабе тачке. Означите „непознато“ где нисте сигурни.
Овај упит је моћан јер преокреће улогу АИ (побијање), захтевајући сценарије побијања и доказе за претраживање, и забрањујући језик тражења потврде. Ово ставља АИ у службу скептицизма, а не у инструмент пристрасности потврде.
Уобичајене грешке
- Постављање питања тражећи одобрење. "У реду је, зар не?" постављањем питања и обезбеђивањем договореног одговора.
- Грешка течност за тачност. Прихватање добро написаног, самоувереног резултата без питања.
- Будите задовољни једним потврдним примером. Завршавајући првим поткрепљујућим налазом, без покушаја да га оповргнете.
- Да делегира неотуђиву надлежност. Препуштање одлуке о довољности доказа, разумности, мишљењу АИ.
- Отпуштање скептицизма под притиском времена. Уточиште у утешном одговору вештачке интелигенције када сте заглављени.
Опрез: Временски притисак је највећи непријатељ скептицизма, а вештачка интелигенција постаје најопаснија под тим притиском; јер вам нуди брз, течан и утешан одговор. Нека обавезно поставите питање за побијање када сте у журби.
Укратко
Професионални скептицизам је у основи ревизије и постаје још критичнији у доба вештачке интелигенције. АИ изазива три слабости: халуцинацију (измишља), аутоматизацију (верујемо у то јер је флуидна), пристрасност потврде (не доводимо у питање јер говори оно чему се надамо). Протуотров је журити да се оповргне АИ, а не да се потврди: „ако је ово лаж, који докази би то показали?“ “ и траже супротне доказе, тражећи објективно и уназад, репродукујући сваки излаз из извора. Пресуде као што су довољно доказа, разумност, ризик од преваре и мишљење мишљења захтевају скептицизам и нису преносиве. Течност није тачност; Скептичан ум је ваш.
Задатак апликације
Добијте резултат ревизије (или хипотетички резултат). Питајте АИ прво са слабим питањем „тражење потврде“, а затим са „побијањем“ снажним упитом изнад. Ставите два исхода један поред другог и запишите разлику: које ризике је открило само питање за побијање? Затим додајте две белешке поред сваке кључне тврдње у свом излазу: „чиме сам верификовао“ и „који доказ би показао да је лажан“.
контролна листа
- [ ] Поставио сам АИ побијање/неутрална питања, а не питања која траже потврду.
- [ ] За сваки значајан исход, „ако је ово лажно, који доказ би то показао?“ Поставио сам питање и тражио доказе.
- [ ] Тестирао сам излаз, који је деловао глатко и самоуверено, са додатним скептицизмом.
- [ ] Нисам стао ни на једном потврдном примеру; Покушао сам да га оповргнем, али нисам успео.
- [ ] Ја сам донео сопствене судове као што су довољност доказа, разумност и мишљење.
- [ ] Чак и под притиском времена, нисам прескочио питање за побијање.
- [ ] Поред важних тврдњи, направио сам белешке „чиме сам верификовао / шта би показало да је погрешно“.