Добивки:
- Разберете што е професионален скептицизам и ризиците од паѓање во пристрасност за потврда и пристрасност за автоматизација при користење на вештачка интелигенција
- Способност да се тестира излезот од вештачка интелигенција со техника на испрашување што се обидува да го побие (побарајте го спротивното)
- Да се биде во можност да се разбере дека флуентноста на вештачката интелигенција не значи точност, дека скептичниот ум е јадрото на контролата и не може да се пренесе.
Постои еден ментален став кој ја разликува независната ревизија од многу други професии: професионалниот скептицизам. МСР го дефинираат ова како ревизорот да работи „со испитувачки ум, забележувајќи дали доказите укажуваат на потенцијално погрешно прикажување и критички ги оценува доказите“. Односно, ревизорот автоматски не прифаќа како вистинити какви било информации што му се презентирани - ниту изјава на раководството, ниту документ, дури ни сметка што „се чини разумно“. Постојано се прашувам „Дали е навистина така? прашува тој. Овој став е јадрото на контролата и е неотуѓив.
Во ерата на вештачката интелигенција, ова јадро се соочува со сосема нов тест. Бидејќи вештачката интелигенција е вешти во активирањето на две длабоки слабости на човечкиот ум - пристрасност за автоматизација и пристрасност за потврда. Во оваа единица, ќе покриеме како ревизор кој користи вештачка интелигенција може да го задржи или дури и да го зајакне својот скептицизам. Главната теза е дека флуентноста на вештачката интелигенција не е точност; Скептичниот ум станува уште поважен во лицето на вештачката интелигенција.
Две опасни предрасуди
Пристрасноста на автоматизацијата е тенденцијата луѓето да му веруваат на излезот на машината/софтверот повеќе отколку на сопственото проценување. „Компјутерот го пресмета, точно е. Оваа опасност се зголемува кога станува збор за вештачката интелигенција, бидејќи вештачката интелигенција не пресметува само; Зборува течно, самоуверено, човечки, образложени реченици. Самоуверениот тон е убедлив дури и ако информацијата не е точна.
Пристрасноста за потврда е тенденцијата на луѓето да бараат информации што го поддржуваат заклучокот во кој претходно верувале или се надевале и да игнорираат спротивставени информации. Ова е фатално во ревизијата: Ревизорот кој мисли дека „Овој клиент мора да биде чист“ ќе се олесни кога ќе побара од вештачката интелигенција и ќе добие потврда и ќе престане да бара докази за спротивното. Бидејќи вештачката интелигенција има тенденција да се приклонува кон прашањето што се поставува (ако прашате „во ред е, нели?“, поверојатно е да даде одговор што се согласува со вас), може да поттикне пристрасност за потврда.
Постои и трета: халуцинација. Го видовме многу пати во модулот - вештачката интелигенција може течно да состави број, ставка, ресурс што не постои. Опасноста се зголемува кога се комбинираат три слабости: вештачката интелигенција ги создава работите (халуцинација), верувате во тоа затоа што е течност (пристрасност на автоматизацијата), не ја доведувате во прашање затоа што ви кажува што очекувате (пристрасност за потврда).
Трите алатки на скептичниот ум против вештачката интелигенција
Ајде да ставиме скептицизам во конкретните техники против вештачката интелигенција:
- Обидете се да побиете, а не да потврдите. Вештачката интелигенција може да го праша својот излез „дали е вистина?“ не "како да знам дали ова не е во ред?" прашање. Запрашајте се: „Ако оваа изјава беше лажна, кој доказ би го покажал тоа? и барај ги тие докази. Лесно е да се најде единствен потврден пример; Обидот да се побие и неуспехот дава вистинска сигурност.
- Прашајте неутрално и наназад. Прашајте ја вештачката интелигенција „нема проблем овде, нели? Не прашувај; ова бара одобрувачки одговор. Наместо тоа, „кои се ризиците што можеби ги пропуштив во овие податоци? и „кои се трите најверојатни сценарија во кои овој резултат може да биде погрешен?“ прашај. Поставете го истото прашање од две спротивни страни и споредете ги одговорите.
- Преземете до изворот и репродуцирајте. За секое издание, атрибуција и заклучок, „каде можам самостојно да го потврдам ова?“ Поставете го прашањето и всушност потврдете. Погледнете го излезот од ВИ како тврдење; Доказите се надворешни во однос на тврдењето.
Совет: Направете навика: до секој значаен резултат што го дава вештачката интелигенција, напишете две работи рачно - „(1) со што го потврдив ова, (2) каков доказ би го покажал ова ако е лажно“. Овие две белешки ја нарушуваат пристрасноста и на автоматиката и на потврдата.
Пресуди кои ревизорот не може да ги делегира
Некои работни места инхерентно бараат скептицизам и расудување; овие не можат да се делегираат на ВИ, само се поддржани:
неотуѓива јурисдикција
Зошто
Дали доказите се доволни и соодветни
Професионално расудување; зависен од контекст
Веројатност на објаснување
Бара разгледување на претпријатието и намерата
Проценка на ризикот од измама
Скептицизам и интуиција; надвор од моделот на податоци
Материјалност и одлука за мислење
Судството одговорно пред јавноста
Мислење за чесноста на менаџментот
Читање на човечкото однесување; ВИ не може да го направи ова
Разликата помеѓу скептицизмот и педантеријата: одмерен став
Професионалниот скептицизам не значи да не веруваш во сè или однапред да го обвинуваш менаџментот; Ова би било пречекорување и би ја направило контролата неефикасна. Скептицизмот не е ниту чиста доверба (прифаќање на сè што ви е кажано) ниту слепо негирање (отфрлање на сè); Помеѓу, тоа е став на истрага сразмерен на доказите. Ревизорот може да го прифати раководството како чесно, но ова прифаќање го тестира со докази; може да смета дека објаснувањето е веродостојно, но ја потврдува веродостојноста. Вештачката интелигенција може да ја наруши оваа рамнотежа: во една насока, ве затишува во прекумерна самодоверба со својот излез на течност; Од друга страна, ако му кажете „најди вина во сè“, ќе ве бомбардира со бескрајни лажни позитиви. Правилниот став е секогаш да се мери исходот наспроти тежината на доказите, додека се води вештачката интелигенција за да се изведат докази и да се отфрлат доказите. Скептицизмот не е особина на личноста, туку дисциплиниран начин на работа; А ревизорот е тој што ја воспоставува, одржува и евидентира оваа дисциплина, а не вештачката интелигенција.
три мини футроли
Случај 1 - Техниката на побивање функционира. Ревизор ја испечатил вештачката интелигенција велејќи дека „оваа вреднување на акциите изгледа разумна“. Наместо да потврди, тој опасно праша: „Ако ова вреднување е преценето, кои докази би го покажале тоа?“ „артикли за кои цените по продажбата паѓаат под цената“, рече YZ. Ревизорот ги барал овие ставки и нашол група која всушност била потценета. Побивачкото прашање го изложи ризикот што го сокриваше потврдата.
Случај 2 - Паѓање во пристрасност за потврда. Еден член на тимот ја праша вештачката интелигенција за време на криза, „нема ништо големо лошо во оваа сметка, нели? праша тој. YZ се потпре на прашањето и рече: „Според информациите што ги дадовте, се чини дека нема некој значаен проблем“. Членот на тимот се опушти и го затвори пенкалото. Сепак, тој не презентираше никакви докази; Вештачката интелигенција само ја пресликуваше неговата реченица. Одговорното лице покажа дека прашањето не е поставено непристрасно. Лекција: како го поставувате прашањето го одредува одговорот што ќе го добиете; Прашањето кое бара потврда дава потврда.
Случај 3 - Паѓање на флуентност. Ревизор смета дека толкувањето на законодавството кое YZ го објасни во многу течен и образложен параграф е точно и го вклучи во работната хартија. Текстот беше толку уреден што не му падна на памет да го преиспита. Одговорното лице покажа дека референцата нема еквивалент во официјалниот текст. Лекција: флуентноста и самодовербата не се доказ за точноста; Исходот што изгледа најубедлив може да биде и најопасен.
Слаб промпт / Силен промпт
Слаба навестување:
Оваа анализа е точна, нели? Дали одобрувате?
Проблемот: пристрасно прашање кое бара потврда. Ја турка вештачката интелигенција да ви се придружи; Негува пристрасност за потврда и го крие вистинскиот ризик.
Моќен потсетник:
Вашата улога: вие сте критички партнер за истражување на независен ревизор. Ваша задача не е да се СОГЛАСУВАТЕ со мене, туку да се обидете да го ОДБИИТЕ мојот резултат. Контекст: Подолу е мојот заклучок за аналитичка постапка и мојот пробен заклучок.[текст на резултат]Задача:1) Наведете ги 3-те најверојатни сценарија во кои овој заклучок би можел да биде ЛАЖЕН.2) За секое сценарио: „ако ова беше вистина?“ Предложете конкретни докази што може да се пребаруваат. 3) Обележете ги сите податоци или претпоставки што можеби сум ги пропуштил. 4) Не правете реченици што се согласуваат со мене; Имате задача да пронајдете слаби точки. Означете „непознато“ каде што не сте сигурни.
Овој потсетник е моќен затоа што ја менува улогата на вештачката интелигенција (побивање), барајќи сценарија за побивање и докази што може да се пребаруваат и забранува јазик за барање потврда. Ова ја става вештачката интелигенција во служба на скептицизам наместо инструмент на пристрасност за потврда.
Вообичаени грешки
- Поставување прашања барајќи одобрение. „Во ред е, нели? со барање и обезбедување на договорениот одговор.
- Погрешно флуентност со точност. Прифаќање на добро напишани, сигурни резултати без прашање.
- Бидете задоволни со еден потврден пример. Затворање со првиот потпорен наод, без да се обидуваме да го побиеме.
- Да се делегира неотуѓива јурисдикција. Препуштање на одлуката за доволност, разумност, мислење на АИ.
- Отпуштање на скептицизмот под временски притисок. Засолниште во утешниот одговор на вештачката интелигенција кога сте заглавени.
Внимание: Временскиот притисок е најголемиот непријател на скептицизмот, а вештачката интелигенција станува најопасна под овој притисок; затоа што ви нуди брз, течен и утешен одговор. Неопходно е да го поставите прашањето за побивање кога сте во брзање.
Сумирано
Професионалниот скептицизам е во сржта на ревизијата и станува уште покритичен во ерата на вештачката интелигенција. Вештачката интелигенција предизвикува три слабости: халуцинација (ја сочинува), пристрасност за автоматизација (веруваме затоа што е течна), пристрасност за потврда (не ја доведуваме во прашање затоа што го кажува она на што се надеваме). Противотровот е да се брза да се побие вештачката интелигенција, а не да се потврди: „ако ова е лажно, кој доказ би го покажал тоа? и барајќи спротивни докази, прашувајќи објективно и наназад, репродуцирајќи го секој излез од изворот. Пресудите како што се доволно докази, разумност, ризик од измама и расудување мислење бараат скептицизам и не се преносливи. Течноста не е точност; Скептичниот ум е ваш.
Задача за апликација
Добијте го вашиот резултат од ревизијата (или хипотетички резултат). Поставете ја вештачката интелигенција прво со слабо прашање „потврда“, а потоа со силната шема „побивање“ погоре. Ставете ги двата исхода рамо до рамо и запишете ја разликата: кои ризици беа откриени само со побивачкото прашање? Потоа додадете две белешки до секое клучно тврдење во вашиот излез: „со што потврдив“ и „кои докази би покажале ако е лажно“.
листа за проверка
- [ ] Поставив прашања за побивање/неутрални ВИ, а не прашања за барање потврда.
- [ ] За секој значаен исход, „ако ова е лажно, кој доказ би го покажал тоа?“ Го поставив прашањето и барав докази.
- [ ] Го тестирав излезот, кој изгледаше мазен и сигурен, со дополнителен скептицизам.
- [ ] Не застанав со еден потврден пример; Се обидов да го побијам, но не успеав.
- [ ] Донесов мои сопствени пресуди како што се доволно докази, разумност и мислење.
- [ ] Дури и под притисок на времето, не го прескокнав прашањето за побивање.
- [ ] Покрај важните тврдења, направив белешки за „со што потврдив / што ќе покаже дали е погрешно“.