Pelnas:
- Suprasti, kas yra profesinis skepticizmas ir rizika, kad naudojant dirbtinį intelektą gali atsirasti patvirtinimo ir automatizavimo šališkumas
- Galimybė išbandyti dirbtinio intelekto produkciją klausimo technika, kuria bandoma paneigti (ieškoti priešingo varianto)
- Suprasti, kad dirbtinio intelekto sklandumas nereiškia tikslumo, kad skeptiškas protas yra valdymo pagrindas ir jo negalima perkelti.
Yra vienas mentalinis požiūris, išskiriantis nepriklausomą auditą iš daugelio kitų profesijų: profesinis skepticizmas. TAS tai apibrėžiama kaip auditorius, dirbantis „klausiantis, atkreipiantis dėmesį, ar įrodymai rodo galimą iškraipymą, ir kritiškai vertinantis įrodymus“. Tai reiškia, kad auditorius automatiškai nepriima jokios jam pateiktos informacijos – nei vadovybės pareiškimo, nei dokumento, nei ataskaitos, kuri „atrodo pagrįsta“ – kaip teisinga. Aš nuolat galvoju: „Ar tikrai taip? – klausia jis. Šis požiūris yra kontrolės pagrindas ir yra neatimamas.
Dirbtinio intelekto amžiuje šis branduolys susiduria su visiškai nauju išbandymu. Kadangi dirbtinis intelektas sugeba sukelti dvi giliai įsišaknijusias žmogaus proto silpnybes – automatizavimo šališkumą ir patvirtinimo šališkumą. Šiame skyriuje apžvelgsime, kaip AI besinaudojantis auditorius gali išlaikyti ar net sustiprinti savo skepticizmą. Pagrindinė tezė yra ta, kad AI sklandumas nėra tikslumas; Skeptiškas protas tampa dar svarbesnis AI akivaizdoje.
Du pavojingi šališkumas
Automatizavimo šališkumas yra žmonių tendencija labiau pasitikėti mašinos / programinės įrangos rezultatais, nei savo sprendimu. „Kompiuteris apskaičiavo, tai teisinga“. Šis pavojus išauga, kai kalbama apie AI, nes AI ne tik skaičiuoja; Kalba sklandžiai, pasitikinčiais, žmogiškais, argumentuotais sakiniais. Pasitikintis tonas įtikina, net jei informacija nėra tiksli.
Patvirtinimo šališkumas yra žmonių tendencija ieškoti informacijos, kuri patvirtintų išvadą, kuria jie anksčiau tikėjo ar tikėjosi, ir ignoruoti prieštaringą informaciją. Tai lemtinga atliekant auditą: auditorius, manydamas, kad „šis klientas turi būti švarus“, palengvės, kai paklaus AI ir gaus patvirtinimą, ir nustos ieškoti priešingų įrodymų. Kadangi dirbtinis intelektas yra linkęs į užduodamą klausimą (jei klausiate „viskas gerai, ar ne?“, labiau tikėtina, kad gausite jums pritariantį atsakymą), jis gali paskatinti patvirtinimo šališkumą.
Yra ir trečias: haliucinacijos. Daug kartų tai matėme modulyje – AI gali sklandžiai sudaryti skaičių, elementą, išteklius, kurių nėra. Pavojus dar padidėja, kai derinamos trys silpnybės: AI sugalvoja dalykus (haliucinacijos), jūs tuo tikite, nes tai yra sklandi (automatizavimo šališkumas), nekvestionuojate, nes jis jums pasako, ko tikitės (patvirtinimo šališkumas).
Skeptiško proto trys įrankiai prieš AI
Sukelkime skepticizmą į konkrečius metodus prieš AI:
- Pabandykite paneigti, o ne patvirtinti. AI gali paklausti savo išvesties „ar tai tiesa? ne "kaip man žinoti, ar tai negerai?" klausimas. Paklauskite savęs: „Jei šis teiginys būtų klaidingas, kokie įrodymai tai parodytų? ir ieškoti tų įrodymų. Nesunku rasti vieną patvirtinantį pavyzdį; Bandymas paneigti ir nesėkmė suteikia tikrą užtikrintumą.
- Klauskite neutraliai ir atgal. Paklauskite AI: „Čia nėra problemų, tiesa? Neklausk; tai reikalauja pritarimo atsakymo. Vietoj to, „kokią riziką aš galėjau praleisti šiuose duomenyse? ir „kokie yra trys labiausiai tikėtini scenarijai, kai šis rezultatas gali būti klaidingas? paklausti. Užduokite tą patį klausimą iš dviejų priešingų pusių ir palyginkite atsakymus.
- Atsisiųskite į šaltinį ir atkurkite. Dėl kiekvienos problemos, priskyrimo ir išvados „kur galiu tai savarankiškai patikrinti? Užduokite klausimą ir iš tikrųjų patikrinkite. Peržiūrėkite AI išvestį kaip tvirtinimą; Įrodymai yra išoriniai, palyginti su ieškiniu.
Patarimas: suformuokite įprotį: šalia kiekvienos reikšmingos dirbtinio intelekto išvesties ranka parašykite du dalykus: „(1) kuo aš tai patikrinau, (2) kokie įrodymai tai parodytų, jei tai būtų klaidinga“. Šios dvi pastabos pažeidžia automatizavimo ir patvirtinimo šališkumą.
Sprendimai, kurių auditorius negali deleguoti
Kai kurie darbai iš prigimties reikalauja skepticizmo ir sprendimo; jų negalima deleguoti AI, palaikoma tik:
neatimama jurisdikcija
Kodėl
Ar įrodymų pakanka ir tinkami
Profesionalus sprendimas; priklauso nuo konteksto
Paaiškinimo patikimumas
Reikia atsižvelgti į verslumą ir ketinimą
Sukčiavimo rizikos įvertinimas
Skepticizmas ir intuicija; už duomenų šablono ribų
Esmingumo ir nuomonės sprendimas
Visuomenei atsakingi teismai
Nuomonė apie valdymo sąžiningumą
Žmogaus elgesio skaitymas; AI negali to padaryti
Skirtumas tarp skepticizmo ir pedantiškumo: išmatuotas požiūris
Profesinis skepticizmas nereiškia viskuo netikėti ar iš anksto kaltinti vadovybę; Tai būtų perteklius ir kontrolė taptų neveiksminga. Skepticizmas nėra nei grynas pasitikėjimas (priimti viską, kas tau sakoma), nei aklas neigimas (visko atmetimas); Tarp jų tai yra tyrimo požiūris, atitinkantis įrodymus. Auditorius gali pripažinti vadovybę sąžiningu, tačiau patikrina šį pripažinimą įrodymais; paaiškinimas gali atrodyti patikimas, bet patvirtina tikėtinumą. Dirbtinis intelektas gali sutrikdyti šią pusiausvyrą: viena kryptimi jis užliūliuoja jus į perdėtą pasitikėjimą savo skysčiu; Kita vertus, jei pasakysite „viskame rasti kaltę“, tai užpuls jus begale klaidingų teigiamų rezultatų. Teisingas požiūris yra visada pasverti rezultatą su įrodymų svoriu, o dirbtinis intelektas turi pateikti įrodymus ir paneigti įrodymus. Skepticizmas yra ne asmenybės bruožas, o disciplinuotas darbo būdas; Ir auditorius nustato, palaiko ir įrodo šią discipliną, o ne AI.
trys mini dėklai
1 atvejis – paneigimo technika veikia. Auditorius išspausdino AI, sakydamas: „Šis akcijų vertinimas atrodo pagrįstas“. Užuot patvirtinęs, jis užnugaryje paklausė: „Jei šis vertinimas yra pervertintas, kokie įrodymai tai parodytų? „Prekės, kurių po pardavimo kainos nukrenta žemiau savikainos“, – sakė YZ. Auditorius ieškojo šių daiktų ir rado grupę, kuri iš tikrųjų buvo nepakankamai įvertinta. Paneigiamas klausimas atskleidė riziką, kurią patvirtinimas nuslėpė.
2 atvejis – patvirtinimo šališkumas. Komandos narys sunkmečio metu paklausė AI: „Šioje paskyroje nėra nieko rimto, tiesa? – paklausė jis. YZ pasilenkė į klausimą ir pasakė: „Pagal jūsų pateiktą informaciją, neatrodo, kad būtų rimtos problemos“. Komandos narys atsipalaidavo ir uždėjo rašiklį. Tačiau jis nepateikė jokių įrodymų; AI tik atspindėjo jo sakinį. Atsakingas asmuo parodė, kad klausimas buvo užduotas nešališkai. Pamoka: nuo to, kaip užduodate klausimą, priklauso, kokį atsakymą gausite; Klausimas, kuriuo siekiama patvirtinimo, pateikia patvirtinimą.
3 atvejis – sklandumas. Auditorius manė, kad teisės aktų aiškinimas, kurį YZ paaiškino labai sklandžiai ir argumentuotai, buvo teisingas ir įtraukė jį į darbo dokumentą. Tekstas buvo toks tvarkingas, kad jam nekilo mintis tuo suabejoti. Atsakingas asmuo parodė, kad nuoroda neturi atitikmens oficialiame tekste. Pamoka: sklandumas ir pasitikėjimas savimi nėra tikslumo įrodymas; Rezultatas, kuris atrodo įtikinamiausias, gali būti pats pavojingiausias.
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Ši analizė teisinga, tiesa? Ar pritariate?
Problema: šališkas klausimas, kuriuo siekiama patvirtinimo. Tai verčia dirbtinį intelektą prisijungti prie jūsų; Tai skatina patvirtinimo šališkumą ir slepia tikrąją riziką.
Galingas raginimas:
Jūsų vaidmuo: esate nepriklausomo auditoriaus kritinių užklausų partneris. Jūsų užduotis yra ne SUTINKTI su manimi, o pabandyti ATSISAKYTI mano produkciją.Kontekstas: Žemiau yra mano analitinės procedūros išvada ir mano preliminari išvada.[rezultato tekstas]Užduotis: 1) Išvardykite 3 labiausiai tikėtinus scenarijus, kai ši išvada gali būti NETEISINGA.2) Kiekvienam scenarijui: "jei tai būtų tiesa, kokie įrodymai tai parodytų?" Pasiūlykite konkrečius, ieškomus įrodymus. 3) Pažymėkite visus duomenis ar prielaidas, kurių galėjau praleisti. 4) Nekurkite sakinių, kurie sutinka su manimi; Jums pavesta rasti silpnąsias vietas. Pažymėkite „nežinoma“, kur nesate tikri.
Šis raginimas yra galingas, nes pakeičia AI (paneigimo) vaidmenį, reikalauja paneigimo scenarijų ir įrodymų, kuriuos galima ieškoti, ir uždraudžia patvirtinimo ieškančią kalbą. Dėl to AI tarnauja skepticizmui, o ne patvirtinimo šališkumui.
Dažnos klaidos
- Klausimų uždavimas, siekiantis patvirtinimo. – Viskas gerai, tiesa? klausdamas ir užtikrindamas sutartą atsakymą.
- Sklandumas klaidinamas su tikslumu. Priimkite gerai parašytus, pasitikinčius rezultatus be jokių klausimų.
- Pasitenkinkite vienu patvirtinančiu pavyzdžiu. Užbaigus pirmuoju patvirtinančiu radiniu, nebandant jo paneigti.
- Perleisti neatimamą jurisdikciją. Įrodymų pakankamumo, pagrįstumo, nuomonės sprendimą palikimas AI.
- Atsikratykite skepticizmo spaudžiant laikui. Užstrigę ieškokite paguodos AI atsakymo.
Atsargiai: Laiko spaudimas yra didžiausias skepticizmo priešas, todėl dirbtinis intelektas tampa pavojingiausias esant tokiam spaudimui; nes jis siūlo greitą, sklandų ir malonų atsakymą. Kai skubate, privalote užduoti paneigiantį klausimą.
Apibendrinant
Profesionalus skepticizmas yra audito pagrindas ir tampa dar kritiškesnis dirbtinio intelekto amžiuje. Dirbtinis intelektas sukelia tris silpnybes: haliucinacijas (sukuria), automatizavimo šališkumą (tikime tuo, nes jis sklandus), patvirtinimo šališkumą (nesuabejojame tuo, nes jis sako tai, ko tikimės). Priešnuodis yra skubėti paneigti AI, o ne patvirtinti: „Jei tai klaidinga, kokie įrodymai tai parodytų? “ ir ieško priešingų įrodymų, klausia objektyviai ir atgal, atkuria kiekvieną šaltinio išvestį. Tokie sprendimai, kaip įrodymų pakankamumas, pagrįstumas, sukčiavimo rizika ir nuomonės sprendimas, reikalauja skepticizmo ir nėra perkeliami. Sklandumas nėra tikslumas; Skeptiškas protas yra tavo.
Taikymo užduotis
Gaukite audito rezultatą (arba hipotetinį rezultatą). Pirmiausia užduokite AI pateikdami silpną „patvirtinimo ieškantį“ klausimą, tada aukščiau pateiktą „paneigiamo“ stipraus raginimo šabloną. Sudėkite du rezultatus vienas šalia kito ir užrašykite skirtumą: kokias rizikas atskleidė tik paneigiamas klausimas? Tada prie kiekvieno pagrindinio teiginio savo išvestyje pridėkite dvi pastabas: „kuo aš patikrinau“ ir „kokie įrodymai parodytų, jei jie būtų klaidingi“.
kontrolinis sąrašas
- [ ] Aš uždaviau AI paneigiančius / neutralius, o ne patvirtinimo klausimus.
- [ ] Kalbant apie kiekvieną reikšmingą rezultatą, „jei tai klaidinga, kokie įrodymai tai parodytų? Uždaviau klausimą ir ieškojau įrodymų.
- [ ] Išbandžiau išvestį, kuri atrodė sklandi ir užtikrinta, ypač skeptiškai.
- [ ] Aš nesustojau nė vienu patvirtinančiu pavyzdžiu; Bandžiau tai paneigti, bet nepavyko.
- [ ] Priėmiau savo sprendimus, pavyzdžiui, dėl įrodymų pakankamumo, pagrįstumo ir nuomonės.
- [ ] Net ir spaudžiant laikui, aš nepraleidau paneigiamo klausimo.
- [ ] Šalia svarbių teiginių pasižymėjau „ką patikrinau / kas parodytų, jei tai neteisinga“.