Nyereség:
- Ismerje meg, mi a szakmai szkepticizmus, és mekkora a kockázata annak, hogy mesterséges intelligencia használatakor a megerősítési és automatizálási elfogultságba esnek.
- Lehetőség a mesterséges intelligencia teljesítményének tesztelésére olyan kérdező technikával, amely cáfolni próbál (keresse az ellenkezőjét)
- Meg kell érteni, hogy a mesterséges intelligencia folyékonysága nem jelent pontosságot, hogy a szkeptikus elme az irányítás magja, és nem lehet átvinni.
Van egy mentális attitűd, amely megkülönbözteti a független könyvvizsgálatot sok más szakmától: a szakmai szkepticizmus. Az ISA-k ezt úgy határozzák meg, mint a könyvvizsgáló, aki „kérdező elmével dolgozik, megjegyzi, hogy a bizonyíték potenciális hibás állítást jelez-e, és kritikusan értékeli a bizonyítékokat”. Vagyis a könyvvizsgáló nem fogad el automatikusan igaznak semmilyen neki bemutatott információt – sem vezetői nyilatkozatot, sem dokumentumot, de még egy „ésszerűnek tűnő” beszámolót sem. Állandóan azon töprengek, hogy "Valóban így van?" – kérdezi. Ez a hozzáállás az irányítás magja, és elidegeníthetetlen.
A mesterséges intelligencia korában ez a mag vadonatúj teszt előtt áll. Mert a mesterséges intelligencia ügyesen kiváltja az emberi elme két mélyen rejlő gyengeségét – az automatizálási torzítást és a megerősítési torzítást. Ebben a részben azt fogjuk bemutatni, hogy egy AI-t használó auditor hogyan tudja fenntartani vagy akár megerősíteni szkepticizmusát. A fő tézis az, hogy az AI folyékonysága nem a pontosság; A szkeptikus elme még fontosabbá válik az MI-vel szemben.
Két veszélyes elfogultság
Az automatizálási elfogultság az a tendencia, hogy az emberek jobban bíznak egy gép/szoftver kimenetében, mint saját ítéletükben. "A számítógép kiszámolta, ez helyes." Ez a veszély még felerősödik a mesterséges intelligencia esetében, mivel az AI nem csak számol; Folyékonyan, magabiztosan beszél, emberszerű, megfontolt mondatokat. A magabiztos hangnem akkor is meggyőző, ha az információ nem pontos.
A megerősítési elfogultság az emberek azon tendenciája, hogy olyan információkat keresnek, amelyek alátámasztják azt a következtetést, amiben korábban hittek vagy reméltek, és figyelmen kívül hagyják az egymásnak ellentmondó információkat. Ez végzetes az auditálás során: Az az auditor, aki azt gondolja, hogy "Ennek az ügyfélnek tisztának kell lennie", megkönnyebbül, amikor megkérdezi az MI-t, és megerősítést kap, és felhagy az ellenkező bizonyítékok keresésével. Mivel a mesterséges intelligencia hajlamos a feltett kérdésre támaszkodni (ha azt kérdezi, hogy „jól van, igaz?”, akkor nagyobb valószínűséggel ad egy olyan választ, amely egyetért Önnel), ez elősegítheti a megerősítési torzítást.
Van egy harmadik is: a hallucináció. Sokszor láttuk a modulban – az AI folyékonyan képes olyan számot, elemet, erőforrást alkotni, amely nem is létezik. A veszély fokozódik, ha három gyengeséget kombinálunk: az AI kitalálja a dolgokat (hallucináció), elhiszi, mert gördülékeny (automatizálási torzítás), nem kérdőjelezi meg, mert elmondja, mit vár (megerősítő torzítás).
A szkeptikus elme három eszköze a mesterséges intelligencia ellen
Vegyünk szkepticizmust a mesterséges intelligencia elleni konkrét technikákba:
- Próbálj cáfolni, ne megerősíteni. Egy mesterséges intelligencia megkérdezheti a kimenetét: „Igaz?” nem "honnan tudhatom, hogy ez baj?" kérdés. Tedd fel magadnak a kérdést: „Ha ez az állítás hamis lenne, milyen bizonyítékok mutatnák ezt?” és keresse meg azt a bizonyítékot. Könnyű egyetlen megerősítő példát találni; A cáfolat és a kudarc valódi biztosítékot ad.
- Kérdezz semlegesen és visszafelé. Kérdezd meg az AI-t, hogy "nincs itt probléma, ugye?" Ne kérdezz; ez jóváhagyó választ kér. Ehelyett „milyen kockázatokat hagyhattam ki ezekből az adatokból?” és „mi az a három legvalószínűbb forgatókönyv, amelyben ez az eredmény rossz lehet?” kérdez. Tegye fel ugyanazt a kérdést két ellentétes oldalról, és hasonlítsa össze a válaszokat.
- Töltse le a forrásba és reprodukálja. Minden egyes probléma, hozzárendelés és következtetés esetében „hol tudom ezt önállóan ellenőrizni?” Tegye fel a kérdést, és valóban ellenőrizze. Tekintse meg az AI kimenetét állításként; A bizonyíték az állításon kívüli.
Tipp: Legyen szokás: az AI minden jelentős kimenete mellé írjon két dolgot kézzel: "(1) mivel igazoltam ezt, (2) milyen bizonyítékok mutatják ezt, ha hamis lenne." Ez a két megjegyzés megtöri mind az automatizálási, mind a megerősítési torzítást.
Olyan ítéletek, amelyeket a könyvvizsgáló nem ruházhat át
Egyes munkák eleve szkepticizmust és ítélőképességet igényelnek; ezek nem delegálhatók AI-ra, csak támogatottak:
elidegeníthetetlen joghatóság
Miért
Hogy a bizonyítékok elegendőek és megfelelőek-e
Szakmai megítélés; kontextusfüggő
A magyarázat hihetősége
Vállalkozási és szándékos mérlegelést igényel
Csalási kockázat felmérése
Szkepticizmus és intuíció; túl az adatmintán
Lényegesség és véleménydöntés
A nyilvánosságért felelős igazságszolgáltatás
Vélemény a vezetés őszinteségéről
Az emberi viselkedés olvasása; Az AI ezt nem tudja megtenni
A különbség a szkepticizmus és a pedánsság között: kimért hozzáállás
A szakmai szkepticizmus nem azt jelenti, hogy mindent el kell hinni, vagy előre hibáztatni a vezetőséget; Ez túllépés lenne, és az ellenőrzést hatástalanná tenné. A szkepticizmus nem tiszta bizalom (mindent elfogad, amit mondanak neked), sem vak tagadás (minden elutasítása); Közben ez a bizonyítékokkal arányos vizsgálódási hozzáállás. A könyvvizsgáló elfogadhatja a vezetést becsületesnek, de ezt az elfogadást bizonyítékokkal teszteli; a magyarázatot elfogadhatónak találhatja, de megerősíti a hihetőséget. A mesterséges intelligencia felboríthatja ezt az egyensúlyt: egy irányban túlzott önbizalomba ringatja folyékony kimenetével; Másrészt, ha azt mondod neki, hogy "mindenben keress hibát", akkor végtelen hamis pozitív eredménnyel fog bombázni. A helyes hozzáállás az, hogy mindig mérlegeljük az eredményt a bizonyítékok súlyával, miközben az MI-t futtatjuk bizonyítékok előállítására és a bizonyítékok megcáfolására. A szkepticizmus nem személyiségjegy, hanem fegyelmezett munkamódszer; És nem a mesterséges intelligencia, hanem az auditor az, aki létrehozza, fenntartja és bizonyítja ezt a fegyelmet.
három mini tok
1. eset – A cáfolat technika működik. Egy könyvvizsgáló kinyomtatta az AI-t, és azt mondta, hogy „ez a részvényértékelés ésszerűnek tűnik”. Ahelyett, hogy megerősített volna, visszakézzel kérdezte: „Ha ezt az értékelést túlértékelték, milyen bizonyítékok mutatják ezt?” "olyan cikkek, amelyek értékesítés utáni árai a költségek alá esnek" - mondta YZ. A könyvvizsgáló ezeket a tételeket kereste, és talált egy csoportot, amelyet valójában alulértékeltek. A cáfoló kérdés felfedte azt a kockázatot, amelyet a megerősítés rejtett.
2. eset – Megerősítési elfogultságba esés. Egy csapattag megkérdezte a mesterséges intelligenciát a válságos időszakban: „Nincs semmi komoly baj ezzel a fiókkal, igaz?” – kérdezte. YZ a kérdésre támaszkodott, és azt mondta: "Az Ön által megadott információk szerint úgy tűnik, nincs jelentős probléma." A csapattag ellazult, és letakarta a tollat. Azonban nem mutatott be semmilyen bizonyítékot; Az AI csupán tükrözte a mondatát. A felelős személy kimutatta, hogy a kérdést nem pártatlanul tették fel. Tanulság: a kérdés feltevés módja határozza meg a kapott választ; A megerősítést kérő kérdés megerősítést eredményez.
3. eset – A folyékonyság hiánya. Egy könyvvizsgáló úgy vélte, hogy a jogszabályoknak egy olyan értelmezése, amelyet YZ egy nagyon gördülékeny és indokolt bekezdésben fejtett ki, helyes volt, és belefoglalta a munkaanyagba. A szöveg olyan ügyes volt, hogy esze ágában sem volt megkérdőjelezni. A felelős személy kimutatta, hogy a hivatkozásnak nincs megfelelője a hivatalos szövegben. Tanulság: a folyékonyság és a magabiztosság nem a pontosság bizonyítéka; A legmeggyőzőbbnek tűnő eredmény lehet a legveszélyesebb.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Ez az elemzés helyes, nem? Jóváhagyod?
A probléma: egy elfogult kérdés, amely megerősítést keres. Ez arra készteti az AI-t, hogy csatlakozzon hozzád; Elősegíti a megerősítési torzítást, és elrejti a valódi kockázatot.
Erőteljes felszólítás:
Az Ön szerepe: Ön egy független könyvvizsgáló kritikus vizsgálati partnere. Az Ön feladata nem az, hogy EGYETÉRJENEK velem, hanem az, hogy megpróbálja MEGTAGADNI az eredményemet. Kontextus: Az alábbiakban egy analitikai eljárás következtetésemet és a próbakövetkeztetésemet közöljük.[eredményszöveg]Feladat: 1) Sorolja fel a 3 legvalószínűbb forgatókönyvet, amelyekben ez a következtetés HAMIS lehet.2) Minden forgatókönyv esetében: "ha ez igaz lenne, milyen bizonyítékok mutatnák ezt?" Javasoljon konkrét, kereshető bizonyítékot. 3) Jelölje meg azokat az adatokat vagy feltételezéseket, amelyeket esetleg kihagytam. 4) Ne alkoss velem egyező mondatokat; Az Ön feladata, hogy megtalálja a gyenge pontokat. Ha nem vagy biztos benne, jelöld meg az „ismeretlen” kifejezést.
Ez a felszólítás erős, mert megfordítja az AI (cáfolat) szerepét, cáfoló forgatókönyveket és kereshető bizonyítékokat igényel, és tiltja a megerősítést kereső nyelvezetet. Ez a mesterséges intelligencia a szkepticizmus szolgálatába állítja, nem pedig a megerősítő elfogultság eszköze.
Gyakori hibák
- Kérdések feltevése jóváhagyásért. – Rendben van, igaz? kérdezéssel és az egyeztetett válasz biztosításával.
- A folyékonyságot összetéveszti a pontossággal. Jól megírt, magabiztos eredményeket kérdés nélkül elfogadni.
- Elégedjen meg egyetlen megerősítő példával. Az első alátámasztó megállapítással zárva, anélkül, hogy megpróbálnánk cáfolni.
- Elidegeníthetetlen joghatóság átruházása. A bizonyítékok elégségességének, ésszerűségének, véleményének eldöntését az AI-ra bízva.
- Elengedni a szkepticizmust az idő nyomása alatt. A mesterséges intelligencia megnyugtató válaszában keressen menedéket, ha elakad.
Vigyázat: Az időnyomás a szkepticizmus legnagyobb ellensége, és a mesterséges intelligencia e nyomás alatt válik a legveszélyesebbé; mert gyors, gördülékeny és megnyugtató választ kínál. Tedd kötelezővé a cáfoló kérdést feltenni, amikor rohansz.
Összefoglalva
A szakmai szkepticizmus az auditálás középpontjában áll, és az AI korában még kritikusabbá válik. Az AI három gyengeséget vált ki: hallucináció (kitalálja), automatizálási torzítás (hisszük, mert folyékony), megerősítési torzítás (nem kérdőjelezzük meg, mert azt mondja, amit remélünk). Az ellenszer a mesterséges intelligencia cáfolatának rohanása, nem pedig megerősítése: „Ha ez hamis, milyen bizonyítékok mutatják ezt?” ' és ellentétes bizonyítékokat keresünk, tárgyilagosan és visszafelé kérdezünk, reprodukálva minden kimenetet a forrásból. Az olyan ítéletek, mint a bizonyítékok elégségessége, az ésszerűség, a csalás kockázata és a véleménynyilvánítás, szkepticizmust igényelnek, és nem ruházhatók át. A folyékonyság nem pontosság; A szkeptikus elme a tiéd.
Pályázati feladat
Szerezze meg az ellenőrzési eredményt (vagy egy hipotetikus eredményt). Tegye fel a mesterséges intelligenciát először egy "megerősítést kereső" gyenge kérdéssel, majd a fenti "cáfoló" erős felszólítási mintával. Állítsd egymás mellé a két eredményt, és írd le a különbséget: mely kockázatokat tárta fel csak a cáfoló kérdés? Ezután adjon hozzá két megjegyzést a kimenet minden kulcsfontosságú állítása mellé: „mivel igazoltam” és „milyen bizonyítékot mutatna ki, ha hamis lenne”.
ellenőrző lista
- [ ] Az AI-t cáfoló/semleges kérdéseket tettem fel, nem megerősítést kérő kérdéseket.
- [ ] Minden jelentős eredmény esetében „ha ez hamis, milyen bizonyítékok mutatják ezt?” Feltettem a kérdést, és bizonyítékokat kerestem.
- [ ] A zökkenőmentesnek és magabiztosnak tűnő kimenetet extra szkepticizmussal teszteltem.
- [ ] Nem álltam meg egyetlen megerősítő példával sem; Próbáltam cáfolni, de nem sikerült.
- [ ] Saját ítéleteket hoztam, mint például a bizonyítékok elégségessége, az ésszerűség és a véleményem.
- [ ] Időkényszer alatt sem ugrottam ki a cáfoló kérdést.
- [ ] A fontos állítások mellé feljegyeztem, hogy "mivel igazoltam / mit mutatna ki, ha rossz".