zisky:
- Pochopte, co je to profesionální skepticismus a rizika, že při používání umělé inteligence upadnete do zkreslení konfirmace a automatizace
- Schopnost testovat výstup umělé inteligence technikou dotazování, která se snaží vyvrátit (hledejte opak)
- Umět pochopit, že plynulost umělé inteligence neznamená přesnost, že skeptická mysl je jádrem kontroly a nelze ji přenést.
Existuje jeden mentální postoj, který odlišuje nezávislý audit od mnoha jiných profesí: profesionální skepticismus. Standardy ISA to definují tak, že auditor pracuje „s tázavou myslí, všímá si, zda důkazy naznačují potenciální nesprávnost, a kriticky hodnotí důkazy“. To znamená, že auditor automaticky nepřijímá žádné informace, které mu jsou předloženy – ani prohlášení vedení, ani dokument, dokonce ani účet, který „se zdá být rozumný“ – jako pravdivé. Neustále se ptám: Je to opravdu tak? ptá se. Tento postoj je jádrem kontroly a je nezcizitelný.
V době umělé inteligence toto jádro čelí zcela novému testu. Protože umělá inteligence je zběhlá ve spouštění dvou hluboce zakořeněných slabin lidské mysli – zkreslení automatizace a zkreslení potvrzení. V této části se budeme zabývat tím, jak si auditor používající AI může udržet nebo dokonce posílit svou skepsi. Hlavní tezí je, že plynulost AI není přesnost; Skeptická mysl se tváří v tvář AI stává ještě důležitější.
Dvě nebezpečné předsudky
Automatizační zkreslení je tendence lidí důvěřovat výstupu stroje/softwaru více než svému vlastnímu úsudku. "Počítač to spočítal, je to správné." Toto nebezpečí je u AI ještě větší, protože AI nejen počítá; Mluví plynule, sebevědomě, lidské, odůvodněné věty. Sebevědomý tón je přesvědčivý, i když informace nejsou přesné.
Konfirmační zkreslení je tendence lidí hledat informace, které podporují závěr, v který dříve věřili nebo v který doufali, a ignorovat protichůdné informace. To je při auditování fatální: Auditor, který si myslí, že „Tento klient musí být čistý“, se uleví, když se zeptá AI a dostane potvrzení, a přestane hledat důkazy o opaku. Vzhledem k tomu, že umělá inteligence má tendenci se opírat o otázku, která je položena (pokud se zeptáte „je to v pořádku, že?“, je pravděpodobnější, že vytvoří odpověď, která s vámi souhlasí), může podporovat zkreslení potvrzení.
Existuje ještě třetí: halucinace. V modulu jsme to viděli mnohokrát — AI dokáže plynule sestavit číslo, položku, zdroj, který neexistuje. Nebezpečí se zvyšuje, když se spojí tři slabiny: AI si věci vymýšlí (halucinace), věříte tomu, protože je proměnlivá (automatizační zaujatost), nezpochybňujete to, protože vám říká, co očekáváte (zaujatost potvrzení).
Tři nástroje skeptické mysli proti AI
Vložme skepticismus do konkrétních technik proti AI:
- Zkuste vyvrátit, ne potvrdit. AI se může zeptat svého výstupu „je to pravda?“ ne "jak mám vědět, jestli je to špatně?" otázka. Zeptejte se sami sebe: „Pokud by toto prohlášení bylo nepravdivé, jaké důkazy by to ukázaly? a hledat ty důkazy. Je snadné najít jediný potvrzující příklad; Snaha vyvrátit a selhat dává skutečnou jistotu.
- Ptejte se neutrálně a pozpátku. Zeptejte se AI "žádný problém, že?" Neptejte se; to vyžaduje schvalující odpověď. Místo toho „jaká jsou rizika, která jsem v těchto datech mohl přehlédnout?“ a "jaké jsou tři nejpravděpodobnější scénáře, ve kterých by tento výsledek mohl být chybný?" požádat. Položte stejnou otázku ze dvou opačných stran a porovnejte odpovědi.
- Stáhnout ke zdroji a reprodukovat. U každého problému, přiřazení a závěru „kde to mohu nezávisle ověřit?“ Zeptejte se a skutečně ověřte. Zobrazení výstupu AI jako tvrzení; Důkazy jsou externí vůči tvrzení.
Tip: Vytvořte si zvyk: Vedle každého významného výstupu, který AI poskytne, napište ručně dvě věci – „(1) čím jsem to ověřil, (2) jaké důkazy by to ukázaly, kdyby to bylo nepravdivé.“ Tyto dvě poznámky narušují zkreslení automatizace i potvrzení.
Rozsudky, které auditor nemůže delegovat
Některá zaměstnání ze své podstaty vyžadují skepticismus a úsudek; tyto nelze delegovat na AI, jsou podporovány pouze:
nezcizitelná jurisdikce
Proč?
Zda jsou důkazy dostatečné a vhodné
Odborný úsudek; závislé na kontextu
Věrohodnost vysvětlení
Vyžaduje zvážení podniku a záměru
Hodnocení rizika podvodu
Skepse a intuice; mimo datový vzor
Rozhodování o věcnosti a názoru
Soudnictví odpovědné veřejnosti
Názor na poctivost managementu
Čtení lidského chování; AI to neumí
Rozdíl mezi skepticismem a pedantstvím: odměřený postoj
Profesní skepticismus neznamená nevěřit všemu nebo předem obviňovat management; To by bylo překročení a kontrola by byla neúčinná. Skepse není ani čistá důvěra (přijímání všeho, co se vám říká), ani slepé popírání (odmítání všeho); Mezi tím je to vyšetřovací postoj úměrný důkazům. Auditor může přijmout vedení jako čestné, ale toto přijetí ověřuje důkazy; může považovat vysvětlení za věrohodné, ale potvrzuje věrohodnost. Umělá inteligence může tuto rovnováhu narušit: v jednom směru vás ukolébá přílišným sebevědomím svým tekutým výdejem; Na druhou stranu, když mu řeknete „na všem najít chybu“, bude vás bombardovat nekonečnými falešnými pozitivy. Správným přístupem je vždy zvažovat výsledek proti váze důkazů, zatímco běží AI, aby vytvořila důkazy a vyvrátila důkazy. Skepse není osobnostní rys, ale disciplinovaný způsob práce; A je to auditor, kdo zavádí, udržuje a dokládá tuto disciplínu, nikoli AI.
tři mini pouzdra
Případ 1 – Technika vyvracení funguje. Auditor vytiskl AI se slovy „toto ocenění akcií vypadá rozumně“. Namísto potvrzení se bezradně zeptal: "Pokud je toto ocenění nadhodnocené, jaké důkazy by to ukázaly?" "položky, u kterých poprodejní ceny klesají pod náklady," řekl YZ. Auditor tyto položky hledal a našel skupinu, která byla skutečně podhodnocená. Vyvracející otázka odhalila riziko, které potvrzení skrývalo.
Případ 2 – Upadnutí do konfirmační zaujatosti. Člen týmu se během krize zeptal AI: "Na tomto účtu není nic zásadního, že?" zeptal se. YZ se opřel o otázku a řekl: "Podle informací, které jste uvedl, se nezdá, že by došlo k významnému problému." Člen týmu se uvolnil a zakryl pero. Nepředložil však žádné důkazy; AI pouze zrcadlila jeho větu. Odpovědná osoba ukázala, že otázka nebyla položena nestranně. Lekce: to, jak položíte otázku, určuje odpověď, kterou dostanete; Otázka požadující potvrzení vytváří potvrzení.
Případ 3 – Propad plynulosti. Auditor se domníval, že výklad právních předpisů, který YZ vysvětlil ve velmi plynulém a odůvodněném odstavci, je správný, a zahrnul jej do pracovního dokumentu. Text byl tak úhledný, že ho ani nenapadlo ho zpochybňovat. Odpovědná osoba prokázala, že odkaz nemá v oficiálním textu ekvivalent. Poučení: plynulost a sebejistota nejsou důkazem přesnosti; Výsledek, který se zdá nejpřesvědčivější, může být nejnebezpečnější.
Slabá výzva / Silná výzva
Slabá výzva:
Tato analýza je správná, ne? schvalujete?
Problém: neobjektivní otázka, která hledá potvrzení. Tlačí AI, aby se k vám připojila; Podporuje konfirmační zaujatost a skrývá skutečné riziko.
Výkonná výzva:
Vaše role: jste partnerem pro kritické dotazy nezávislého auditora. Vaším úkolem není SOUHLASIT se mnou, ale pokusit se ODMÍTNUTÍ mého výstupu. Kontext: Níže je můj závěr analytického postupu a můj předběžný závěr.[text výsledku]Úkol:1) Uveďte 3 nejpravděpodobnější scénáře, ve kterých by tento závěr mohl být NEPRAVDA.2) U každého scénáře: "pokud by to byla pravda, jaké důkazy by to ukázaly?" Navrhněte konkrétní, dohledatelné důkazy. 3) Označte všechna data nebo předpoklady, které jsem mohl přehlédnout. 4) Nedělejte věty, které se mnou souhlasí; Máte za úkol najít slabá místa. Označte "neznámý" tam, kde si nejste jisti.
Tato výzva je účinná, protože obrací roli AI (vyvrácení), vyžaduje scénáře vyvracení a prohledávatelné důkazy a zakazuje jazyk hledající potvrzení. To staví umělou inteligenci spíše do služeb skepticismu než nástroje konfirmační zaujatosti.
Časté chyby
- Kladení otázek s žádostí o schválení. "To je v pořádku, že?" dotazem a zajištěním dohodnuté odpovědi.
- Záměna plynulosti za přesnost. Přijetí dobře napsaných a sebevědomých výstupů bez otázek.
- Spokojte se s jediným potvrzujícím příkladem. Uzavírání prvním podpůrným zjištěním, aniž bychom se ho snažili vyvrátit.
- Delegovat nezcizitelnou jurisdikci. Ponechání rozhodnutí o dostatečnosti důkazů, přiměřenosti, názoru na AI.
- Zbavit se skepse pod časovým tlakem. Když uvíznete, uchylte se k uklidňující odpovědi AI.
Pozor: Časový tlak je největším nepřítelem skepse a AI se pod tímto tlakem stává nejnebezpečnější; protože vám nabízí rychlou, plynulou a uklidňující odpověď. Udělejte si nutnost položit vyvracející otázku, když spěcháte.
V souhrnu
Profesionální skepticismus je jádrem auditu a ve věku umělé inteligence se stává ještě kritičtějším. Umělá inteligence spouští tři slabiny: halucinace (vymýšlí si to), zkreslení automatizace (věříme tomu, protože je proměnlivé), zkreslení potvrzení (nezpochybňujeme to, protože říká, v co doufáme). Protijed je spěchat vyvrátit AI, ne ji potvrdit: „pokud je to nepravda, jaké důkazy by to ukázaly?“ “ a hledat opačné důkazy, ptát se objektivně a zpětně, reprodukovat každý výstup ze zdroje. Úsudky jako dostatek důkazů, přiměřenost, riziko podvodu a úsudek vyžadují skepsi a jsou nepřenosné. Plynulost není přesnost; Skeptická mysl je vaše.
Aplikační úkol
Získejte výsledek auditu (nebo hypotetický výsledek). Zeptejte se AI nejprve slabou otázkou „hledající potvrzení“ a poté výše uvedeným „vyvracejícím“ silným vzorem. Položte oba výsledky vedle sebe a zapište rozdíl: která rizika odhalila pouze vyvracející otázka? Poté přidejte ke každému klíčovému tvrzení ve svém výstupu dvě poznámky: „s čím jsem ověřil“ a „jaké důkazy by ukázaly, kdyby byly nepravdivé“.
kontrolní seznam
- [ ] Položil jsem AI vyvracející/neutrální otázky, ne otázky směřující k potvrzení.
- [ ] U každého významného výsledku „pokud je to nepravdivé, jaké důkazy by to ukázaly?“ Položil jsem otázku a hledal důkazy.
- [ ] Výstup, který působil hladce a sebevědomě, jsem testoval se zvláštní skepsí.
- [ ] Nezůstal jsem u jediného potvrzujícího příkladu; Snažil jsem se to vyvrátit, ale nepodařilo se mi to.
- [ ] Udělal jsem si vlastní úsudky, jako je dostatek důkazů, rozumnost a názor.
- [ ] Ani v časové tísni jsem nepřeskočil vyvracející otázku.
- [ ] Vedle důležitých tvrzení jsem si udělal poznámky „s čím jsem ověřil / co by se ukázalo, kdyby to bylo špatně“.