zisky:
- Pochopte, čo je profesionálny skepticizmus a riziká, že pri používaní umelej inteligencie upadnete do zaujatosti potvrdenia a automatizácie
- Schopnosť testovať výstup umelej inteligencie pomocou techniky otázok, ktorá sa snaží vyvrátiť (hľadajte opak)
- Vedieť pochopiť, že plynulosť umelej inteligencie neznamená presnosť, že skeptická myseľ je jadrom kontroly a nedá sa preniesť.
Existuje jeden mentálny postoj, ktorý odlišuje nezávislý audit od mnohých iných profesií: profesionálny skepticizmus. ISA to definujú ako audítor, ktorý pracuje „s zvedavou mysľou, všíma si, či dôkazy naznačujú potenciálne nesprávnosti, a kriticky hodnotí dôkazy“. To znamená, že audítor automaticky neakceptuje žiadne informácie, ktoré mu boli predložené – ani vyhlásenie manažmentu, ani dokument, dokonca ani účet, ktorý „sa zdá byť primeraný“ – ako pravdivé. Neustále sa pýtam: "Je to naozaj tak?" pýta sa. Tento postoj je jadrom kontroly a je neodcudziteľný.
V dobe umelej inteligencie toto jadro čelí úplne novému testu. Pretože AI je zbehlá v spúšťaní dvoch hlboko zakorenených slabín ľudskej mysle – zaujatosti automatizácie a zaujatosti potvrdzovania. V tejto časti sa budeme zaoberať tým, ako si audítor používajúci AI môže udržať alebo dokonca posilniť svoj skepticizmus. Hlavnou tézou je, že plynulosť AI nie je presnosť; Skeptická myseľ sa stáva ešte dôležitejšou tvárou v tvár AI.
Dve nebezpečné predsudky
Automatizačná zaujatosť je tendencia ľudí dôverovať výstupu stroja/softvéru viac ako svojmu vlastnému úsudku. "Počítač to vypočítal, je to správne." Toto nebezpečenstvo je ešte väčšie, pokiaľ ide o AI, pretože AI nielen počíta; Hovorí plynule, sebavedomo, ľudské, odôvodnené vety. Sebavedomý tón je presvedčivý, aj keď informácie nie sú presné.
Konfirmačná zaujatosť je tendencia ľudí vyhľadávať informácie, ktoré podporujú záver, v ktorý predtým verili alebo v ktorý dúfali, a ignorovať protichodné informácie. To je pri audite fatálne: Audítor, ktorý si myslí, že „Tento klient musí byť čistý“, sa uľaví, keď požiada AI a dostane potvrdenie, a prestane hľadať dôkazy o opaku. Pretože AI má tendenciu opierať sa o otázku, ktorá sa vám kladie (ak sa spýtate „je to v poriadku, však?“, je pravdepodobnejšie, že vygeneruje odpoveď, ktorá s vami súhlasí), môže podporiť skreslenie potvrdenia.
Existuje aj tretia: halucinácie. Videli sme to mnohokrát v module — AI dokáže plynule vytvoriť číslo, položku, zdroj, ktorý neexistuje. Nebezpečenstvo sa znásobí, keď sa skombinujú tri slabé stránky: AI si veci vymýšľa (halucinácie), veríte tomu, pretože je premenlivá (zaujatosť automatizácie), nespochybňujete to, pretože vám hovorí, čo očakávate (zaujatosť pri potvrdení).
Tri nástroje skeptickej mysle proti AI
Vložme skepticizmus do konkrétnych techník proti AI:
- Skúste vyvrátiť, nie potvrdiť. AI sa môže spýtať svojho výstupu „je to pravda? nie "ako mám vedieť, či je to nesprávne?" otázka. Opýtajte sa sami seba: „Ak by toto vyhlásenie bolo nepravdivé, aké dôkazy by to ukázali? a hľadať tie dôkazy. Je ľahké nájsť jediný potvrdzujúci príklad; Snaha vyvrátiť a zlyhať dáva skutočnú istotu.
- Pýtajte sa neutrálne a obrátene. Opýtajte sa AI "žiadny problém, však?" Nepýtaj sa; to si vyžaduje súhlasnú odpoveď. Namiesto toho „aké sú riziká, ktoré som mohol v týchto údajoch vynechať?“ a „aké sú tri najpravdepodobnejšie scenáre, v ktorých môže byť tento výsledok nesprávny?“ spýtaj sa. Položte rovnakú otázku z dvoch protiľahlých strán a porovnajte odpovede.
- Stiahnite si na zdroj a reprodukujte. Pre každý problém, priradenie a záver uveďte „kde to môžem nezávisle overiť?“ Položte otázku a skutočne overte. Zobraziť výstup AI ako tvrdenie; Dôkazy sú externé voči tvrdeniu.
Tip: Urobte si zvyk: Vedľa každého významného výstupu, ktorý AI poskytne, ručne napíšte dve veci – „(1) čím som to overil, (2) aké dôkazy by to ukázali, keby to bolo nepravdivé.“ Tieto dve poznámky porušujú zaujatosť automatizácie aj potvrdzovania.
Rozsudky, ktoré audítor nemôže delegovať
Niektoré zamestnania si vo svojej podstate vyžadujú skepticizmus a úsudok; tieto nemožno delegovať na AI, podporujú sa iba:
neodňateľná jurisdikcia
Prečo?
Či sú dôkazy dostatočné a vhodné
Profesionálny úsudok; závislé od kontextu
Vierohodnosť vysvetlenia
Vyžaduje zváženie podniku a zámeru
Hodnotenie rizika podvodu
Skepticizmus a intuícia; mimo dátového vzoru
Závažnosť a názorové rozhodnutie
Súdnictvo zodpovedné voči verejnosti
Názor na poctivosť manažmentu
Čítanie ľudského správania; AI to nedokáže
Rozdiel medzi skepticizmom a pedantstvom: odmeraný postoj
Profesionálny skepticizmus neznamená neveriť všetkému alebo vopred obviňovať manažment; To by bol presah a kontrola by bola neúčinná. Skepticizmus nie je ani čistá dôvera (prijímanie všetkého, čo sa vám povie), ani slepé popieranie (odmietanie všetkého); Medzitým je to postoj vyšetrovania, ktorý zodpovedá dôkazom. Audítor môže uznať manažment ako čestný, ale toto prijatie overuje dôkazmi; môže považovať vysvetlenie za vierohodné, ale potvrdzuje vierohodnosť. Umelá inteligencia môže narušiť túto rovnováhu: v jednom smere vás ukolísa do prehnanej sebadôvery svojím tekutým výstupom; Na druhej strane, ak mu poviete, aby „na všetkom nájdite chybu“, bude vás bombardovať nekonečnými falošnými pozitívami. Správnym prístupom je vždy zvážiť výsledok vzhľadom na váhu dôkazov a zároveň spustiť AI, aby predložila dôkazy a vyvrátila dôkazy. Skepticizmus nie je osobnostná črta, ale disciplinovaný spôsob práce; A túto disciplínu zakladá, udržiava a preukazuje audítor, nie AI.
tri mini prípady
Prípad 1 – Technika vyvrátenia funguje. Audítor vytlačil AI so slovami „toto ocenenie akcií vyzerá rozumne“. Namiesto toho, aby to potvrdil, bezostyšne sa spýtal: „Ak je toto ocenenie nadhodnotené, aké dôkazy by to ukázali? "položky, ktorých popredajné ceny klesajú pod cenu," povedal YZ. Audítor pátral po týchto položkách a našiel skupinu, ktorá bola skutočne podhodnotená. Vyvrátená otázka odhalila riziko, ktoré potvrdenie skrývalo.
Prípad 2 – Upadnutie do zaujatosti potvrdenia. Člen tímu sa počas krízy spýtal AI: "Na tomto účte nie je nič vážne, však?" spýtal sa. YZ sa opieral o otázku a povedal: "Podľa informácií, ktoré ste poskytli, sa nezdá, že by došlo k závažnému problému." Člen tímu sa uvoľnil a zakryl pero. Nepredložil však žiadne dôkazy; AI iba odzrkadľovala jeho vetu. Zodpovedná osoba ukázala, že otázka nebola položená nestranne. Ponaučenie: to, ako položíte otázku, určuje odpoveď, ktorú dostanete; Otázka na potvrdenie vytvára potvrdenie.
Prípad 3 – Nedostatočná plynulosť. Audítor sa domnieval, že výklad právnych predpisov, ktorý YZ vysvetlil vo veľmi plynulom a odôvodnenom odseku, bol správny a zahrnul ho do pracovného dokumentu. Text bol taký úhľadný, že ho ani nenapadlo spochybňovať ho. Zodpovedná osoba preukázala, že odkaz nemá v oficiálnom texte ekvivalent. Poučenie: plynulosť a sebadôvera nie sú dôkazom presnosti; Výsledok, ktorý sa zdá najpresvedčivejší, môže byť najnebezpečnejší.
Slabá výzva / Silná výzva
Slabá výzva:
Táto analýza je správna, však? schvaľujete?
Problém: neobjektívna otázka, ktorá hľadá potvrdenie. Tlačí AI, aby sa k vám pripojila; Podporuje zaujatosť potvrdenia a skrýva skutočné riziko.
Výkonná výzva:
Vaša úloha: ste partnerom nezávislého audítora pre kritické otázky. Vašou úlohou nie je súhlasiť so mnou, ale pokúsiť sa ODMIETNUŤ môj výstup. Kontext: Nižšie je môj záver analytického postupu a môj predbežný záver.[text výsledku]Úloha:1) Uveďte 3 najpravdepodobnejšie scenáre, v ktorých by tento záver mohol byť NEPRAVDIVÝ.2) Pre každý scenár: "ak by to bola pravda, aké dôkazy by to ukázali?" Navrhnite konkrétne dôkazy, ktoré je možné vyhľadať. 3) Označte všetky údaje alebo predpoklady, ktoré som mohol vynechať. 4) Netvor vety, ktoré so mnou súhlasia; Máte za úlohu nájsť slabé miesta. Označte "neznáme" tam, kde si nie ste istí.
Táto výzva je účinná, pretože obracia úlohu AI (vyvrátenie), vyžaduje scenáre vyvracania a vyhľadávateľné dôkazy a zakazuje jazyk na hľadanie potvrdenia. To stavia AI skôr do služieb skepticizmu ako nástroja na potvrdenie zaujatosti.
Časté chyby
- Kladenie otázok na získanie súhlasu. "To je v poriadku, však?" pýtaním a zabezpečením dohodnutej odpovede.
- Zámena plynulosti za presnosť. Prijímanie dobre napísaných a sebavedomých výstupov bez otázok.
- Uspokojte sa s jediným potvrdzujúcim príkladom. Uzavretie s prvým podporným zistením, bez snahy ho vyvrátiť.
- Delegovať neodcudziteľnú jurisdikciu. Rozhodnutie o dostatočnosti dôkazov, primeranosti, názoru ponechať na AI.
- Vzdať sa skepsy pod časovým tlakom. Uchýliť sa k upokojujúcej odpovedi AI, keď uviaznete.
Pozor: Časový tlak je najväčším nepriateľom skepticizmu a AI sa pod týmto tlakom stáva najnebezpečnejšou; pretože vám ponúka rýchlu, plynulú a upokojujúcu odpoveď. Urobte si povinnosť položiť vyvracajúcu otázku, keď sa ponáhľate.
V súhrne
Profesionálny skepticizmus je jadrom auditu a vo veku AI sa stáva ešte kritickejším. Umelá inteligencia spúšťa tri slabé stránky: halucinácie (vytvára to), zaujatosť automatizácie (veríme tomu, pretože je plynulá), potvrdzovacia zaujatosť (nespochybňujeme to, pretože hovorí, v čo dúfame). Protijed je ponáhľať sa vyvrátiť AI, nie ju potvrdiť: „ak je to nepravda, aké dôkazy by to ukázali?“ “ a hľadať opačné dôkazy, pýtať sa objektívne a spätne, reprodukovať každý výstup zo zdroja. Úsudky ako dostatok dôkazov, primeranosť, riziko podvodu a názorové úsudky si vyžadujú skepticizmus a nie sú prenosné. Plynulosť nie je presnosť; Skeptická myseľ je vaša.
Aplikačná úloha
Získajte výsledok auditu (alebo hypotetický výsledok). Opýtajte sa AI najskôr slabou otázkou na „hľadanie potvrdenia“ a potom pomocou vyššie uvedeného vzoru „vyvrátenia“ silnej výzvy. Položte tieto dva výsledky vedľa seba a napíšte rozdiel: ktoré riziká odhalila iba vyvracajúca otázka? Potom pridajte ku každému kľúčovému tvrdeniu vo svojom výstupe dve poznámky: „s čím som overil“ a „aké dôkazy by ukázali, ak by boli nepravdivé“.
kontrolný zoznam
- [ ] Položil som AI vyvracajúce/neutrálne otázky, nie otázky na potvrdenie.
- [ ] Pre každý významný výsledok „ak je to nepravdivé, aké dôkazy by to ukázali?“ Položil som otázku a hľadal dôkazy.
- [ ] Výstup, ktorý vyzeral hladko a sebavedomo, som testoval s mimoriadnou skepsou.
- [ ] Nezostal som len pri jednom potvrdzujúcom príklade; Snažil som sa to vyvrátiť, ale nepodarilo sa mi to.
- [ ] Urobil som si vlastný úsudok, ako je dostatok dôkazov, rozumnosť a názor.
- [ ] Ani pod časovým tlakom som nepreskočil vyvracajúcu otázku.
- [ ] Vedľa dôležitých tvrdení som si urobil poznámky „s čím som overil / čo by sa ukázalo, keby to bolo nesprávne“.