Dobički:
- Razumeti, kaj je profesionalni skepticizem in kakšna so tveganja, da pri uporabi umetne inteligence zapadete v pristranskost potrditve in avtomatizacijo
- Sposobnost testiranja izhoda umetne inteligence s tehniko spraševanja, ki poskuša ovreči (išči nasprotno)
- Biti sposoben razumeti, da tekočnost umetne inteligence ne pomeni natančnosti, da je skeptični um jedro nadzora in ga ni mogoče prenesti.
Obstaja en miselni odnos, ki razlikuje neodvisno revizijo od mnogih drugih poklicev: poklicni skepticizem. ISA to opredeljujejo kot revizorjevo delo "z povprašujočim umom, ugotavljanje, ali dokazi kažejo na morebitno napačno navedbo, in kritično vrednotenje dokazov." To pomeni, da revizor samodejno ne sprejme nobenih informacij, ki so mu bile predstavljene – ne izjave vodstva, ne dokumenta, niti računa, ki se »zdi razumno« – kot resnične. Nenehno se sprašujem "A je res tako?" vpraša. Ta odnos je jedro nadzora in je neodtujljiv.
V dobi umetne inteligence je to jedro pred povsem novo preizkušnjo. Ker je AI spreten pri sprožanju dveh globoko zakoreninjenih slabosti človeškega uma – pristranskosti avtomatizacije in pristranskosti potrditve. V tej enoti bomo obravnavali, kako lahko revizor, ki uporablja AI, ohrani ali celo okrepi svoj skepticizem. Glavna teza je, da tekočnost AI ni natančnost; Skeptičen um postane še pomembnejši pred AI.
Dve nevarni pristranskosti
Pristranskost avtomatizacije je težnja, da ljudje bolj zaupajo rezultatom stroja/programske opreme kot svoji lastni presoji. "Računalnik je izračunal, pravilno je." Ta nevarnost je še večja, ko gre za AI, saj AI ne samo izračunava; Govori tekoče, samozavestno, človeško podobne, utemeljene stavke. Samozavesten ton je prepričljiv, tudi če informacije niso točne.
Potrditvena pristranskost je težnja ljudi, da iščejo informacije, ki podpirajo sklep, v katerega so prej verjeli ali na katerega so upali, in ignorirajo nasprotujoče si informacije. To je pri reviziji usodno: Revizor, ki misli, da mora biti ta stranka čista, si bo oddahnil, ko bo vprašal AI in dobil potrditev, in bo prenehal iskati dokaze o nasprotnem. Ker se umetna inteligenca nagiba k zastavljenemu vprašanju (če vprašate »je v redu, kajne?«, je bolj verjetno, da bo dal odgovor, ki se strinja z vami), lahko spodbuja pristranskost potrditve.
Obstaja tudi tretja: halucinacije. To smo videli večkrat v modulu — AI lahko tekoče sestavi številko, element, vir, ki ne obstaja. Nevarnost je še večja, ko so združene tri slabosti: umetna inteligenca si stvari izmišljuje (halucinacije), verjamete ji, ker je tekoča (avtomatizirana pristranskost), o njej ne dvomite, ker vam pove, kaj pričakujete (potrditvena pristranskost).
Tri orodja skeptičnih umov proti AI
Postavimo skepticizem v konkretne tehnike proti AI:
- Poskusite ovreči, ne potrditi. Umetna inteligenca bi lahko svoj rezultat vprašala "ali je res?" ne "kako naj vem, če je to narobe?" vprašanje. Vprašajte se: "Če bi bila ta izjava napačna, kateri dokazi bi to pokazali?" in poiščite te dokaze. Zlahka je najti en sam potrjujoč primer; Poskus zavračanja in neuspeh daje resnično zagotovilo.
- Vprašajte nevtralno in vzvratno. Vprašajte AI "tukaj ni problema, kajne?" Ne sprašuj; to vabi k odobritvenemu odgovoru. Namesto tega "kakšna so tveganja, ki sem jih morda spregledal v teh podatkih?" in "kateri so trije najverjetnejši scenariji, v katerih bi lahko bil ta rezultat napačen?" vprašaj. Zastavite isto vprašanje z dveh nasprotnih strani in primerjajte odgovore.
- Prenesite v vir in reproducirajte. Za vsako težavo, pripis in zaključek, "kje lahko to neodvisno preverim?" Postavite vprašanje in dejansko preverite. Oglejte si rezultat AI kot trditev; Dokazi so zunaj trditve.
Namig: Naredite si navado: poleg vsakega pomembnega rezultata, ki ga daje umetna inteligenca, napišite dve stvari z roko - "(1) s čim sem to preveril, (2) kateri dokazi bi to pokazali, če bi bili lažni." Ti dve opombi kršita pristranskost avtomatizacije in potrditve.
Presoje, ki jih revizor ne more prenesti
Nekatera delovna mesta sama po sebi zahtevajo skepticizem in presojo; teh ni mogoče prenesti na AI, podprto je le:
neodtujljivo pristojnost
zakaj
Ali so dokazi zadostni in ustrezni
Strokovna presoja; odvisno od konteksta
Verodostojnost razlage
Zahteva premislek o podjetnosti in namenu
Ocena tveganja goljufij
Skepticizem in intuicija; onkraj podatkovnega vzorca
Odločitev o pomembnosti in mnenju
Sodstvo odgovorno do javnosti
Mnenje o poštenosti vodstva
Branje človeškega vedenja; AI tega ne zmore
Razlika med skepticizmom in pedantnostjo: odmerjen odnos
Strokovni skepticizem ne pomeni ne verjeti vsemu ali vnaprej kriviti vodstva; To bi bila prekoračitev in bi nadzor postal neučinkovit. Skepticizem ni niti čisto zaupanje (sprejemanje vsega, kar vam povedo) niti slepo zanikanje (zavračanje vsega); Vmes je odnos poizvedovanja, sorazmeren z dokazi. Revizor lahko sprejme vodstvo kot pošteno, vendar to sprejemanje preizkusi z dokazi; se lahko zdi razlaga verjetna, vendar potrjuje verjetnost. Umetna inteligenca lahko poruši to ravnovesje: v eno smer vas zaziba v pretirano samozavest s svojim tekočim izhodom; Po drugi strani pa, če mu rečete, naj "v vsem poišče napako", vas bo zasul z neskončnimi lažnimi pozitivnimi rezultati. Pravilno stališče je, da rezultat vedno pretehtamo glede na težo dokazov, medtem ko uporabljamo AI za pridobivanje dokazov in ovrženje dokazov. Skepticizem ni osebnostna lastnost, ampak discipliniran način dela; Revizor je tisti, ki vzpostavi, vzdržuje in dokazuje to disciplino, ne AI.
trije mini kovčki
1. primer – Tehnika zavrnitve deluje. Revizor je natisnil AI, ki pravi, da je "to vrednotenje delnic videti razumno." Namesto da bi potrdil, je narobe vprašal: "Če je ta ocena precenjena, kateri dokazi bi to pokazali?" "predmetov, pri katerih poprodajne cene padejo pod ceno," je dejal YZ. Revizor je iskal te postavke in našel skupino, ki je bila dejansko podcenjena. Zavrnilno vprašanje je razkrilo tveganje, ki ga je prikrila potrditev.
Primer 2 – Zapadanje v pristranskost potrditve. Član ekipe je med kriznim časom vprašal umetno inteligenco: "s tem računom ni nič hudega narobe, kajne?" je vprašal. YZ se je naslonil na vprašanje in rekel: "Glede na informacije, ki ste jih posredovali, se zdi, da ni pomembne težave." Član ekipe se je sprostil in zamašil pero. Vendar pa ni predložil nobenih dokazov; AI je le zrcalil njegov stavek. Odgovorna oseba je pokazala, da vprašanje ni bilo zastavljeno nepristransko. Lekcija: kako postavite vprašanje, je odvisno od odgovora, ki ga dobite; Vprašanje, ki išče potrditev, proizvede potrditev.
Primer 3 – Nasedanje na tekoče govorjenje. Revizor je menil, da je bila razlaga zakonodaje, ki jo je YZ pojasnil v zelo tekočem in obrazloženem odstavku, pravilna, in jo vključil v delovni dokument. Besedilo je bilo tako čedno, da mu ni padlo na misel, da bi dvomil o njem. Odgovorna oseba je dokazala, da sklic nima ustreznice v uradnem besedilu. Lekcija: tekočnost in samozavest nista dokaz točnosti; Izid, ki se zdi najbolj prepričljiv, je lahko najnevarnejši.
Šibek poziv/močan poziv
Šibek poziv:
Ta analiza je pravilna, kajne? Ali odobravaš?
Težava: pristransko vprašanje, ki išče potrditev. Priganja AI, da se vam pridruži; Spodbuja pristranskost potrditve in skriva resnično tveganje.
Močan poziv:
Vaša vloga: ste partner neodvisnega revizorja pri kritičnih poizvedbah. Vaša naloga ni, da se STRINJATE z mano, ampak da poskušate ZAVRNITI moj rezultat. Kontekst: Spodaj je moj zaključek analitičnega postopka in moj okvirni zaključek.[besedilo rezultata]Naloga:1) Naštejte 3 najverjetnejše scenarije, v katerih bi bil ta sklep lahko NAPAČEN.2) Za vsak scenarij: "če bi bilo to res, kateri dokazi bi to pokazali?" Predlagajte konkretne dokaze, ki jih je mogoče iskati. 3) Označite vse podatke ali predpostavke, ki sem jih morda spregledal. 4) Ne delaj stavkov, ki bi se strinjali z mano; Naloga je, da poiščete šibke točke. Označite "neznano", kjer niste prepričani.
Ta poziv je močan, ker obrne vlogo umetne inteligence (zavrnitev), zahteva scenarije zavrnitve in dokaze, po katerih je mogoče iskati, ter prepoveduje jezik, ki išče potrditev. To postavlja umetno inteligenco v službo skepticizma in ne kot instrument pristranskosti potrditve.
Pogoste napake
- Postavljanje vprašanj z iskanjem odobritve. "V redu je, kajne?" spraševanjem in zagotavljanjem dogovorjenega odgovora.
- Tekočnost zamenjuje za natančnost. Sprejemanje dobro napisanega, samozavestnega zapisa brez vprašanj.
- Zadovoljite se z enim samim potrditvenim primerom. Zaključimo s prvo podporno ugotovitvijo, ne da bi jo poskušali ovreči.
- Za prenos neodtujljive pristojnosti. Prepuščanje odločitve o zadostnosti dokazov, razumnosti, mnenju AI.
- Opustitev skepticizma pod časovnim pritiskom. Zateči se k tolažilnemu odgovoru AI, ko se zatakneš.
Pozor: časovni pritisk je največji sovražnik skepticizma in umetna inteligenca pod tem pritiskom postane najbolj nevarna; ker vam ponuja hiter, tekoč in tolažilen odgovor. Ko se vam mudi, obvezno postavite zavrnilno vprašanje.
Če povzamem
Profesionalni skepticizem je jedro revizije in postane v dobi umetne inteligence še bolj kritičen. Umetna inteligenca sproži tri slabosti: halucinacije (izmisli si), pristranskost avtomatizacije (verjamemo ji, ker je tekoča), pristranskost potrditve (o njej se ne sprašujemo, ker pove, kaj upamo). Protistrup je hiteti ovreči AI, ne potrditi ga: "če je to napačno, kateri dokazi bi to pokazali?" ' in iskanje nasprotnih dokazov, spraševanje objektivno in nazaj, reproduciranje vsakega izhoda iz vira. Sodbe, kot so zadostnost dokazov, razumnost, tveganje goljufije in mnenjska presoja, zahtevajo skepticizem in niso prenosljive. Tekočnost ni natančnost; Skeptični um je vaš.
Aplikacijska naloga
Pridobite rezultat revizije (ali hipotetični rezultat). Umetno inteligenco najprej vprašajte s šibkim vprašanjem, ki išče potrditev, nato pa z zgornjim vzorcem močnega poziva za "zavrnitev". Oba izida postavite enega ob drugega in zapišite razliko: katera tveganja je razkrilo šele zavrnilno vprašanje? Nato dodajte dve opombi poleg vsake ključne trditve v svojem rezultatu: "s čim sem preveril" in "kateri dokazi bi bili prikazani, če bi bili lažni".
kontrolni seznam
- [ ] Umetni inteligenci sem postavil zavrnilna/nevtralna vprašanja, ne vprašanj za iskanje potrditve.
- [ ] Za vsak pomemben rezultat, "če je to napačno, kateri dokazi bi to pokazali?" Postavil sem vprašanje in iskal dokaze.
- [ ] Rezultat, ki se je zdel gladek in samozavesten, sem preizkusil z dodatnim skepticizmom.
- [ ] Nisem se ustavil pri enem potrditvenem primeru; Poskušal sem to ovreči, a mi ni uspelo.
- [ ] Sam sem presojal, kot so zadostnost dokazov, razumnost in mnenje.
- [ ] Tudi pod časovnim pritiskom nisem preskočil zavrnilnega vprašanja.
- [ ] Poleg pomembnih trditev sem naredil opombe o tem, "kaj sem preveril / kaj bi pokazalo, če bi bilo napačno".