Dobici:
- Shvatite što je profesionalni skepticizam i rizik od pada u pristrasnost potvrde i pristrasnost automatizacije kada koristite umjetnu inteligenciju
- Sposobnost testiranja izlaza umjetne inteligencije tehnikom ispitivanja koja pokušava opovrgnuti (potražite suprotno)
- Biti u stanju razumjeti da tečnost umjetne inteligencije ne znači tačnost, da je skeptični um srž kontrole i da se ne može prenijeti.
Postoji jedan mentalni stav koji razlikuje nezavisnu reviziju od mnogih drugih profesija: profesionalni skepticizam. MSR ovo definiraju kao revizor koji radi „sa upitnim umom, primjećujući da li dokazi ukazuju na potencijalno pogrešno prikazivanje i kritički procjenjujući dokaze“. Odnosno, revizor ne prihvata automatski bilo koju informaciju koja mu je predstavljena – ni izjavu uprave, ni dokument, čak ni račun koji se „čini razumnim“ – kao istinit. Stalno se pitam "Je li zaista tako?" pita on. Ovaj stav je srž kontrole i neotuđiv.
U doba vještačke inteligencije, ovo jezgro se suočava sa potpuno novim testom. Zato što je AI vješt u pokretanju dvije duboko ukorijenjene slabosti ljudskog uma — pristrasnosti automatizacije i pristrasnosti potvrde. U ovoj jedinici ćemo pokriti kako revizor koji koristi AI može održati ili čak ojačati svoj skepticizam. Glavna teza je da tečnost AI nije tačnost; Skeptični um postaje još važniji pred AI.
Dve opasne predrasude
Pristrasnost automatizacije je tendencija ljudi da više vjeruju rezultatu mašine/softvera nego svojoj vlastitoj prosudbi. "Kompjuter je to izračunao, tačno je." Ova opasnost je povećana kada je u pitanju AI, jer AI ne računa samo; Govori tečno, samouvjereno, ljudski, obrazložene rečenice. Samouvjeren ton je uvjerljiv čak i ako informacije nisu tačne.
Pristrasnost potvrde je sklonost ljudi da traže informacije koje podržavaju zaključak u koji su prethodno vjerovali ili kojem su se nadali i da ignoriraju proturječne informacije. Ovo je pogubno u reviziji: revizor koji misli da "ovaj klijent mora biti čist" osjetit će olakšanje kada pita AI i dobije potvrdu, te će prestati tražiti dokaze za suprotno. Budući da AI ima tendenciju da se oslanja na pitanje koje vam se postavlja (ako pitate „u redu je, zar ne?” veća je vjerovatnoća da će dati odgovor koji se slaže s vama), može podstaći pristrasnost potvrde.
Postoji i treći: halucinacije. To smo vidjeli mnogo puta u modulu — AI može tečno napraviti broj, predmet, resurs koji ne postoji. Opasnost se povećava kada se kombinuju tri slabosti: AI izmišlja stvari (halucinacije), vjerujete u to jer je fluidan (pristrasnost automatizacije), ne dovodite u pitanje jer vam govori šta očekujete (pristrasnost potvrde).
Tri alata skeptičnog uma protiv AI
Stavimo skepticizam u konkretne tehnike protiv AI:
- Pokušajte opovrgnuti, a ne potvrditi. AI bi mogao pitati svoj rezultat "je li istina?" ne "kako da znam da li je ovo pogrešno?" pitanje. Zapitajte se: „Kada bi ova izjava bila lažna, koji dokazi bi to pokazali?“ i potraži te dokaze. Lako je pronaći jedan jedini potvrdni primjer; Pokušaj opovrgavanja i neuspjeh daje pravu sigurnost.
- Pitajte neutralno i unazad. Pitajte AI "nema problema, zar ne?" Ne pitaj; ovo poziva na odobravajući odgovor. Umjesto toga, “koji su rizici koje sam mogao propustiti u ovim podacima?” i "koja su tri najvjerovatnija scenarija u kojima bi ovaj rezultat mogao biti pogrešan?" pitaj. Postavite isto pitanje sa dvije suprotne strane i uporedite odgovore.
- Preuzmite u izvor i reprodukujte. Za svako pitanje, atribuciju i zaključak, „gde da to nezavisno proverim?“ Postavite pitanje i zapravo potvrdite. Pogledajte izlaz AI kao tvrdnju; Dokazi su izvan tvrdnje.
Savjet: Napravite naviku: pored svakog značajnog rezultata koji AI daje, napišite dvije stvari rukom — „(1) čime sam ovo potvrdio, (2) koji dokaz bi to pokazao da je lažno.“ Ove dvije bilješke razbijaju i automatizaciju i pristrasnost potvrde.
Prosudbe koje revizor ne može delegirati
Neki poslovi inherentno zahtijevaju skepticizam i prosuđivanje; oni se ne mogu delegirati na AI, samo podržavaju:
neotuđiva nadležnost
Zašto
Da li su dokazi dovoljni i odgovarajući
Profesionalni sud; zavisno od konteksta
Uvjerljivost objašnjenja
Zahteva razmatranje preduzetnosti i namere
Procjena rizika od prijevare
Skepticizam i intuicija; izvan obrasca podataka
Materijalnost i odluka mišljenja
Sudstvo odgovorno javnosti
Mišljenje o poštenju menadžmenta
Čitanje ljudskog ponašanja; AI ne može ovo da uradi
Razlika između skepticizma i pedantnosti: odmjeren stav
Profesionalni skepticizam ne znači ne vjerovati svemu ili unaprijed kriviti menadžment; Ovo bi predstavljalo prekoračenje i učinilo bi kontrolu neefikasnom. Skepticizam nije ni čisto povjerenje (prihvatanje svega što vam se kaže) niti slijepo poricanje (odbijanje svega); Između toga, to je stav istrage srazmjeran dokazima. Revizor može prihvatiti menadžment kao pošten, ali to prihvatanje testira dokazima; može smatrati da je objašnjenje uvjerljivo, ali potvrđuje vjerodostojnost. AI može poremetiti ovu ravnotežu: u jednom pravcu, uljuljkava vas u preterano samopouzdanje svojim tečnim izlazom; S druge strane, ako mu kažete da "nađe grešku u svemu", bombardovaće vas beskrajnim lažnim pozitivnim rezultatima. Ispravan stav je uvijek odmjeriti ishod u odnosu na težinu dokaza, dok se izvodi AI za izvođenje dokaza i opovrgavanje dokaza. Skepticizam nije osobina ličnosti, već disciplinovan način rada; I revizor je taj koji uspostavlja, održava i dokazuje ovu disciplinu, a ne AI.
tri mini kofera
Slučaj 1 — Tehnika pobijanja radi. Revizor je odštampao AI rekavši "ova procjena dionica izgleda razumno." Umjesto potvrde, on je bezveze pitao: „Ako je ova procjena precijenjena, koji bi to dokazi pokazali?“ "stavke za koje postprodajne cijene padaju ispod cijene", rekao je YZ. Revizor je tražio ove stavke i pronašao grupu koja je zapravo bila potcijenjena. Pitanje za pobijanje razotkrilo je rizik koji je potvrda prikrivala.
Slučaj 2 — Padanje u pristrasnost potvrde. Član tima je upitao AI u vrijeme krize: "Nema ništa strašno loše u ovom računu, zar ne?" upitao je. YZ se naslonio na pitanje i rekao: "Prema informacijama koje ste dali, čini se da ne postoji značajan problem." Član tima se opustio i zatvorio olovku. Međutim, nije iznio nikakve dokaze; AI je samo preslikao njegovu rečenicu. Odgovorno lice je pokazalo da pitanje nije postavljeno nepristrasno. Lekcija: način na koji postavljate pitanje određuje odgovor koji ćete dobiti; Pitanje koje traži potvrdu proizvodi potvrdu.
Slučaj 3 — Pad na tečnost. Revizor je smatrao da je tumačenje zakona koje je YZ objasnio u vrlo tečnom i obrazloženom paragrafu ispravno i uključio ga je u radni dokument. Tekst je bio toliko uredan da mu nije palo na pamet da ga dovodi u pitanje. Odgovorno lice je pokazalo da referenca nema ekvivalent u zvaničnom tekstu. Lekcija: tečnost i samopouzdanje nisu dokaz tačnosti; Ishod koji se čini najuvjerljivijim može biti i najopasniji.
Slaba prompt / Jaka prompt
Slab upit:
Ova analiza je tačna, zar ne? Da li odobravate?
Problem: pristrasno pitanje koje traži potvrdu. To gura AI da vam se pridruži; On podstiče pristrasnost potvrde i skriva pravi rizik.
Snažan upit:
Vaša uloga: Vi ste nezavisni revizorov kritični partner za ispitivanje. Vaš zadatak nije da se SLAŽETE sa mnom, već da pokušate ODBITI moj rezultat. Kontekst: Ispod je moj zaključak analitičke procedure i moj probni zaključak.[tekst rezultata]Zadatak:1) Navedite 3 najvjerovatnija scenarija u kojima bi ovaj zaključak mogao biti LAŽAN.2) Za svaki scenario: "da je ovo istina, koji dokazi bi to pokazali?" Predložite konkretne dokaze koji se mogu pretraživati. 3) Označite sve podatke ili pretpostavke koje sam možda propustio. 4) Ne pravite rečenice koje se slažu sa mnom; Imate zadatak da pronađete slabe tačke. Označite "nepoznato" gdje niste sigurni.
Ovaj upit je moćan jer preokreće ulogu AI (pobijanje), zahtijevajući scenarije pobijanja i dokaze za pretraživanje, i zabranjujući jezik traženja potvrde. Ovo stavlja AI u službu skepticizma, a ne u instrument pristrasnosti potvrde.
Uobičajene greške
- Postavljanje pitanja tražeći odobrenje. "U redu je, zar ne?" postavljanjem pitanja i osiguravanjem dogovorenog odgovora.
- Greška tečnost za tačnost. Prihvatanje dobro napisanog, samouvjerenog rezultata bez pitanja.
- Budite zadovoljni samo jednim potvrdnim primjerom. Završavamo prvim potkrepljujućim nalazom, bez pokušaja da ga opovrgnete.
- Delegirati neotuđivu nadležnost. Prepuštanje odluke o dovoljnosti dokaza, razumnosti, mišljenju AI.
- Otpuštanje skepticizma pod pritiskom vremena. Utočište u utješnom odgovoru AI kada ste zapeli.
Oprez: Vremenski pritisak je najveći neprijatelj skepticizma, a AI postaje najopasniji pod tim pritiskom; jer vam nudi brz, tečan i utješan odgovor. Neka obavezno postavite pitanje za pobijanje kada ste u žurbi.
Ukratko
Profesionalni skepticizam je u srži revizije i postaje još kritičniji u doba AI. AI pokreće tri slabosti: halucinaciju (izmišlja), automatizaciju (vjerujemo u to jer je fluidna), pristrasnost potvrde (ne dovodimo u pitanje jer govori ono čemu se nadamo). Protuotrov je žuriti da se opovrgne AI, a ne da se potvrdi: „ako je ovo laž, koji dokazi bi to pokazali?“ ' i tražeći suprotne dokaze, objektivno i unatrag, reproducirajući svaki izlaz iz izvora. Presude kao što su dovoljnost dokaza, razumnost, rizik od prevare i mišljenje mišljenja zahtijevaju skepticizam i nisu prenosive. Tečnost nije tačnost; Skeptičan um je vaš.
Zadatak aplikacije
Dobijte rezultat revizije (ili hipotetički rezultat). Pitajte AI prvo sa slabim pitanjem "traženje potvrde", a zatim sa "pobijanjem" jakim upitom iznad. Stavite dva ishoda jedan pored drugog i zapišite razliku: koje je rizike otkrilo samo pitanje za pobijanje? Zatim dodajte dvije bilješke pored svake ključne tvrdnje u svom izlazu: "čime sam provjerio" i "koji dokaz bi pokazao da je lažan".
kontrolna lista
- [ ] Postavio sam AI pobijanje/neutralna pitanja, a ne pitanja koja traže potvrdu.
- [ ] Za svaki značajan ishod, „ako je ovo netačno, koji dokazi bi to pokazali?“ Postavio sam pitanje i tražio dokaze.
- [ ] Testirao sam izlaz, koji je djelovao glatko i samouvjereno, sa dodatnim skepticizmom.
- [ ] Nisam stao ni na jednom potvrdnom primjeru; Pokušao sam to opovrgnuti, ali nisam uspio.
- [ ] Sam sam donosio svoje prosudbe kao što su dovoljnost dokaza, razumnost i mišljenje.
- [ ] Čak i pod pritiskom vremena, nisam preskočio pitanje za pobijanje.
- [ ] Pored važnih tvrdnji, zabilježio sam "ono čime sam verifikovao / šta bi pokazalo da nije u redu".