Dobici:
- Razumjeti što je profesionalni skepticizam i rizike upadanja u pristranost potvrde i automatizaciju pri korištenju umjetne inteligencije
- Sposobnost testiranja izlaza umjetne inteligencije tehnikom ispitivanja koja pokušava opovrgnuti (tražiti suprotno)
- Biti u stanju razumjeti da tečnost umjetne inteligencije ne znači točnost, da je skeptični um srž kontrole i da se ne može prenijeti.
Postoji jedan mentalni stav koji razlikuje neovisnu reviziju od mnogih drugih profesija: profesionalni skepticizam. ISA to definiraju kao revizora koji radi "sa upitnim umom, bilježeći ukazuju li dokazi na potencijalno pogrešno prikazivanje i kritički procjenjujući dokaze." To jest, revizor ne prihvaća automatski niti jednu informaciju koja mu se prezentira - ni izjavu uprave, ni dokument, čak ni račun koji se "čini razumnim" - kao istinit. Stalno se pitam "Je li stvarno tako?" pita on. Ovaj stav je srž kontrole i neotuđiv je.
U doba umjetne inteligencije, ova se jezgra suočava s potpuno novim testom. Zato što je umjetna inteligencija vješta u pokretanju dviju duboko ukorijenjenih slabosti ljudskog uma — pristranosti automatizacije i pristranosti potvrđivanja. U ovoj ćemo jedinici pokriti kako revizor koji koristi AI može zadržati ili čak ojačati svoj skepticizam. Glavna je teza da tečnost umjetne inteligencije nije točnost; Skeptični um postaje još važniji pred AI.
Dvije opasne predrasude
Pristranost automatizacije je sklonost ljudi da više vjeruju rezultatu stroja/softvera nego vlastitoj prosudbi. "Računalo je izračunalo, točno je." Ova opasnost se povećava kada je u pitanju umjetna inteligencija, jer umjetna inteligencija ne kalkulira samo; Govori tečno, samopouzdano, ljudski, obrazložene rečenice. Samouvjereni ton je uvjerljiv čak i ako informacija nije točna.
Pristranost potvrde je sklonost ljudi da traže informacije koje podupiru zaključak u koji su prije vjerovali ili kojem su se nadali i da ignoriraju proturječne informacije. Ovo je kobno u reviziji: revizor koji misli da "Ovaj klijent mora biti čist" odahnut će kad pita AI i dobije potvrdu, te će prestati tražiti dokaze koji govore suprotno. Budući da se umjetna inteligencija obično oslanja na pitanje koje se postavlja (ako pitate "u redu je, zar ne?" vjerojatnije je da će dati odgovor koji se slaže s vama), može potaknuti pristranost potvrde.
Postoji i treći: halucinacija. Vidjeli smo to mnogo puta u modulu — AI može tečno smisliti broj, stavku, resurs koji ne postoji. Opasnost se povećava kada se spoje tri slabosti: AI izmišlja stvari (halucinacija), vjerujete joj jer je fluidna (pristranost automatizacije), ne dovodite je u pitanje jer vam govori ono što očekujete (pristranost potvrde).
Tri alata skeptičnog uma protiv umjetne inteligencije
Stavimo skepticizam u konkretne tehnike protiv umjetne inteligencije:
- Pokušajte pobiti, a ne potvrditi. AI bi mogao pitati svoj rezultat "je li istina?" ne "kako da znam je li ovo pogrešno?" pitanje. Zapitajte se: "Kad bi ova izjava bila lažna, koji bi dokaz to pokazao?" i tražiti te dokaze. Lako je pronaći jedan jedini primjer koji potvrđuje; Pokušaj pobijanja i neuspjeh daje stvarnu sigurnost.
- Pitajte neutralno i unazad. Pitajte AI "ovdje nema problema, zar ne?" Ne pitaj; ovo poziva na odobravajući odgovor. Umjesto toga, "koji su rizici koje sam mogao propustiti u ovim podacima?" i "koja su tri najvjerojatnija scenarija u kojima bi ovaj rezultat mogao biti pogrešan?" pitati. Postavite isto pitanje s dvije suprotne strane i usporedite odgovore.
- Preuzmite na izvor i reproducirajte. Za svaki problem, atribuciju i zaključak, "gdje to mogu neovisno potvrditi?" Postavite pitanje i zapravo provjerite. Pogledajte izlaz AI kao tvrdnju; Dokazi su izvan tvrdnje.
Savjet: Stvorite naviku: pored svakog značajnog rezultata koji umjetna inteligencija daje, napišite dvije stvari rukom - "(1) čime sam to potvrdio, (2) koji dokazi bi to pokazali da su lažni." Ove dvije bilješke krše pristranost automatizacije i potvrde.
Prosudbe koje revizor ne može delegirati
Neki poslovi inherentno zahtijevaju skepticizam i prosudbu; oni se ne mogu delegirati AI-u, podržani su samo:
neotuđiva jurisdikcija
zašto
Jesu li dokazi dovoljni i primjereni
Profesionalna prosudba; ovisno o kontekstu
Vjerodostojnost objašnjenja
Zahtijeva razmatranje poduzetnosti i namjere
Procjena rizika prijevare
Skepticizam i intuicija; izvan obrasca podataka
Odluka o značajnosti i mišljenju
Pravosuđe odgovorno prema javnosti
Mišljenje o poštenju uprave
Čitanje ljudskog ponašanja; AI to ne može
Razlika između skepticizma i pedantnosti: odmjeren stav
Profesionalni skepticizam ne znači ne vjerovati u sve ili unaprijed okrivljavati menadžment; To bi bilo prekoračenje i kontrolu bi učinilo neučinkovitom. Skepticizam nije ni čisto povjerenje (prihvaćanje svega što vam se kaže) niti slijepo poricanje (odbacivanje svega); Između toga, to je stav ispitivanja razmjeran dokazima. Revizor može prihvatiti menadžment kao pošten, ali to prihvaćanje testira dokazima; može smatrati objašnjenje uvjerljivim, ali potvrđuje uvjerljivost. AI može poremetiti ovu ravnotežu: u jednom smjeru, uljuljkuje vas u pretjerano samopouzdanje svojim fluidnim izlazom; S druge strane, ako mu kažete da "pronađi greške u svemu", bombardirat će vas beskrajnim lažno pozitivnim rezultatima. Ispravan stav je uvijek vagati ishod u odnosu na težinu dokaza, dok se AI pokreće da proizvede dokaze i opovrgne dokaze. Skepticizam nije osobina ličnosti, već discipliniran način rada; A revizor je taj koji uspostavlja, održava i dokazuje ovu disciplinu, a ne umjetna inteligencija.
tri mini kućišta
Slučaj 1 — Tehnika opovrgavanja funkcionira. Revizor je ispisao AI rekavši da "ova procjena dionica izgleda razumno." Umjesto potvrde, upitao je bezbrižno: "Ako je ova procjena precijenjena, koji dokazi to pokazuju?" "artikli za koje cijene nakon prodaje padnu ispod cijene", rekao je YZ. Revizor je tražio ove stavke i pronašao grupu koja je zapravo bila podcijenjena. Pobijajuće pitanje razotkrilo je rizik koji je krila potvrda.
Slučaj 2 — Zapadanje u pristranost potvrde. Član tima upitao je umjetnu inteligenciju tijekom kritičnog vremena: "S ovim računom nije ništa ozbiljno, zar ne?" upita on. YZ se nagnuo na pitanje i rekao: "Prema informacijama koje ste dali, ne čini se da postoji značajan problem." Član tima se opustio i začepio olovku. Međutim, on nije iznio nikakve dokaze; AI je samo preslikao njegovu rečenicu. Odgovorna osoba pokazala je da pitanje nije nepristrano postavljeno. Lekcija: način na koji postavljate pitanje određuje odgovor koji ćete dobiti; Pitanje koje traži potvrdu proizvodi potvrdu.
Slučaj 3 — Nasjedanje na tečnost. Revizor je smatrao da je tumačenje zakona koje je YZ objasnio u vrlo tečnom i obrazloženom paragrafu ispravno i uključio ga je u radni dokument. Tekst je bio toliko uredan da mu nije palo na pamet propitivati ga. Odgovorna osoba pokazala je da referenca nema ekvivalent u službenom tekstu. Lekcija: tečnost i samopouzdanje nisu dokaz točnosti; Ishod koji se čini najuvjerljivijim može biti i najopasniji.
Slab upit / Jak upit
Slab upit:
Ova analiza je točna, zar ne? Odobravate li?
Problem: pristrano pitanje koje traži potvrdu. Gura AI da vam se pridruži; Potiče pristranost potvrde i skriva pravi rizik.
Snažan upit:
Vaša uloga: vi ste partner neovisnog revizora u kritičnim ispitivanjima. Vaš zadatak nije da se SLOŽITE sa mnom, već da pokušate ODBITI moj rezultat. Kontekst: Ispod je moj zaključak o analitičkom postupku i moj provizorni zaključak.[tekst rezultata]Zadatak:1) Navedite 3 najvjerojatnija scenarija u kojima bi ovaj zaključak mogao biti NETOČAN.2) Za svaki scenarij: "da je ovo istina, koji bi dokazi to pokazali?" Predložite konkretne dokaze koji se mogu pretraživati. 3) Označite sve podatke ili pretpostavke koje sam možda propustio. 4) Ne pravi rečenice koje se slažu sa mnom; Imate zadatak pronaći slabe točke. Označite "nepoznato" tamo gdje niste sigurni.
Ovaj upit je moćan jer preokreće ulogu umjetne inteligencije (pobijanje), zahtijevajući scenarije pobijanja i pretražive dokaze i zabranjujući jezik koji traži potvrdu. Ovo stavlja umjetnu inteligenciju u službu skepticizma, a ne kao instrument potvrđivanja pristranosti.
Uobičajene greške
- Postavljanje pitanja tražeći odobrenje. "U redu je, zar ne?" traženjem i osiguranjem dogovorenog odgovora.
- Zamjena tečnosti za točnost. Prihvaćanje dobro napisanog, samouvjerenog izlaza bez pitanja.
- Budite zadovoljni s jednim potvrdnim primjerom. Završavajući s prvim podupirućim nalazom, bez pokušaja da ga pobijemo.
- Prenijeti neotuđivu nadležnost. Prepuštanje odluke o dostatnosti dokaza, razumnosti, mišljenju AI-u.
- Otpuštanje skepticizma pod pritiskom vremena. Traženje utočišta u utješnom odgovoru umjetne inteligencije kada ste zapeli.
Oprez: vremenski pritisak je najveći neprijatelj skepticizma, a AI postaje najopasniji pod tim pritiskom; jer vam nudi brz, tečan i ugodan odgovor. Obavezno postavite pobijajuće pitanje kada ste u žurbi.
Ukratko
Profesionalni skepticizam je srž revizije i postaje još kritičniji u doba umjetne inteligencije. AI pokreće tri slabosti: halucinacije (izmišlja), pristranost automatizacije (vjerujemo jer je fluidna), pristranost potvrde (ne dovodimo u pitanje jer govori ono čemu se nadamo). Protuotrov je požuriti opovrgnuti AI, a ne potvrditi ga: "ako je ovo laž, koji dokazi bi to pokazali?" ' i tražeći suprotne dokaze, pitajući objektivno i unatrag, reproducirajući svaki izlaz iz izvora. Prosudbe kao što su dostatnost dokaza, razumnost, rizik prijevare i prosudba mišljenja zahtijevaju skepticizam i nisu prenosivi. Tečnost nije točnost; Skeptični um je vaš.
Zadatak aplikacije
Dobijte svoj rezultat revizije (ili hipotetski rezultat). Pitajte umjetnu inteligenciju prvo sa slabim pitanjem koje traži "potvrdu", a zatim s gornjim uzorkom snažnog upita "pobijanja". Stavite dva ishoda jedan pored drugog i zapišite razliku: koji su rizici otkriveni samo pobijajućim pitanjem? Zatim dodajte dvije bilješke uz svaku ključnu tvrdnju u svom izlazu: "čime sam potvrdio" i "koji bi dokaz bio lažan".
popis za provjeru
- [ ] AI-ju sam postavio pobijajuća/neutralna pitanja, a ne pitanja koja traže potvrdu.
- [ ] Za svaki značajan ishod, "ako je ovo lažno, koji dokazi bi to pokazali?" Postavio sam pitanje i tražio dokaze.
- [ ] Ispis, koji se činio glatkim i sigurnim, testirao sam s dodatnim skepticizmom.
- [ ] Nisam stao ni s jednim potvrdnim primjerom; Pokušao sam to opovrgnuti, ali nisam uspio.
- [ ] Donosio sam vlastite prosudbe kao što su dostatnost dokaza, razumnost i mišljenje.
- [ ] Čak i pod vremenskim pritiskom, nisam preskočio pitanje za pobijanje.
- [ ] Pored važnih tvrdnji, napravio sam bilješke o "onome sam provjerio / što bi pokazalo da je pogrešno".