Voitot:
- Ymmärrä, mitä ammatillinen skeptisyys on ja riskit joutua vahvistusharhaan ja automaatioharhaan tekoälyä käytettäessä
- Kyky testata tekoälyn tuottoa kysymystekniikalla, joka yrittää kumota (etsi päinvastaista)
- Kyky ymmärtää, että tekoälyn sujuvuus ei tarkoita tarkkuutta, että skeptinen mieli on hallinnan ydin eikä sitä voida siirtää.
On yksi henkinen asenne, joka erottaa riippumattoman tilintarkastuksen monista muista ammateista: ammatillinen skeptisyys. ISA:t määrittelevät tämän tarkastajaksi, joka työskentelee "tutkivalla mielellä, panee merkille, viittaako näyttö mahdolliseen virheellisyyteen, ja arvioi todisteita kriittisesti". Toisin sanoen tilintarkastaja ei hyväksy automaattisesti mitään hänelle esitettyä tietoa – ei johdon lausuntoa, ei asiakirjaa, ei edes selontekoa, joka "vaikuttaa kohtuulliselta" – todeksi. Ihmettelen jatkuvasti "Onko se todella niin?" hän kysyy. Tämä asenne on hallinnan ydin ja se on luovuttamaton.
Tekoälyn aikakaudella tämä ydin kohtaa aivan uuden testin. Koska tekoäly on taitava laukaisemaan kaksi syvään juurtunutta ihmismielen heikkoutta - automaatioharhaa ja vahvistusharhaa. Tässä osiossa kerromme, kuinka tekoälyä käyttävä auditoija voi säilyttää tai jopa vahvistaa skeptisyyttään. Päätees on, että tekoälyn sujuvuus ei ole tarkkuus; Skeptinen mieli tulee entistä tärkeämmäksi tekoälyn edessä.
Kaksi vaarallista harhaa
Automaatioharha on ihmisten taipumus luottaa koneen/ohjelmiston tuotteeseen enemmän kuin omaan harkintaan. "Tietokone laski sen, se on oikein." Tämä vaara kasvaa tekoälyn suhteen, koska tekoäly ei vain laske; Puhuu sujuvasti, luottavaisin mielin, ihmismäisesti, perusteltuja lauseita. Itsevarma sävy on vakuuttava, vaikka tiedot eivät olisikaan tarkkoja.
Vahvistusharha on ihmisten taipumus etsiä tietoa, joka tukee johtopäätöstä, jonka he aiemmin uskoivat tai toivoivat, ja jättää huomiotta ristiriitaiset tiedot. Tämä on kohtalokasta auditoinnissa: Tarkastaja, joka ajattelee "Tämän asiakkaan on oltava puhdas", helpottuu, kun hän kysyy tekoälyltä ja saa vahvistuksen, eikä hän enää etsi todisteita päinvastaisesta. Koska tekoäly pyrkii tukeutumaan kysyttyyn kysymykseen (jos kysyt "eikö se mitään?", se tuottaa todennäköisemmin vastauksen, joka on samaa mieltä kanssasi), se voi edistää vahvistusharhaa.
On myös kolmas: hallusinaatiot. Näimme sen monta kertaa moduulissa – tekoäly voi muodostaa sujuvasti numeron, kohteen tai resurssin, jota ei ole olemassa. Vaara kasvaa, kun kolme heikkoutta yhdistetään: AI keksii asioita (hallusinaatiot), uskot sen, koska se on juoksevaa (automaatioharha), et kyseenalaista sitä, koska se kertoo mitä odotat (vahvistusharha).
Skeptisen mielen kolme työkalua tekoälyä vastaan
Laitetaan skeptisyyttä konkreettisiin tekoälytekniikoihin:
- Yritä kumota, älä vahvista. Tekoäly saattaa kysyä tulokseltaan "onko totta?" ei "mistä tiedän, onko tämä väärin?" kysymys. Kysy itseltäsi: "Jos tämä väite olisi väärä, mitkä todisteet osoittaisivat sen?" ja etsi todisteita. On helppo löytää yksi vahvistava esimerkki; Kumoamisen yrittäminen ja epäonnistuminen antavat todellista varmuutta.
- Kysy neutraalisti ja taaksepäin. Kysy tekoälyltä "ei tässä ole ongelmaa, eikö?" Älä kysy; tämä vaatii hyväksyvää vastausta. Sen sijaan "mitä riskejä olen voinut jättää huomiotta näissä tiedoissa?" ja "mitkä ovat kolme todennäköisintä skenaariota, joissa tämä tulos voi olla väärä?" kysyä. Kysy sama kysymys kahdelta vastakkaiselta puolelta ja vertaa vastauksia.
- Lataa lähdekoodiin ja toista. Jokaisen ongelman, tekijän ja päätelmän osalta: "Missä voin varmistaa tämän itsenäisesti?" Esitä kysymys ja varmista. Tarkastele tekoälyn tulosta väitteenä; Todisteet ovat väitteen ulkopuolisia.
Vinkki: Ota tapa: kirjoita jokaisen tekoälyn antaman merkittävän tulosteen viereen kaksi asiaa käsin: "(1) millä varmistin tämän, (2) mitkä todisteet osoittaisivat tämän, jos se olisi väärä." Nämä kaksi muistiinpanoa rikkovat sekä automaation että vahvistusharhan.
Tuomiot, joita tilintarkastaja ei voi delegoida
Jotkut työt edellyttävät luonnostaan skeptisyyttä ja arvostelukykyä; näitä ei voi delegoida tekoälylle, vain tuetaan:
luovuttamaton toimivalta
Miksi?
Onko todisteet riittävät ja asianmukaiset
Ammattimainen arviointi; kontekstista riippuvainen
Selityksen uskottavuus
Edellyttää yrittäjyyden ja aikomusten huomioimista
Petosriskin arviointi
Skeptisyys ja intuitio; datakuvion ulkopuolella
Olennaisuus ja mielipidepäätös
Oikeuslaitos on vastuussa yleisölle
Mielipide johdon rehellisyydestä
Ihmisen käyttäytymisen lukeminen; AI ei voi tehdä tätä
Ero skeptisyyden ja pedantisuuden välillä: mitattu asenne
Ammattimainen skeptisyys ei tarkoita kaikkea epäuskomista tai johdon syyttämistä etukäteen; Tämä olisi ylimitoitusta ja tekisi valvonnasta tehottoman. Skeptisyys ei ole puhdasta luottamusta (kaiken sinulle kerrotun hyväksymistä) eikä sokeaa kieltämistä (kaiken hylkäämistä); Siinä välissä se on todisteiden kanssa oikeassa suhteessa tutkiva asenne. Tilintarkastaja voi hyväksyä johdon rehellisenä, mutta testaa tämän hyväksynnän todisteilla; saattaa pitää selityksen uskottavana, mutta vahvistaa uskottavuuden. Tekoäly voi horjuttaa tämän tasapainon: yhdessä suunnassa se tuudittaa sinut liialliseen itsevarmuuteen nesteen tuotolla; Toisaalta, jos käsket sen "löytää vikaa kaikessa", se pommittaa sinua loputtomilla väärillä positiivisilla tuloksilla. Oikea asenne on aina punnita lopputulosta todisteiden painoon ja samalla ajaa tekoälyä tuottamaan todisteita ja kumoamaan todisteet. Skeptisyys ei ole persoonallisuuden piirre, vaan kurinalainen tapa toimia; Ja tarkastaja on se, joka perustaa, ylläpitää ja todistaa tämän kurinalaisuuden, ei tekoäly.
kolme minilaukkua
Tapaus 1 – Kumoustekniikka toimii. Tarkastaja tulosti tekoälyn sanoen "tämä osakkeen arvostus näyttää kohtuulliselta". Sen sijaan, että hän olisi vahvistanut, hän kysyi takamaisesti: "Jos tämä arvostus on liioiteltu, mitkä todisteet osoittaisivat sen?" "Tuotteet, joiden myynnin jälkeiset hinnat laskevat alle omakustannushinnan", YZ sanoi. Tarkastaja etsi näitä kohteita ja löysi ryhmän, joka oli itse asiassa aliarvostettu. Kumoava kysymys paljasti riskin, jonka vahvistus kätki.
Tapaus 2 – Vahvistusharhaan joutuminen. Tiimin jäsen kysyi tekoälyltä murheen aikana: "Tässä tilissä ei ole mitään suurta vikaa, eikö niin?" hän kysyi. YZ nojautui kysymykseen ja sanoi: "Antamiesi tietojen mukaan ei näytä olevan merkittävää ongelmaa." Joukkueen jäsen rentoutui ja laittoi kynän korkkiin. Hän ei kuitenkaan ollut esittänyt todisteita; Tekoäly vain heijasti hänen lausettaan. Vastuuhenkilö osoitti, että kysymystä ei esitetty puolueettomasti. Oppitunti: se, miten esität kysymyksen, määrittää vastauksen, jonka saat; Vahvistusta hakeva kysymys tuottaa vahvistuksen.
Tapaus 3 – Sujuvuus. Tarkastaja katsoi, että YZ:n erittäin sujuvassa ja perustellussa kappaleessa selittämä lainsäädännön tulkinta oli oikea ja sisällytti sen työasiakirjaan. Teksti oli niin siistiä, ettei hänellä tullut mieleenkään kyseenalaistaa sitä. Vastuuhenkilö osoitti, että viitteellä ei ollut vastaavaa virallisessa tekstissä. Oppitunti: sujuvuus ja itseluottamus eivät ole todiste tarkkuudesta; Uskottavimmalta vaikuttava tulos voi olla vaarallisin.
Heikko kehote / Vahva kehote
Heikko kehote:
Tämä analyysi on oikea, eikö? Hyväksytkö?
Ongelma: puolueellinen kysymys, joka hakee vahvistusta. Se pakottaa tekoälyn liittymään kanssasi; Se edistää vahvistusharhaa ja piilottaa todellisen riskin.
Tehokas kehotus:
Roolisi: olet riippumattoman tilintarkastajan kriittinen kyselykumppani. Sinun tehtäväsi ei ole olla kanssani SAMAA, vaan yrittää KIELTÄÄ tulosteni.Konteksti: Alla on analyyttisen menettelyn päätelmäni ja alustava johtopäätökseni.[tulosteksti]Tehtävä: 1) Listaa 3 todennäköisintä skenaariota, joissa tämä johtopäätös voi olla EPÄTOSI.2) Jokaiselle skenaariolle: "jos tämä olisi totta, mitkä todisteet osoittaisivat sen?" Ehdota konkreettisia, haettavia todisteita. 3) Merkitse tiedot tai oletukset, jotka olen saattanut unohtaa. 4) Älä tee lauseita, jotka ovat samaa mieltä kanssani; Sinun tehtäväsi on löytää heikkoja kohtia. Merkitse "tuntematon", jos et ole varma.
Tämä kehote on tehokas, koska se kääntää tekoälyn (kiistämisen) roolin, vaatii kumoamisskenaarioita ja haettavia todisteita ja kieltää vahvistusta etsivän kielen. Tämä asettaa tekoälyn pikemminkin skeptismin palvelukseen kuin vahvistusharhaan.
Yleisiä virheitä
- Kysymyksiä hakemassa hyväksyntää. "Ei hätää, eikö niin?" kysymällä ja varmistamalla sovitun vastauksen.
- Erottelee sujuvuutta tarkkuuteen. Hyväksy hyvin kirjoitettu, varma tulos kysymättä.
- Ole tyytyväinen yhteen vahvistavaan esimerkkiin. Päätetään ensimmäisellä tukilöydöllä yrittämättä kumota sitä.
- Siirrettävän toimivallan siirtäminen. Todisteiden riittävyyden, kohtuullisuuden, mielipiteen päätöksen jättäminen AI:lle.
- Päästä irti skeptisyydestä ajanpaineen alla. Turvautuminen tekoälyn lohduttavaan vastaukseen, kun olet jumissa.
Varoitus: Aikapaine on skeptismin suurin vihollinen, ja tekoäly tulee vaarallisimmasta tämän paineen alla. koska se tarjoaa sinulle nopean, sujuvan ja lohdullisen vastauksen. Tee pakolliseksi kysyä vastakysymys, kun sinulla on kiire.
Yhteenvetona
Ammattimainen skeptisyys on auditoinnin ytimessä, ja siitä tulee entistä kriittisempi tekoälyn aikakaudella. AI laukaisee kolme heikkoutta: hallusinaatiot (kehittelee sen), automaatioharha (uskomme sen, koska se on juoksevaa), vahvistusharha (emme kyseenalaista sitä, koska se sanoo mitä toivomme). Vastalääke on kiirehtiä kumoamaan tekoäly, ei vahvistamaan sitä: "jos tämä on väärä, mitkä todisteet osoittaisivat sen?" ja etsivät päinvastaisia todisteita, kysyen objektiivisesti ja taaksepäin, toistaen kaikki lähteestä saadut tulokset. Tuomiot, kuten todisteiden riittävyys, kohtuullisuus, petoksen riski ja mielipidearviointi, edellyttävät skeptisyyttä, eivätkä ne ole siirrettävissä. Sujuvuus ei ole tarkkuus; Skeptinen mieli on sinun.
Sovellustehtävä
Hanki auditointitulos (tai hypoteettinen tulos). Kysy tekoälyltä ensin "vahvistusta etsivällä" heikolla kysymyksellä ja sitten yllä olevalla vahvalla "kiistäytyvällä" kehotteella. Laita kaksi tulosta vierekkäin ja kirjoita ero ylös: mitkä riskit paljastivat vasta vastakysymys? Lisää sitten tulostesi jokaisen keskeisen väitteen viereen kaksi huomautusta: "millä varmistin" ja "mitä todisteita osoittaisi, jos se olisi väärä".
tarkistuslista
- [ ] Esitin tekoälyn kumoavia / neutraaleja kysymyksiä, en vahvistusta etsiviä kysymyksiä.
- [ ] Jokaisen merkittävän tuloksen kohdalla "jos tämä on väärä, mitkä todisteet osoittaisivat sen?" Esitin kysymyksen ja etsin todisteita.
- [ ] Testasin tulosta, joka vaikutti sujuvalta ja itsevarmalta, erittäin skeptisesti.
- [ ] En lopettanut yhteenkään vahvistavaan esimerkkiin; Yritin kiistää sen, mutta epäonnistuin.
- [ ] Tein omat arvioni, kuten todisteiden riittävyyden, kohtuullisuuden ja mielipiteeni.
- [ ] En ohittanut vastakysymystä edes ajanpaineessa.
- [ ] Tärkeiden väitteiden viereen tein muistiinpanoja "millä varmistin / mitä osoittaisi, jos se oli väärin".