Kasu:
- Mõistke, mis on professionaalne skeptitsism ja millised on riskid tehisintellekti kasutamisel kinnituse ja automatiseerimise eelarvamustesse sattumiseks
- Võimalus testida tehisintellekti väljundit küsimistehnikaga, mis püüab ümber lükata (otsida vastupidist)
- Oskus mõista, et tehisintellekti sujuvus ei tähenda täpsust, et skeptiline meel on kontrolli tuum ja seda ei saa üle kanda.
On üks vaimne hoiak, mis eristab sõltumatut auditeerimist paljudest teistest ametitest: professionaalne skeptitsism. ISA-d määratlevad seda kui audiitorit, kes töötab „uuriva meelega, märgib, kas tõendid viitavad võimalikule väärkajastamisele, ja hindab tõendeid kriitiliselt”. See tähendab, et audiitor ei aktsepteeri automaatselt ühtki talle esitatud teavet – ei juhtimisavaldust, ei dokumenti ega isegi mitte aruannet, mis „näib mõistlik” – tõeseks. Ma mõtlen pidevalt: "Kas see on tõesti nii?" küsib ta. Selline suhtumine on kontrolli tuum ja on võõrandamatu.
Tehisintellekti ajastul seisab see tuum silmitsi täiesti uue proovikiviga. Kuna AI suudab vallandada kaks inimmõistuse sügavalt juurdunud nõrkust – automatiseerimise kallutatust ja kinnituse kallutatust. Selles üksuses käsitleme seda, kuidas tehisintellekti kasutav audiitor saab oma skeptitsismi säilitada või isegi tugevdada. Põhitees on see, et tehisintellekti sujuvus ei ole täpsus; Skeptiline meel muutub tehisintellektiga silmitsi seistes veelgi olulisemaks.
Kaks ohtlikku eelarvamust
Automatiseerimise eelarvamus on kalduvus, et inimesed usaldavad masina/tarkvara väljundit rohkem kui enda hinnanguid. "Arvuti arvutas välja, see on õige." See oht suureneb AI puhul, sest tehisintellekt ei arvuta ainult; Räägib ladusaid, enesekindlaid, inimlikke, argumenteeritud lauseid. Enesekindel toon on veenev isegi siis, kui teave pole täpne.
Kinnituskallutatus on inimeste kalduvus otsida teavet, mis toetab järeldust, mida nad varem uskusid või lootsid, ja ignoreerida vastuolulist teavet. See on auditeerimisel saatuslik: audiitor, kes arvab, et "See klient peab olema puhas", tunneb kergendust, kui ta küsib tehisintellektilt ja saab kinnituse, ning lõpetab vastupidiste tõendite otsimise. Kuna tehisintellekt kaldub küsitavale küsimusele toetuma (kui küsite "kõik on korras, eks?", annab see tõenäolisemalt teiega nõustuva vastuse), võib see soodustada kinnituse kallutatust.
On ka kolmas: hallutsinatsioonid. Nägime seda moodulis korduvalt – AI suudab vabalt moodustada numbri, üksuse, ressursi, mida pole olemas. Oht suureneb, kui kombineerida kolm nõrkust: tehisintellekt loob asjad välja (hallutsinatsioonid), te usute seda, kuna see on voolav (automaatika eelarvamus), te ei sea seda kahtluse alla, sest see ütleb teile, mida ootate (kinnituskallutatus).
Skeptilise meele kolm vahendit tehisintellekti vastu
Paneme AI-vastastesse konkreetsetesse tehnikatesse skeptitsismi:
- Püüdke ümber lükata, mitte kinnitada. AI võib oma väljundilt küsida: "Kas see on tõsi?" mitte "kuidas ma tean, kas see on vale?" küsimus. Küsige endalt: "Kui see väide oleks vale, siis millised tõendid seda näitaksid?" ja otsige neid tõendeid. Lihtne on leida ühte kinnitavat näidet; Ümberlükkamine ja ebaõnnestumine annavad tõelise kindlustunde.
- Küsi neutraalselt ja tagurpidi. Küsige AI-lt "siin pole probleemi, eks?" Ära küsi; see nõuab heakskiitvat vastust. Selle asemel küsige: "Millised on need riskid, millest ma nende andmete puhul tähelepanuta võisin?" ja "millised on kolm kõige tõenäolisemat stsenaariumi, mille puhul see tulemus võib olla vale?" küsi. Esitage sama küsimus kahelt vastaspoolelt ja võrrelge vastuseid.
- Laadige allikaks alla ja taasesitage. Iga probleemi, omistamise ja järelduse puhul küsige „kus ma saan seda iseseisvalt kontrollida?” Esitage küsimus ja kontrollige tegelikult. Vaadake AI väljundit väitena; Tõendid on väljaspool väidet.
Näpunäide: kujundage harjumus: kirjutage iga olulise väljundi kõrvale, mille tehisintellekt annab, käsitsi kaks asja: "(1) millega ma seda kontrollisin, (2) millised tõendid näitaksid seda, kui see oleks vale." Need kaks märkust rikuvad nii automatiseerimist kui ka kinnituse kallutatust.
Otsused, mida audiitor ei saa delegeerida
Mõned tööd nõuavad oma olemuselt skeptilisust ja otsustusvõimet; neid ei saa AI-le delegeerida, toetatakse ainult:
võõrandamatu jurisdiktsioon
Miks
Kas tõendid on piisavad ja asjakohased
professionaalne otsustusvõime; kontekstist sõltuv
Selgituse usutavus
Nõuab ettevõtlikkuse ja kavatsuste arvestamist
Pettuste riski hindamine
Skeptilisus ja intuitsioon; väljaspool andmemustrit
Olulisus ja arvamusotsus
Avalikkuse ees vastutav kohtusüsteem
Arvamus juhtimise aususe kohta
Inimkäitumise lugemine; AI ei saa seda teha
Skeptismi ja pedantsuse erinevus: mõõdetud suhtumine
Professionaalne skeptitsism ei tähenda kõike umbusku ega juhtkonna etteheitmist; See oleks ületamine ja muudaks kontrolli ebatõhusaks. Skeptitsism ei ole puhas usaldus (kõik, mida sulle öeldakse) ega pime eitamine (kõige tagasilükkamine); Vahepeal on see tõenditega proportsionaalne uurimishoiak. Audiitor võib pidada juhtkonda ausaks, kuid kontrollib seda aktsepteerimist tõenditega; võib seletuse pidada usutavaks, kuid kinnitab usutavust. Tehisintellekt võib selle tasakaalu rikkuda: ühes suunas suigutab see oma vedeliku väljundiga liigsesse enesekindlusesse; Teisest küljest, kui ütlete talle, et "leida kõiges viga", pommitab see teid lõputute valepositiivsete tulemustega. Õige suhtumine on alati kaaluda tulemust tõendite kaaluga, samal ajal käivitades tehisintellekti tõendite kogumiseks ja tõendite ümberlükkamiseks. Skeptilisus ei ole isiksuseomadus, vaid distsiplineeritud tööviis; Ja selle distsipliini kehtestab, säilitab ja tõendab audiitor, mitte tehisintellekt.
kolm minikarpi
Juhtum 1 – ümberlükkamise tehnika töötab. Audiitor printis tehisintellekti välja, öeldes: "See aktsiahinnang tundub mõistlik." Selle asemel, et kinnitada, küsis ta tagantjärele: "Kui see hinnang on ülehinnatud, siis millised tõendid seda näitaksid?" "esemed, mille müügijärgsed hinnad langevad alla omahinna," ütles YZ. Audiitor otsis neid esemeid ja leidis rühma, mis oli tegelikult alahinnatud. Ümberlükkamisküsimus paljastas ohu, mida kinnitus varjas.
Juhtum 2 – langemine kinnituse kallutatusse. Meeskonnaliige küsis AI-lt äkilisel ajal: "Sellel kontol pole midagi suurt viga, eks?" küsis ta. YZ toetus küsimusele ja ütles: "Teie esitatud teabe põhjal ei tundu olevat olulist probleemi." Meeskonnaliige lõdvestus ja sulges pliiatsi korgi. Siiski ei olnud ta esitanud ühtegi tõendit; AI lihtsalt peegeldas tema lauset. Vastutav isik näitas, et küsimust ei esitatud erapooletult. Õppetund: see, kuidas te küsimuse esitate, määrab vastuse, mille saate; Kinnitust otsiv küsimus annab kinnituse.
Juhtum 3 – sujuvus. Audiitor leidis, et õigusaktide tõlgendus, mida YZ väga ladusas ja põhjendatud lõikes selgitas, oli õige ja lisas selle töödokumenti. Tekst oli nii korralik, et tal ei tulnud pähegi selles kahtluse alla seada. Vastutav isik näitas, et viitel ei olnud ametlikus tekstis ekvivalenti. Õppetund: sujuvus ja enesekindlus ei tõenda täpsust; Tulemus, mis tundub kõige veenvam, võib olla kõige ohtlikum.
Nõrk viip / Tugev viip
Nõrk viip:
See analüüs on õige, eks? Kas kiidad heaks?
Probleem: kallutatud küsimus, mis otsib kinnitust. See sunnib AI-d teiega liituma; See soodustab kinnituse kallutatust ja varjab tõelist riski.
Võimas viip:
Teie roll: olete sõltumatu audiitori kriitilise päringu partner. Teie ülesanne ei ole minuga NÕUSTUDA, vaid püüda oma väljundist KEELDADA.Kontekst: Allpool on minu järeldus analüütilisest protseduurist ja minu esialgne järeldus.[tulemuse tekst]Ülesanne: 1) Loetlege 3 kõige tõenäolisemat stsenaariumit, mille puhul see järeldus võib olla VALE.2) Iga stsenaariumi puhul: "kui see oleks tõsi, millised tõendid seda näitaksid?" Soovitage konkreetseid, otsitavaid tõendeid. 3) Märkige kõik andmed või eeldused, mis mul kahe silma vahele jäid. 4) Ära tee lauseid, mis minuga ühtivad; Sinu ülesandeks on leida nõrgad kohad. Märkige "teadmata", kus te pole kindel.
See viip on võimas, kuna see muudab AI (ümberlükkamise) rolli, nõudes ümberlükkamise stsenaariume ja otsitavaid tõendeid ning keelates kinnitust otsiva keele. See seab AI pigem skeptitsismi teenistusse kui kinnituse kallutamise vahendiks.
Levinud vead
- Küsimuste esitamine, mis otsib heakskiitu. "See on korras, eks?" küsides ja tagades kokkulepitud vastuse.
- Segi ajab sujuvust täpsusega. Hästi kirjutatud, enesekindla väljundi vastuvõtmine ilma küsimusteta.
- Olge rahul ühe kinnitava näitega. Lõpetades esimese toetava leiuga, püüdmata seda ümber lükata.
- Võõrandamatu jurisdiktsiooni delegeerimine. Tõendite piisavuse, mõistlikkuse, arvamuse otsustamise jätmine tehisintellektile.
- Skepsist vabanemine ajasurve all. Kui olete ummikus, otsige varjupaika tehisintellekti lohutava vastuse eest.
Ettevaatust: ajasurve on skeptitsismi suurim vaenlane ja tehisintellekt muutub selle surve all kõige ohtlikumaks; sest see pakub teile kiiret, ladusat ja lohutavat vastust. Muutke ümberlükkamisküsimuse esitamine kohustuslikuks, kui teil on kiire.
Kokkuvõttes
Professionaalne skeptitsism on auditeerimise keskmes ja muutub tehisintellekti ajastul veelgi kriitilisemaks. AI käivitab kolm nõrkust: hallutsinatsioonid (teeb selle välja), automatiseerimise eelarvamus (me usume seda, sest see on voolav), kinnituse eelarvamus (me ei sea seda kahtluse alla, sest see ütleb, mida me loodame). Vastumürk on kiirustada tehisintellekti ümber lükkama, mitte seda kinnitama: "Kui see on vale, siis millised tõendid seda näitaksid?" ja otsides vastupidiseid tõendeid, küsides objektiivselt ja tagurpidi, reprodutseerides iga väljundi allikast. Sellised kohtuotsused nagu tõendite piisavus, mõistlikkus, pettuse oht ja arvamusotsus nõuavad skeptilisust ega ole ülekantavad. Sujuvus ei ole täpsus; Skeptiline meel on sinu.
Rakenduse ülesanne
Hankige oma auditi tulemus (või hüpoteetiline tulemus). Küsige tehisintellektilt esmalt nõrga küsimusega "kinnitust otsiv" ja seejärel ülaltoodud tugeva viipemustriga "ümberlükkamine". Pange need kaks tulemust kõrvuti ja pange kirja erinevus: millised riskid paljastasid vaid ümberlükkamisküsimuse? Seejärel lisage oma väljundis iga peamise väite kõrvale kaks märkust: "mida ma kontrollisin" ja "millised tõendid näitaksid, kui see oleks vale".
kontrollnimekiri
- [ ] Esitasin tehisintellekti ümberlükkavaid/neutraalseid küsimusi, mitte kinnitust otsivaid küsimusi.
- [ ] Iga olulise tulemuse puhul "kui see on vale, siis millised tõendid seda näitaksid?" Küsisin selle küsimuse ja otsisin tõendeid.
- [ ] Testisin väljundit, mis tundus sujuv ja enesekindel, eriti skeptiliselt.
- [ ] Ma ei peatunud ühegi kinnitava näitega; Üritasin seda ümber lükata, kuid ebaõnnestunult.
- [ ] Tegin oma otsused, nagu tõendite piisavus, mõistlikkus ja arvamus.
- [ ] Isegi ajasurve all ei jätnud ma ümberlükkamisküsimust vahele.
- [ ] Oluliste väidete kõrvale tegin märkmeid "millega ma kontrollisin / mis näitaks, kui see on vale".