Ieguvumi:
- Izprotiet, kas ir profesionālais skepticisms un risks, ka, izmantojot mākslīgo intelektu, var rasties apstiprinājuma un automatizācijas aizspriedumi
- Spēja pārbaudīt mākslīgā intelekta produkciju ar jautāšanas paņēmienu, kas mēģina atspēkot (meklēt pretējo)
- Spēja saprast, ka mākslīgā intelekta raitums nenozīmē precizitāti, ka skeptiskais prāts ir kontroles kodols un to nevar pārnest.
Ir viena garīga attieksme, kas neatkarīgo auditu atšķir no daudzām citām profesijām: profesionāla skepse. SNS tas definēts kā revidents, kurš strādā "ar pētniecisku prātu, atzīmējot, vai pierādījumi liecina par iespējamu neatbilstību, un kritiski izvērtējot pierādījumus". Tas nozīmē, ka revidents automātiski nepieņem nekādu viņam sniegto informāciju — ne vadības paziņojumu, ne dokumentu, pat ne pārskatu, kas “šķiet saprātīgs” — kā patiess. Es pastāvīgi brīnos: "Vai tas tiešām tā ir?" viņš jautā. Šī attieksme ir kontroles pamatā un ir neatņemama.
Mākslīgā intelekta laikmetā šis kodols saskaras ar pavisam jaunu pārbaudījumu. Tā kā AI spēj izraisīt divus dziļi iesakņojušos cilvēka prāta trūkumus — automatizācijas aizspriedumus un apstiprinājuma novirzes. Šajā nodaļā mēs apskatīsim, kā auditors, kurš izmanto AI, var saglabāt vai pat stiprināt savu skepsi. Galvenā tēze ir tāda, ka AI raitums nav precizitāte; Skeptiskais prāts kļūst vēl svarīgāks, saskaroties ar AI.
Divas bīstamas novirzes
Automatizācijas aizspriedumi ir tendence, ka cilvēki uzticas mašīnas/programmatūras izvadei vairāk nekā saviem spriedumiem. "Dators to aprēķināja, tas ir pareizi." Šīs briesmas palielinās, kad runa ir par AI, jo AI ne tikai aprēķina; Runā tekoši, pārliecināti, cilvēcīgi, argumentēti teikumi. Pārliecināts tonis ir pārliecinošs, pat ja informācija nav precīza.
Apstiprinājuma aizspriedumi ir cilvēku tendence meklēt informāciju, kas apstiprina secinājumu, kuram viņi iepriekš ticēja vai cerēja, un ignorēt pretrunīgu informāciju. Tas ir liktenīgs auditā: revidents, kurš domā, ka "šim klientam ir jābūt tīram", jutīsies atvieglots, kad viņš jautās AI un saņems apstiprinājumu, un pārtrauks meklēt pierādījumus par pretējo. Tā kā AI mēdz pievērsties uzdotajam jautājumam (ja uzdodat jautājumu “viss ir labi, vai ne?”, visticamāk, tiks sniegta jums piekrītoša atbilde), tas var veicināt apstiprinājuma aizspriedumus.
Ir arī trešā: halucinācijas. Mēs to daudzkārt redzējām modulī — AI var brīvi izveidot numuru, vienumu, resursu, kas neeksistē. Briesmas palielinās, ja tiek apvienotas trīs vājās puses: AI izdomā lietas (halucinācijas), jūs tam ticat, jo tas ir mainīgs (automatizācijas novirze), jūs to neapšaubāt, jo tas stāsta jums to, ko jūs sagaidāt (apstiprinājuma novirze).
Skeptiskā prāta trīs instrumenti pret AI
Ieviesīsim skepsi konkrētās pret AI metodēm:
- Mēģiniet atspēkot, nevis apstiprināt. AI var jautāt, vai tā ir taisnība? nevis "kā es varu zināt, vai tas ir nepareizi?" jautājums. Pajautājiet sev: "Ja šis apgalvojums būtu nepatiess, kādi pierādījumi to parādītu?" un meklējiet šos pierādījumus. Ir viegli atrast vienu apstiprinošu piemēru; Mēģinājums atspēkot un neveiksmes sniedz patiesu pārliecību.
- Jautājiet neitrāli un atpakaļ. Pajautājiet AI: "Te nav problēmu, vai ne?" Neprasi; tas prasa apstiprinošu atbildi. Tā vietā uzdodiet jautājumu “kādus riskus es varētu palaidis garām šajos datos?” un "Kādi ir trīs visticamākie scenāriji, kuros šis rezultāts varētu būt nepareizs?" jautāt. Uzdodiet vienu un to pašu jautājumu no divām pretējām pusēm un salīdziniet atbildes.
- Lejupielādēt avotā un reproducēt. Katrai problēmai, attiecinājumam un secinājumam: “Kur to var neatkarīgi pārbaudīt?” Uzdodiet jautājumu un faktiski pārbaudiet. Skatiet AI izvadi kā apgalvojumu; Pierādījumi ir ārpus prasības.
Padoms: izveidojiet ieradumu: blakus katram nozīmīgajam AI sniegtajam rezultātam ar roku uzrakstiet divas lietas — "(1) ar ko es to pārbaudīju, (2) kādi pierādījumi to parādītu, ja tas būtu nepatiess." Šīs divas piezīmes izjauc gan automatizācijas, gan apstiprinājuma novirzes.
Spriedumi, kurus revidents nevar deleģēt
Dažiem darbiem ir nepieciešama skepse un spriestspēja; tos nevar deleģēt AI, tie tiek atbalstīti tikai:
neatņemama jurisdikcija
Kāpēc
Vai pierādījumi ir pietiekami un atbilstoši
Profesionāls spriedums; atkarībā no konteksta
Paskaidrojuma ticamība
Nepieciešams ņemt vērā uzņēmību un nodomus
Krāpšanas riska novērtējums
Skepticisms un intuīcija; ārpus datu modeļa
Būtiskuma un viedokļa lēmums
Tiesu sistēma, kas ir atbildīga sabiedrības priekšā
Viedoklis par vadības godīgumu
Cilvēka uzvedības lasīšana; AI to nevar izdarīt
Atšķirība starp skepsi un pedantismu: izmērīta attieksme
Profesionālā skepse nenozīmē visam neticēt vai jau iepriekš vainot vadību; Tas būtu pārsniegums un padarītu kontroli neefektīvu. Skepticisms nav ne tīra uzticēšanās (pieņemt visu, ko jums saka), ne akls noliegums (visa noraidīšana); Starp citu, tā ir izmeklēšanas attieksme, kas ir samērīga ar pierādījumiem. Revidents var pieņemt vadību kā godīgu, bet pārbauda šo pieņemšanu ar pierādījumiem; skaidrojums var šķist ticams, bet ticamību apstiprina. AI var izjaukt šo līdzsvaru: vienā virzienā tas iemidzina jūs pārmērīgā pārliecībā ar savu šķidruma izvadi; No otras puses, ja jūs tam sakāt "visā atrast vainu", tas jūs bombardēs ar bezgalīgiem viltus pozitīviem rezultātiem. Pareiza attieksme ir vienmēr nosvērt iznākumu pret pierādījumu svaru, vienlaikus palaižot AI, lai iegūtu pierādījumus un atspēkotu pierādījumus. Skepticisms nav personības iezīme, bet gan disciplinēts darba veids; Un tas ir auditors, kurš nosaka, uztur un pierāda šo disciplīnu, nevis AI.
trīs mini futrāļi
1. gadījums — atspēkošanas tehnika darbojas. Revidents izdrukāja AI, sakot: "šis akciju novērtējums izskatās saprātīgs." Tā vietā, lai apstiprinātu, viņš aizmuguriski jautāja: "Ja šis novērtējums ir pārspīlēts, kādi pierādījumi to parādītu?" "preces, kurām pēcpārdošanas cenas nokrītas zem pašizmaksas," sacīja YZ. Revidents meklēja šos priekšmetus un atrada grupu, kas faktiski bija nepietiekami novērtēta. Atspēkojošais jautājums atklāja risku, ka apstiprinājums ir slēpts.
2. gadījums — apstiprinājuma neobjektivitāte. Komandas loceklis grūtā brīdī AI jautāja: "Šajā kontā nav nekā nopietna nepareiza, vai ne?" viņš jautāja. YZ noliecās uz jautājumu un teica: "Saskaņā ar jūsu sniegto informāciju, šķiet, ka nav būtisku problēmu." Komandas loceklis atslāba un uzlika pildspalvu. Tomēr viņš nebija iesniedzis nekādus pierādījumus; AI tikai atspoguļoja viņa teikumu. Atbildīgā persona parādīja, ka jautājums nav uzdots objektīvi. Nodarbība: tas, kā jūs uzdodat jautājumu, nosaka atbildi, ko saņemat; Jautājums, kas meklē apstiprinājumu, rada apstiprinājumu.
3. gadījums — neapmierinātība. Revidents uzskatīja, ka tiesību aktu interpretācija, ko YZ izskaidroja ļoti tekošā un argumentētā punktā, ir pareiza, un iekļāva to darba dokumentā. Teksts bija tik veikls, ka viņam neienāca prātā to apšaubīt. Atbildīgā persona parādīja, ka atsaucei oficiālajā tekstā nav ekvivalenta. Nodarbība: raitums un pārliecība nav precizitātes pierādījums; Rezultāts, kas šķiet pārliecinošākais, var būt visbīstamākais.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Šī analīze ir pareiza, vai ne? Vai jūs piekrītat?
Problēma: neobjektīvs jautājums, kas meklē apstiprinājumu. Tas mudina AI jums pievienoties; Tas veicina apstiprinājuma aizspriedumus un slēpj patieso risku.
Spēcīga uzvedne:
Jūsu loma: jūs esat neatkarīga revidenta kritiskās izmeklēšanas partneris. Jūsu uzdevums nav man PIEKRĪT, bet mēģināt ATTEIKTIES no mana rezultāta.Konteksts: Tālāk ir sniegts mans analītiskās procedūras secinājums un mans provizoriskais secinājums.[rezultāta teksts]Uzdevums: 1) Uzskaitiet 3 visticamākos scenārijus, kuros šis secinājums varētu būt NEPLAMS.2) Katram scenārijam: "ja tā būtu patiesība, kādi pierādījumi to parādītu?" Iesakiet konkrētus, meklējamus pierādījumus. 3) Atzīmējiet visus datus vai pieņēmumus, kurus esmu palaidis garām. 4) Neveidojiet teikumus, kas man piekrīt; Jums ir uzdots atrast vājās vietas. Atzīmējiet "nezināms", ja neesat pārliecināts.
Šī uzvedne ir spēcīga, jo tā maina AI (atspēkojuma) lomu, pieprasot atspēkošanas scenārijus un meklējamus pierādījumus un aizliedz apstiprinājuma meklēšanu. Tādējādi mākslīgais intelekts kalpo skepticismam, nevis apstiprinājuma neobjektivitātes instrumentam.
Biežas kļūdas
- Uzdod jautājumus, meklējot apstiprinājumu. — Viss kārtībā, vai ne? jautājot un nodrošinot saskaņoto atbildi.
- Plūsmu sajauc ar precizitāti. Labi uzrakstītu, pārliecinošu rezultātu pieņemšana bez šaubām.
- Esiet apmierināts ar vienu apstiprinošu piemēru. Noslēdzot ar pirmo atbalstošo atradumu, nemēģinot to atspēkot.
- Deleģēt neatņemamu jurisdikciju. Pierādījumu pietiekamības, saprātīguma, viedokļa izšķiršanas atstāšana AI ziņā.
- Atbrīvojieties no skepticisma laika spiediena apstākļos. Ja esat iestrēdzis, meklējiet patvērumu mierinošajā AI atbildē.
Uzmanību: laika spiediens ir lielākais skepticisma ienaidnieks, un AI kļūst visbīstamākais zem šī spiediena; jo tas piedāvā ātru, raitu un mierinošu atbildi. Steidzoties, noteikti uzdodiet atspēkojošo jautājumu.
Rezumējot
Profesionālā skepse ir audita pamatā un kļūst vēl kritiskāka AI laikmetā. AI izraisa trīs vājās puses: halucinācijas (to veido), automatizācijas novirzes (mēs ticam tam, jo tas ir plūstošs), apstiprinājuma novirze (mēs to neapšaubām, jo tā saka, uz ko mēs ceram). Pretlīdzeklis ir steigties atspēkot AI, nevis to apstiprināt: "ja tas ir nepatiess, kādi pierādījumi to parādītu?" ' un meklējot pretējus pierādījumus, jautājot objektīvi un atpakaļgaitā, reproducējot katru izvadi no avota. Tādi spriedumi kā pierādījumu pietiekamība, saprātīgums, krāpšanas risks un atzinuma spriedums prasa skepticismu, un tie nav nododami tālāk. Raidums nav precizitāte; Skeptiskais prāts pieder jums.
Lietojumprogrammas uzdevums
Iegūstiet savu audita rezultātu (vai hipotētisku rezultātu). Vispirms uzdodiet AI ar vāju jautājumu, kas meklē "apstiprinājumu", pēc tam ar "atspēkojošu" spēcīgu uzvednes modeli iepriekš. Novietojiet abus rezultātus blakus un pierakstiet atšķirību: kādus riskus atklāja tikai atspēkojošais jautājums? Pēc tam pievienojiet divas piezīmes blakus katram galvenajam apgalvojumam savā izvadē: "ar ko es pārbaudīju" un "kādi pierādījumi parādītu, ja tie būtu nepatiesi".
kontrolsaraksts
- [ ] Es uzdevu AI atspēkojošus/neitrālus jautājumus, nevis apstiprinājuma meklējumus.
- [ ] Katram nozīmīgam iznākumam “ja tas ir nepatiess, kādi pierādījumi to pierāda?” Es uzdevu jautājumu un meklēju pierādījumus.
- [ ] Es pārbaudīju rezultātu, kas šķita gluds un pārliecināts, ar īpašu skepsi.
- [ ] Es neapstājos ar vienu apstiprinošu piemēru; Es mēģināju to atspēkot, bet neizdevās.
- [ ] Es pieņēmu savus spriedumus, piemēram, par pierādījumu pietiekamību, saprātīgumu un viedokli.
- [ ] Pat laika spiediena apstākļos es neizlaidu atspēkojošo jautājumu.
- [ ] Blakus svarīgajiem apgalvojumiem es veicu piezīmes par to, "ko es pārbaudīju / kas parādītu, ja tas ir nepareizi".