Câștiguri:
- Înțelegeți ce este scepticismul profesional și riscurile de a cădea în părtinire de confirmare și automatizare atunci când utilizați inteligența artificială
- Abilitatea de a testa rezultatele inteligenței artificiale cu o tehnică de chestionare care încearcă să respingă (căutați opusul)
- A fi capabil să înțeleagă că fluența inteligenței artificiale nu înseamnă acuratețe, că mintea sceptică este miezul controlului și nu poate fi transferată.
Există o atitudine mentală care distinge auditul independent de multe alte profesii: scepticismul profesional. ISA-urile definesc acest lucru ca auditorul care lucrează „cu o minte interesantă, observând dacă probele indică o potențială denaturare și evaluând critic probele”. Adică, auditorul nu acceptă în mod automat nicio informație care i-a fost prezentată – nici o declarație a conducerii, nici un document, nici măcar un cont care „pare rezonabil” – ca adevărată. Mă întreb în mod constant „Este chiar așa?” întreabă el. Această atitudine este nucleul controlului și este inalienabilă.
În era inteligenței artificiale, acest nucleu se confruntă cu un nou test. Deoarece AI este abil să declanșeze două slăbiciuni adânc înrădăcinate ale minții umane - părtinirea automatizării și părtinirea de confirmare. În această unitate, vom aborda modul în care un auditor care utilizează AI își poate menține sau chiar întări scepticismul. Teza principală este că fluența AI nu este acuratețea; Mintea sceptică devine și mai importantă în fața AI.
Două părtiniri periculoase
Prejudecata de automatizare este tendința oamenilor de a avea încredere mai mult în rezultatul unei mașini/software decât în propria lor judecată. „Calculatorul a calculat-o, este corect”. Acest pericol este amplificat când vine vorba de AI, deoarece AI nu doar calculează; Vorbește fluent, încrezător, asemănător unui om, propoziții argumentate. Un ton încrezător este persuasiv chiar dacă informația nu este exactă.
Prejudecățile de confirmare este tendința oamenilor de a căuta informații care susțin concluzia în care au crezut sau sperau anterior și de a ignora informațiile contradictorii. Acest lucru este fatal în audit: un auditor care crede că „Acest client trebuie să fie curat” va fi ușurat când va cere AI și va primi confirmare și va înceta să caute dovezi contrare. Deoarece AI tinde să se aplece spre întrebarea care este adresată (dacă întrebi „este în regulă, nu?”, este mai probabil să producă un răspuns care să fie de acord cu tine), poate stimula părtinirea de confirmare.
Există și un al treilea: halucinația. L-am văzut de multe ori în modul - AI poate inventa fluent un număr, un articol, o resursă care nu există. Pericolul este agravat atunci când sunt combinate trei puncte slabe: AI inventează lucrurile (halucinație), o crezi pentru că este fluidă (prejudecata de automatizare), nu-l pui la îndoială pentru că îți spune la ce te aștepți (disturbire de confirmare).
Cele trei instrumente ale minții sceptice împotriva AI
Să punem scepticismul în tehnici concrete împotriva AI:
- Încearcă să infirmi, nu să confirmi. Un AI ar putea întreba rezultatul său „este adevărat?” nu "cum știu dacă acest lucru este greșit?" întrebare. Întrebați-vă: „Dacă această afirmație ar fi falsă, ce dovezi ar arăta-o?” și caută acele dovezi. Este ușor să găsiți un singur exemplu de confirmare; Încercarea de a respinge și eșuarea oferă o adevărată asigurare.
- Întrebați neutru și invers. Întrebați AI „nicio problemă aici, nu?” Nu întreba; aceasta invită un răspuns de aprobare. În schimb, „care sunt riscurile pe care ați putea să le fi omis în aceste date?” și „care sunt cele mai probabile trei scenarii în care acest rezultat ar putea fi greșit?” intreaba. Pune aceeași întrebare din două părți opuse și compară răspunsurile.
- Descărcați la sursă și reproduceți. Pentru fiecare problemă, atribuire și concluzie, „unde verific acest lucru în mod independent?” Pune întrebarea și verifică efectiv. Vedeți rezultatul AI ca o afirmație; Dovezile sunt externe cererii.
Sfat: Fă-ți un obicei: lângă fiecare rezultat semnificativ oferit de AI, scrie două lucruri de mână - „(1) cu ce am verificat acest lucru, (2) ce dovezi ar arăta asta dacă ar fi fals.” Aceste două note distrug atât automatizarea, cât și părtinirea de confirmare.
Raționamente pe care auditorul nu le poate delega
Unele locuri de muncă necesită în mod inerent scepticism și judecată; acestea nu pot fi delegate AI, ci doar acceptate:
jurisdicție inalienabilă
De ce
Dacă dovezile sunt suficiente și adecvate
Raționament profesional; dependent de context
Plauzibilitatea unei explicații
Necesită luarea în considerare a întreprinderii și a intenției
Evaluarea riscului de fraudă
Scepticism și intuiție; dincolo de modelul de date
Materialitate și decizie de opinie
Justiție responsabilă în fața publicului
Opinie despre onestitatea conducerii
Citirea comportamentului uman; AI nu poate face asta
Diferența dintre scepticism și pedanterie: o atitudine măsurată
Scepticismul profesional nu înseamnă a nu crede totul sau a da vina pe management în avans; Acest lucru ar fi o depășire și ar face controlul ineficient. Scepticismul nu este nici încredere pură (acceptarea a tot ceea ce ți se spune), nici negare oarbă (respingerea totul); Între timp, este o atitudine de anchetă proporțională cu dovezile. Auditorul poate accepta managementul ca fiind onest, dar testează această acceptare cu dovezi; poate găsi o explicație plauzibilă, dar confirmă plauzibilitatea. Inteligența artificială poate deranja acest echilibru: într-o direcție, te liniștește în exces de încredere cu fluxul său de fluid; Pe de altă parte, dacă îi spui să „găsească vina în toate”, te va bombarda cu nenumărate false pozitive. Atitudinea corectă este să cântărești întotdeauna rezultatul în raport cu ponderea dovezilor, în timp ce rulează IA pentru a produce dovezi și a infirma probele. Scepticismul nu este o trăsătură de personalitate, ci un mod disciplinat de lucru; Și auditorul este cel care stabilește, menține și evidențiază această disciplină, nu AI.
trei mini cutii
Cazul 1 — Tehnica de respingere funcționează. Un auditor a tipărit AI spunând „această evaluare a acțiunilor pare rezonabilă”. În loc să confirme, el a întrebat pe nesimțit: „Dacă această evaluare este exagerată, ce dovezi ar arăta asta?” „articole pentru care prețurile post-vânzare scad sub cost”, a spus YZ. Auditorul a căutat aceste elemente și a găsit un grup care a fost de fapt subevaluat. Întrebarea de respingere a expus riscul pe care confirmarea îl ascundea.
Cazul 2 – Căderea în părtinire de confirmare. Un membru al echipei a întrebat AI într-o perioadă de criză: „Nu este nimic major în neregulă cu acest cont, nu?” întrebă el. YZ s-a aplecat pe întrebare și a spus: „Conform informațiilor pe care le-ați furnizat, nu pare să existe o problemă semnificativă”. Membrul echipei s-a relaxat și a închis stiloul. Cu toate acestea, el nu prezentase nicio dovadă; AI a oglindit doar sentința lui. Persoana responsabilă a arătat că întrebarea nu a fost pusă în mod imparțial. Lecția: modul în care pui întrebarea determină răspunsul pe care îl primești; O întrebare care solicită confirmare produce confirmare.
Cazul 3 – Îndrăgostirea de fluență. Un auditor a considerat că o interpretare a legislației pe care YZ a explicat-o într-un paragraf foarte fluent și motivat este corectă și a inclus-o în documentul de lucru. Textul era atât de îngrijit încât nu i-a trecut prin cap să-l pună la îndoială. Persoana responsabilă a arătat că referința nu avea echivalent în textul oficial. Lecția: fluența și încrederea nu sunt dovadă de acuratețe; Rezultatul care pare cel mai convingător poate fi cel mai periculos.
Prompt slab / Prompt puternic
Prompt slab:
Această analiză este corectă, nu? aprobi?
Problema: o întrebare părtinitoare care caută confirmare. Împinge AI să vi se alăture; Încurajează părtinirea de confirmare și ascunde riscul real.
Solicitare puternică:
Rolul dumneavoastră: sunteți partenerul critic de anchetă al unui auditor independent. Sarcina ta nu este să fii de acord cu mine, ci să încerci să-mi REFUZI rezultatul. Context: Mai jos este concluzia mea a unei proceduri analitice și concluzia mea provizorie.[text rezultat] Sarcină: 1) Enumerați cele 3 scenarii cele mai probabile în care această concluzie ar putea fi FALSĂ.2) Pentru fiecare scenariu: „dacă acest lucru ar fi adevărat, ce dovezi ar arăta asta?” Sugerați dovezi concrete, care pot fi căutate. 3) Marcați orice date sau presupuneri pe care este posibil să le fi omis. 4) Nu face propoziții care să fie de acord cu mine; Ai sarcina de a găsi punctele slabe. Marcați „necunoscut” acolo unde nu sunteți sigur.
Această solicitare este puternică deoarece inversează rolul AI (refutare), necesitând scenarii de respingere și dovezi care pot fi căutate și interzicând limbajul de căutare a confirmării. Acest lucru pune AI în serviciul scepticismului mai degrabă decât un instrument de părtinire de confirmare.
Greșeli comune
- Pune întrebări pentru a solicita aprobare. — E în regulă, nu? prin intrebarea si asigurarea raspunsului agreat.
- Confundarea fluenței cu acuratețea. Acceptarea rezultatelor bine scrise, sigure, fără îndoială.
- Mulțumiți-vă cu un singur exemplu de confirmare. Încheierea cu prima constatare justificativă, fără a încerca să o infirme.
- Pentru a delega jurisdicție inalienabilă. Lăsarea deciziei de suficiență a probelor, caracter rezonabil, opinie la AI.
- Renunțarea la scepticism sub presiunea timpului. Să te refugiezi în răspunsul reconfortant al AI atunci când ești blocat.
Atenție: Presiunea timpului este cel mai mare dușman al scepticismului, iar AI devine cea mai periculoasă sub această presiune; pentru ca iti ofera un raspuns rapid, fluent si reconfortant. Faceți o necesitate să puneți întrebarea de respingere atunci când vă grăbiți.
Pe scurt
Scepticismul profesional se află în centrul auditului și devine și mai critic în era AI. AI declanșează trei slăbiciuni: halucinații (o inventează), prejudecăți de automatizare (noi credem pentru că este fluid), părtinire de confirmare (nu o punem sub semnul întrebării pentru că spune ceea ce sperăm). Antidotul este să te grăbești să infirmi AI, nu să o confirmi: „dacă acest lucru este fals, ce dovezi ar arăta?” și căutând dovezi contrare, întrebând obiectiv și invers, reproducând fiecare rezultat din sursă. Judecăți precum caracterul suficient al probelor, caracterul rezonabil, riscul de fraudă și judecata de opinie necesită scepticism și nu sunt transferabile. Fluența nu este acuratețe; Mintea sceptică este a ta.
Sarcina de aplicare
Obțineți rezultatul auditului dvs. (sau un rezultat ipotetic). Întrebați AI mai întâi cu o întrebare slabă „în căutarea unei confirmări”, apoi cu modelul de prompt puternic „refutare” de mai sus. Puneți cele două rezultate unul lângă altul și notați diferența: care riscuri au fost relevate doar de întrebarea de respingere? Apoi adăugați două note lângă fiecare afirmație cheie din rezultatul dvs.: „cu ce am verificat” și „ce dovezi ar arăta dacă ar fi false”.
lista de verificare
- [ ] Am pus întrebările de respingere/neutre ale AI, nu întrebările de căutare a confirmării.
- [ ] Pentru fiecare rezultat semnificativ, „dacă este fals, ce dovezi ar arăta?” Am pus întrebarea și am căutat dovezi.
- [ ] Am testat rezultatul, care mi s-a părut neted și încrezător, cu un plus de scepticism.
- [ ] Nu m-am oprit cu un singur exemplu de confirmare; Am încercat să infirm, dar nu am reușit.
- [ ] Mi-am făcut propriile judecăți, cum ar fi caracterul suficient al dovezilor, caracterul rezonabil și opinia.
- [ ] Chiar și sub presiunea timpului, nu am sărit peste întrebarea de respingere.
- [ ] Pe lângă afirmațiile importante, am făcut notițe cu „ce am verificat cu / ce ar arăta dacă ar fi greșit”.