Fitimet:
- Kuptoni se çfarë është skepticizmi profesional dhe rreziqet e rënies në paragjykimet e konfirmimit dhe paragjykimeve të automatizimit kur përdorni inteligjencën artificiale
- Aftësia për të testuar rezultatet e inteligjencës artificiale me një teknikë të pyetjeve që përpiqet të përgënjeshtojë (kërkoni të kundërtën)
- Të jesh në gjendje të kuptojmë se rrjedhshmëria e inteligjencës artificiale nuk do të thotë saktësi, se mendja skeptike është thelbi i kontrollit dhe nuk mund të transferohet.
Ekziston një qëndrim mendor që e dallon auditimin e pavarur nga shumë profesione të tjera: skepticizmi profesional. SNA-të e përkufizojnë këtë si auditor që punon "me një mendje kërkuese, duke vënë në dukje nëse evidenca tregon anomali të mundshme dhe duke vlerësuar në mënyrë kritike evidencën". Kjo do të thotë, auditori nuk pranon automatikisht çdo informacion që i paraqitet – as një deklaratë menaxheriale, as një dokument, madje as një llogari që “duket e arsyeshme” – si të vërtetë. Unë vazhdimisht pyes veten "A është vërtet kështu?" pyet ai. Ky qëndrim është thelbi i kontrollit dhe është i patjetërsueshëm.
Në epokën e inteligjencës artificiale, kjo bërthamë përballet me një provë krejt të re. Sepse AI është i aftë për të shkaktuar dy dobësi të thella të mendjes njerëzore - paragjykimet e automatizimit dhe paragjykimet e konfirmimit. Në këtë njësi, ne do të mbulojmë se si një auditor që përdor AI mund të ruajë apo edhe të forcojë skepticizmin e tij. Teza kryesore është se rrjedhshmëria e AI nuk është saktësia; Mendja skeptike bëhet edhe më e rëndësishme përballë AI.
Dy paragjykime të rrezikshme
Paragjykimi i automatizimit është tendenca që njerëzit t'i besojnë prodhimit të një makinerie/softueri më shumë sesa gjykimit të tyre. "Kompjuteri e ka llogaritur, është e saktë." Ky rrezik zmadhohet kur bëhet fjalë për AI, sepse AI nuk llogarit vetëm; Flet rrjedhshëm, me vetëbesim, fjali njerëzore, të arsyetuara. Një ton i sigurt është bindës edhe nëse informacioni nuk është i saktë.
Paragjykimi i konfirmimit është tendenca e njerëzve për të kërkuar informacion që mbështet përfundimin që ata besonin ose shpresonin më parë dhe për të injoruar informacionin kundërshtues. Kjo është fatale në auditim: Një auditor që mendon se "Ky klient duhet të jetë i pastër" do të lehtësohet kur të kërkojë AI dhe të marrë konfirmimin dhe do të ndalojë së kërkuari prova për të kundërtën. Për shkak se AI priret të mbështetet në pyetjen që bëhet (nëse pyetni “është në rregull, apo jo?” ka më shumë gjasa të japë një përgjigje që pajtohet me ju), mund të nxisë paragjykimet e konfirmimit.
Ekziston edhe një e tretë: halucinacioni. E kemi parë shumë herë në modul - AI mund të krijojë rrjedhshëm një numër, artikull, burim që nuk ekziston. Rreziku shtohet kur kombinohen tre dobësi: AI i krijon gjërat (halucinacione), ju e besoni sepse është fluide (paragjykim i automatizimit), nuk e vini në dyshim sepse ju tregon atë që prisni (paragjykim konfirmimi).
Tre mjetet e mendjes skeptike kundër AI
Le të vendosim skepticizëm në teknikat konkrete kundër AI:
- Mundohuni të përgënjeshtroni, jo të konfirmoni. Një AI mund të pyesë daljen e saj "a është e vërtetë?" jo "si mund ta di nëse kjo është e gabuar?" pyetje. Pyete veten: "Nëse kjo deklaratë do të ishte e rreme, cilat prova do ta tregonin atë?" dhe kërkoni për atë provë. Është e lehtë të gjesh një shembull të vetëm konfirmues; Përpjekja për të hedhur poshtë dhe dështimi jep siguri të vërtetë.
- Pyetni në mënyrë neutrale dhe mbrapsht. Pyete AI "nuk ka problem këtu, apo jo?" Mos pyet; kjo kërkon një përgjigje miratuese. Në vend të kësaj, "cilat janë rreziqet që mund të kem humbur në këto të dhëna?" dhe "Cilët janë tre skenarët më të mundshëm në të cilët ky rezultat mund të jetë i gabuar?" pyesni. Bëni të njëjtën pyetje nga dy anë të kundërta dhe krahasoni përgjigjet.
- Shkarkoni në burim dhe riprodhoni. Për çdo çështje, atribuim dhe përfundim, "ku mund ta verifikoj në mënyrë të pavarur këtë?" Bëni pyetjen dhe vërtetoni. Shikoni rezultatin e AI si një pohim; Provat janë të jashtme ndaj pretendimit.
Këshillë: Bëjeni zakon: Pranë çdo rezultati të rëndësishëm që jep AI, shkruani dy gjëra me dorë - "(1) me çfarë e verifikova këtë, (2) me çfarë prova do ta tregonte këtë nëse do të ishte e rreme." Këto dy shënime thyejnë paragjykimet e automatizimit dhe konfirmimit.
Gjykimet që auditori nuk mund t'i delegojë
Disa punë në thelb kërkojnë skepticizëm dhe gjykim; këto nuk mund t'i delegohen AI, vetëm mbështeten:
juridiksioni i patjetërsueshëm
Pse
Nëse provat janë të mjaftueshme dhe të përshtatshme
gjykimi profesional; varur nga konteksti
Besueshmëria e një shpjegimi
Kërkon konsideratë të ndërmarrjes dhe qëllimit
Vlerësimi i rrezikut të mashtrimit
Skepticizmi dhe intuita; përtej modelit të të dhënave
Materialiteti dhe vendimi i opinionit
Gjyqësori përgjegjës ndaj publikut
Opinion për ndershmërinë e menaxhmentit
Leximi i sjelljes njerëzore; AI nuk mund ta bëjë këtë
Dallimi midis skepticizmit dhe pedantrisë: një qëndrim i matur
Skepticizëm profesional nuk do të thotë të mos besosh gjithçka ose të fajësosh menaxhmentin paraprakisht; Kjo do të ishte një tejkalim dhe do ta bënte kontrollin joefektiv. Skepticizmi nuk është as besim i pastër (të pranosh gjithçka që të thuhet) dhe as mohim të verbër (refuzim të gjithçkaje); Në këtë mes, është një qëndrim hetimor në përpjesëtim me provat. Auditori mund ta pranojë menaxhmentin si të ndershëm, por e teston këtë pranim me prova; mund ta gjejë një shpjegim të besueshëm, por konfirmon besueshmërinë. Inteligjenca artificiale mund të prishë këtë ekuilibër: në një drejtim, ajo ju qetëson në besim të tepruar me daljen e saj të lëngjeve; Nga ana tjetër, nëse i thoni "gjeni fajet në gjithçka" do t'ju bombardojë me false pozitive pafund. Qëndrimi i saktë është që gjithmonë të peshoni rezultatin kundrejt peshës së provave, ndërsa drejtoni AI për të prodhuar prova dhe për të hedhur poshtë provat. Skepticizmi nuk është një tipar personaliteti, por një mënyrë e disiplinuar e të punuarit; Dhe është auditori ai që vendos, mirëmban dhe evidenton këtë disiplinë, jo UA.
tre mini kuti
Rasti 1 - Teknika e kundërshtimit funksionon. Një auditor shtypi AI-në duke thënë "ky vlerësim i aksioneve duket i arsyeshëm". Në vend që të konfirmonte, ai pyeti në mënyrë të prapambetur: "Nëse ky vlerësim mbivlerësohet, çfarë dëshmie do ta tregonte?" "artikuj për të cilët çmimet pas shitjes bien nën kosto," tha YZ. Auditori kërkoi për këto artikuj dhe gjeti një grup që në fakt ishte i nënvlerësuar. Pyetja kundërvënës ekspozoi rrezikun që fshihte konfirmimi.
Rasti 2 - Rënia në njëanshmëri konfirmimi. Një anëtar i ekipit e pyeti AI gjatë një kohe të vështirë, "nuk ka asgjë të keqe me këtë llogari, apo jo?" pyeti ai. YZ u mbështet në pyetjen dhe tha: "Sipas informacionit që keni dhënë, nuk duket të ketë ndonjë problem të rëndësishëm". Anëtari i ekipit u qetësua dhe mbylli stilolapsin. Megjithatë, ai nuk kishte paraqitur asnjë provë; AI thjesht pasqyroi fjalinë e tij. Personi përgjegjës tregoi se pyetja nuk ishte bërë në mënyrë të paanshme. Mësimi: mënyra se si e bëni pyetjen përcakton përgjigjen që merrni; Një pyetje që kërkon konfirmim prodhon konfirmim.
Rasti 3 - Rënia e rrjedhshmërisë. Një auditor mendoi se një interpretim i legjislacionit që YZ shpjegoi në një paragraf shumë të rrjedhshëm dhe të arsyetuar ishte i saktë dhe e përfshiu atë në dokumentin e punës. Teksti ishte aq i rregullt sa nuk i shkoi mendja ta vinte në dyshim. Personi përgjegjës tregoi se referenca nuk kishte ekuivalente në tekstin zyrtar. Mësimi: rrjedhshmëria dhe besimi nuk janë provë e saktësisë; Rezultati që duket më bindës mund të jetë më i rrezikshmi.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Kjo analizë është e saktë, apo jo? A e miratoni?
Problemi: një pyetje e njëanshme që kërkon konfirmim. Ajo e shtyn AI të bashkohet me ju; Ajo nxit njëanshmëri konfirmimi dhe fsheh rrezikun e vërtetë.
Njoftim i fuqishëm:
Roli juaj: ju jeni partneri hetimor kritik i auditorit të pavarur. Detyra juaj nuk është të PAJTOheni me mua, por të përpiqeni të REFUZONI rezultatet e mia. Konteksti: Më poshtë është përfundimi im i një procedure analitike dhe përfundimi im tentativ.[teksti i rezultatit]Detyrë:1) Rendisni 3 skenarët më të mundshëm në të cilët ky përfundim mund të jetë I GABUAR.2) Për secilin skenar: "nëse kjo do të ishte e vërtetë?" Sugjeroni prova konkrete dhe të kërkueshme. 3) Shënoni çdo të dhënë ose supozim që mund të kem humbur. 4) Mos bëni fjali që pajtohen me mua; Ju keni për detyrë të gjeni pikat e dobëta. Shënoni "e panjohur" aty ku nuk jeni të sigurt.
Kjo kërkesë është e fuqishme sepse ndryshon rolin e AI (përgënjeshtrimit), duke kërkuar skenarë përgënjeshtrimesh dhe prova të kërkueshme dhe duke ndaluar gjuhën e kërkimit të konfirmimit. Kjo e vë AI në shërbim të skepticizmit dhe jo një instrumenti të paragjykimit të konfirmimit.
Gabimet e zakonshme
- Bërja e pyetjeve duke kërkuar miratim. "Është në rregull, apo jo?" duke kërkuar dhe siguruar përgjigjen e dakorduar.
- Gabimi i rrjedhshmërisë për saktësinë. Pranimi i rezultateve të shkruara mirë dhe të sigurt pa diskutim.
- Jini të kënaqur me një shembull të vetëm konfirmues. Mbyllja me gjetjen e parë mbështetëse, pa u përpjekur për ta përgënjeshtruar.
- Të delegojë juridiksionin e patjetërsueshëm. Lënia e vendimit të mjaftueshmërisë, arsyeshmërisë, mendimit të provave tek UA.
- Heqja dorë nga skepticizmi nën presionin e kohës. Duke u strehuar në përgjigjen ngushëlluese të AI kur jeni të ngecur.
Kujdes: Presioni i kohës është armiku më i madh i skepticizmit dhe AI bëhet më i rrezikshmi nën këtë presion; sepse ju ofron një përgjigje të shpejtë, të rrjedhshme dhe ngushëlluese. Bëjeni një domosdoshmëri për të bërë pyetjen e kundërshtimit kur jeni në nxitim.
Në përmbledhje
Skepticizmi profesional është në thelb të auditimit dhe bëhet edhe më kritik në epokën e AI. Inteligjenca artificiale shkakton tre dobësi: halucinacioni (e krijon atë), paragjykimin e automatizimit (ne e besojmë sepse është i lëngshëm), paragjykimi i konfirmimit (ne nuk e vëmë në dyshim sepse thotë atë që shpresojmë). Kundërhelmi është të nxitosh për të hedhur poshtë AI, jo ta konfirmosh atë: "nëse kjo është e rreme, çfarë prove do ta tregonte?" ' dhe duke kërkuar prova të kundërta, duke kërkuar objektivisht dhe mbrapsht, duke riprodhuar çdo produkt nga burimi. Gjykimet si mjaftueshmëria e provave, arsyeshmëria, rreziku i mashtrimit dhe gjykimi i opinionit kërkojnë skepticizëm dhe nuk janë të transferueshme. Rrjedhshmëria nuk është saktësi; Mendja skeptike është e juaja.
Detyra e aplikimit
Merrni rezultatin tuaj të auditimit (ose një rezultat hipotetik). Pyete inteligjencën artificiale fillimisht me një pyetje të dobët "kërkuese për konfirmim", më pas me modelin e fortë të shpejtë "përgënjeshtrim" më lart. Vendosni të dy rezultatet krah për krah dhe shkruani ndryshimin: cilat rreziqe u zbuluan vetëm nga pyetja e kundërshtimit? Më pas shtoni dy shënime pranë secilit pretendim kyç në produktin tuaj: "me çfarë verifikova" dhe "çfarë prove do të tregonte nëse do të ishte e rreme".
listë kontrolli
- [ ] Unë bëra pyetje përgënjeshtruese/neutrale për AI, jo pyetje për konfirmim.
- [ ] Për çdo rezultat domethënës, "nëse kjo është e rreme, çfarë prove do ta tregonte?" E bëra pyetjen dhe kërkova prova.
- [ ] E testova rezultatin, i cili dukej i qetë dhe i sigurt, me skepticizëm shtesë.
- [ ] Nuk u ndala me një shembull të vetëm konfirmues; U përpoqa ta përgënjeshtroja por dështova.
- [ ] Unë bëra gjykimet e mia të tilla si mjaftueshmëria e provave, arsyeshmëria dhe opinioni.
- [ ] Edhe nën presionin e kohës, nuk e anashkalova pyetjen kundërpërgjigje.
- [ ] Krahas pretendimeve të rëndësishme, mbaja shënime "me çfarë verifikova / çfarë do të tregonte nëse ishte e gabuar".