Zyski:
- Zrozumienie, czym jest zawodowy sceptycyzm i ryzyko popadnięcia w błąd potwierdzenia i błąd automatyzacji podczas korzystania ze sztucznej inteligencji
- Możliwość testowania wyników sztucznej inteligencji za pomocą techniki zadawania pytań, która próbuje obalić (poszukaj czegoś przeciwnego)
- Umiejętność zrozumienia, że biegłość sztucznej inteligencji nie oznacza dokładności, że sceptyczny umysł jest podstawą kontroli i nie można go przenieść.
Istnieje jedno nastawienie mentalne, które odróżnia niezależnego audytora od wielu innych zawodów: zawodowy sceptycyzm. MSB definiują to jako biegły rewident pracujący „z dociekliwym umysłem, zauważający, czy dowody wskazują na potencjalne zniekształcenie i krytycznie oceniający dowody”. Oznacza to, że audytor nie uznaje automatycznie żadnych przedstawionych mu informacji – ani oświadczenia kierownictwa, ani dokumentu, ani nawet sprawozdania, które „wydaje się rozsądne” – za prawdziwe. Ciągle zadaję sobie pytanie: „Czy naprawdę tak jest?” pyta. Taka postawa jest podstawą kontroli i jest niezbywalna.
W dobie sztucznej inteligencji rdzeń ten staje przed zupełnie nowym testem. Ponieważ sztuczna inteligencja jest biegła w wyzwalaniu dwóch głęboko zakorzenionych słabości ludzkiego umysłu – błędu automatyzacji i błędu potwierdzenia. W tej części omówimy, w jaki sposób audytor korzystający ze sztucznej inteligencji może utrzymać, a nawet wzmocnić swój sceptycyzm. Główną tezą jest to, że płynność sztucznej inteligencji to nie dokładność; Sceptyczny umysł staje się jeszcze ważniejszy w obliczu sztucznej inteligencji.
Dwa niebezpieczne uprzedzenia
Stronniczość w zakresie automatyzacji to tendencja ludzi do ufania wynikom maszyny/oprogramowania bardziej niż własnemu osądowi. „Komputer to obliczył, to prawda”. To niebezpieczeństwo jest jeszcze większe, jeśli chodzi o sztuczną inteligencję, ponieważ sztuczna inteligencja nie tylko kalkuluje; Mówi płynnie, pewnie, po ludzku i uzasadnionych zdań. Pewny ton jest przekonujący, nawet jeśli informacje nie są dokładne.
Błąd potwierdzenia to tendencja ludzi do poszukiwania informacji potwierdzających wnioski, w które wcześniej wierzyli lub na które mieli nadzieję, oraz do ignorowania sprzecznych informacji. To jest fatalne w audycie: audytor, który myśli: „Ten klient musi być czysty”, odczuje ulgę, gdy zapyta AI i otrzyma potwierdzenie, i przestanie szukać dowodów, że jest inaczej. Ponieważ sztuczna inteligencja ma tendencję do skupiania się na zadanym pytaniu (jeśli zapytasz „wszystko w porządku, prawda?”, jest bardziej prawdopodobne, że udzieli odpowiedzi, która się z tobą zgodzi), może sprzyjać efektowi potwierdzenia.
Jest jeszcze trzeci: halucynacje. Widzieliśmy to wiele razy w module – AI potrafi płynnie ułożyć liczbę, przedmiot, zasób, który nie istnieje. Niebezpieczeństwo zwiększa się, gdy połączy się trzy słabości: sztuczna inteligencja zmyśla (halucynacje), wierzysz w nią, ponieważ jest płynna (błąd automatyzacji), nie kwestionujesz jej, ponieważ mówi ci, czego się spodziewasz (błąd potwierdzenia).
Trzy narzędzia sceptycznego umysłu przeciwko sztucznej inteligencji
Spójrzmy sceptycyzmem na konkretne techniki przeciwko sztucznej inteligencji:
- Spróbuj zaprzeczyć, a nie potwierdzić. Sztuczna inteligencja może zapytać swoje dane wyjściowe „czy to prawda?” a nie „skąd mam wiedzieć, czy to jest złe?” pytanie. Zadaj sobie pytanie: „Gdyby to stwierdzenie było fałszywe, jakie dowody by to wykazały?” i poszukaj tego dowodu. Łatwo znaleźć jeden potwierdzający przykład; Próba obalenia i porażka dają prawdziwą pewność.
- Zapytaj neutralnie i od tyłu. Zapytaj sztuczną inteligencję „nie ma tu problemu, prawda?” Nie pytaj; zachęca to do aprobującej odpowiedzi. Zamiast tego zapytaj: „Jakie ryzyko mogłem przeoczyć w tych danych?” oraz „jakie są trzy najbardziej prawdopodobne scenariusze, w których ten wynik może być błędny?” zapytać. Zadaj to samo pytanie z dwóch przeciwnych stron i porównaj odpowiedzi.
- Pobierz do źródła i odtwórz. W przypadku każdego problemu, przypisania i wniosku „gdzie mogę to niezależnie zweryfikować?” Zadaj pytanie i faktycznie zweryfikuj. Zobacz wynik AI jako asercję; Dowody są zewnętrzne w stosunku do twierdzenia.
Wskazówka: wyrób sobie nawyk: obok każdego istotnego wyniku, jaki daje sztuczna inteligencja, napisz odręcznie dwie rzeczy — „(1) za pomocą czego to zweryfikowałem, (2) jakie dowody by to wykazały, gdyby były fałszywe”. Te dwie uwagi przełamują zarówno automatyzację, jak i błąd potwierdzenia.
Osądy, których biegły rewident nie może delegować
Niektóre zawody z natury wymagają sceptycyzmu i osądu; nie można ich delegować do sztucznej inteligencji, obsługiwane są tylko:
niezbywalna jurysdykcja
Dlaczego
Czy dowody są wystarczające i odpowiednie
Profesjonalny osąd; zależne od kontekstu
Wiarygodność wyjaśnienia
Wymaga rozważenia przedsiębiorstwa i intencji
Ocena ryzyka oszustwa
Sceptycyzm i intuicja; poza wzorcem danych
Decyzja dotycząca istotności i opinii
Sądownictwo odpowiedzialne przed społeczeństwem
Opinia o uczciwości zarządzania
Odczytywanie ludzkich zachowań; AI nie może tego zrobić
Różnica między sceptycyzmem a pedanterią: wyważona postawa
Zawodowy sceptycyzm nie oznacza niewiary we wszystko lub z góry zrzucania winy na kierownictwo; Byłoby to przekroczenie zakresu i spowodowałoby, że kontrola byłaby nieskuteczna. Sceptycyzm nie jest ani czystym zaufaniem (przyjmowaniem wszystkiego, co ci powiedziano), ani ślepym zaprzeczaniem (odrzucaniem wszystkiego); Pomiędzy nimi jest to postawa dociekania proporcjonalna do dowodów. Biegły rewident może uznać kierownictwo za uczciwe, ale sprawdza tę akceptację za pomocą dowodów; może uznać wyjaśnienie za wiarygodne, ale potwierdza prawdopodobieństwo. Sztuczna inteligencja może zaburzyć tę równowagę: z jednej strony uśpi Cię w nadmiernej pewności siebie poprzez swoją płynność; Z drugiej strony, jeśli powiesz mu, żeby „znalazł we wszystkim błędy”, będzie cię bombardować niekończącymi się fałszywymi alarmami. Właściwym podejściem jest zawsze porównywanie wyniku z wagą dowodów, jednocześnie uruchamiając sztuczną inteligencję w celu przedstawienia dowodów i ich obalenia. Sceptycyzm nie jest cechą osobowości, ale zdyscyplinowanym sposobem pracy; I to audytor ustanawia, utrzymuje i dokumentuje tę dyscyplinę, a nie sztuczna inteligencja.
trzy mini etui
Przypadek 1 – Technika obalenia działa. Audytor wydrukował sztuczną inteligencję, stwierdzając, że „ta wycena akcji wygląda rozsądnie”. Zamiast potwierdzić, zapytał bez ogródek: „Jeśli ta wycena jest zawyżona, jakie dowody by to wykazały?” „przedmioty, których ceny posprzedażowe są niższe od kosztów” – stwierdził YZ. Audytor poszukał tych pozycji i znalazł grupę, która była rzeczywiście niedowartościowana. Pytanie odpierające ujawniło ryzyko, które skrywało potwierdzenie.
Przypadek 2 — Popadnięcie w błąd potwierdzenia. Członek zespołu zapytał sztuczną inteligencję w krytycznym momencie: „Z tym kontem nie ma nic poważnego, prawda?” zapytał. YZ oparł się na pytaniu i powiedział: „Zgodnie z dostarczonymi informacjami nie wydaje się, aby istniał poważny problem”. Członek zespołu zrelaksował się i zakrył pióro. Nie przedstawił jednak żadnych dowodów; Sztuczna inteligencja jedynie odzwierciedliła jego zdanie. Osoba odpowiedzialna wykazała, że pytanie nie zostało zadane w sposób bezstronny. Lekcja: sposób, w jaki zadajesz pytanie, determinuje odpowiedź, którą otrzymasz; Pytanie szukające potwierdzenia daje potwierdzenie.
Przypadek 3 — Zakochanie się w płynności. Audytor uznał, że interpretacja przepisów, którą YZ wyjaśniła w bardzo płynnym i uzasadnionym akapicie, była prawidłowa, i uwzględnił ją w dokumencie roboczym. Tekst był tak schludny, że nie przyszło mu do głowy, żeby go kwestionować. Osoba odpowiedzialna wykazała, że odniesienie nie ma odpowiednika w tekście urzędowym. Lekcja: płynność i pewność siebie nie są dowodem dokładności; Wynik, który wydaje się najbardziej przekonujący, może być najbardziej niebezpieczny.
Słaba zachęta/silna zachęta
Słaba zachęta:
Ta analiza jest poprawna, prawda? Czy zatwierdzasz?
Problem: stronnicze pytanie, które szuka potwierdzenia. Popycha sztuczną inteligencję do przyłączenia się do ciebie; Sprzyja efektowi potwierdzenia i ukrywa prawdziwe ryzyko.
Potężny monit:
Twoja rola: jesteś partnerem niezależnego audytora, który udziela krytycznych zapytań. Twoim zadaniem nie jest ZGADZENIE się ze mną, ale próba ODMÓWIENIA moich wyników.Kontekst: Poniżej znajduje się mój wniosek z procedury analitycznej i mój wstępny wniosek.[tekst wyniku]Zadanie:1) Wymień 3 najbardziej prawdopodobne scenariusze, w których ten wniosek może być FAŁSZYWY.2) Dla każdego scenariusza: „jeśli to byłaby prawda, jakie dowody by to wykazały?” Zasugeruj konkretne, możliwe do przeszukania dowody. 3) Zaznacz wszelkie dane lub założenia, które mogłem przeoczyć. 4) Nie twórz zdań, które się ze mną zgadzają; Twoim zadaniem jest znalezienie słabych punktów. Zaznacz „nieznane” tam, gdzie nie jesteś pewien.
Ta zachęta jest potężna, ponieważ odwraca rolę sztucznej inteligencji (obalanie), wymagając obalających scenariuszy i możliwych do przeszukania dowodów oraz zabraniając języka szukającego potwierdzenia. Stawia to sztuczną inteligencję na służbie sceptycyzmu, a nie na narzędziu efektu potwierdzenia.
Typowe błędy
- Zadawanie pytań w celu uzyskania zgody. – Wszystko w porządku, prawda? zadając pytanie i zapewniając uzgodnioną odpowiedź.
- Mylisz płynność z dokładnością. Akceptowanie dobrze napisanych, pewnych treści bez żadnych zastrzeżeń.
- Zadowalaj się jednym potwierdzającym przykładem. Zakończmy pierwszym stwierdzeniem potwierdzającym, bez próby jego obalenia.
- Przekazanie niezbywalnej jurysdykcji. Pozostawienie decyzji o wystarczalności dowodów, zasadności i opinii AI.
- Pozbycie się sceptycyzmu pod presją czasu. Jeśli utkniesz, skorzystaj z pocieszającej odpowiedzi AI.
Uwaga: presja czasu jest największym wrogiem sceptycyzmu, a pod tą presją sztuczna inteligencja staje się najbardziej niebezpieczna; ponieważ oferuje szybką, płynną i pocieszającą odpowiedź. Zadaj pytanie zaprzeczające, gdy się spieszysz.
Podsumowując
Zawodowy sceptycyzm jest podstawą audytu, a w dobie sztucznej inteligencji staje się jeszcze bardziej krytyczny. Sztuczna inteligencja wyzwala trzy słabości: halucynacje (zmyśla), błąd automatyzacji (wierzymy w to, ponieważ jest płynny), błąd potwierdzenia (nie kwestionujemy tego, ponieważ mówi, na co mamy nadzieję). Antidotum polega na pośpiechu, aby obalić sztuczną inteligencję, a nie ją potwierdzić: „jeśli to nieprawda, jakie dowody by to wykazały?” ' i szukanie dowodów przeciwnych, zadawanie pytań obiektywnych i od tyłu, odtwarzając każdy wynik ze źródła. Oceny takie jak wystarczalność dowodów, zasadność, ryzyko oszustwa i opinia wymagają sceptycyzmu i nie można ich przenieść. Płynność nie jest dokładnością; Sceptyczny umysł należy do Ciebie.
Zadanie aplikacji
Uzyskaj wynik audytu (lub wynik hipotetyczny). Najpierw zadaj AI słabe pytanie „szukające potwierdzenia”, a następnie silne pytanie „odpierające” powyżej. Postaw oba wyniki obok siebie i zapisz różnicę: które ryzyko ujawniło dopiero pytanie zaprzeczające? Następnie dodaj dwie notatki obok każdego kluczowego twierdzenia w swoich wynikach: „za pomocą czego zweryfikowałem” i „jakie dowody wykazałyby, gdyby były fałszywe”.
lista kontrolna
- [ ] Zadałem AI pytania zaprzeczające/neutralne, a nie pytania mające na celu potwierdzenie.
- [ ] Dla każdego znaczącego wyniku: „jeśli jest to fałszywe, jakie dowody by to wykazały?” Zadałem pytanie i szukałem dowodów.
- [ ] Testowałem wydruk, który wydawał się gładki i pewny, z dodatkowym sceptycyzmem.
- [ ] Nie poprzestałem na jednym potwierdzającym przykładzie; Próbowałem temu zaprzeczyć, ale nie udało mi się.
- [ ] Dokonałem własnych ocen, takich jak wystarczalność dowodów, zasadność i opinia.
- [ ] Nawet pod presją czasu nie pominąłem pytania o zaprzeczenie.
- [ ] Obok ważnych twierdzeń zanotowałem „z czym zweryfikowałem / co by wyszło, gdyby było źle”.