Keuntungan:
- Fahami apa itu keraguan profesional dan risiko terjerumus ke dalam bias pengesahan dan berat sebelah automasi apabila menggunakan kecerdasan buatan
- Keupayaan untuk menguji output kecerdasan buatan dengan teknik penyoalan yang cuba menyangkal (cari yang sebaliknya)
- Mampu memahami bahawa kefasihan kecerdasan buatan tidak bermakna ketepatan, bahawa fikiran yang ragu-ragu adalah teras kawalan dan tidak boleh dipindahkan.
Terdapat satu sikap mental yang membezakan pengauditan bebas daripada banyak profesion lain: keraguan profesional. ISA mentakrifkan ini sebagai juruaudit yang bekerja "dengan fikiran yang ingin tahu, menyatakan sama ada bukti menunjukkan potensi salah nyata, dan menilai secara kritis bukti." Maksudnya, juruaudit tidak secara automatik menerima apa-apa maklumat yang dikemukakan kepadanya—bukan penyata pengurusan, bukan dokumen, malah akaun yang "nampak munasabah"—sebagai benar. Saya sentiasa tertanya-tanya "Adakah ia benar-benar begitu?" dia bertanya. Sikap ini adalah teras kawalan dan tidak boleh diketepikan.
Pada zaman kecerdasan buatan, teras ini menghadapi ujian serba baharu. Kerana AI mahir mencetuskan dua kelemahan mendalam minda manusia — bias automasi dan bias pengesahan. Dalam unit ini, kami akan membincangkan cara juruaudit yang menggunakan AI boleh mengekalkan atau mengukuhkan keraguannya. Tesis utama ialah kefasihan AI bukanlah ketepatan; Fikiran skeptikal menjadi lebih penting dalam menghadapi AI.
Dua berat sebelah berbahaya
Bias automasi ialah kecenderungan orang untuk mempercayai output mesin/perisian lebih daripada pertimbangan mereka sendiri. "Komputer mengiranya, ia betul." Bahaya ini diperbesarkan apabila melibatkan AI, kerana AI bukan sahaja mengira; Bertutur dengan lancar, yakin, seperti manusia, ayat yang bernas. Nada yakin adalah persuasif walaupun maklumat itu tidak tepat.
Bias pengesahan ialah kecenderungan orang untuk mencari maklumat yang menyokong kesimpulan yang mereka percaya atau harapkan sebelum ini dan mengabaikan maklumat yang bercanggah. Ini membawa maut dalam pengauditan: Juruaudit yang berpendapat "Pelanggan ini mesti bersih" akan berasa lega apabila dia bertanya kepada AI dan mendapat pengesahan, dan akan berhenti mencari bukti sebaliknya. Oleh kerana AI cenderung untuk bersandar pada soalan yang ditanya (jika anda bertanya "tak apa, kan?" ia lebih berkemungkinan menghasilkan jawapan yang bersetuju dengan anda), ia boleh memupuk kecenderungan pengesahan.
Terdapat juga yang ketiga: halusinasi. Kami melihatnya berkali-kali dalam modul — AI boleh dengan lancar membentuk nombor, item, sumber yang tidak wujud. Bahaya bertambah apabila tiga kelemahan digabungkan: AI membuat sesuatu (halusinasi), anda mempercayainya kerana ia cair (bias automasi), anda tidak mempersoalkannya kerana ia memberitahu anda apa yang anda jangkakan (bias pengesahan).
Tiga alat fikiran yang ragu-ragu terhadap AI
Mari letakkan keraguan ke dalam teknik konkrit terhadap AI:
- Cuba menyangkal, bukan mengesahkan. AI mungkin bertanya outputnya "adakah ia benar?" bukan "bagaimana saya tahu jika ini salah?" soalan. Tanya diri anda: "Jika pernyataan ini palsu, apakah bukti yang menunjukkannya?" dan cari bukti itu. Mudah untuk mencari satu contoh yang mengesahkan; Cuba untuk menyangkal dan gagal memberikan jaminan sebenar.
- Tanya secara neutral dan ke belakang. Tanya AI "tiada masalah di sini, bukan?" Jangan tanya; ini mengundang respons yang meluluskan. Sebaliknya, "apakah risiko yang mungkin saya terlepas dalam data ini?" dan "apakah tiga senario yang paling berkemungkinan di mana keputusan ini mungkin salah?" bertanya. Tanya soalan yang sama dari dua sisi yang bertentangan dan bandingkan jawapan.
- Muat turun ke sumber dan hasilkan semula. Untuk setiap isu, atribusi dan kesimpulan, "di manakah saya boleh mengesahkan ini secara bebas?" Tanya soalan dan sahkan sebenarnya. Lihat output AI sebagai penegasan; Bukti adalah di luar tuntutan.
Petua: Buat kebiasaan: Di sebelah setiap output penting yang diberikan AI, tulis dua perkara dengan tangan — “(1) dengan apa saya mengesahkan ini, (2) apakah bukti yang akan menunjukkan ini jika ia palsu.” Kedua-dua nota ini memecahkan bias automasi dan pengesahan.
Penghakiman yang tidak boleh diwakilkan oleh juruaudit
Sesetengah pekerjaan sememangnya memerlukan keraguan dan pertimbangan; ini tidak boleh diwakilkan kepada AI, hanya disokong:
bidang kuasa yang tidak boleh dipisahkan
kenapa
Sama ada bukti itu mencukupi dan sesuai
Penghakiman profesional; bergantung kepada konteks
Kebolehpercayaan penjelasan
Memerlukan pertimbangan perusahaan dan niat
Penilaian risiko penipuan
Skeptisisme dan intuisi; di luar corak data
Materialiti dan keputusan pendapat
Badan kehakiman bertanggungjawab kepada orang ramai
Pendapat tentang kejujuran pengurusan
Membaca tingkah laku manusia; AI tidak boleh melakukan ini
Perbezaan antara skeptisisme dan pedantry: sikap yang diukur
Keraguan profesional tidak bermakna tidak mempercayai segala-galanya atau menyalahkan pengurusan terlebih dahulu; Ini akan menjadi melampaui batas dan akan menyebabkan kawalan tidak berkesan. Skeptisisme bukanlah amanah yang tulen (menerima semua yang diberitahu) mahupun penafian buta (menolak segala-galanya); Di antaranya, ia adalah sikap inkuiri yang sepadan dengan bukti. Juruaudit boleh menerima pengurusan sebagai jujur, tetapi menguji penerimaan ini dengan bukti; mungkin mendapati penjelasan munasabah, tetapi mengesahkan kebolehpercayaan. AI boleh mengganggu keseimbangan ini: dalam satu arah, ia membuatkan anda terlalu yakin dengan keluaran cecairnya; Sebaliknya, jika anda menyuruhnya "mencari kesalahan dalam segala-galanya" ia akan membombardir anda dengan positif palsu yang tidak berkesudahan. Sikap yang betul ialah sentiasa menimbang keputusan dengan berat bukti, sambil menjalankan AI untuk menghasilkan bukti dan menafikan bukti. Skeptisisme bukanlah sifat keperibadian, tetapi cara kerja yang berdisiplin; Dan juruaudit yang menetapkan, mengekalkan dan membuktikan disiplin ini, bukan AI.
tiga kes mini
Kes 1 — Teknik sanggahan berfungsi. Seorang juruaudit mencetak AI dengan mengatakan "penilaian saham ini kelihatan munasabah." Daripada mengesahkan, dia bertanya secara balas: "Jika penilaian ini dilebih-lebihkan, apakah bukti yang akan menunjukkannya?" "barangan yang harga selepas jualan jatuh di bawah kos," kata YZ. Juruaudit mencari item ini dan mendapati kumpulan yang sebenarnya kurang nilai. Soalan sanggahan mendedahkan risiko yang disembunyikan oleh pengesahan.
Kes 2 — Terjerumus ke dalam bias pengesahan. Seorang ahli pasukan bertanya kepada AI semasa masa yang sukar, "tidak ada yang salah dengan akaun ini, bukan?" dia bertanya. YZ bersandar pada soalan itu dan berkata, "Menurut maklumat yang anda berikan, nampaknya tidak ada masalah yang ketara." Ahli pasukan berehat dan menutup pen. Bagaimanapun, dia tidak mengemukakan sebarang bukti; AI hanya mencerminkan ayatnya. Orang yang bertanggungjawab menunjukkan bahawa soalan itu tidak ditanya secara saksama. Pengajaran: cara anda bertanya soalan menentukan jawapan yang anda dapat; Soalan yang mencari pengesahan menghasilkan pengesahan.
Kes 3 — Jatuh kerana kefasihan. Seorang juruaudit berpendapat bahawa tafsiran undang-undang yang dijelaskan oleh YZ dalam perenggan yang sangat fasih dan beralasan adalah betul dan memasukkannya ke dalam kertas kerja. Teks itu sangat kemas sehingga dia tidak terfikir untuk mempersoalkannya. Orang yang bertanggungjawab menunjukkan bahawa rujukan itu tidak mempunyai persamaan dalam teks rasmi. Pengajaran: kefasihan dan keyakinan bukan bukti ketepatan; Hasil yang kelihatan paling meyakinkan mungkin yang paling berbahaya.
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Analisis ini betul, bukan? Adakah anda meluluskan?
Masalahnya: soalan berat sebelah yang mencari pengesahan. Ia mendorong AI untuk menyertai anda; Ia memupuk berat sebelah pengesahan dan menyembunyikan risiko sebenar.
Gesaan kuat:
Peranan anda: anda ialah rakan kongsi siasatan kritikal juruaudit bebas. Tugas anda bukan untuk BERSETUJU dengan saya, tetapi cuba MENOLAK keluaran saya.Konteks: Di bawah ialah kesimpulan saya tentang prosedur analisis dan kesimpulan tentatif saya.[teks keputusan]Tugas:1) Senaraikan 3 senario yang berkemungkinan besar di mana kesimpulan ini boleh menjadi PALSU.2) Bagi setiap senario: "jika ini benar, apakah bukti yang akan menunjukkannya?" Cadangkan bukti yang konkrit dan boleh dicari. 3) Tandakan sebarang data atau andaian yang mungkin saya terlepas. 4) Jangan buat ayat yang bersetuju dengan saya; Anda ditugaskan untuk mencari titik lemah. Tandai "tidak diketahui" di mana anda tidak pasti.
Gesaan ini berkuasa kerana ia membalikkan peranan AI (rebuttal), memerlukan senario penolakan dan bukti yang boleh dicari, dan melarang bahasa mencari pengesahan. Ini meletakkan AI dalam perkhidmatan keraguan dan bukannya instrumen berat sebelah pengesahan.
Kesilapan biasa
- Bertanya soalan untuk mendapatkan kelulusan. "Tak apa, kan?" dengan bertanya dan memastikan jawapan yang dipersetujui.
- Tersilap kefasihan untuk ketepatan. Menerima output yang ditulis dengan baik dan yakin tanpa persoalan.
- Berpuas hati dengan satu contoh pengesahan. Penutup dengan penemuan sokongan pertama, tanpa cuba menafikannya.
- Untuk mewakilkan bidang kuasa yang tidak boleh dipisahkan. Menyerahkan keputusan kecukupan bukti, kewajaran, pendapat kepada AI.
- Melepaskan keraguan di bawah tekanan masa. Berlindung dalam jawapan yang menenangkan AI apabila anda terperangkap.
Awas: Tekanan masa adalah musuh terbesar bagi keraguan, dan AI menjadi paling berbahaya di bawah tekanan ini; kerana ia menawarkan jawapan yang pantas, lancar dan selesa. Jadikan satu kemestian untuk bertanya soalan sanggahan apabila anda tergesa-gesa.
Secara ringkasnya
Keraguan profesional adalah teras pengauditan dan menjadi lebih kritikal pada zaman AI. AI mencetuskan tiga kelemahan: halusinasi (menjadikannya), berat sebelah automasi (kami percaya kerana ia cair), berat sebelah pengesahan (kami tidak mempersoalkannya kerana ia mengatakan apa yang kami harapkan). Penawarnya ialah tergesa-gesa untuk menyangkal AI, bukan mengesahkannya: "jika ini palsu, apakah bukti yang akan menunjukkannya?" ' dan mencari bukti yang bertentangan, bertanya secara objektif dan ke belakang, mengeluarkan semula setiap output daripada sumber. Penghakiman seperti kecukupan bukti, kemunasabahan, risiko penipuan, dan pertimbangan pendapat memerlukan keraguan dan tidak boleh dipindah milik. Kefasihan bukanlah ketepatan; Fikiran skeptikal adalah milik anda.
Tugasan permohonan
Dapatkan keputusan audit anda (atau keputusan hipotesis). Tanya AI dahulu dengan soalan lemah "mencari pengesahan", kemudian dengan pola segera kuat "bantahan" di atas. Letakkan kedua-dua hasil bersebelahan dan tuliskan perbezaannya: risiko manakah yang didedahkan hanya dengan soalan sanggahan? Kemudian tambahkan dua nota di sebelah setiap tuntutan utama dalam output anda: "apa yang saya sahkan dengan" dan "apa bukti yang akan ditunjukkan jika ia palsu".
senarai semak
- [ ] Saya bertanya soalan bantahan/neutral AI, bukan soalan mencari pengesahan.
- [ ] Untuk setiap hasil penting, "jika ini palsu, apakah bukti yang akan menunjukkannya?" Saya bertanya soalan dan mencari bukti.
- [ ] Saya menguji output, yang kelihatan lancar dan yakin, dengan keraguan tambahan.
- [ ] Saya tidak berhenti dengan satu contoh pengesahan; Saya cuba menyangkalnya tetapi gagal.
- [ ] Saya membuat pertimbangan saya sendiri seperti kecukupan bukti, kemunasabahan dan pendapat.
- [ ] Walaupun dalam tekanan masa, saya tidak melangkau soalan sanggahan.
- [ ] Di sebelah tuntutan penting, saya membuat nota tentang "apa yang saya sahkan dengan / apa yang akan ditunjukkan jika ia salah".