Keuntungan:
- Pahami apa itu skeptisisme profesional dan risiko terjerumus ke dalam bias konfirmasi dan bias otomatisasi saat menggunakan kecerdasan buatan
- Kemampuan menguji keluaran kecerdasan buatan dengan teknik bertanya yang mencoba membantah (mencari sebaliknya)
- Mampu memahami bahwa kelancaran kecerdasan buatan tidak berarti akurasi, bahwa pikiran skeptis adalah inti kendali dan tidak dapat ditransfer.
Ada satu sikap mental yang membedakan audit independen dari banyak profesi lainnya: skeptisisme profesional. SA mendefinisikan hal ini sebagai auditor yang bekerja “dengan pikiran ingin tahu, mencatat apakah bukti menunjukkan potensi salah saji, dan mengevaluasi bukti secara kritis.” Artinya, auditor tidak secara otomatis menerima informasi apa pun yang disajikan kepadanya—baik pernyataan manajemen, dokumen, bahkan laporan yang “tampaknya masuk akal”—sebagai benar. Saya terus-menerus bertanya-tanya, "Benarkah begitu?" dia bertanya. Sikap ini merupakan inti kendali dan tidak dapat dicabut.
Di era kecerdasan buatan, inti ini menghadapi ujian baru. Karena AI mahir memicu dua kelemahan mendalam dalam pikiran manusia – bias otomatisasi dan bias konfirmasi. Dalam unit ini, kita akan membahas bagaimana auditor yang menggunakan AI dapat mempertahankan atau bahkan memperkuat skeptisismenya. Tesis utamanya adalah bahwa kefasihan AI bukanlah keakuratan; Pikiran skeptis menjadi lebih penting dalam menghadapi AI.
Dua bias yang berbahaya
Bias otomasi adalah kecenderungan orang untuk lebih memercayai keluaran mesin/perangkat lunak daripada penilaian mereka sendiri. “Komputer menghitungnya, itu benar.” Bahaya ini semakin besar jika menyangkut AI, karena AI tidak hanya menghitung; Mengucapkan kalimat yang lancar, percaya diri, manusiawi, dan beralasan. Nada percaya diri bersifat persuasif meskipun informasinya tidak akurat.
Bias konfirmasi adalah kecenderungan orang untuk mencari informasi yang mendukung kesimpulan yang sebelumnya mereka yakini atau harapkan dan mengabaikan informasi yang bertentangan. Hal ini berakibat fatal dalam audit: Seorang auditor yang menganggap “Klien ini harus bersih” akan merasa lega ketika bertanya kepada AI dan mendapat konfirmasi, serta akan berhenti mencari bukti sebaliknya. Karena AI cenderung bersandar pada pertanyaan yang diajukan (jika Anda bertanya “tidak apa-apa, kan?” kemungkinan besar akan menghasilkan jawaban yang sesuai dengan Anda), hal ini dapat menumbuhkan bias konfirmasi.
Ada juga yang ketiga: halusinasi. Kami melihatnya berkali-kali di modul - AI dengan lancar dapat membuat angka, item, sumber daya yang tidak ada. Bahayanya semakin besar ketika tiga kelemahan digabungkan: AI mengada-ada (halusinasi), Anda mempercayainya karena bersifat cair (bias otomasi), Anda tidak mempertanyakannya karena AI memberi tahu Anda apa yang Anda harapkan (bias konfirmasi).
Tiga alat bagi pikiran skeptis untuk melawan AI
Mari kita terapkan skeptisisme ke dalam teknik konkret melawan AI:
- Cobalah untuk membantah, bukan mengkonfirmasi. AI mungkin menanyakan keluarannya “apakah itu benar?” bukan "bagaimana saya tahu kalau ini salah?" pertanyaan. Tanyakan pada diri Anda: “Jika pernyataan ini salah, bukti apa yang menunjukkannya?” dan mencari bukti itu. Sangat mudah untuk menemukan satu contoh yang menguatkan; Mencoba membantah dan gagal memberikan jaminan nyata.
- Tanyakan secara netral dan terbalik. Tanyakan pada AI “tidak ada masalah disini kan?” Jangan bertanya; ini mengundang tanggapan yang menyetujui. Sebaliknya, “risiko apa saja yang mungkin saya lewatkan dalam data ini?” dan “apa tiga skenario yang paling mungkin menyebabkan hasil ini salah?” bertanya. Ajukan pertanyaan yang sama dari dua sisi yang berlawanan dan bandingkan jawabannya.
- Unduh ke sumber dan reproduksi. Untuk setiap isu, atribusi, dan kesimpulan, “di mana saya dapat memverifikasi hal ini secara independen?” Ajukan pertanyaan dan verifikasi sebenarnya. Lihat keluaran AI sebagai sebuah pernyataan; Buktinya berada di luar klaim.
Tip: Biasakan: Di samping setiap keluaran signifikan yang diberikan AI, tulislah dua hal dengan tangan — “(1) dengan apa saya memverifikasi ini, (2) bukti apa yang akan menunjukkan bahwa ini salah.” Kedua catatan ini mematahkan bias otomatisasi dan konfirmasi.
Pertimbangan yang tidak dapat didelegasikan oleh auditor
Beberapa pekerjaan pada dasarnya memerlukan skeptisisme dan penilaian; hal ini tidak dapat didelegasikan ke AI, hanya didukung:
yurisdiksi yang tidak dapat dicabut
Mengapa
Apakah buktinya cukup dan tepat
penilaian profesional; tergantung konteks
Penjelasan yang masuk akal
Membutuhkan pertimbangan perusahaan dan niat
Penilaian risiko penipuan
Skeptisisme dan intuisi; melampaui pola data
Materialitas dan keputusan opini
Badan peradilan bertanggung jawab kepada masyarakat
Pendapat tentang kejujuran manajemen
Membaca perilaku manusia; AI tidak bisa melakukan ini
Perbedaan antara skeptisisme dan pedantry: sikap terukur
Skeptisisme profesional tidak berarti tidak mempercayai segalanya atau menyalahkan manajemen terlebih dahulu; Hal ini merupakan tindakan yang melampaui batas dan menyebabkan pengendalian menjadi tidak efektif. Skeptisisme bukanlah kepercayaan murni (menerima segala sesuatu yang diberitahukan kepada Anda) atau penyangkalan buta (menolak segala sesuatu); Di antaranya adalah sikap penyelidikan yang sepadan dengan bukti. Auditor mungkin menerima manajemen sebagai pihak yang jujur, namun menguji penerimaan ini dengan bukti; mungkin menemukan penjelasan yang masuk akal, namun menegaskan masuk akal. AI dapat mengganggu keseimbangan ini: di satu arah, AI membuat Anda terlalu percaya diri dengan keluarannya yang lancar; Di sisi lain, jika Anda menyuruhnya untuk "mencari kesalahan dalam segala hal" itu akan membombardir Anda dengan positif palsu yang tak ada habisnya. Sikap yang benar adalah selalu mempertimbangkan hasil dengan bobot bukti, sambil menjalankan AI untuk menghasilkan bukti dan menyangkal bukti. Skeptisisme bukanlah ciri kepribadian, melainkan cara kerja yang disiplin; Dan auditorlah yang menetapkan, memelihara, dan membuktikan disiplin ini, bukan AI.
tiga kasus mini
Kasus 1 — Teknik sanggahan berhasil. Seorang auditor mencetak AI yang mengatakan “penilaian saham ini tampaknya masuk akal.” Alih-alih membenarkan, dia malah bertanya balik: “Jika penilaian ini dilebih-lebihkan, bukti apa yang akan menunjukkannya?” "barang-barang yang harga purna jualnya berada di bawah biayanya," kata YZ. Auditor mencari item-item ini dan menemukan kelompok yang sebenarnya undervalued. Pertanyaan sanggahan mengungkap risiko yang disembunyikan oleh konfirmasi.
Kasus 2 - Terjerat dalam bias konfirmasi. Seorang anggota tim bertanya kepada AI pada saat krisis, “tidak ada yang salah dengan akun ini, kan?” dia bertanya. YZ bersandar pada pertanyaan itu dan berkata, "Menurut informasi yang Anda berikan, sepertinya tidak ada masalah yang berarti." Anggota tim itu santai dan menutup penanya. Namun, dia tidak memberikan bukti apapun; AI hanya mencerminkan kalimatnya. Orang yang bertanggung jawab menunjukkan bahwa pertanyaan itu diajukan tidak memihak. Pelajaran: cara Anda mengajukan pertanyaan menentukan jawaban yang Anda peroleh; Sebuah pertanyaan yang mencari konfirmasi menghasilkan konfirmasi.
Kasus 3 - Jatuh cinta pada kelancaran. Seorang auditor berpendapat bahwa penafsiran peraturan perundang-undangan yang dijelaskan YZ dengan paragraf yang sangat lancar dan beralasan adalah benar dan dituangkan dalam kertas kerja. Teksnya sangat rapi sehingga tidak terpikir olehnya untuk mempertanyakannya. Penanggung jawab menunjukkan bahwa referensi tersebut tidak ada padanannya dalam teks resmi. Pelajaran: kelancaran dan kepercayaan diri bukanlah bukti keakuratan; Hasil yang tampak paling meyakinkan mungkin justru paling berbahaya.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Analisis ini benar, bukan? Apakah Anda menyetujuinya?
Masalahnya: pertanyaan bias yang mencari konfirmasi. Ini mendorong AI untuk bergabung dengan Anda; Hal ini menumbuhkan bias konfirmasi dan menyembunyikan risiko sebenarnya.
Perintah yang kuat:
Peran Anda: Anda adalah mitra penyelidikan penting bagi auditor independen. Tugas Anda bukanlah untuk SETUJU dengan saya, namun untuk mencoba MENOLAK keluaran saya. Konteks: Di bawah ini adalah kesimpulan saya mengenai prosedur analitis dan kesimpulan tentatif saya. [teks hasil] Tugas: 1) Sebutkan 3 skenario yang paling mungkin menghasilkan kesimpulan yang SALAH. 2) Untuk setiap skenario: "jika ini benar, bukti apa yang akan menunjukkannya?" Sarankan bukti yang konkrit dan dapat dicari. 3) Tandai data atau asumsi apa pun yang mungkin saya lewatkan. 4) Jangan membuat kalimat yang sependapat dengan saya; Anda bertugas menemukan titik lemah. Tandai "tidak diketahui" jika Anda tidak yakin.
Perintah ini sangat ampuh karena membalikkan peran AI (bantahan), memerlukan skenario sanggahan dan bukti yang dapat dicari, serta melarang bahasa yang mencari konfirmasi. Hal ini menempatkan AI sebagai alat skeptisisme dan bukan instrumen bias konfirmasi.
Kesalahan umum
- Mengajukan pertanyaan untuk meminta persetujuan. "Tidak apa-apa, kan?" dengan bertanya dan memastikan jawaban yang disepakati.
- Salah mengira kefasihan sebagai akurasi. Menerima keluaran yang ditulis dengan baik dan percaya diri tanpa pertanyaan.
- Puaslah dengan satu contoh konfirmasi. Menutup dengan temuan pendukung pertama, tanpa berusaha membantahnya.
- Untuk mendelegasikan yurisdiksi yang tidak dapat dicabut. Menyerahkan keputusan kecukupan bukti, kewajaran, pendapat kepada AI.
- Melepaskan skeptisisme di bawah tekanan waktu. Berlindung pada jawaban AI yang menenangkan saat Anda mengalami kebuntuan.
Perhatian: Tekanan waktu adalah musuh terbesar skeptisisme, dan AI menjadi paling berbahaya di bawah tekanan ini; karena ini memberi Anda jawaban yang cepat, lancar dan nyaman. Jadikanlah suatu keharusan untuk mengajukan pertanyaan sanggahan ketika Anda sedang terburu-buru.
Singkatnya
Skeptisisme profesional merupakan inti dari audit dan menjadi semakin penting di era AI. AI memicu tiga kelemahan: halusinasi (mengada-adanya), bias otomasi (kami percaya karena bisa berubah-ubah), bias konfirmasi (kami tidak mempertanyakannya karena AI menyatakan apa yang kami harapkan). Penangkalnya adalah dengan segera menyangkal AI, bukan membenarkannya: “jika ini salah, bukti apa yang akan menunjukkannya?” ' dan mencari bukti sebaliknya, bertanya secara objektif dan terbalik, mereproduksi setiap keluaran dari sumbernya. Penilaian seperti kecukupan bukti, kewajaran, risiko penipuan, dan penilaian opini memerlukan skeptisisme dan tidak dapat dialihkan. Kefasihan bukanlah keakuratan; Pikiran skeptis adalah milik Anda.
Tugas aplikasi
Dapatkan hasil audit Anda (atau hasil hipotetis). Tanyakan kepada AI terlebih dahulu dengan pertanyaan lemah "pencarian konfirmasi", kemudian dengan pola prompt kuat "bantahan" di atas. Letakkan kedua hasil tersebut secara berdampingan dan tuliskan perbedaannya: risiko manakah yang hanya terungkap melalui pertanyaan sanggahan? Kemudian tambahkan dua catatan di samping setiap klaim utama dalam keluaran Anda: "dengan apa saya memverifikasi" dan "bukti apa yang akan menunjukkan jika klaim tersebut salah".
daftar periksa
- [ ] Saya menanyakan pertanyaan bantahan/netral AI, bukan pertanyaan mencari konfirmasi.
- [ ] Untuk setiap hasil yang signifikan, “jika ini salah, bukti apa yang menunjukkannya?” Saya mengajukan pertanyaan dan mencari bukti.
- [ ] Saya menguji hasilnya, yang tampak mulus dan percaya diri, dengan skeptisisme ekstra.
- [ ] Saya tidak berhenti pada satu contoh konfirmasi saja; Saya mencoba membantahnya tetapi gagal.
- [ ] Saya membuat penilaian sendiri seperti kecukupan bukti, kewajaran, dan pendapat.
- [ ] Bahkan di bawah tekanan waktu, saya tidak melewatkan pertanyaan sanggahan.
- [ ] Di samping klaim penting, saya membuat catatan tentang "apa yang saya verifikasi / apa yang akan ditunjukkan jika itu salah".