ความสงสัยอย่างมืออาชีพและปัญญาประดิษฐ์: อคติในการยืนยัน อาการประสาทหลอน และการสอบถามเชิงวิพากษ์วิจารณ์

กำไร:

• ทำความเข้าใจว่าความสงสัยทางวิชาชีพคืออะไร และความเสี่ยงของการตกสู่อคติในการยืนยันและอคติด้านระบบอัตโนมัติเมื่อใช้ปัญญาประดิษฐ์
• ความสามารถในการทดสอบผลลัพธ์ของปัญญาประดิษฐ์ด้วยเทคนิคการตั้งคำถามที่พยายามหักล้าง (มองหาสิ่งที่ตรงกันข้าม)
• ความสามารถในการเข้าใจว่าความคล่องแคล่วของปัญญาประดิษฐ์ไม่ได้หมายถึงความแม่นยำ แต่จิตใจที่สงสัยเป็นแกนหลักของการควบคุมและไม่สามารถถ่ายโอนได้

มีทัศนคติทางจิตประการหนึ่งที่ทำให้การตรวจสอบอิสระแตกต่างจากวิชาชีพอื่นๆ มากมาย นั่นก็คือ ความกังขาทางวิชาชีพ ISA ให้คำจำกัดความนี้ว่าเป็นผู้สอบบัญชีที่ทำงาน “ด้วยใจที่สงสัย โดยสังเกตว่าหลักฐานบ่งชี้ถึงการแสดงข้อมูลที่ขัดต่อข้อเท็จจริงที่อาจเกิดขึ้นหรือไม่ และประเมินหลักฐานอย่างมีวิจารณญาณ” นั่นคือ ผู้ตรวจสอบบัญชีจะไม่ยอมรับข้อมูลใดๆ ที่นำเสนอต่อเขาโดยอัตโนมัติ ไม่ใช่คำชี้แจงของฝ่ายบริหาร ไม่ใช่เอกสาร แม้แต่บัญชีที่ "ดูสมเหตุสมผล" ซึ่งเป็นความจริง ฉันสงสัยอยู่ตลอดเวลาว่า "จริงเหรอ?" เขาถาม ทัศนคตินี้เป็นแกนหลักของการควบคุมและไม่อาจพรากจากกันได้

ในยุคของปัญญาประดิษฐ์ แกนกลางนี้ต้องเผชิญกับการทดสอบครั้งใหม่ เนื่องจาก AI เชี่ยวชาญในการกระตุ้นจุดอ่อนที่ฝังลึกในจิตใจมนุษย์สองประการ ได้แก่ อคติด้านระบบอัตโนมัติและอคติในการยืนยัน ในบทนี้ เราจะกล่าวถึงวิธีที่ผู้ตรวจสอบที่ใช้ AI สามารถรักษาหรือเสริมความสงสัยของเขาได้อย่างไร วิทยานิพนธ์หลักคือความคล่องของ AI นั้นไม่แม่นยำ จิตใจที่สงสัยจะมีความสำคัญมากยิ่งขึ้นเมื่อเผชิญกับ AI

อคติที่เป็นอันตรายสองประการ

อคติด้านระบบอัตโนมัติคือแนวโน้มที่ผู้คนจะไว้วางใจผลลัพธ์ของเครื่องจักร/ซอฟต์แวร์มากกว่าการตัดสินใจของตนเอง “คอมพิวเตอร์คำนวณแล้ว ถูกต้องแล้ว” อันตรายนี้ทวีความรุนแรงมากขึ้นเมื่อพูดถึง AI เพราะ AI ไม่เพียงแต่คำนวณเท่านั้น พูดได้คล่อง มั่นใจ เหมือนมนุษย์ มีเหตุผล น้ำเสียงที่มั่นใจสามารถโน้มน้าวใจได้แม้ว่าข้อมูลจะไม่ถูกต้องก็ตาม

อคติในการยืนยันคือแนวโน้มของผู้คนที่จะแสวงหาข้อมูลที่สนับสนุนข้อสรุปที่พวกเขาเคยเชื่อหรือคาดหวังไว้ก่อนหน้านี้ และเพิกเฉยต่อข้อมูลที่ขัดแย้งกัน สิ่งนี้เป็นอันตรายถึงชีวิตในการตรวจสอบ: ผู้ตรวจสอบบัญชีที่คิดว่า "ลูกค้ารายนี้ต้องสะอาด" จะโล่งใจเมื่อถาม AI และได้รับการยืนยัน และจะหยุดมองหาหลักฐานที่ตรงกันข้าม เนื่องจาก AI มีแนวโน้มที่จะโน้มตัวไปที่คำถามที่ถูกถาม (หากคุณถามว่า “ไม่เป็นไร ใช่ไหม?” ก็มีแนวโน้มที่จะสร้างคำตอบที่เห็นด้วยกับคุณมากกว่า) จึงสามารถสร้างอคติในการยืนยันได้

นอกจากนี้ยังมีประการที่สาม: ภาพหลอน เราเห็นมันหลายครั้งในโมดูล — AI สามารถสร้างตัวเลข รายการ ทรัพยากรที่ไม่มีอยู่ได้อย่างคล่องแคล่ว อันตรายจะเพิ่มขึ้นเมื่อรวมจุดอ่อนสามประการเข้าด้วยกัน: AI สร้างสิ่งต่าง ๆ (ภาพหลอน) คุณเชื่อเพราะมันลื่นไหล (อคติอัตโนมัติ) คุณไม่ตั้งคำถามเพราะมันบอกคุณว่าคุณคาดหวังอะไร (อคติในการยืนยัน)

เครื่องมือสามประการของจิตใจขี้ระแวงต่อต้าน AI

เรามาใส่ความสงสัยลงในเทคนิคที่เป็นรูปธรรมต่อ AI:

1. ลองปฏิเสธไม่ยืนยัน AI อาจถามผลลัพธ์ว่า "จริงหรือไม่" ไม่ใช่ "ฉันจะรู้ได้อย่างไรว่าสิ่งนี้ผิด" คำถาม. ถามตัวเองว่า: “หากข้อความนี้เป็นเท็จ หลักฐานใดที่จะแสดงให้เห็น” และมองหาหลักฐานนั้น ง่ายต่อการค้นหาตัวอย่างที่ยืนยันเพียงตัวอย่างเดียว การพยายามหักล้างและล้มเหลวทำให้เกิดความมั่นใจอย่างแท้จริง
2. ถามอย่างเป็นกลางและย้อนกลับ ถาม AI ว่า “ไม่มีปัญหาตรงนี้ใช่ไหม?” อย่าถาม; สิ่งนี้เชิญชวนให้ตอบรับการอนุมัติ ในทางกลับกัน “ความเสี่ยงที่ฉันอาจพลาดไปในข้อมูลนี้คืออะไร” และ “สถานการณ์ที่เป็นไปได้มากที่สุดสามสถานการณ์ซึ่งผลลัพธ์นี้อาจผิดพลาดคืออะไร” ถาม. ถามคำถามเดียวกันจากทั้งสองฝ่ายตรงข้ามแล้วเปรียบเทียบคำตอบ
3. ดาวน์โหลดไปยังแหล่งที่มาและทำซ้ำ สำหรับแต่ละประเด็น การระบุแหล่งที่มา และข้อสรุป “ฉันจะตรวจสอบสิ่งนี้โดยอิสระจากที่ใด” ถามคำถามและตรวจสอบจริง ดูผลลัพธ์ของ AI เป็นการยืนยัน หลักฐานอยู่นอกเหนือคำกล่าวอ้าง

เคล็ดลับ: สร้างนิสัย: ถัดจากผลลัพธ์ที่สำคัญทุกรายการที่ AI ให้มา ให้เขียนสองสิ่งด้วยมือ — “(1) ฉันตรวจสอบสิ่งนี้ด้วยอะไร (2) หลักฐานใดจะแสดงสิ่งนี้หากมันเป็นเรื่องเท็จ” หมายเหตุทั้งสองนี้ทำลายทั้งระบบอัตโนมัติและอคติในการยืนยัน

คำพิพากษาที่ผู้สอบบัญชีไม่สามารถมอบหมายได้

งานบางงานโดยเนื้อแท้ต้องอาศัยความสงสัยและการตัดสิน สิ่งเหล่านี้ไม่สามารถมอบหมายให้กับ AI ได้ รองรับเฉพาะ:

เขตอำนาจศาลที่ไม่สามารถแบ่งแยกได้

ทำไม

หลักฐานมีเพียงพอและเหมาะสมหรือไม่

การตัดสินอย่างมืออาชีพ ขึ้นอยู่กับบริบท

ความน่าเชื่อถือของคำอธิบาย

ต้องคำนึงถึงความวิสาหกิจและความตั้งใจ

การประเมินความเสี่ยงจากการฉ้อโกง

ความสงสัยและสัญชาตญาณ; เกินกว่ารูปแบบข้อมูล

การตัดสินใจที่มีสาระสำคัญและความคิดเห็น

ตุลาการที่รับผิดชอบต่อสาธารณะ

ความเห็นเกี่ยวกับความซื่อสัตย์สุจริตของผู้บริหาร

การอ่านพฤติกรรมของมนุษย์ AI ไม่สามารถทำเช่นนี้ได้

ความแตกต่างระหว่างความสงสัยและความอวดรู้: ทัศนคติที่วัดได้

ความสงสัยอย่างมืออาชีพไม่ได้หมายถึงการไม่เชื่อทุกอย่างหรือกล่าวโทษฝ่ายบริหารล่วงหน้า นี่จะเป็นการเกินขอบเขตและจะทำให้การควบคุมไม่มีประสิทธิภาพ ความกังขาไม่ใช่ทั้งความไว้วางใจอย่างแท้จริง (การยอมรับทุกสิ่งที่คุณบอก) หรือการปฏิเสธโดยไม่เปิดเผย (ปฏิเสธทุกสิ่ง) ระหว่างนั้นก็เป็นทัศนคติในการสอบสวนตามพยานหลักฐาน ผู้สอบบัญชีอาจยอมรับว่าฝ่ายบริหารมีความซื่อสัตย์ แต่ต้องทดสอบการยอมรับนี้ด้วยหลักฐาน อาจพบคำอธิบายที่น่าเชื่อถือ แต่ยืนยันความน่าเชื่อถือ AI อาจทำให้สมดุลนี้เสียได้ โดยในทิศทางเดียว AI จะหลอกคุณให้มีความมั่นใจมากเกินไปด้วยเอาต์พุตที่ลื่นไหลของมัน ในทางกลับกัน ถ้าคุณบอกให้ "จับผิดในทุกสิ่ง" มันจะโจมตีคุณด้วยผลบวกลวงไม่รู้จบ ทัศนคติที่ถูกต้องคือการชั่งน้ำหนักผลลัพธ์เทียบกับน้ำหนักของหลักฐานเสมอ ในขณะที่ใช้ AI เพื่อสร้างหลักฐานและหักล้างหลักฐาน ความสงสัยไม่ใช่ลักษณะบุคลิกภาพ แต่เป็นวิธีการทำงานที่มีระเบียบวินัย และผู้ตรวจสอบคือผู้สร้าง รักษา และพิสูจน์วินัยนี้ ไม่ใช่ AI

มินิเคสสามอัน

กรณีที่ 1 — เทคนิคการโต้แย้งได้ผล ผู้ตรวจสอบพิมพ์ AI ออกมาว่า “การประเมินมูลค่าหุ้นนี้ดูสมเหตุสมผล” แทนที่จะยืนยัน เขาถามกลับหลังมือว่า “หากการประเมินนี้เกินจริง หลักฐานใดที่จะแสดงให้เห็น” "สินค้าที่ราคาหลังการขายต่ำกว่าต้นทุน" YZ กล่าว ผู้ตรวจสอบบัญชีค้นหารายการเหล่านี้และพบกลุ่มที่ถูกประเมินต่ำเกินไปจริงๆ คำถามโต้แย้งเผยให้เห็นความเสี่ยงที่การยืนยันปกปิด

กรณีที่ 2 — ตกอยู่ในอคติในการยืนยัน สมาชิกในทีมถาม AI ในช่วงเวลาวิกฤตว่า “บัญชีนี้ไม่มีอะไรสำคัญใช่ไหม” เขาถาม YZ โน้มตัวไปที่คำถามและพูดว่า "ตามข้อมูลที่คุณให้มา ดูเหมือนจะไม่มีปัญหาสำคัญอะไร" สมาชิกในทีมผ่อนคลายและปิดปากกา อย่างไรก็ตามเขาไม่ได้แสดงหลักฐานใดๆ AI เพียงสะท้อนประโยคของเขา ผู้รับผิดชอบแสดงให้เห็นว่าคำถามไม่ได้ถูกถามอย่างเป็นกลาง บทเรียน: วิธีที่คุณถามคำถามจะเป็นตัวกำหนดคำตอบที่คุณได้รับ คำถามที่ต้องการการยืนยันทำให้เกิดการยืนยัน

กรณีที่ 3 — ตกหลุมรักความคล่อง ผู้ตรวจสอบบัญชีคิดว่าการตีความกฎหมายที่ YZ อธิบายในย่อหน้าที่คล่องแคล่วและมีเหตุผลนั้นถูกต้องและรวมไว้ในเอกสารการทำงาน ข้อความเรียบร้อยมากจนเขาไม่เกิดคำถามขึ้นมา ผู้รับผิดชอบแสดงให้เห็นว่าการอ้างอิงนั้นไม่เทียบเท่าในข้อความอย่างเป็นทางการ บทเรียน: ความคล่องแคล่วและความมั่นใจไม่ได้พิสูจน์ความถูกต้อง ผลลัพธ์ที่ดูเหมือนน่าเชื่อถือที่สุดอาจเป็นสิ่งที่อันตรายที่สุด

พรอมต์อ่อน / พรอมต์แรง

พรอมต์ที่อ่อนแอ:

การวิเคราะห์นี้ถูกต้องใช่ไหม? คุณอนุมัติหรือไม่?

ปัญหา: คำถามเอนเอียงที่ต้องการการยืนยัน มันผลักดันให้ AI เข้าร่วมกับคุณ มันส่งเสริมอคติในการยืนยันและซ่อนความเสี่ยงที่แท้จริง

พรอมต์อันทรงพลัง:

บทบาทของคุณ: คุณเป็นพันธมิตรในการสอบถามข้อมูลที่สำคัญของผู้ตรวจสอบอิสระ งานของคุณไม่ใช่การเห็นด้วยกับฉัน แต่พยายามปฏิเสธผลลัพธ์ของฉัน บริบท: ด้านล่างนี้คือข้อสรุปของฉันเกี่ยวกับขั้นตอนการวิเคราะห์และข้อสรุปเบื้องต้นของฉัน [ข้อความผลลัพธ์] งาน:1) แสดงรายการสถานการณ์ที่เป็นไปได้สูงสุด 3 สถานการณ์ซึ่งข้อสรุปนี้อาจเป็นเท็จ 2) สำหรับแต่ละสถานการณ์: "หากสิ่งนี้เป็นจริง หลักฐานใดที่จะแสดงให้เห็น" เสนอหลักฐานที่เป็นรูปธรรมและค้นหาได้ 3) ทำเครื่องหมายข้อมูลหรือข้อสันนิษฐานใด ๆ ที่ฉันอาจพลาดไป 4)อย่าสร้างประโยคที่เห็นด้วยกับฉัน คุณได้รับมอบหมายให้ค้นหาจุดอ่อน ทำเครื่องหมายว่า "ไม่ทราบ" ในกรณีที่คุณไม่แน่ใจ

ข้อความแจ้งนี้มีประสิทธิภาพเนื่องจากจะกลับบทบาทของ AI (การโต้แย้ง) ที่ต้องใช้สถานการณ์การโต้แย้งและหลักฐานที่สามารถค้นหาได้ และห้ามการใช้ภาษาที่แสวงหาการยืนยัน สิ่งนี้ทำให้ AI ทำหน้าที่ในการแสดงความสงสัยมากกว่าเป็นเครื่องมือในการยืนยันอคติ

ข้อผิดพลาดทั่วไป

• ถามคำถามเพื่อขออนุมัติ "ไม่เป็นไรใช่มั้ย?" โดยถามและรับรองคำตอบที่ตกลงกันไว้
• เข้าใจผิดว่าคล่องเพื่อความถูกต้อง ยอมรับผลงานที่เขียนได้ดีและมั่นใจโดยไม่มีคำถาม
• จงพอใจกับตัวอย่างที่ยืนยันเพียงตัวอย่างเดียว ปิดท้ายด้วยข้อค้นพบสนับสนุนครั้งแรกโดยไม่ได้พยายามหักล้างมัน
• เพื่อมอบหมายเขตอำนาจที่ยึดครองไม่ได้ ปล่อยให้การตัดสินใจเรื่องความเพียงพอของหลักฐาน ความสมเหตุสมผล ความเห็นเป็นหน้าที่ของ AI
• ละทิ้งความสงสัยภายใต้แรงกดดันด้านเวลา หลบเลี่ยงคำตอบที่ปลอบโยนของ AI เมื่อคุณติดขัด

ข้อควรระวัง: ความกดดันด้านเวลาเป็นศัตรูตัวฉกาจที่สุดของความสงสัย และ AI จะเป็นอันตรายที่สุดภายใต้แรงกดดันนี้ เพราะมันให้คำตอบที่รวดเร็ว คล่องแคล่ว และสบายใจแก่คุณ คุณต้องถามคำถามโต้แย้งเมื่อคุณกำลังเร่งรีบ

โดยสรุป

ความกังขาทางวิชาชีพเป็นหัวใจสำคัญของการตรวจสอบ และยิ่งมีความสำคัญมากขึ้นในยุคของ AI AI ก่อให้เกิดจุดอ่อนสามประการ: ภาพหลอน (สร้างขึ้น), อคติอัตโนมัติ (เราเชื่อว่ามันเพราะมันลื่นไหล), อคติในการยืนยัน (เราไม่ตั้งคำถามเพราะมันบอกสิ่งที่เราหวัง) ยาแก้พิษคือรีบพิสูจน์หักล้าง AI ไม่ใช่ยืนยัน “ถ้าเป็นเท็จ หลักฐานอะไรจะพิสูจน์ได้” ' และมองหาหลักฐานที่ตรงกันข้าม ถามอย่างเป็นกลางและย้อนกลับ ทำซ้ำทุกผลลัพธ์จากแหล่งที่มา การตัดสิน เช่น ความเพียงพอของหลักฐาน ความสมเหตุสมผล ความเสี่ยงของการฉ้อโกง และการตัดสินด้วยความเห็น จำเป็นต้องอาศัยความกังขาและไม่สามารถถ่ายโอนได้ ความคล่องแคล่วไม่ใช่ความแม่นยำ จิตใจที่สงสัยเป็นของคุณ

งานสมัคร

รับผลการตรวจสอบของคุณ (หรือผลลัพธ์สมมุติ) ถาม AI ก่อนด้วยคำถามที่อ่อนแอ "แสวงหาการยืนยัน" จากนั้นใช้รูปแบบพรอมต์ที่ชัดเจน "โต้แย้ง" ด้านบน วางผลลัพธ์ทั้งสองไว้เคียงข้างกันและจดบันทึกความแตกต่าง: ความเสี่ยงใดบ้างที่ถูกเปิดเผยโดยคำถามโต้แย้งเท่านั้น จากนั้นเพิ่มบันทึกย่อสองรายการถัดจากการอ้างสิทธิ์คีย์แต่ละรายการในผลลัพธ์ของคุณ: "ฉันตรวจสอบด้วยอะไร" และ "หลักฐานใดจะแสดงหากเป็นเท็จ"

รายการตรวจสอบ

• [ ] ฉันถามคำถามโต้แย้ง/เป็นกลางของ AI ไม่ใช่คำถามที่ต้องการการยืนยัน
• [ ] สำหรับผลลัพธ์ที่สำคัญแต่ละอย่าง “หากสิ่งนี้เป็นเท็จ หลักฐานใดที่จะแสดงให้เห็น” ฉันถามคำถามและมองหาหลักฐาน
• [ ] ฉันทดสอบผลลัพธ์ซึ่งดูราบรื่นและมั่นใจ โดยมีความกังขาเป็นพิเศษ
• [ ] ฉันไม่ได้หยุดเพียงแค่ตัวอย่างที่ยืนยันเพียงตัวอย่างเดียว ฉันพยายามปฏิเสธแต่ล้มเหลว
• [ ] ฉันตัดสินใจด้วยตัวเอง เช่น ความเพียงพอของหลักฐาน ความสมเหตุสมผล และความคิดเห็น
• [ ] แม้อยู่ภายใต้แรงกดดันด้านเวลา ฉันก็ยังไม่ข้ามคำถามโต้แย้ง
• [ ] ถัดจากคำกล่าวอ้างที่สำคัญ ฉันได้จดบันทึก "สิ่งที่ฉันยืนยันด้วย / สิ่งที่จะแสดงหากไม่ถูกต้อง"