ความไม่แน่นอนของแบบจำลอง การตรวจสอบความถูกต้อง และการสอบเทียบ

กำไร:

• ความสามารถในการวัดและรายงานความไม่แน่นอนด้วยชุดการวิเคราะห์ความไว การตรวจสอบความถูกต้องข้าม และการทดสอบแบบปกปิด
• ความสามารถในการป้องกันการรั่วไหลของข้อมูลโดยการแยกข้อมูลตามหลุม/พื้นที่ และรับประกันว่าความถูกต้องที่รายงานสะท้อนถึงลักษณะทั่วไปที่แท้จริง
• ความสามารถในการสอบเทียบคะแนนความน่าเชื่อถือของปัญญาประดิษฐ์ด้วยแผนภาพความน่าเชื่อถือ และใช้ระเบียบวินัยในการไม่ใช้คะแนนที่ไม่ได้สอบเทียบเป็นความน่าจะเป็น

แต่ละหน่วยของโมดูลนี้มีหัวข้อที่เกิดซ้ำ: ไม่มี "คำตอบที่แน่นอน" ในธรณีฟิสิกส์ มีเพียงแบบจำลองเท่านั้นที่ถูกจำกัดด้วยความไม่แน่นอน หน่วยนี้เปลี่ยนหัวข้อนั้นให้เป็นวินัย ความไม่แน่นอนของแบบจำลองคือการมีอยู่ของแบบจำลองใต้พื้นผิวที่แตกต่างกันซึ่งสามารถอธิบายข้อมูลเดียวกันได้ และแต่ละแบบจำลองก็มีช่วงความเชื่อมั่น การตรวจสอบความถูกต้องคือการทดสอบด้วยหลักฐานอิสระว่าแบบจำลองหรือเอาท์พุต AI นั้นใช้งานได้จริงหรือไม่ การสอบเทียบคือเพื่อให้แน่ใจว่าค่าความเชื่อมั่น/ความน่าจะเป็นที่กำหนดโดยแบบจำลองนั้นตรงกับผลลัพธ์จริง ในหน่วยนี้ เราจะตรวจสอบว่าปัญญาประดิษฐ์ (AI) สามารถวัดและซ่อนความไม่แน่นอนได้อย่างไร และเราจะดูว่าเหตุใดกรอบงานการสอบเทียบการยืนยันที่แข็งแกร่งจึงทำให้ AI เชื่อถือได้

แหล่งที่มาของความไม่แน่นอน

ความไม่แน่นอนทางธรณีฟิสิกส์มาจากหลายชั้น:

• ความไม่แน่นอนของข้อมูล: สัญญาณรบกวนในการวัด ความครอบคลุมที่จำกัด ข้อผิดพลาดในการสอบเทียบ
• ความไม่แน่นอนของแบบจำลอง (โพลิซีมี): การปรับโครงสร้างใต้ผิวดินมากกว่าหนึ่งโครงสร้างให้เป็นข้อมูลเดียวกัน
• ความไม่แน่นอนของวิธีการ/พารามิเตอร์: ตัวเลือกการประมวลผล การผกผัน และการทำให้เป็นมาตรฐานจะเปลี่ยนผลลัพธ์
• ความไม่แน่นอนเฉพาะสำหรับ AI: ความสามารถของแบบจำลองในการคงความมั่นใจแต่ล้มเหลวเมื่อเคลื่อนออกนอกการกระจายการฝึก (กะการกระจาย)

งานของนักธรณีฟิสิกส์ที่ดีไม่ใช่การกำจัดความไม่แน่นอนนี้ แต่เพื่อวัด สื่อสาร และจำกัดขอบเขตให้แคบลง AI สามารถทำให้สิ่งนี้ง่ายขึ้น (สร้างหลายสถานการณ์) แต่ยังสามารถซ่อนมันได้อย่างง่ายดายโดยการสร้างคำตอบที่มั่นใจเพียงคำตอบเดียว

วิธีวัดความไม่แน่นอน

เครื่องมือที่ใช้งานได้จริงบางประการ:

1. Ensemble: การวิ่งหลายครั้งโดยมีการเริ่มต้น พารามิเตอร์ หรือโมเดลที่แตกต่างกัน การแพร่กระจายของผลลัพธ์ทำให้เกิดความไม่แน่นอน
2. การวิเคราะห์ความไว: การเปลี่ยนแปลงอินพุต (พารามิเตอร์ ชุดย่อยของข้อมูล) และการดูว่าผลลัพธ์เปลี่ยนแปลงไปมากน้อยเพียงใด
3. การตรวจสอบความถูกต้องข้าม: การแบ่งข้อมูลออกเป็นส่วนๆ การฝึกอบรมกับส่วนหนึ่ง และการทดสอบกับอีกส่วนหนึ่ง วัดพลังการวางนัยทั่วไป
4. การทดสอบแบบปกปิด: การทดสอบแบบจำลองด้วยบ่อ/สนามอิสระที่ไม่เคยเห็นมาก่อนในการฝึก
5. ผลลัพธ์ความน่าจะเป็น: ให้ผลลัพธ์เป็นช่วงการแจกแจง/ช่วงความเชื่อมั่น ไม่ใช่ค่าเดียว

เคล็ดลับ: เมื่อ AI ให้ผลลัพธ์ ให้ถามเสมอว่า: "ฉันต้องย้ายอินพุตไปเท่าใดจึงจะเปลี่ยนแปลงผลลัพธ์นี้ได้" หากผลลัพธ์กลับกันโดยมีการเปลี่ยนแปลงพารามิเตอร์เล็กน้อย ผลลัพธ์นั้นจะเปราะบางและมีความไม่แน่นอนสูง

การสอบเทียบ: คะแนนความเชื่อมั่นถือเป็นจริงหรือไม่

โมเดล AI มักจะให้ความเชื่อมั่น/ความน่าจะเป็น (“ข้อผิดพลาด 90%”) แต่ตัวเลขนี้อาจทำให้เข้าใจผิดหากไม่ได้ปรับเทียบ: โมเดลนี้ถูกต้องจริง ๆ ในบางที 60% ของกรณีที่ระบุว่าเป็น "90%" การสอบเทียบคือการจัดตำแหน่งตัวเลขนี้ให้ตรงกับอัตราผลลัพธ์จริง ในทางปฏิบัติ จะมีการวาดแผนภาพความน่าเชื่อถือขึ้นมา: โมเดลที่ได้รับการสอบเทียบอย่างดีนั้นถูกต้อง 90% เมื่อมันระบุว่า "90%" ในธรณีฟิสิกส์ จำเป็นต้องปรับคะแนนความเชื่อมั่นของ AI ด้วยข้อมูลที่เป็นอิสระก่อนที่จะใช้เป็นพื้นฐานในการตัดสินใจ

ข้อควรระวัง: ความแม่นยำสูงไม่เหมือนกับการสอบเทียบที่ดี โดยทั่วไปแล้วแบบจำลองอาจมีความแม่นยำแต่มีความมั่นใจมากเกินไป สิ่งสำคัญในการตัดสินใจที่สำคัญคือเชื่อถือได้อย่างแท้จริงเมื่อมีข้อความว่า "95%" อย่าถือว่าคะแนนความเชื่อมั่นที่ไม่ได้สอบเทียบถือเป็นความน่าจะเป็น

กฎทองของการตรวจสอบ

สำหรับการตรวจสอบที่มีประสิทธิภาพ: (1) ความเป็นอิสระ — ข้อมูลการทดสอบไม่ควรรบกวนกระบวนการฝึกอบรม/ปรับแต่งเลย (ข้อมูลรั่วไหล — ทำให้ผลลัพธ์เพิ่มขึ้น) (2) การทดสอบแบบ Blind Test — สนาม/หลุมที่แบบจำลองมองไม่เห็น (3) ความสม่ำเสมอทางกายภาพ ผลลัพธ์ไม่ควรขัดแย้งกับฟิสิกส์และธรณีวิทยา (4) ความสามารถในการทำซ้ำ — ผลลัพธ์เดียวกันกับอินพุตเดียวกัน และบุคคลอื่นสามารถสร้างขึ้นได้ (5) เอกสารประกอบ — บันทึกว่าข้อมูลใด พารามิเตอร์ใด เวอร์ชันของโมเดลใดที่ใช้

มินิเคสสามอัน

กรณีที่ 1 — ข้อมูลรั่วไหลผิดพลาด ทีมหนึ่งรายงานว่าตัวแยกประเภทใบหน้าให้ความแม่นยำ 94% การสืบสวนพบว่าตัวอย่างที่อยู่ใกล้เคียงจากหลุมเดียวกันมีส่วนร่วมในการฝึกอบรมและการทดสอบ (การรั่วไหลของข้อมูล) เมื่อแยกย่อยตามหลุม ความแม่นยำลดลงเหลือ 71% นั่นคือลักษณะทั่วไปที่แท้จริง การรั่วไหลทำให้โมเดลดูดีขึ้นกว่าเดิม

กรณีที่ 2 — โมเดลที่มีความมั่นใจมากเกินไป เครื่องตรวจจับข้อบกพร่องหนึ่งเครื่องให้ "ความมั่นใจ 95%" ในสัญญาณต่างๆ แผนภาพความน่าเชื่อถือแสดงให้เห็นว่าเครื่องหมาย "95%" มีความแม่นยำ 70% จริงๆ เมื่อแบบจำลองได้รับการปรับเทียบแล้ว คะแนนความเชื่อมั่นก็เป็นจริง และผู้แสดงความเห็นได้ปรับอย่างถูกต้องว่าพวกเขาจะเชื่อถือป้ายแต่ละป้ายมากเพียงใด

กรณีที่ 3 — การผกผันที่เปราะบาง แบบจำลองแรงโน้มถ่วงดูน่าเชื่อถือมาก การวิเคราะห์ความไวแสดงให้เห็นว่าโครงสร้างหลักหายไปเมื่อน้ำหนักการทำให้เป็นมาตรฐานเปลี่ยนไป 20% โครงสร้างไม่ได้มาจากข้อมูล แต่มาจากการเลือกพารามิเตอร์ ทีมงานระบุว่าโครงสร้างดังกล่าวมี “ความเชื่อมั่นต่ำ” และขอข้อมูลเพิ่มเติม

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) แผนการวัดความไม่แน่นอน:

บทบาทของคุณ: ที่ปรึกษาความไม่แน่นอนทางธรณีฟิสิกส์ ฉันมีผลลัพธ์ [การผกผัน / การจำแนก / การทำนาย] ฉันใช้วิธีการใด (วงดนตรี, ความไว, การตรวจสอบข้าม, การทดสอบแบบบอด) เพื่อวัดความไม่แน่นอนและในลำดับใด อธิบายว่าแต่ละคนบอกอะไรบ้าง และจะรายงานผลอย่างไร

2) การตรวจสอบการสอบเทียบ:

แบบจำลอง AI ของฉันให้คะแนนความเชื่อมั่น/ความน่าจะเป็น ฉันจะทดสอบได้อย่างไรว่าคะแนนนี้ได้รับการสอบเทียบแล้ว? ฉันจะสร้างแผนภาพความน่าเชื่อถือ รับรู้ถึง "ความมั่นใจมากเกินไป" หรือ "การระมัดระวังมากเกินไป" และจัดคะแนนให้สอดคล้องกับอัตราผลลัพธ์ที่แท้จริงได้อย่างไร

3) การตรวจสอบการรั่วไหลของข้อมูล:

ฉันฝึกเครื่องจำแนกประเภทธรณีฟิสิกส์ ฉันจะค้นหาและป้องกันความเสี่ยงของการรั่วไหลของข้อมูล (หลุมเดียวกัน/ตัวอย่างภาคสนามที่เข้าร่วมทั้งการฝึกอบรมและการทดสอบ) ได้อย่างไร ฉันจะตั้งค่าการแยกตามหลุม/สนามได้อย่างไร ฉันจะทราบได้อย่างไรว่าความถูกต้องที่รายงานสะท้อนถึงลักษณะทั่วไปที่แท้จริงหรือไม่

4) การทดสอบความเปราะบางของผลลัพธ์:

ฉันมีผลลัพธ์การผกผัน/โมเดล ฉันต้องการที่จะเข้าใจว่าผลลัพธ์นี้เปราะบางเพียงใด โดยการเปลี่ยนพารามิเตอร์ตัวไหนและโครงสร้างหลักเปลี่ยนแปลงไปขนาดไหน? ฉันจะแยกแยะได้อย่างไรว่าโครงสร้างมาจากข้อมูลหรือพารามิเตอร์/สถานที่ตั้ง ให้โปรโตคอลความไว

พรอมต์อ่อน / พรอมต์แรง

พรอมต์ที่อ่อนแอ:

ดูว่าแบบจำลองของฉันมีความแม่นยำสูงหรือไม่

จำนวนความจริงเพียงตัวเดียว การรั่วไหลจะซ่อนการสอบเทียบและลักษณะทั่วไป ทำให้เกิดความมั่นใจที่ผิดพลาด

พรอมต์อันทรงพลัง:

บทบาทของคุณ: ผู้เชี่ยวชาญด้านการตรวจสอบโมเดล ข้อมูลนำเข้า: [ตัวแยกประเภทสร้างหลุม N,คะแนนความเชื่อมั่น] ภารกิจ: (1) เสนอการจัดสรรอย่างดีเพื่อป้องกันการรั่วไหลของข้อมูล (2) ติดตั้งการทดสอบบ่อน้ำตาบอด (3) ปรับเทียบคะแนนความเชื่อมั่นด้วยแผนภาพความน่าเชื่อถือ (4) ทดสอบว่าผลลัพธ์มีความอ่อนไหวต่อพารามิเตอร์เพียงใด ลดเหลือจำนวนความจริงเพียงตัวเดียว รายงานลักษณะทั่วไป การสอบเทียบ และความเปราะบางแยกกัน

คำขอการรั่วไหล การทดสอบแบบปกปิด การสอบเทียบ และความไวทำให้การตรวจสอบความถูกต้องเป็นจริง

เครื่องมือความไม่แน่นอน

ยานพาหนะ

มันวัดอะไร?

ความเสี่ยงหลัก

เอาท์พุท

ทั้งมวล

การขยายพันธุ์แบบจำลอง

ต้นทุนบัญชี

ช่วง/การกระจาย

ความไว

ผลกระทบของพารามิเตอร์

พลาดการป้อนข้อมูล

ความเปราะบาง

การตรวจสอบข้าม

ลักษณะทั่วไป

ข้อมูลรั่วไหล

ความแม่นยำสมจริง

การทดสอบคนตาบอด

ความสำเร็จที่เป็นอิสระ

ชุดทดสอบไม่เพียงพอ

ไว้วางใจ

การสอบเทียบ

เชื่อถือความเป็นจริง

ความมั่นใจมากเกินไป

ความน่าจะเป็นที่สอดคล้องกัน

ข้อผิดพลาดทั่วไป

• ไม่สังเกตเห็นข้อมูลรั่วไหล มันขยายความชอบธรรม; แยกตามบ่อ/ทุ่ง
• การใช้คะแนนความเชื่อมั่นโดยไม่ต้องสอบเทียบ “90%” อาจไม่ใช่ 90% จริงๆ
• อาศัยเลขความจริงอันเดียว ลักษณะทั่วไปและการสอบเทียบเป็นสองสิ่งที่แตกต่างกัน
• ไม่ทดสอบช่องโหว่ โครงสร้างที่สูญเสียไปจากพารามิเตอร์ไม่ใช่ข้อมูลจริง
• ไม่รายงานความไม่แน่นอน การนำเสนอผลลัพธ์โดยไม่มีช่วงความมั่นใจถือเป็นการเข้าใจผิด

โดยสรุป

ความไม่แน่นอนเป็นข้อเท็จจริงที่ไม่อาจหลีกเลี่ยงได้ของธรณีฟิสิกส์ งานคือการวัดผล สื่อสาร และจำกัดขอบเขตให้แคบลง AI อำนวยความสะดวกในเรื่องนี้ด้วยทั้งมวล ความละเอียดอ่อน และเอาท์พุตความน่าจะเป็น แต่ยังสามารถปิดบังมันด้วยคำตอบเดียวที่มั่นใจได้ กรอบแข็ง ป้องกันข้อมูลรั่วไหล การวัดผลทั่วไปด้วยการทดสอบแบบ blind การสอบเทียบคะแนนความเชื่อมั่น และการทดสอบความเปราะบางของผลลัพธ์ ความไว้วางใจที่ไม่ได้เทียบเคียง ความจริงที่ไม่ได้รับการยืนยัน และความไม่แน่นอนที่ปกปิดไว้ ล้วนเป็นภาพลวงตาที่อันตรายที่สุดสามประการ ธรณีฟิสิกส์ที่เชื่อถือได้คือธรณีฟิสิกส์ที่แสดงให้เห็นความไม่แน่นอนของมันอย่างตรงไปตรงมา

งานสมัคร

เลือกผลลัพธ์ทางธรณีฟิสิกส์ของ AI (การจำแนกประเภท การผกผัน หรือการทำนาย) วางแผนขั้นตอนการทดสอบทั้งชุด/ความไว/blind ด้วยเทมเพลต "แผนการวัดความไม่แน่นอน" จากนั้นทดสอบความแตกต่างในการทดสอบรถไฟของคุณด้วยเทมเพลต “การตรวจสอบข้อมูลรั่วไหล” หากแบบจำลองให้คะแนนความเชื่อมั่น ให้ประเมินว่าคะแนนนั้นเป็นจริงหรือไม่ด้วยเทมเพลต "การตรวจสอบการสอบเทียบ" และเขียนผลลัพธ์ของคุณด้วยช่วงความเชื่อมั่น

รายการตรวจสอบ

• [ ] ฉันวัดความไม่แน่นอนด้วยชุดวงดนตรี/ความไว
• [ ] ฉันป้องกันข้อมูลรั่วไหลโดยการแยกข้อมูลออกเป็นบ่อ/สนาม
• [ ] ฉันทดสอบลักษณะทั่วไปด้วยการทดสอบแบบตาบอด
• [ ] ฉันปรับเทียบคะแนนความเชื่อมั่นและตรวจสอบความสมจริงของคะแนน
• [ ] ฉันรายงานผลลัพธ์ด้วยช่วงความเชื่อมั่น ไม่ใช่ค่าเดียว