กำไร:
- ทำความเข้าใจว่า p-hacking, HARKing, การรายงานแบบเลือกสรร และสวนทางแยกก่อให้เกิดการค้นพบที่ผิดพลาด และดูว่าปัญญาประดิษฐ์สามารถเร่งกับดักเหล่านี้ได้อย่างไร
- ความสามารถในการสร้างการป้องกัน เช่น การลงทะเบียนล่วงหน้า แผนการวิเคราะห์ ระเบียบวินัยในการเปรียบเทียบหลายรายการ และการวิเคราะห์ความไวด้วยการสนับสนุนปัญญาประดิษฐ์
- ความสามารถในการออกแบบคำขอที่ซื่อสัตย์ภายในซึ่งจะช่วยให้ปัญญาประดิษฐ์ปฏิเสธคำขอประเภท 'ค้นหาผลลัพธ์ที่มีความหมาย' และความรับผิดชอบขั้นสุดท้ายอยู่ที่ผู้วิจัย
ในหน่วยที่แล้ว เราเห็นว่าค่า p คืออะไร และไม่ใช่ค่าอะไร ในหน่วยนี้ เราจะดูหัวข้อที่มืดกว่านั้น นั่นคือกับดักที่เป็นระบบซึ่งคุกคามความสมบูรณ์ทางสถิติ สิ่งเหล่านี้ส่วนใหญ่ไม่ใช่การโกงโดยเจตนา สิ่งเหล่านี้เป็นกลไกร้ายกาจที่แม้แต่นักวิจัยที่มีเจตนาดีก็ยังหลงเข้าไปโดยไม่รู้ตัว และปัญญาประดิษฐ์ (AI) จะทำให้ข้อผิดพลาดเหล่านี้ง่ายขึ้นและเร็วขึ้น เนื่องจากทำให้สามารถวิเคราะห์หลายสิบรายการได้ภายในไม่กี่วินาที จุดมุ่งหมายของหน่วยนี้คือการสร้างระเบียบวินัยที่จะเปลี่ยน AI จาก "เครื่องมือค้นหาผลลัพธ์ที่มีความหมาย" ให้กลายเป็นผู้ช่วยที่ซื่อสัตย์
ข้อผิดพลาดพื้นฐาน
p-hacking (การหาค่า p): กำลังพยายามวิเคราะห์อีกครั้งในรูปแบบต่างๆ กันจนกว่าจะได้ผลลัพธ์ที่มีนัยสำคัญ (p<0.05) การเพิ่มและการลบตัวแปร การเลือกตัวอย่างย่อย การเปลี่ยนคำจำกัดความของค่าผิดปกติ การลองใช้การแปลงที่แตกต่างกัน การใช้ตัวแปรผลลัพธ์ที่แตกต่างกัน การหยุดการรวบรวมข้อมูลเมื่อมันมีความหมาย... ความพยายามแต่ละครั้งจะให้ "โอกาส" ใหม่ หากคุณพยายามมากพอ หนึ่งในนั้นจะกลายเป็นสิ่งที่มีความหมาย แม้ว่าจริงๆ แล้วมันไม่มีผลอะไรก็ตาม ผลลัพธ์: การค้นพบปลอมที่ถูกเผยแพร่แต่ไม่สามารถทำซ้ำได้
HARKing (Hypothesizing After the Results is Knowed): ตั้งสมมติฐานหลังจากเห็นผลแล้วเสนอว่า "ผมทำนายไว้แบบนี้ตั้งแต่ต้น" คุณดูข้อมูลและค้นหาความสัมพันธ์ที่โดดเด่นที่สุด จากนั้นจึงเขียนรายงานราวกับว่าได้รับการออกแบบมาเพื่อทดสอบสมมติฐานนั้น สิ่งนี้ทำให้ผู้อ่านเข้าใจผิดโดยทำให้การค้นพบดูเหมือนเป็นการยืนยัน
การรายงานแบบเลือกสรร (การเก็บเชอร์รี่): รายงานเฉพาะสิ่งที่ "ดี" จากการวิเคราะห์หลายสิบรายการ และฝังส่วนที่เหลืออย่างเงียบๆ สิ่งนี้เรียกอีกอย่างว่า "ปัญหาลิ้นชักไฟล์": ผลลัพธ์ที่ไม่มีความหมายยังคงอยู่ในลิ้นชัก ทำให้วรรณกรรมมีอคติอย่างเป็นระบบ
สวนทางแยก: ศัพท์ของแอนดรูว์ เกลแมน แม้จะไม่มีการแฮ็กโดยเจตนาแม้แต่ครั้งเดียว นักวิจัยก็มีตัวเลือกที่สมเหตุสมผลมากมายโดยพิจารณาจากข้อมูล (ตัวแปรใด เกณฑ์ใด กลุ่มย่อยใด และการเปลี่ยนแปลงใด) ระดับความเป็นอิสระในการสืบสวนเหล่านี้มีมากมายจนคุณสามารถเลือกระดับที่มีความหมายจากการวิเคราะห์ต่างๆ มากมายได้อย่างมีประสิทธิภาพ แม้ว่าจะไม่ได้มีเจตนาร้ายก็ตาม ผลลัพธ์ก็คืออัตราผลบวกลวงที่เพิ่มขึ้นอีกครั้ง
ข้อควรระวัง: กับดักเหล่านี้ส่วนใหญ่ไม่ใช่กลอุบายโดยเจตนา ผลรวมของขั้นตอนที่ดูเหมือนไร้เดียงสา เช่น "ฉันเพิ่งลองใช้โมเดลเพิ่มอีกสองสามตัว" "มันสะอาดกว่าเมื่อฉันลบค่าผิดปกติออก" "ผลลัพธ์ชัดเจนกว่าในกลุ่มย่อยนี้" สามารถสร้างการค้นพบปลอมได้ ความซื่อสัตย์เป็นเรื่องของวิธีการ ไม่ใช่ความตั้งใจ
เหตุใด AI จึงขยายกับดักเหล่านี้
การลองใช้โมเดล 3 แบบด้วยมือต้องใช้เวลา YZ ผลิตรุ่นต่างๆ 50 รุ่น, การแปลง 10 แบบ, 8 กลุ่มย่อยในเวลาไม่กี่นาที พลังนี้ถือเป็นหายนะหากไม่มีการวางแผนอย่างซื่อสัตย์ คำขอเช่น "ค้นหาความสัมพันธ์ที่มีความหมายในข้อมูลนี้" หรือ "สร้างแบบจำลองที่สนับสนุนสมมติฐานนี้" จะเปลี่ยน AI ให้กลายเป็นกลไก p-hacking โดยตรง AI ก็ต้องการความช่วยเหลือเช่นกัน มักจะพบผลลัพธ์ที่ "มีความหมาย" ที่จะทำให้คุณพึงพอใจ นั่นเป็นเหตุผลว่าทำไมการออกแบบโดยทันทีของคุณจึงเป็นปราการแรกของความซื่อสัตย์
การป้องกัน: แนวทางการดำเนินธุรกิจที่ยุติธรรม
1. การลงทะเบียนล่วงหน้า: หมายถึงการบันทึกสมมติฐาน ตัวแปร แบบจำลอง และการทดสอบของคุณเป็นลายลักษณ์อักษร (อาจอยู่บนแพลตฟอร์มที่มีการประทับเวลา) ก่อนดำเนินการวิเคราะห์ ดังนั้นการค้นพบจึงแยกออกจากการยืนยัน สิ่งที่คุณเปลี่ยนแปลงหลังจากนั้นจะถูกแท็กว่า "explorer"
2. แผนการวิเคราะห์: แม้ว่าคุณจะไม่สามารถบันทึกล่วงหน้าได้ ให้เขียนแผนการวิเคราะห์ก่อนที่จะเจาะลึกข้อมูล: สมมติฐานหลัก ตัวแปรผลลัพธ์หลัก แบบจำลองหลัก สร้างความแตกต่างระหว่าง "การวิเคราะห์หลัก" และ "การวิเคราะห์เพิ่มเติม/เชิงสำรวจ" ตั้งแต่ต้นและคงไว้ในรายงาน
3. รายงานทุกอย่าง: อย่าซ่อนโมเดลที่คุณได้ลอง ในส่วน "การวิเคราะห์ความไว" (การตรวจสอบความทนทาน) แสดงให้เห็นว่าข้อกำหนดเฉพาะที่แตกต่างกันเปลี่ยนแปลงผลลัพธ์อย่างไร การค้นพบนี้จะแข็งแกร่งก็ต่อเมื่อมันอยู่ภายใต้ตัวเลือกที่เป็นไปได้มากมาย
4. มีระเบียบวินัยในการเปรียบเทียบหลายรายการ: หากคุณทำแบบทดสอบมากเกินไป ให้แก้ไขให้ถูกต้อง (หน่วยที่ 6) ตอบคำถาม "ฉันทำการทดสอบไปกี่ครั้งแล้ว?" สุจริต.
5. การวิเคราะห์ความไว: ทำซ้ำการค้นพบหลักของคุณด้วยตัวอย่างที่แตกต่างกัน ชุดควบคุมที่แตกต่างกัน และการแปลงที่แตกต่างกัน หากผลเปลี่ยนแปลงอย่าปิดบังแจ้งความ
แผนภูมิเปรียบเทียบ: ความซื่อสัตย์กับกับดัก
ใบสมัคร
รูปร่างกับดัก
ซื่อสัตย์เทียบเท่า
การเลือกรุ่น
พยายามจนสมเหตุสมผล (p-hacking)
โมเดลหลักที่วางแผนไว้ล่วงหน้า
สมมติฐาน
เหมาะสมตามความเป็นจริง (HARKing)
บันทึกไว้ล่วงหน้าก่อนข้อมูล
การรายงาน
อย่าโชว์แต่คนสวย.
ข้อมูลจำเพาะทั้งหมด + ความไว
กลุ่มย่อย
การเลือกที่โดดเด่นที่สุด
กำหนดไว้ล่วงหน้าแก้ไขได้
การรวบรวมข้อมูล
หยุดเมื่อมันสมเหตุสมผล
ตัวอย่างที่กำหนดไว้ล่วงหน้า
ข้อความแจ้งที่สามารถคัดลอกได้สี่รายการ
1. กรอบการเรียกร้องที่ซื่อสัตย์:
บทบาทของคุณ: ผู้ช่วยสถิติที่ซื่อสัตย์ เป้าหมายของฉันไม่ใช่การค้นหาผลลัพธ์ที่มีความหมาย แต่เพื่อค้นหาผลลัพธ์ที่ถูกต้อง กฎ:- อย่าให้คำแนะนำประเภท "ลองใช้แบบจำลองจนกว่าจะสมเหตุสมผล" แก่ฉัน- บอกฉันว่าคุณแนะนำข้อกำหนดหลายประการที่ต้องรายงานทั้งหมดหรือไม่- เตือนฉันถึงขั้นตอนใด ๆ ที่อาจนำไปสู่การแฮ็ก p ช่วยฉันชี้แจงโมเดลหลักของฉันก่อน โดยแยกการค้นพบออกจากการยืนยัน
2. ร่างแผนการวิเคราะห์:
ช่วยฉันร่างแผนการวิเคราะห์เบื้องต้นสำหรับการศึกษา: สมมติฐานหลัก ตัวแปรผลลัพธ์หลัก ข้อมูลจำเพาะของโมเดลหลัก กลุ่มย่อยที่กำหนดไว้ล่วงหน้า กลยุทธ์การเปรียบเทียบหลายรายการ ใส่การวิเคราะห์ "เชิงสำรวจ" และ "เชิงยืนยัน" ไว้ในหัวข้อแยกกัน เตือนให้ฉันกรอกข้อมูลนี้โดยไม่ต้องดูข้อมูล
3. การวิเคราะห์ความไว:
การค้นพบหลักของฉันคือการเขียนโค้ดวิเคราะห์ความไว (R) สำหรับเป้าหมายของฉันคือการดูว่าผลลัพธ์นั้นแข็งแกร่งเพียงใด ไม่ใช่เลือกอันที่ดีที่สุด แสดงผลลัพธ์ทั้งหมด
4. การตรวจสอบตนเอง:
ฉันจะอธิบายกระบวนการวิเคราะห์ของฉัน ให้รายการตรวจสอบสำหรับการแฮ็กข้อมูล / HARKing / การรายงานแบบคัดเลือก และทำเครื่องหมายว่าขั้นตอนใดของฉันมีความเสี่ยง ถามฉันกลับว่าฉันได้ลองใช้รุ่น/การทดสอบไปกี่รุ่นแล้ว และรุ่นใดที่ฉันวางแผนจะรายงาน
พรอมต์อ่อน / พรอมต์แรง
พรอมต์ที่อ่อนแอ:
ตัวแปรใดแสดงความสัมพันธ์ที่สำคัญในข้อมูลนี้ จงหาโมเดลที่ดีที่สุด
พรอมต์นี้เป็นคำสั่ง p-hacking โดยตรง: AI พยายามผสมหลายสิบชุดและนำเสนอชุดที่ "เหมาะสมที่สุด" ผลลัพธ์ที่ได้แทบจะเป็นการค้นพบปลอมๆ ที่ไม่สามารถทำซ้ำได้
พรอมต์อันทรงพลัง:
บทบาทของคุณ: ผู้ช่วยที่ซื่อสัตย์ โมเดลหลักที่ฉันกำหนดไว้ล่วงหน้าคือ: Y ~ X + ตัวควบคุม เขียนโค้ดที่ทำนายโมเดลนี้ อย่ามองหาโมเดลอื่นที่ "มีความหมายมากกว่า" แนะนำการวิเคราะห์ความไวด้วยเพื่อให้ฉันเห็นความสมบูรณ์ของผลลัพธ์ แต่รู้ว่าฉันจะรายงานผลลัพธ์ทั้งหมด ไม่ใช่เลือกผลลัพธ์ที่ดีที่สุด อย่าให้ฉันเขียนผลการสำรวจใด ๆ ว่าเป็น 'ยืนยันแล้ว'
ความแตกต่าง: strong จะแก้ไขโมเดลหลัก ห้ามค้นหา และกำหนดให้ต้องรายงานผลลัพธ์ทั้งหมด
มินิเคสสามอัน
กรณีที่ 1 — การล่าสัตว์แบบกลุ่มย่อย นักวิจัยรายหนึ่งไม่พบผลกระทบในกลุ่มตัวอย่างโดยรวม เขาถาม AI ว่า “สำคัญในกลุ่มไหน” YZ สแกนการรวมอายุ เพศ และภูมิภาค และพบว่า "p = 0.03 ในผู้หญิงในเมืองอายุ 35-44 ปี" บทความนี้มีพื้นฐานมาจากกลุ่มย่อยนี้ การจำลองแบบของเขาไม่พบผลใด ๆ นี่เป็นผลมาจากโอกาสจากกลุ่มย่อยหลายสิบกลุ่ม บทเรียน: กลุ่มย่อยที่เลือกหลังจากข้อมูลกำลัง HARKing ไม่ใช่การยืนยัน
กรณีที่ 2 — การตามล่าหาการเปลี่ยนแปลง ความสัมพันธ์ที่กลายมาเป็นความสัมพันธ์ที่ไร้ความหมายในระดับนักเรียน ลองในรูปแบบบันทึก, สแควร์รูท, สแควร์และความล่าช้า; เขาพบ p=0.048 ในรูปแบบ log-log และรายงานเพียงเท่านั้น โชคดีที่หนึ่งใน 5 รูปแบบที่พยายามข้ามเกณฑ์ วิธีที่ถูกต้องคือเลือกแบบฟอร์มพร้อมทฤษฎีล่วงหน้าและแสดงผลของทุกรูปแบบในตารางความไว บทเรียน: การรายงานแบบเลือกสรรสร้างนัยสำคัญที่ผิด
กรณีที่ 3 — การจัดเฟรมที่เที่ยงตรงทำงานอย่างไร ทีมหนึ่งมีการลงทะเบียนล่วงหน้าก่อนการวิเคราะห์: สมมติฐานหลักเดียว โมเดลหลักเดียว กลุ่มย่อยที่กำหนดไว้ล่วงหน้าสองกลุ่ม การแก้ไข Bonferroni ผลกระทบหลักไม่มีนัยสำคัญ แต่ทีมงานรายงานอย่างตรงไปตรงมา บุคคลที่ทำการสำรวจระบุว่าการค้นพบหนึ่งรายการว่า "จำเป็นต้องได้รับการทดสอบในอนาคต" การศึกษานี้สามารถทำซ้ำได้และเชื่อถือได้ บทเรียน: การวางแผนอย่างซื่อสัตย์ทำให้ผลลัพธ์ที่ "ล้มเหลว" คุ้มค่า
ข้อผิดพลาดทั่วไป
- บอกให้ AI “ค้นหาผลลัพธ์ที่มีความหมาย” นี่เป็นการแฮ็กโดยตรง วาง AI ไว้ในกรอบที่ตรงไปตรงมา โดยขอความถูกต้อง ไม่ใช่ผลลัพธ์
- นำเสนอการค้นพบเพื่อเป็นการยืนยัน (HARKing) การเขียนสมมติฐานที่สร้างขึ้นหลังจากข้อมูลนั้นทำให้เข้าใจผิดว่า "ฉันคาดการณ์ไว้ตั้งแต่ต้น"; ติดป้ายกำกับการค้นพบเชิงสำรวจ
- แค่รายงานผลดี.. แสดงข้อกำหนดทั้งหมดที่ทดสอบแล้ว การซ่อนการวิเคราะห์ความรู้สึกจะกระทบต่อความสมบูรณ์
- การคัดกรองกลุ่มย่อย/คอนเวอร์ชัน การเลือกกลุ่มย่อยหรือการเปลี่ยนแปลงที่สำคัญที่สุดจากหลายสิบกลุ่มจะก่อให้เกิดการค้นพบปลอม ระบุและแก้ไขล่วงหน้า
- ลืมไปว่าคุณทำการทดสอบไปกี่ครั้งแล้ว ติดตามจำนวนความพยายามทั้งหมด ไม่มีค่า p ที่สามารถตีความได้อย่างตรงไปตรงมาโดยไม่ต้องรู้ตัวเลขนี้
เคล็ดลับ: ก่อนที่จะเขียนสิ่งที่ค้นพบ ให้ถามตัวเองว่า: "ฉันได้ลองเงียบๆ ไปแล้วกี่วิธีจนกระทั่งพบผลลัพธ์นี้ และฉันกำลังรายงานทั้งหมดหรือไม่" หากเรียงความบางส่วนยังอยู่ในลิ้นชัก รายงานของคุณก็จะดูแข็งแกร่งยิ่งกว่าที่เป็นอยู่
โดยสรุป
p-hacking, HARKing, การรายงานแบบเลือกสรร และสวนทางแยก; กับดักหลายชนิดเป็นกับดักที่ทำงานโดยไม่ได้ตั้งใจ แต่ก่อให้เกิดการค้นพบปลอมและไม่สามารถทำซ้ำได้ AI เร่งข้อผิดพลาดเหล่านี้เนื่องจากสามารถลองวิเคราะห์ได้หลายสิบรายการในทันที คำขอประเภท “ค้นหาผลลัพธ์ที่มีความหมาย” เปลี่ยน AI ให้เป็นกลไก p-hacking กลาโหม; แยกการค้นพบออกจากการยืนยันด้วยการลงทะเบียนล่วงหน้าและแผนการวิเคราะห์ รายงานข้อกำหนดและการวิเคราะห์ความไวทั้งหมด แก้ไขการเปรียบเทียบหลายรายการ และวาง AI ไว้ในกรอบการทำงานที่ซื่อสัตย์ซึ่งต้องการ "ผลลัพธ์ที่ถูกต้อง" ความรับผิดชอบขั้นสุดท้ายอยู่ที่ผู้วิจัยเสมอ
งานสมัคร
เลือกคำถามการวิจัยและเขียนแผนการวิเคราะห์โดยย่อก่อนดูข้อมูล: สมมติฐานหลัก โมเดลหลัก ตัวแปรผลลัพธ์หลัก กลุ่มย่อยที่กำหนดไว้ล่วงหน้า กลยุทธ์การเปรียบเทียบหลายรายการ จากนั้นประมาณโมเดลหลัก จากนั้นทำการวิเคราะห์ความไว (การควบคุมที่แตกต่างกัน รวม/ไม่รวมค่าผิดปกติ รูปแบบฟังก์ชันที่แตกต่างกัน) และแสดงผลลัพธ์ทั้งหมดในตารางเดียว ในหนึ่งย่อหน้า ให้ประเมินว่าขั้นตอนใดที่อาจเสี่ยงต่อการถูกแฮ็ก และกรอบการทำงานที่ซื่อสัตย์ของคุณจำกัดขั้นตอนเหล่านั้นอย่างไร
รายการตรวจสอบ
- [ ] ฉันเขียนแผนการวิเคราะห์/แบบจำลองหลักก่อนที่จะเจาะลึกข้อมูล
- [ ] ฉันแยกการวิเคราะห์เชิงสำรวจและเชิงยืนยันแยกกัน ฉันไม่ได้กำลังฮาร์คิง
- [ ] ฉันได้รายงานข้อกำหนดทั้งหมดที่ฉันได้ลองใช้แล้ว ฉันไม่ได้เลือกแค่ตัวที่สวย
- [ ] ฉันกำหนดกลุ่มย่อยและการแปลงไว้ล่วงหน้า ฉันไม่ได้สแกนพวกมันหลังจากข้อมูล
- [ ] ฉันติดตามจำนวนการทดสอบที่ฉันทำและใช้การแก้ไขที่จำเป็น
- [ ] ฉันใช้ AI ในบริบทของ "ค้นหาความจริง" มากกว่า "ค้นหาว่ามันมีความหมาย"; ฉันรับผิดชอบ