ความสามารถในการทำซ้ำและการวิจัยที่โปร่งใส

กำไร:

• ความสามารถในการทำให้การวิจัยย้อนกลับได้โดยการบันทึกการตัดสินใจด้านระเบียบวิธี คำแนะนำ และข้อมูลแบบจำลอง
• ความสามารถในการแยกข้อมูลดิบออกจากข้อมูลที่ประมวลผลและบันทึกขั้นตอนการแปลงทั้งหมด
• ความสามารถในการประกาศบทบาทของปัญญาประดิษฐ์อย่างโปร่งใสในส่วนวิธีการ และใช้การทดสอบ 'สามารถทำซ้ำได้หรือไม่'

ลักษณะพื้นฐานที่สุดของวิทยาศาสตร์ก็คือการค้นพบไม่ได้ขึ้นอยู่กับคำพูดของคนๆ เดียว แต่อยู่บนกระบวนการที่ผู้อื่นสามารถตรวจสอบได้ ความสามารถในการทำซ้ำคือความสามารถของนักวิจัยคนอื่นโดยใช้ข้อมูลและวิธีการศึกษาเพื่อให้ได้ผลลัพธ์เดียวกันโดยทำตามขั้นตอนเดียวกัน แนวคิดที่คล้ายกันคือความโปร่งใส ผู้วิจัยบันทึกอย่างชัดเจนถึงสิ่งที่เขาทำและเหตุผลที่เขาตัดสินใจ ในยุคของ AI แนวคิดทั้งสองนี้กลายเป็นเรื่องง่ายและมีความสำคัญมากขึ้น ง่าย เพราะ AI ช่วยประมวลผลเอกสาร สำคัญมาก เพราะถ้าคุณไม่ทิ้งร่องรอยการตัดสินใจของ AI จะไม่มีใครแม้แต่คุณก็สามารถทำซ้ำงานของคุณได้ ในหน่วยนี้คุณจะได้เรียนรู้วิธีทำให้งานวิจัยของคุณทำซ้ำได้และโปร่งใส

หัวใจของปัญหาคือ: เมื่อคุณทำงานกับ AI คุณจะทำการตัดสินใจเล็กๆ น้อยๆ มากมาย ซึ่งแจ้งให้คุณใช้ รุ่นใด การตั้งค่าใด ผลลัพธ์ใดที่คุณยอมรับ และสิ่งที่คุณปฏิเสธ หากการตัดสินใจเหล่านี้ไม่ได้รับการบันทึกไว้ คุณอาจได้รับผลลัพธ์ที่แตกต่างกันเมื่อคุณเรียกใช้พร้อมท์เดียวกันในวันอื่น (โมเดลภาษาไม่ได้ให้การตอบสนองที่เหมือนกันทุกครั้ง) เมื่อผู้วิจารณ์หรือเพื่อนร่วมงานถามว่า "คุณมาถึงการวิเคราะห์ประเด็นนี้ได้อย่างไร" "AI พูดอย่างนั้น" ไม่ใช่คำตอบทางวิทยาศาสตร์ ความโปร่งใสคือการเปิด “กล่องดำ” นี้และทำให้สามารถตรวจสอบย้อนกลับได้

ทีละขั้นตอน: สร้างการวิจัยที่ตรวจสอบย้อนกลับได้

1. เก็บบันทึกการตัดสินใจ เขียนการตัดสินใจด้านระเบียบวิธีที่สำคัญทั้งหมด—ทำไมจึงต้องเป็นตัวอย่าง, ทำไมต้องใช้รหัสนี้, เหตุใดคุณจึงยอมรับข้อเสนอ AI นี้—ในวารสารลงวันที่ AI ช่วยจัดระเบียบบันทึกนี้

2. บันทึกคำแนะนำและข้อมูลโมเดล เก็บบันทึกทุกการแจ้งเตือนที่คุณใช้ โมเดล AI ที่คุณใช้ และวันที่ใด นี่คือ "รายการวัสดุ" สำหรับงานของคุณ

3. แยกข้อมูลดิบออกจากข้อมูลที่ประมวลผล เก็บข้อมูลต้นฉบับไว้ไม่เปลี่ยนแปลง ทำการแปลงทั้งหมด (ล้างข้อมูล เข้ารหัส) แยกกันตามขั้นตอนที่บันทึกไว้ เพื่อให้ทุกคนรับชมได้ตั้งแต่ต้น

4. เขียนบทบาทของ AI ให้ชัดเจน ในส่วนวิธีการ ให้ระบุอย่างตรงไปตรงมาว่างานใดและคุณใช้ AI อย่างไร วารสารและสถาบันส่วนใหญ่ต้องการสิ่งนี้

5. แบ่งปันข้อมูลและรหัสหากเป็นไปได้ เมื่อหลักจริยธรรมและความเป็นส่วนตัวเอื้ออำนวย การแบ่งปันข้อมูลที่ไม่เปิดเผยตัวตนและโค้ดการวิเคราะห์ในพื้นที่เก็บข้อมูลแบบเปิดคือจุดสุดยอดของความโปร่งใส

เคล็ดลับ: การทดสอบง่ายๆ: "ฉันสามารถค้นคว้าด้วยตนเองอีกครั้งใน 6 เดือนได้หรือไม่" หากคุณไม่ได้บันทึกคำแนะนำ การตัดสินใจ และขั้นตอนต่างๆ ไว้ คำตอบก็น่าจะ "ไม่" สร้างมันขึ้นมาเพื่อตัวคุณเอง แล้วมันก็เกิดขึ้นกับคนอื่นด้วย

มินิเคสสามอัน

กรณีที่ 1 — การวิเคราะห์แบบ Traceless ล่มสลาย นักวิจัยคนหนึ่งทำการวิเคราะห์ธีมด้วย AI แต่ไม่ได้บันทึกว่าเขาใช้การแจ้งเตือนใด เมื่อกรรมการถามว่า "คุณมาถึงหัวข้อเหล่านี้ได้อย่างไร" เขาไม่สามารถแสดงกระบวนการได้ เขาต้องวิเคราะห์ซ้ำอีกครั้ง คราวนี้จดบันทึกประจำวัน เขาหายไปสองสัปดาห์

กรณีที่ 2 — บันทึกการตัดสินใจสิ้นสุดการสนทนา ความขัดแย้งเกิดขึ้นในทีมโดยถามว่า "ทำไมเราถึงรวมรหัสเหล่านี้เข้าด้วยกัน" แต่บันทึกการตัดสินใจประกอบด้วยวันที่และเหตุผลสำหรับการตัดสินใจควบรวมกิจการแต่ละครั้ง ข้อโต้แย้งได้รับการแก้ไขภายในไม่กี่นาทีเมื่อ AI สรุปบันทึกและแสดงตามลำดับเวลา

กรณีที่ 3 — การเปิดเผยข้อมูลอย่างโปร่งใสสร้างความไว้วางใจ ในบทความหนึ่ง ผู้เขียนเขียนอย่างชัดเจนว่าเราใช้ AI “สำหรับการแก้ไขการถอดเสียงและการแนะนำโค้ดเริ่มต้น โดยนักวิจัยสองคนจะตรวจสอบโค้ดทั้งหมดด้วยตนเอง” ผู้ตรวจสอบพบว่าความโปร่งใสนี้เป็นบวก พบว่ามีความน่าเชื่อถือมากกว่าการใช้ AI ที่ปิดบังอยู่มาก

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) เทมเพลตบันทึกการตัดสินใจ:

สร้างตารางบันทึกการตัดสินใจด้านระเบียบวิธี คอลัมน์: วันที่ การตัดสินใจ เหตุผล ทางเลือก บทบาทของ AI (ถ้ามี) ใครเป็นผู้อนุมัติ ใส่บันทึกการตัดสินใจของฉันด้านล่างลงในตารางนี้ และทำเครื่องหมายเหตุผลที่ขาดหายไปว่า "ต้องทำให้เสร็จ" หมายเหตุ: [ที่นี่]

2) ร่างคำสั่งการใช้งาน AI:

ร่างย่อหน้าที่อธิบายการใช้ AI ของฉันอย่างโปร่งใสเพื่อใส่ไว้ในส่วนวิธีการ ฉันใช้มันในงานเหล่านี้: [รายการ] ฉันไม่ได้ใช้มันในงานต่อไปนี้: [รายการ] ฉันตรวจสอบผลลัพธ์ทั้งหมดด้วยตนเอง รุ่นและวันที่: [x] ใช้ภาษาวิชาการที่ตรงไปตรงมา ไม่ซับซ้อน

3) การตรวจสอบความสามารถในการทำซ้ำ:

ฉันอธิบายกระบวนการวิจัยของฉัน: [สรุป] นักวิจัยคนอื่นสามารถทำซ้ำสิ่งนี้ได้หรือไม่? แสดงรายการขั้นตอนที่ไม่มีเอกสาร ไม่ชัดเจน หรือติดตามไม่ได้: ข้อมูลใด การเปลี่ยนแปลงใด ข้อความแจ้งใด การตัดสินใจใดหายไป บอกฉันว่าต้องบันทึกอะไรในแต่ละช่องว่าง

4) แผนที่แหล่งที่มาของข้อมูล:

แสดงรายการขั้นตอนการเปลี่ยนแปลงทั้งหมดตั้งแต่ข้อมูลดิบไปจนถึงการค้นหาขั้นสุดท้ายของฉันเป็นโฟลว์: ข้อมูลดิบ → การทำความสะอาด → การเข้ารหัส → การวิเคราะห์ → การค้นหา แสดงสิ่งที่ทำไปในแต่ละขั้นตอน เครื่องมืออะไร และการตัดสินใจอะไร ทำเครื่องหมายขั้นตอนที่ไม่สามารถติดตามได้ กระบวนการ: [ที่นี่]

พรอมต์อ่อน / พรอมต์แรง

พรอมต์ที่อ่อนแอ:

เขียนวิธีการวิเคราะห์นี้ในหนึ่งย่อหน้า

AI สร้างย่อหน้าวิธีการทั่วไปโดยไม่ต้องบันทึกกระบวนการ การตัดสินใจเกิดขึ้นอย่างไรและมีการใช้ AI ที่ไหนยังไม่ชัดเจน สิ่งนี้ไม่สามารถผลิตได้

พรอมต์อันทรงพลัง:

เขียนคำอธิบายที่เป็นประโยชน์สำหรับส่วนวิธีการ ใช้ข้อมูลต่อไปนี้: แหล่งข้อมูล [x] ตัวอย่าง [y] ขั้นตอนการวิเคราะห์ [z] โมเดล AI ที่ฉันใช้และวันที่ [t] บทบาทที่แน่นอนของ AI [r] กระบวนการตรวจสอบโดยมนุษย์ [d] เขียนอย่างเป็นรูปธรรมเพียงพอที่คนอื่นสามารถทำตามขั้นตอนเหล่านี้และทำซ้ำได้ ถามฉันสำหรับข้อมูลใด ๆ ที่ฉันทิ้งไว้

ความแตกต่าง: แนวทางที่สองทำให้กระบวนการเป็นรูปธรรม ตรวจสอบย้อนกลับได้ และทำซ้ำได้อย่างแท้จริง

ชั้นความโปร่งใส

ชั้น

สิ่งที่เป็นเอกสาร

เหตุใดจึงสำคัญ?

ไดอารี่การตัดสินใจ

การตัดสินใจเชิงระเบียบวิธี + เหตุผล

ปกป้องตุลาการ

ลงทะเบียนด่วน

แจ้งที่ใช้ รุ่น วันที่

ทำให้ AI ใช้งานง่าย

ที่มาของข้อมูล

ดิบ → การแปลงที่ประมวลผลแล้ว

เปิดขั้นตอน

แถลงการณ์เอไอ

บทบาทและขีดจำกัดของ AI

ความซื่อสัตย์

การแบ่งปัน

Anonymous data + code

สุดยอดความโปร่งใส

ข้อผิดพลาดทั่วไป

• ไม่บันทึกข้อความแจ้ง หากคุณไม่รักษาคำสั่งที่คุณใช้ คุณจะไม่สามารถสาธิตกระบวนการได้
• แปลว่า “เอไอบอกอย่างนั้น” การให้เหตุผลทางวิทยาศาสตร์เป็นกระบวนการและการตัดสิน ไม่ใช่คำพูดของแบบจำลอง
• การเขียนทับข้อมูลดิบ เก็บต้นฉบับไว้ แยกการแปลงและจัดทำเป็นเอกสาร
• การซ่อนการใช้ AI ข้อความที่โปร่งใสสร้างความไว้วางใจ การปกปิดทำให้สูญเสียชื่อเสียง
• ปล่อยให้มันสร้างไม่ได้แม้แต่เพื่อตัวคุณเอง งานที่คุณไม่สามารถทำได้อีกหลังจากผ่านไป 6 เดือนนั้นไม่ใช่วิทยาศาสตร์

โดยสรุป

ความสามารถในการทำซ้ำและความโปร่งใสเปลี่ยนการศึกษาจากคำพูดของบุคคลหนึ่งให้เป็นวิทยาศาสตร์ที่ใครๆ ก็สามารถทดสอบได้ สิ่งนี้ยิ่งสำคัญยิ่งขึ้นเมื่อทำงานกับ AI เพราะหากไม่ปฏิบัติตามการตัดสินใจของโมเดล กระบวนการจะกลายเป็นกล่องดำ เก็บบันทึกการตัดสินใจ บันทึกพร้อมท์และสร้างโมเดลข้อมูล แยกข้อมูลดิบออกจากการประมวลผล ประกาศบทบาทของ AI อย่างตรงไปตรงมา และแบ่งปันข้อมูลและรหัสเมื่อมีหลักจริยธรรมอนุญาต การศึกษาที่ผ่านการทดสอบ "ฉันสามารถสืบพันธุ์ตัวเองหลังจาก 6 เดือน" ก็น่าเชื่อถือสำหรับคนอื่นๆ เช่นกัน

งานสมัคร

สำหรับการวิเคราะห์เล็กๆ น้อยๆ ที่คุณกำลังทำหรือวางแผน ให้บันทึกการตัดสินใจด้านระเบียบวิธีอย่างน้อย 5 รายการพร้อมเหตุผลลงใน "เทมเพลตบันทึกการตัดสินใจ" เก็บข้อความแจ้งที่คุณใช้ สร้างโมเดล และวันที่ไว้ในไฟล์แยกต่างหาก จากนั้นใช้เทมเพลต “การตรวจสอบความสามารถในการทำซ้ำ” เพื่อให้ AI ค้นหาช่องว่างที่ไม่มีเอกสารในกระบวนการของคุณและปิดแต่ละช่องว่าง สุดท้าย ให้เขียนโครงร่างของ "คำชี้แจงการใช้ AI" และย่อหน้าโปร่งใสเพื่อวางไว้ในส่วนวิธีการ

รายการตรวจสอบ

• [ ] ฉันเขียนเหตุผลสำหรับการตัดสินใจด้านระเบียบวิธีที่สำคัญแต่ละรายการลงในวารสาร
• [ ] ฉันบันทึกข้อความแจ้งที่ฉันใช้ รุ่นและวันที่
• [ ] ฉันเก็บข้อมูลดิบไว้ไม่เปลี่ยนแปลงและบันทึกการเปลี่ยนแปลง
• [ ] ฉันประกาศบทบาทของ AI อย่างตรงไปตรงมาในส่วนวิธีการ
• [ ] ฉันใช้แบบทดสอบ "ฉันสามารถสืบพันธุ์หลังจาก 6 เดือน"