กำไร:
- ความสามารถในการทำความเข้าใจขั้นตอน MLOps (การเผยแพร่ การใช้งาน การตรวจสอบ การฝึกอบรมใหม่ การย้อนกลับ) และการดริฟท์แบบจำลอง และการวางแผนการปรับใช้ที่ได้รับการตรวจสอบ
- ความสามารถในการใช้หลักการของความเป็นธรรมของแบบจำลอง ความโปร่งใส และความรับผิดชอบ และแยกแยะความถูกต้องทางสถิติจากการยอมรับทางจริยธรรม
- ความสามารถในการปกป้องข้อมูลส่วนบุคคลด้วยหลักการ KVKK/GDPR และมอบหมายความรับผิดชอบขั้นสุดท้ายให้กับมนุษย์ในการตัดสินใจที่มีผลกระทบสูง
การฝึกฝนโมเดลแล้วได้คะแนนสูงไม่ใช่จุดสิ้นสุด แต่เป็นจุดศูนย์กลาง คุณค่าที่แท้จริงเกิดขึ้นเมื่อนำแบบจำลองไปใช้งานจริงและทำงานได้อย่างน่าเชื่อถือ ได้รับการตรวจสอบเมื่อเวลาผ่านไปโดยไม่มีการเสื่อมสภาพ และกระบวนการทั้งหมดดำเนินการภายในขอบเขตทางจริยธรรมและกฎหมาย หน่วยปิดนี้ประกอบด้วยสามหัวข้อ: MLOps (วินัยในการถ่ายทอดสด การตรวจสอบและบำรุงรักษาโมเดล) จริยธรรม (ความเป็นธรรม ความโปร่งใส การไม่กระทำความผิด) และความเป็นส่วนตัว (การปกป้องข้อมูลส่วนบุคคล) AI สร้างโค้ด รายการตรวจสอบ และพิมพ์เขียวในพื้นที่เหล่านี้ แต่มนุษย์เป็นผู้ตัดสินใจว่าโมเดลจะใช้งานจริงหรือไม่ ใครจะได้รับผลกระทบ และสามารถใช้ข้อมูลใดได้บ้าง การตัดสินใจเหล่านี้ไม่ใช่การตัดสินใจทางเทคนิค แต่เป็นการตัดสินใจด้วยความรับผิดชอบ
MLOps: โมเดลมีชีวิตเหมือนผลิตภัณฑ์
MLOps (การดำเนินการการเรียนรู้ของเครื่อง - การฝึกปฏิบัติในการรัน ตรวจสอบ และอัปเดตโมเดลการเรียนรู้ของเครื่องในการผลิต) คือการปรับ DevOps ในการพัฒนาซอฟต์แวร์ให้เข้ากับวิทยาการข้อมูล แนวคิดพื้นฐาน: โมเดลไม่ใช่ไฟล์ที่ถูกฝึกฝนเพียงครั้งเดียวและถูกลืมไป แต่เป็นผลิตภัณฑ์ที่มีชีวิตซึ่งต้องมีการบำรุงรักษาอย่างต่อเนื่อง ขั้นตอนสำคัญ:
1. การกำหนดเวอร์ชัน: โค้ด (Git) ข้อมูลและโมเดลได้รับการกำหนดเวอร์ชันพร้อมกัน มีการบันทึกว่ารุ่นใดผลิตขึ้นด้วยข้อมูลและรหัสใด
2. การปรับใช้: โมเดลถูกใช้งานจริงเป็น API หรืองานแบทช์ โดยปกติจะมอบให้กับผู้ชมกลุ่มเล็กๆ ก่อน (การกระจายร่มเงา/นกขมิ้น)
3. การตรวจสอบ: ประสิทธิภาพของโมเดลและข้อมูลอินพุตได้รับการตรวจสอบอย่างต่อเนื่อง
4. การฝึกอบรมใหม่: เมื่อประสิทธิภาพลดลง โมเดลจะได้รับการฝึกใหม่ด้วยข้อมูลที่อัปเดต
การเปลี่ยนรูปแบบ: การบิดเบือนแบบเงียบ
อันตรายที่ใหญ่ที่สุดในการผลิตคือการดริฟท์โมเดล (การดริฟท์แบบจำลอง / การดริฟท์ข้อมูล) โลกเปลี่ยนแปลง เงื่อนไขที่คุณฝึกแบบจำลองของคุณ (พฤติกรรมของลูกค้า ราคา ฤดูกาล กฎหมาย) เปลี่ยนแปลงไปตามกาลเวลา และแบบจำลองเริ่มล้าสมัย ตัวอย่างเช่น โมเดลอุปสงค์ที่ได้รับการฝึกก่อนเกิดโรคระบาดนั้นผิดอย่างสิ้นเชิงในระหว่างเกิดโรคระบาด การดริฟท์เกิดขึ้นในสองรูปแบบ: การดริฟท์ข้อมูล (การกระจายการเปลี่ยนแปลงข้อมูลอินพุต) และการดริฟท์แนวคิด (ความสัมพันธ์ระหว่างการเปลี่ยนแปลงอินพุตและเป้าหมาย) วิธีการจับภาพสิ่งเหล่านี้คือการตรวจสอบ: ติดตามการกระจายอินพุต การกระจายการคาดการณ์ และ (ถ้าเป็นไปได้) ประสิทธิภาพโดยเปรียบเทียบกับผลลัพธ์จริงอย่างต่อเนื่อง
ข้อควรระวัง: โมเดลที่นำไปผลิตจะเสื่อมสภาพไปเอง ไม่ใช่เรื่องของ "ถ้า" แต่เป็น "เมื่อไหร่" การใช้โมเดลโดยไม่ต้องตั้งค่าการตรวจสอบก็เหมือนกับการขับรถโดยไม่เคยควบคุมเครื่องยนต์เลย วันหนึ่งมันก็นั่งอยู่ที่นั่นอย่างเงียบ ๆ และคุณไม่สังเกตเห็น
องค์ประกอบ MLOps
วัตถุประสงค์
หากละเลย
การกำหนดเวอร์ชัน
รู้ว่าสิ่งที่ผลิต
ไม่สามารถทำซ้ำและไม่สามารถติดตามได้
การตรวจสอบ
เห็นสลิปแต่เนิ่นๆ
โมเดลก็พังทลายลงอย่างเงียบๆ
การฝึกอบรมขึ้นใหม่
ติดตามข่าวสารอยู่เสมอ
การคาดการณ์เริ่มเก่า
ย้อนกลับ
กลับไปสู่รูปแบบที่ไม่ดี
โมเดลที่ผิดพลาดยังคงใช้งานได้อยู่
เอกสารประกอบ
ความโปร่งใส การหมุนเวียน
ข้อมูลติดอยู่ในคนคนหนึ่ง
จริยธรรม: การตัดสินใจแบบอย่างส่งผลกระทบต่อผู้คน
โมเดลข้อมูลถูกนำมาใช้มากขึ้นในการตัดสินใจที่ส่งผลกระทบต่อชีวิตของผู้คน เช่น สินเชื่อ การจ้างงาน การประกันภัย ความยุติธรรม ด้วยพลังนี้มาพร้อมกับความรับผิดชอบ ความเสี่ยงด้านจริยธรรมที่สำคัญ:
อคติและการเลือกปฏิบัติ: โมเดลนี้สามารถเรียนรู้และขยายเวลาความอยุติธรรมในข้อมูลทางประวัติศาสตร์ได้ หากกลุ่มใดกลุ่มหนึ่งได้รับเครดิตน้อยลงในอดีต แบบจำลองจะถือว่านี่คือ "กฎ" และทำให้การเลือกปฏิบัติเป็นแบบอัตโนมัติ นั่นเป็นเหตุผลว่าทำไมการวิเคราะห์ความเป็นธรรม — การตรวจสอบว่าแบบจำลองมีประสิทธิภาพเหมือนกันสำหรับกลุ่มต่างๆ (เพศ อายุ ภูมิภาค) หรือไม่ — จึงเป็นสิ่งสำคัญ
ความโปร่งใสและอธิบายได้: คุณควรจะสามารถอธิบายได้ว่าทำไมแบบจำลองจึงปฏิเสธบุคคล “กล่องดำพูดอย่างนั้น” เป็นสิ่งที่ยอมรับไม่ได้ตามหลักจริยธรรมและทางกฎหมาย นั่นเป็นสาเหตุที่เครื่องมืออธิบายได้ (ความสำคัญของคุณลักษณะ, ค่า SHAP) จึงมีคุณค่า
ความรับผิดชอบ: ใครเป็นผู้รับผิดชอบหากแบบจำลองตัดสินใจผิด คำตอบมักเป็นบุคคล/สถาบัน ไม่ใช่แบบอย่าง การกำกับดูแลของมนุษย์ (มนุษย์ในวง - มนุษย์ที่อนุมัติการตัดสินใจขั้นสุดท้าย) ควรได้รับการเก็บรักษาไว้ในการตัดสินใจที่มีผลกระทบสูง
ข้อควรระวัง: แบบจำลองอาจมี "ความถูกต้อง" ทางสถิติ แต่ไม่เป็นที่ยอมรับตามหลักจริยธรรม แบบจำลองที่มีความแม่นยำสูงซึ่งทำให้กลุ่มหนึ่งเสียเปรียบอย่างเป็นระบบไม่ใช่แบบจำลองที่ดี ความซื่อสัตย์ไม่สามารถทดแทนความยุติธรรมได้
ความเป็นส่วนตัว: ข้อมูลส่วนบุคคลได้รับการคุ้มครองอย่างระมัดระวัง
วัตถุดิบของวิทยาศาสตร์ข้อมูลมักเป็นข้อมูลส่วนบุคคล และข้อมูลนี้ได้รับการคุ้มครองตามกฎหมาย: KVKK ในตุรกี, GDPR ในยุโรป หลักการพื้นฐานได้แก่: การจำกัดวัตถุประสงค์ (ข้อมูลจะไม่ถูกใช้เพื่อวัตถุประสงค์อื่นนอกเหนือจากวัตถุประสงค์ที่เก็บรวบรวม), การลดขนาดข้อมูล (ไม่มีการรวบรวม/เก็บรักษาข้อมูลมากเกินความจำเป็น), การลบข้อมูลระบุตัวตน (ข้อมูลระบุตัวตนจะถูกลบออก) และความปลอดภัย (ข้อมูลจะถูกเข้ารหัสและจำกัดการเข้าถึง) กฎสำคัญเมื่อทำงานกับเครื่องมือ AI: อย่าวางข้อมูลส่วนบุคคลจริงลงในเครื่องมือ AI สาธารณะ โดยส่วนใหญ่แล้ว แผนภาพและตัวอย่างที่ไม่ระบุชื่อ/ตัวอย่างสังเคราะห์ก็เพียงพอสำหรับการวิเคราะห์
การเน้นเพิ่มเติมในบริบทของความปลอดภัยของข้อมูล: ใช้เครื่องมือและเทคนิคด้านวิทยาศาสตร์ข้อมูลเฉพาะกับข้อมูลและระบบที่คุณมีอำนาจเท่านั้น เพื่อวัตถุประสงค์ในการวิเคราะห์เชิงป้องกันและถูกต้องตามกฎหมาย การเข้าถึงข้อมูลของบุคคลอื่นโดยไม่ได้รับอนุญาต การระบุตัวตนซ้ำของบุคคล (การแยกข้อมูลประจำตัวออกจากข้อมูลที่ไม่ระบุตัวตน) หรือการจัดทำโปรไฟล์โดยไม่ได้รับอนุญาต ถือเป็นทั้งสิ่งผิดกฎหมายและผิดจริยธรรม
มินิเคสสามอัน
กรณีที่ 1 — การล่มสลายแบบไม่มีการติดตาม บริษัทอีคอมเมิร์ซแห่งหนึ่งเริ่มใช้งานโมเดลคำแนะนำและไม่ได้ตั้งค่าการติดตาม หลังจากผ่านไป 4 เดือน แค็ตตาล็อกผลิตภัณฑ์มีการเปลี่ยนแปลงอย่างมาก โมเดลยังคงแนะนำผลิตภัณฑ์ที่ล้าสมัยอย่างต่อเนื่อง และอัตรา Conversion ลดลงอย่างเงียบๆ 30% ไม่มีใครสังเกตเห็นเป็นเวลาหลายเดือน บทเรียน: การปรับใช้โดยไม่มีการตรวจสอบจะทำให้คนตาบอด
กรณีที่ 2 — การเลือกปฏิบัติที่ซ่อนอยู่ โมเดลการคัดกรองการจ้างงานได้เรียนรู้เกี่ยวกับความไม่สมดุลทางเพศในข้อมูลในอดีตและการประเมินผู้สมัครหญิงที่ประเมินต่ำอย่างเป็นระบบ ไม่เห็นเพราะไม่มีการวิเคราะห์ความเป็นธรรม มีการเปิดเผยในการตรวจสอบ และสถาบันต้องเผชิญกับความเสี่ยงด้านชื่อเสียง/ทางกฎหมายอย่างร้ายแรง บทเรียน: การควบคุมความเป็นธรรมแบบกลุ่มถือเป็นสิ่งสำคัญในแบบจำลองที่มีผลกระทบสูง
กรณีที่ 3 — การละเมิดการรักษาความลับ นักวิเคราะห์รายหนึ่งโหลดไฟล์ที่มีอีเมลลูกค้าจริงและประวัติการซื้อลงในเครื่องมือ AI สาธารณะและกล่าวว่า "สรุปส่วนต่างๆ" ข้อมูลส่วนบุคคลออกจากสถาบันแล้ว กระบวนการ KVKK ได้เริ่มต้นขึ้นแล้ว วิธีที่ถูกต้องคือการลบฟิลด์ข้อมูลประจำตัวและแชร์เฉพาะคุณสมบัติที่ไม่ระบุชื่อเท่านั้น บทเรียน: ข้อมูลส่วนบุคคลที่แท้จริงไม่ได้เข้าสู่เครื่องมือแบบเปิด
เทมเพลตที่สามารถคัดลอกได้สี่แบบ
1) รายการตรวจสอบก่อนการปรับใช้งาน:
บทบาทของคุณ: ที่ปรึกษา MLOps ระบุสิ่งที่ฉันต้องตรวจสอบก่อนนำโมเดลไปใช้จริง: การกำหนดเวอร์ชัน ตัวชี้วัดการตรวจสอบ แผนการย้อนกลับ เกณฑ์ประสิทธิภาพ การแจ้งเตือนการเบี่ยงเบนของข้อมูล ผู้รับผิดชอบ เพิ่มคำอธิบาย "เหตุใดจึงสำคัญ" หนึ่งประโยคสำหรับแต่ละรายการ ฉันจะตัดสินใจ
2) การออกแบบการติดตามกะโมเดล:
แนะนำแผนการตรวจสอบดริฟท์สำหรับแบบจำลองการจำแนกประเภทในการผลิต: (1) ฉันควรตรวจสอบการกระจายอินพุตใด (2) สัญญาณเตือนใดสำหรับการกระจายการทำนาย (3) วิธีเปรียบเทียบประสิทธิภาพเมื่อผลลัพธ์ที่แท้จริงมาถึง (4) การฝึกอบรมใหม่ตามเกณฑ์ใดที่ควรถูกกระตุ้น ระบุโครงกระดูกรหัสด้วย
3) การควบคุมความเป็นธรรม:
เขียนโค้ดที่เปรียบเทียบประสิทธิภาพของแบบจำลองของฉันในกลุ่มต่างๆ (เช่น ช่วงอายุ ภูมิภาค): การจดจำ/ความแม่นยำ และอัตราการตัดสินใจเชิงบวกสำหรับแต่ละกลุ่ม เตือนหากมีความแตกต่างอย่างมีนัยสำคัญระหว่างกลุ่ม การตีความเชิงสาเหตุ/ทางการเมือง เพียงแสดงความแตกต่างให้ฉันเห็นแล้วฉันจะพิจารณาการตัดสินใจ
4) การตรวจสอบความเป็นส่วนตัวล่วงหน้า:
ก่อนที่จะให้ข้อมูลแก่เครื่องมือ AI ให้ตรวจสอบว่ามีข้อมูลส่วนบุคคล/ข้อมูลระบุตัวตน (ชื่อ อีเมล ID โทรศัพท์ ที่อยู่ IP) ในรายการคอลัมน์ด้านล่างหรือไม่ หากเป็นเช่นนั้น ให้ระบุรายการที่ควรลบออกหรือทำให้ไม่ระบุชื่อ คอลัมน์: [รายการ] วัตถุประสงค์: เพื่อแบ่งปันสคีมาที่ไม่ระบุตัวตนเท่านั้น
พรอมต์อ่อน / พรอมต์แข็งแกร่ง
พรอมต์ที่อ่อนแอ:
โมเดลของฉันพร้อมแล้ว ถ่ายทอดสด
การปรับใช้ไม่ใช่ขั้นตอนเดียว การถ่ายทอดสดโดยปราศจากการตรวจสอบ การย้อนกลับ ความเป็นธรรม และการควบคุมความเป็นส่วนตัว ถือเป็นการเชิญชวนอย่างเงียบๆ สำหรับภัยพิบัติ
พรอมต์อันทรงพลัง:
บทบาทของคุณ: ที่ปรึกษา MLOps ที่รับผิดชอบ โมเดลของฉันได้รับการฝึกอบรมแล้ว ฉันต้องการเตรียมตัวให้พร้อมก่อนเผยแพร่ สร้าง: (1) รายการตรวจสอบก่อนการใช้งาน (2) แผนการตรวจสอบดริฟท์ (3) รหัสตรวจสอบความเป็นธรรมตามกลุ่ม (4) การตรวจสอบความเป็นส่วนตัว (มีข้อมูลส่วนบุคคลหรือไม่) นอกจากนี้ ยังแนะนำวิธีปกป้องความยินยอมของมนุษย์ในการตัดสินใจที่มีผลกระทบสูง การตัดสินใจขั้นสุดท้ายเป็นของฉัน
ที่นี่การเผยแพร่ การตรวจสอบ ความเป็นธรรม และความเป็นส่วนตัวถือเป็นกระบวนการเดียวที่รับผิดชอบ
ข้อผิดพลาดทั่วไป
- การปรับใช้โมเดลโดยไม่ต้องตั้งค่าการตรวจสอบ แบบจำลองลื่นไถลและบิดเบี้ยวอย่างเงียบ ๆ อาจต้องใช้เวลาหลายเดือนจึงจะสังเกตเห็น
- ข้ามการตรวจสอบความยุติธรรม โมเดลที่มีความเที่ยงตรงสูงอาจทำให้กลุ่มเสียเปรียบอย่างเป็นระบบ
- ตัดสินใจเรื่องกล่องดำโดยอธิบายไม่ได้ การตัดสินใจที่มีผลกระทบสูงจะต้องอธิบายได้ “นางแบบบอกแบบนั้น” เท่านั้นยังไม่พอ
- ให้ข้อมูลส่วนบุคคลที่แท้จริงเพื่อเปิดเครื่องมือ AI การละเมิด KVKK/GDPR; แผนภาพและตัวอย่างที่ไม่ระบุชื่อก็เพียงพอแล้ว
- การมอบหมายการตัดสินใจให้กับโมเดล ความรับผิดชอบอยู่กับบุคคลเสมอ มีการเฝ้าระวังการเฝ้าระวังของมนุษย์ที่มีผลกระทบสูง
เคล็ดลับ: ก่อนที่คุณจะใช้งานโมเดลแต่ละแบบ ให้ถามคำถามดังๆ หนึ่งคำถาม: “ถ้าโมเดลนี้แตกสลายอย่างเงียบๆ ในวันพรุ่งนี้หรือลงโทษกลุ่มอย่างไม่ยุติธรรม ฉันจะสังเกตและย้อนกลับได้อย่างไร” หากคุณไม่มีคำตอบที่ชัดเจนสำหรับคำถามนี้ แสดงว่าโมเดลยังไม่พร้อมสำหรับการผลิต
โดยสรุป
งานของโมเดลไม่ได้จบลงด้วยคะแนนสูง แต่ด้วยการทำงานที่เชื่อถือได้และมีความรับผิดชอบในการผลิต MLOps คือวินัยในการถ่ายทอดสด การตรวจสอบการดริฟท์ การฝึกใหม่ และการย้อนกลับโมเดล การปรับใช้โดยไม่มีการติดตามถือเป็นการล่มสลายแบบเงียบๆ จริยธรรมต้องการความเป็นธรรม ความโปร่งใส และความรับผิดชอบของแบบจำลอง ความแม่นยำทางสถิติไม่สามารถทดแทนการยอมรับทางจริยธรรมได้ ความเป็นส่วนตัวหมายถึงการปกป้องข้อมูลส่วนบุคคลด้วยหลักการ KVKK/GDPR และเก็บข้อมูลจริงให้ห่างจากเครื่องมือแบบเปิด การตัดสินใจทั้งหมดเหล่านี้ไม่ใช่การตัดสินใจทางเทคนิค แต่เป็นการตัดสินใจด้วยความรับผิดชอบและเป็นการตัดสินใจของมนุษย์เสมอ
งานสมัคร
ลองคิดดูว่าคุณกำลังจะนำแบบจำลองที่คุณสร้างขึ้น (หรือสมมุติฐาน) มาใช้จริงและกรอกรายการสี่รายการ: (1) รายการตรวจสอบก่อนการปรับใช้งาน (2) ตัวชี้วัดแบบลอยตัวที่คุณจะติดตาม (3) แผนการควบคุมความเป็นธรรมตามกลุ่ม (4) การควบคุมความเป็นส่วนตัว จากนั้นเขียนคำตอบที่เป็นรูปธรรมสำหรับคำถาม "ฉันจะสังเกตได้อย่างไรว่าพรุ่งนี้มันจะพังอย่างเงียบๆ แล้วเอากลับมาคืน"
รายการตรวจสอบ
- [ ] ฉันกำลังปรับใช้โมเดลด้วยการตรวจสอบ (การแจ้งเตือนสลิป) และแผนการย้อนกลับหรือไม่
- [ ] ฉันได้ตรวจสอบช่องว่างระหว่างความเป็นธรรม/ประสิทธิภาพสำหรับกลุ่มต่างๆ หรือไม่
- [ ] ฉันได้ดูแลการตัดสินใจที่มีผลกระทบสูงโดยคำนึงถึงมนุษย์ในการตัดสินใจหรือไม่?
- [ ] ฉันได้ปกป้องข้อมูลส่วนบุคคลด้วยหลักการ KVKK/GDPR และเก็บไว้ให้ห่างจากเครื่องมือแบบเปิดหรือไม่
- [ ] ฉันเคยมอบความรับผิดชอบสูงสุดให้กับมนุษย์ ไม่ใช่ตัวแบบหรือไม่?
การสอบโมดูล
1. นักวิทยาศาสตร์ด้านข้อมูลถามปัญญาประดิษฐ์ว่า "ข้อมูลนี้มีฟอเรสต์แบบสุ่มที่มีความแม่นยำเพียงใด" โดยไม่ได้ฝึกโมเดลเลย และใส่คำตอบ "89%" โดยตรงลงในการนำเสนอ อะไรคือข้อผิดพลาดพื้นฐานในแนวทางนี้?
- ก) การรอหน่วยวัดโดยไม่ต้องให้ข้อมูลและแบบจำลองแก่ปัญญาประดิษฐ์ โดยไม่สนใจว่าตัวเลขที่ผลิตนั้นเป็นของปลอม และตัวชี้วัดที่แท้จริงสามารถพบได้ผ่านการฝึกอบรมและการทดสอบเท่านั้น ✔
- B) ต้องใช้การถดถอยโลจิสติกแทนฟอเรสต์สุ่ม
- C) อัตราความแม่นยำต้องสูงกว่า 90% เสมอ
- D) ห้ามมิให้รวมตัวชี้วัดในการนำเสนอโดยเด็ดขาด
คำอธิบาย: ปัญญาประดิษฐ์ไม่สามารถสร้างหน่วยเมตริกได้หากไม่เข้าถึงแบบจำลองและข้อมูล ตัวเลขที่เขาให้คือภาพหลอน(ปลอม) หน่วยเมตริกจะได้มาจากการคำนวณของนักวิทยาศาสตร์ข้อมูลเองหลังจากแบบจำลองได้รับการฝึกอบรมและทดสอบจริงแล้วเท่านั้น ผลลัพธ์ที่ไม่ได้รับการยืนยันก็เหมือนกับรายงานที่ไม่ได้ลงนาม
2. คอลัมน์ 'เหตุผลในการปิดบัญชี' จะรวมอยู่เมื่อรวบรวมข้อมูลสำหรับการคาดการณ์การปั่นป่วน คอลัมน์นี้จะถูกกรอกหลังจากที่ลูกค้าออกไปแล้วเท่านั้น แบบจำลองให้ 97% ในชุดทดสอบ แต่ใช้งานจริงไม่ได้ ชื่อและสาเหตุของอาการนี้คืออะไร?
- ก) การเรียนรู้มากเกินไป; โมเดลมีความซับซ้อนเกินไป
- B) ข้อมูลรั่ว; ✔การใช้ข้อมูลที่จะไม่สามารถใช้ได้ในขณะที่คาดการณ์ แต่เป็นผลจากเป้าหมายเป็นคุณลักษณะ
- C) การเรียนรู้ไม่เพียงพอ โมเดลนี้เรียบง่ายเกินไป
- D) อคติในการคัดเลือก ขนาดตัวอย่างขนาดเล็ก
คำอธิบาย: นี่คือการรั่วไหลของข้อมูลแบบคลาสสิก: 'เหตุผลในการปิดบัญชี' เป็นผลมาจากเป้าหมายและยังคงว่างเปล่าในขณะที่คาดการณ์ แบบจำลองใช้กลอุบายด้วยความรู้ในอนาคตนี้ มันดูดีในชุดทดสอบ แต่เกิดข้อขัดข้องในการใช้งานจริงเนื่องจากคอลัมน์นั้นว่างเปล่า ควรถามคำถาม 'ฉันมีในขณะที่ทำนาย' ในแต่ละคอลัมน์
3. นักวิเคราะห์เติมค่าที่ขาดหายไปในคอลัมน์รายได้ด้วยค่าเฉลี่ย แต่ผู้สูญหายแท้จริงแล้วอยู่ในกลุ่มผู้มีรายได้น้อยที่ไม่เคยประกาศรายได้ (สูญหายอย่างเป็นระบบ) เหตุใดการกรอกนี้จึงไม่ถูกต้อง
- A) ค่าเฉลี่ยจะมากกว่าค่ามัธยฐานเสมอ ดังนั้นจึงไม่ถูกต้อง
- B) ไม่ควรกรอกค่าที่หายไป แต่ควรลบออกเสมอ
- C) การเติมช่องว่างอย่างเป็นระบบด้วยค่าเฉลี่ยจะบิดเบือนข้อมูลโดยเป็นตัวแทนของกลุ่มนั้นโดยไม่ได้ตั้งใจ การเติมเสร็จสิ้นโดยไม่ได้ถามคำถามว่า 'ทำไมจึงว่างเปล่า' ✔
- D) การคำนวณค่าเฉลี่ยทำให้เกิดปัญหาด้านประสิทธิภาพเนื่องจากช้าเกินไป
คำอธิบาย: สาเหตุของการขาดจะเป็นตัวกำหนดวิธีแก้ปัญหา เมื่อส่วนที่หายไปอย่างเป็นระบบ (ช่องว่างที่กระจุกตัวอยู่ในกลุ่มใดกลุ่มหนึ่ง) เต็มไปด้วยค่าเฉลี่ย กลุ่มนั้นจะกลายเป็น 'รายได้เฉลี่ย' ปลอม และข้อมูลก็จะถูกบิดเบือน ก่อนที่จะเติม ควรถามคำถามว่า 'ทำไมจึงว่างเปล่า' ไม่ควรเติมค่าเฉลี่ยที่ขาดหายไปอย่างเป็นระบบ/มีนัยสำคัญ
4. ทีมงานพบความสัมพันธ์ 0.78 ระหว่าง 'ค่าโฆษณา' และ 'ยอดขาย' และเพิ่มงบประมาณเป็นสองเท่า อย่างไรก็ตาม สิ่งที่กระตุ้นทั้งสองอย่างจริงๆ คือแคมเปญตามฤดูกาล หลักการใดในสถิติที่อธิบายข้อผิดพลาดนี้
- ก) ความสัมพันธ์ไม่ใช่สาเหตุ ตัวแปรที่สามที่ซ่อนอยู่อาจส่งผลต่อตัวแปรทั้งสองตัว ✔
- B) เนื่องจากความสัมพันธ์ที่ 0.78 น้อยเกินไป จึงควรละเว้นความสัมพันธ์นี้
- C) ความสัมพันธ์พิสูจน์สาเหตุได้เสมอ ทีมทำถูกต้อง
- D) ไม่สามารถคำนวณความสัมพันธ์ระหว่างการโฆษณาและการขายในทางคณิตศาสตร์ได้
คำอธิบาย: ความสัมพันธ์ไม่ใช่สาเหตุ ตัวแปรทั้งสองอาจทำงานร่วมกันเนื่องจากตัวแปรที่สามที่ซ่อนอยู่ (ในที่นี้คือแคมเปญตามฤดูกาล) ส่งผลต่อตัวแปรทั้งสอง ข้อสรุปที่ว่าสิ่งหนึ่งทำให้เกิดอีกสิ่งหนึ่งสามารถเกิดขึ้นได้จากการทดลองและความรู้ภาคสนามเท่านั้น จำนวนความสัมพันธ์เพียงอย่างเดียวไม่ใช่ข้อพิสูจน์ถึงสาเหตุ
5. โมเดลการตรวจจับการฉ้อโกงแสดงความแม่นยำ 99.2% และทีมงานก็เฉลิมฉลอง อย่างไรก็ตาม อัตราการทำธุรกรรมปลอมในข้อมูลมีเพียง 0.8% และการเรียกคืนโมเดลอยู่ที่ 6% ตารางนี้แสดงอะไรบ้าง?
- A) โมเดลนี้สมบูรณ์แบบเพราะมีความแม่นยำมากกว่า 99%
- B) ความถูกต้องทำให้เข้าใจผิดด้วยข้อมูลที่ไม่สมดุล โมเดลพลาดของปลอมเกือบทั้งหมด (การเรียกคืนต่ำ) ควรดูเมตริกที่เหมาะสม ✔
- C) ไม่มีปัญหาเนื่องจากการเรียกคืนโมเดลมีสูง
- D) ไม่จำเป็นต้องสร้างแบบจำลองเพราะอัตราปลอมต่ำ
คำอธิบาย: 'ความถูกต้อง' ทำให้เข้าใจผิดในข้อมูลที่ไม่สมดุล เมื่อแบบจำลองเรียกธุรกรรมเกือบทุกรายการว่า 'สะอาด' จะมีความแม่นยำสูงเนื่องจากมีของปลอมน้อยมาก แต่ไม่สามารถตรวจจับของปลอมได้ ซึ่งเป็นจุดประสงค์หลัก (เรียกคืนได้ 6%) ดังนั้น ในปัญหาที่ไม่สมดุล การมุ่งเน้นไม่ได้อยู่ที่ความถูกต้อง แต่มุ่งเน้นไปที่เมทริกซ์ความสับสนและหน่วยวัดที่เหมาะสมสำหรับวัตถุประสงค์ของงาน เช่น การเรียกคืน/ความแม่นยำ
6. ในโครงการพยากรณ์ความต้องการ ข้อมูลที่ขึ้นอยู่กับเวลาจะถูกสุ่มแบ่งออกเป็นการฝึกอบรม/การทดสอบ โมเดลนี้ให้ความแม่นยำ 93% แต่เกิดข้อขัดข้องในการผลิต แนวทางการแบ่งส่วนที่ถูกต้องควรเป็นอย่างไร?
- ก) การขยายชุดทดสอบ เช่น แบ่ง 50%/50%
- B) การใช้แบบจำลองที่ซับซ้อนมากขึ้น
- C) ลบพาร์ติชันโดยสมบูรณ์และฝึกฝนด้วยข้อมูลทั้งหมด
- D) การแยกตามลำดับเวลา: การฝึกกับช่วงเวลาเก่าและการทดสอบกับช่วงเวลาใหม่ ทำให้โมเดลไม่สามารถมองเห็นอนาคตได้ ✔
คำอธิบาย: หากการสุ่มทำในข้อมูลอนุกรมเวลา โมเดลจะเห็นอนาคตและทำนายอดีตในการฝึก มันคือความรั่วไหลและก่อให้เกิดความสำเร็จที่ไม่มีอยู่จริง แนวทางที่ถูกต้องคือการแบ่งตามลำดับเวลา: การฝึกกับช่วงเวลาเก่าและการทดสอบกับช่วงเวลาใหม่ เลียนแบบสถานการณ์จริงในการผลิต (ทำนายจากอดีตสู่อนาคต)
7. พารามิเตอร์การปรับขนาด (StandardScaler) ควรคำนวณจากข้อมูลใดในวิศวกรรมฟีเจอร์ และควรนำไปใช้อย่างไร
- A) ควรคำนวณจากข้อมูลทั้งหมด (การฝึกอบรม + การทดสอบร่วมกัน) เพื่อให้แม่นยำยิ่งขึ้น
- B) ควรคำนวณแยกกันสำหรับแต่ละแถว จากค่าของแถวนั้น
- C) ควรคำนวณจากข้อมูลทดสอบเท่านั้น
- D) ควรคำนวณจากข้อมูลการฝึกอบรมเท่านั้น จากนั้นควรใช้พารามิเตอร์เดียวกันกับข้อมูลการทดสอบ ไม่งั้นมันจะรั่ว✔
คำอธิบาย: พารามิเตอร์ของการแปลงทั้งหมด (ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน ฯลฯ) เช่น การปรับขนาด การเข้ารหัส และการแพดดิ้ง ควรเรียนรู้จากข้อมูลการฝึกเท่านั้น จากนั้นจึงควรนำไปใช้กับข้อมูลทดสอบเช่นเดียวกัน การพิจารณาข้อมูลการทดสอบยังทำให้ข้อมูลการทดสอบรบกวนการฝึกอบรม กล่าวคือ การรั่วไหล และทำให้แบบจำลองดูดีขึ้นกว่าเดิม การใช้ไปป์ไลน์ช่วยให้มั่นใจในสิ่งนี้
8. แบบจำลองให้ความแม่นยำ 98% ในชุดการฝึก และความแม่นยำ 72% ในชุดทดสอบ อาการนี้บ่งบอกอะไรและควรทำอย่างไร?
- ก) การเรียนรู้ไม่เพียงพอ แบบจำลองควรจะซับซ้อนมากขึ้น
- B) ข้อมูลรั่ว; ต้องเปลี่ยนชุดทดสอบ
- C) การติดตั้งมากเกินไป; แบบจำลองควรทำให้ง่ายขึ้น ควรใช้การทำให้เป็นมาตรฐานและการตรวจสอบความถูกต้องข้าม ✔
- ง) สถานการณ์ปกติ คะแนนการศึกษาจะสูงกว่าเสมอ ไม่จำเป็นต้องระมัดระวัง
คำอธิบาย: คะแนนที่สูงมากในการฝึกซ้อมและคะแนนการทดสอบที่ต่ำมากเป็นอาการคลาสสิกของการออกกำลังกายมากเกินไป: แบบจำลองจะจดจำสัญญาณรบกวนของข้อมูลการฝึกมากกว่ารูปแบบจริง โซลูชันประกอบด้วยการลดความซับซ้อนของโมเดล ข้อมูลเพิ่มเติม การทำให้เป็นมาตรฐาน และการตรวจสอบสถานะด้วยการตรวจสอบข้าม การใช้คะแนนการศึกษาเพียงอย่างเดียวจะซ่อนหลุมพรางนี้ไว้
9. ในการนำเสนอของฝ่ายบริหาร แกน y ของแผนภูมิแท่งซึ่งมียอดขายเพิ่มขึ้นจาก 1,000 เป็น 1,020 เริ่มต้นที่ 980 เพื่อให้การเพิ่มขึ้นนี้ดูยิ่งใหญ่ เพิ่มขึ้นจริงคือ 2% เหตุใดจึงเป็นประเด็นด้านจริยธรรม
- A) แกน y ที่ถูกตัดทอนทำให้มองเห็นความแตกต่างเล็กน้อยเกินจริงและทำให้ผู้ชมเข้าใจผิด เพื่อความเป็นธรรม แกนในแถบเปรียบเทียบควรเริ่มต้นจาก 0 ✔
- B) แผนภูมิแท่งไม่สามารถใช้เป็นข้อมูลการขายได้
- C) ไม่มีปัญหา; เป็นการดีเสมอที่จะทำให้แผนภูมิดูน่าประทับใจ
- D) แกน Y ควรเริ่มจากค่าที่ใหญ่ที่สุดของข้อมูลเสมอ
คำอธิบาย: ในแผนภูมิแท่งเพื่อวัตถุประสงค์ในการเปรียบเทียบ โดยทั่วไปแกน y ควรเริ่มต้นที่ 0 การตัดแกนและเริ่มต้นที่ 980 จะทำให้ความแตกต่างเล็กน้อย 2% ดูเหมือนมีขนาดใหญ่มากและทำให้ผู้ชมเข้าใจผิด ความรับผิดชอบด้านจริยธรรมของผู้เชี่ยวชาญด้านข้อมูลคือการวาดกราฟที่ตรงไปตรงมาโดยไม่กล่าวเกินจริงหรือดูถูกข้อมูล
10. นักวิเคราะห์พบมูลค่าการซื้อขายรวม 3 ครั้งหลังจากเข้าร่วมคำสั่งซื้อกับตารางผลิตภัณฑ์ จำนวนบรรทัดเพิ่มขึ้นจาก 240,000 เป็น 690,000 ควรทำอย่างไรเพื่อป้องกันข้อผิดพลาดแบบเงียบๆ นี้
- A) หารมูลค่าการซื้อขายทั้งหมดด้วย 3
- B) ใช้คำค้นหาแยกกันแทน JOIN เสมอ
- C) การลบตารางผลิตภัณฑ์อย่างสมบูรณ์
- D) ตรวจสอบจำนวนแถวหลังจากการรวม/เข้าร่วม และตรวจสอบว่าได้เข้าร่วมด้วยคีย์ที่ถูกต้อง จับการจำลองตั้งแต่เนิ่นๆ ✔
คำอธิบาย: เมื่อมีหลายแถวสำหรับแต่ละผลิตภัณฑ์ (เช่น สีที่แตกต่างกัน) ในตารางผลิตภัณฑ์ JOIN โดยใช้คีย์ที่ไม่ถูกต้องจะทำซ้ำแต่ละคำสั่งซื้อและเพิ่มผลรวมให้สูงขึ้น รหัสทำงานโดยไม่มีข้อผิดพลาด แต่ผลลัพธ์ไม่ถูกต้อง วิธีหลีกเลี่ยงคือตรวจสอบจำนวนแถวหลังจากการผสาน/JOIN แต่ละครั้ง และผสานด้วยคีย์ที่ถูกต้อง
11. โมเดลการคัดกรองการจ้างงานจะเรียนรู้เกี่ยวกับความไม่สมดุลทางเพศในข้อมูลในอดีตและภายใต้คะแนนของผู้สมัครหญิงอย่างเป็นระบบ แต่ความถูกต้องโดยรวมมีสูง สิ่งนี้หมายความว่าอย่างไร?
- A) ไม่มีปัญหาเพราะตัวแบบมีความแม่นยำสูง
- B) ความแม่นยำทางสถิติไม่สามารถทดแทนการยอมรับทางจริยธรรมได้ โมเดลได้เรียนรู้การเลือกปฏิบัติในอดีต ต้องตรวจสอบความเป็นธรรมแบบกลุ่ม ✔
- C) การเพิ่มความแม่นยำของแบบจำลองเพิ่มเติมจะช่วยแก้ปัญหาได้
- D) ความเป็นธรรมอยู่นอกขอบเขตของวิทยาศาสตร์ข้อมูล
คำอธิบาย: แม้ว่าแบบจำลองจะมีความถูกต้องทางสถิติ แต่ก็อาจเป็นที่ยอมรับไม่ได้ตามหลักจริยธรรม แบบจำลองจะเรียนรู้ถึงความอยุติธรรมในข้อมูลในอดีตและแยกแยะโดยอัตโนมัติ ความซื่อสัตย์สุจริตสูงไม่สามารถทดแทนความยุติธรรมได้ ในแบบจำลองที่มีผลกระทบสูง การควบคุมความเป็นธรรมซึ่งวัดความแตกต่างด้านประสิทธิภาพ/การตัดสินใจสำหรับกลุ่มต่างๆ ถือเป็นสิ่งสำคัญ และความรับผิดชอบสูงสุดอยู่ที่มนุษย์
12. พนักงานอัปโหลดไฟล์ที่มีอีเมลลูกค้าจริงและประวัติการซื้อลงในเครื่องมือ AI สาธารณะและระบุว่า 'สรุปส่วนต่างๆ' เหตุใดจึงเกิดข้อผิดพลาดร้ายแรงและวิธีที่ถูกต้องคืออะไร?
- ก) ไม่มีปัญหา; เครื่องมือ AI ไม่เคยจัดเก็บข้อมูล
- B) ข้อผิดพลาดคือไฟล์มีขนาดใหญ่เกินไป ควรจะลดลง
- C) การให้ข้อมูลส่วนบุคคลที่แท้จริงแก่เครื่องมือแบบเปิดถือเป็นการละเมิด KVKK/GDPR ควรลบช่องข้อมูลประจำตัวออกและแชร์เฉพาะสคีมา/คุณสมบัติที่ไม่ระบุชื่อเท่านั้น ✔
- D) ควรใช้ CSV แทนที่จะเป็นเพียง Excel
คำอธิบาย: เมื่อข้อมูลส่วนบุคคลที่แท้จริง (เช่น อีเมล ชื่อ ฯลฯ) ถูกมอบให้กับเครื่องมือปัญญาประดิษฐ์ที่เปิดเผยต่อสาธารณะ จะมีการละเมิดความเป็นส่วนตัวภายในขอบเขตของ KVKK / GDPR ข้อมูลออกจากองค์กร โดยส่วนใหญ่แล้ว แผนภาพและตัวอย่างที่ไม่ระบุชื่อ/ตัวอย่างสังเคราะห์ก็เพียงพอสำหรับการวิเคราะห์ วิธีที่ถูกต้องคือการลบฟิลด์ข้อมูลประจำตัวและแชร์เฉพาะคุณสมบัติที่ไม่ระบุชื่อเท่านั้น
13. มีการนำแบบจำลองข้อเสนอแนะไปใช้จริงแต่ไม่ได้สร้างการติดตาม เมื่อแคตตาล็อกผลิตภัณฑ์เปลี่ยนแปลงหลังจากผ่านไป 4 เดือน โมเดลจะยังคงแนะนำผลิตภัณฑ์เก่าและอัตราคอนเวอร์ชันลดลงอย่างเงียบๆ 30% ปรากฏการณ์นี้มีชื่อว่าอะไร?
- ก) การเรียนรู้มากเกินไป; โมเดลจะจดจำชุดการฝึก
- B) โมเดลดริฟท์; เมื่อโลกเปลี่ยนแปลง โมเดลก็ล้าสมัยอย่างเงียบๆ โดยไม่มีใครสังเกตเห็น เนื่องจากไม่ได้สร้างการตรวจสอบ ✔
- C) อคติในการคัดเลือก; อคติตัวอย่าง
- D) การละเมิดการลดขนาดข้อมูล
คำอธิบาย: นี่คือโมเดลดริฟท์ (โมเดล/ดริฟท์ข้อมูล): เมื่อโลกเปลี่ยนแปลง (แคตตาล็อก พฤติกรรม ฤดูกาล) เงื่อนไขที่โมเดลได้รับการฝึกฝนจะเปลี่ยนแปลง และโมเดลจะพังทลายลงอย่างเงียบๆ โมเดลที่นำไปผลิตจะเสื่อมลงด้วยตัวมันเอง มันเป็นเรื่องของ 'เมื่อไหร่' การปรับใช้โดยไม่มีการตรวจสอบ (การติดตามอินพุตและประสิทธิภาพ) ทำให้ไม่สามารถตรวจจับการเสื่อมสภาพได้
14. แบบจำลองที่ได้รับความแม่นยำ 88% ในการแบ่งการฝึก/การทดสอบครั้งเดียว มีคะแนนการตรวจสอบข้าม 5 เท่า คือ 88%, 71%, 83%, 64%, 79% สิ่งนี้บ่งชี้ถึงอะไร และเหตุใดการตรวจสอบข้ามจึงมีความสำคัญ
- A) โมเดลมีความเสถียร 88% คือประสิทธิภาพที่แท้จริง
- B) ไม่จำเป็นต้องตรวจสอบข้าม; ช่องเดียวก็เพียงพอแล้ว
- C) ความผันผวนอย่างมากของคะแนนบ่งชี้ว่าแบบจำลองไม่เสถียร การตรวจสอบข้ามฐานประสิทธิภาพโดยเฉลี่ยและการกระจายของหลายถังขยะ ไม่ใช่ถังนำโชคเพียงถังเดียว ✔
- D) เป็นการดีที่สุดที่จะรายงานคะแนนสูงสุด (88%)
คำอธิบาย: ช่องเดียวอาจเป็นโชคดีหรือโชคร้ายก็ได้ 88% เป็นเพียงผลลัพธ์ของการแบ่งอย่างง่ายดายนั้น การตรวจสอบความถูกต้องข้ามจะแยกข้อมูลหลายครั้ง โดยพิจารณาจากประสิทธิภาพโดยเฉลี่ย (ที่นี่ ~77%) และแสดงความผันผวนของคะแนน ความผันผวนสูงแสดงให้เห็นว่าแบบจำลองไม่เสถียร การอาศัยช่องเดียวทำให้เข้าใจผิด