การประเมินแบบจำลอง: การวัด การตรวจสอบข้าม และการเรียนรู้ขั้นสูง

กำไร:

• ความสามารถในการเลือกและตีความเมตริกการจำแนกประเภทและการถดถอย (เมทริกซ์ความสับสน ความแม่นยำ/การเรียกคืน/F1, MAE/RMSE/R²) ตามวัตถุประสงค์ของงาน
• ความสามารถในการตรวจจับการเรียนรู้มากเกินไปโดยการเปรียบเทียบคะแนนการฝึกอบรมและการทดสอบ และรับประสิทธิภาพที่เชื่อถือได้พร้อมการตรวจสอบข้าม
• ความสามารถในการประเมินว่าแต่ละรุ่นเพิ่มมูลค่าที่แท้จริงหรือไม่โดยเปรียบเทียบกับข้อมูลพื้นฐาน

ง่ายต่อการตั้งค่าโมเดล เป็นการยากที่จะวัดผลโดยสุจริตว่าใช้งานได้จริงหรือไม่ หัวข้อในหน่วยนี้คือทักษะที่สำคัญที่สุดของนักวิทยาศาสตร์ข้อมูล: การประเมินแบบจำลองด้วยหน่วยเมตริกที่ถูกต้อง การบรรลุประสิทธิภาพการทำนายที่เชื่อถือได้ และการจับกับดักที่ร้ายกาจที่สุด: การเรียนรู้มากเกินไป (การท่องจำ) AI คำนวณ ตีความ และเปรียบเทียบหน่วยเมตริก แต่ขึ้นอยู่กับมนุษย์ที่จะตัดสินใจว่าเมตริกใดที่เหมาะกับธุรกิจของคุณ และขึ้นอยู่กับโมเดลว่า "ดีเพียงพอ" หรือไม่ ทีมที่ดูตัวชี้วัดที่ไม่ถูกต้องอาจเข้าใจผิดว่าโมเดลที่ไม่ดีเป็นเวลาหลายเดือนถือเป็น “ความสำเร็จ”

เหตุใดความแม่นยำจึงไม่เพียงพอ: เมทริกซ์ความสับสน

ตัวชี้วัดแรกที่นึกถึงในการจำแนกประเภทคือความแม่นยำ (ความแม่นยำ - อัตราส่วนรวมของการคาดการณ์ที่ถูกต้อง) แต่ดังที่เราเห็นในบทที่ 6 ความแม่นยำทำให้เข้าใจผิดด้วยข้อมูลที่ไม่สมดุล จุดเริ่มต้นที่ดีกว่าคือเมทริกซ์ความสับสน — ตารางที่แบ่งการทำนายออกเป็นสี่ช่อง:

• ผลบวกที่แท้จริง (TP): เราเรียกว่าของปลอม แต่สิ่งที่เป็นของปลอมจริงๆ (ดี)
• ค่าลบที่แท้จริง (TN): เราบอกว่าสะอาดจริงๆ (ดี)
• ผลบวกลวง (FP): เราเข้าใจผิดว่าอันสะอาดนั้นเป็นของปลอม (สัญญาณเตือนเท็จ)
• ผลลบลวง (FN): เราพลาดของปลอมและเรียกมันว่าสะอาด (พลาดภัยคุกคาม)

เมตริกหลักสองรายการได้มาจากสี่ช่องนี้ ความแม่นยำ: "สิ่งที่ฉันเรียกว่าของปลอมนั้นเป็นของปลอมมากแค่ไหน" — สำคัญหากต้นทุนการแจ้งเตือนที่ผิดพลาดสูง ความรู้สึกอ่อนไหว (จำเป็นภาษาอังกฤษ): "ฉันจับของปลอมได้กี่อัน?" — สิ่งสำคัญเมื่อพลาดภัยคุกคามนั้นมีราคาแพง ทั้งสองมักจะขัดแย้งกัน: หากคุณลดเกณฑ์ลงและพูดว่า "ปลอม" มากขึ้น การเรียกคืนจะเพิ่มขึ้น แต่ความแม่นยำจะลดลง คะแนน F1 คือค่าเฉลี่ยที่สมดุล (ค่าเฉลี่ยฮาร์มอนิก) ของทั้งสองค่านี้

ข้อควรสนใจ: คำตอบสำหรับคำถาม "ตัวชี้วัดใดที่สำคัญ" คือการตัดสินใจทางธุรกิจ ไม่ใช่การตัดสินใจทางเทคนิค การพลาดเคส (การเรียกคืนข้อมูลต่ำ) ในการตรวจคัดกรองมะเร็งถือเป็นหายนะ การส่งอีเมลสำคัญไปยังสแปม (ความแม่นยำต่ำ) ในตัวกรองสแปมเป็นเรื่องที่น่ารำคาญ ต้นทุนเป็นตัวกำหนดเมตริก

ตัวชี้วัดการถดถอย

หากผลลัพธ์เป็นตัวเลข จะใช้หน่วยเมตริกที่แตกต่างกัน MAE (ข้อผิดพลาดสัมบูรณ์เฉลี่ย): ค่าประมาณเบี่ยงเบนไปจากค่าเฉลี่ยจริงในหน่วยเดียวกันมากน้อยเพียงใด (เช่น "เราผิดโดยเฉลี่ย 4,200 TL") RMSE (ข้อผิดพลาด Root Mean Squared): ลงโทษข้อผิดพลาดที่สำคัญอย่างรุนแรงยิ่งขึ้น และมีความอ่อนไหวต่อค่าผิดปกติ R² (R-squared — สัมประสิทธิ์การกำหนด): ความแปรปรวนในเป้าหมายที่แบบจำลองอธิบายมีค่ามากน้อยเพียงใด (ใกล้กับ 1 ถือว่าดี 0 แย่เท่ากับการทำนายค่าเฉลี่ย ส่วนค่าลบยิ่งแย่กว่านั้น)

กับดักที่ร้ายกาจที่สุด: การเรียนรู้มากเกินไป

การติดตั้งมากเกินไป — โดยที่แบบจำลองจดจำข้อมูลการฝึกอบรมแต่ล้มเหลวกับข้อมูลใหม่ — ถือเป็นข้อผิดพลาดที่พบบ่อยที่สุดในวิทยาการข้อมูล อาการชัดเจน: แบบจำลองทำงานได้ดีในชุดฝึกซ้อม (98%) ไม่ดีในชุดทดสอบ (72%) แบบจำลองได้จดจำสัญญาณรบกวนของกลุ่มตัวอย่างนั้น ไม่ใช่รูปแบบจริงในข้อมูล นอกจากนี้ยังมีสิ่งที่ตรงกันข้าม: การ underfitting โมเดลนั้นไม่ดีทั้งในการฝึกฝนและการทดสอบ เพราะมันง่ายเกินไปที่จะจับรูปแบบ

วิธีต่อสู้กับการเรียนรู้มากเกินไป: การทำให้โมเดลง่ายขึ้น ข้อมูลมากขึ้น การทำให้เป็นมาตรฐาน — เบรกทางคณิตศาสตร์ที่ทำให้โมเดลไม่ซับซ้อนเกินไป — และที่สำคัญที่สุดคือ การตรวจสอบข้าม

การตรวจสอบความถูกต้องข้าม: อย่าเชื่อถือบานหน้าต่างเดียว

กระสอบฝึกซ้อม/ทดสอบตัวเดียวอาจโชคดีหรือโชคร้าย คุณสามารถได้คะแนนสูงสำหรับชุดทดสอบเพียงเพราะตัวอย่างนั้นง่าย การตรวจสอบข้าม (เรียกสั้น ๆ ว่า CV) จะช่วยแก้ปัญหานี้ได้ รูปแบบที่พบบ่อยที่สุดคือ k-fold CV: ข้อมูลแบ่งออกเป็น k ส่วน (เช่น 5) ในแต่ละรอบ ส่วนหนึ่งเป็นการทดสอบ ส่วนที่เหลือเป็นการฝึกซ้อม ทอยนี้ 5 ครั้งและมีคะแนนเฉลี่ย 5 คะแนน ดังนั้นคุณจะเห็นว่าประสิทธิภาพนั้นขึ้นอยู่กับค่าเฉลี่ยของการแยกหลายครั้ง ไม่ใช่การแยกโชคดีเพียงครั้งเดียว การกระจายคะแนนยังเป็นข้อมูลที่ดีอีกด้วย คะแนนที่มีความผันผวนมาก (85% ในชั้นหนึ่ง และ 62% ในอีกด้านหนึ่ง) บ่งชี้ว่าแบบจำลองนั้นไม่เสถียร

k-fold ปกติไม่ได้ใช้ในอนุกรมเวลา (รั่วไหลในอนาคต); แต่คุณทำ "การผูกมัดไปข้างหน้า" (แยกอนุกรมเวลา) แทน: ฝึกฝนกับอดีตและทดสอบอนาคตอยู่เสมอ

เมตริก

ประเภทปัญหา

เมื่อไหร่จะสำคัญ?

ความแม่นยำ

การจำแนกประเภท

ถ้าชั้นเรียนมีความสมดุล

ความแม่นยำ

การจำแนกประเภท

สัญญาณเตือนที่ผิดพลาดมีราคาแพง

ความไว (จำ)

การจำแนกประเภท

ถ้าแพงจะพลาด

F1

การจำแนกประเภท

หากจำเป็นต้องมีความสมดุล

แม่

การถดถอย

ข้อผิดพลาดที่ตีความได้

RMSE

การถดถอย

หากความผิดพลาดใหญ่ๆ กลายเป็นเรื่องร้ายแรง

ร²

การถดถอย

พลังอธิบาย

มินิเคสสามอัน

กรณีที่ 1 — ภาพลวงตาของความแม่นยำสูง โมเดลการฉ้อโกงรูปแบบหนึ่งแสดงความแม่นยำ 99.2% และทีมงานก็เฉลิมฉลอง เมื่อพิจารณาจากเมทริกซ์ความสับสน อัตราจริง: อัตราปลอมในข้อมูลคือ 0.8%; โมเดลจับแทบไม่มีของปลอมเลย แค่บอกว่า "เคลียร์หมด" การเรียกคืนคือ 6% บทเรียน: ดูที่หน่วยเมตริก ไม่ใช่ความถูกต้อง

กรณีที่ 2 — การเรียนรู้มากเกินไปที่แฝงอยู่ ทีมหนึ่งส่งมอบและเพิ่ม XGBoost เป็น 97% ในชุดฝึกซ้อม ชุดทดสอบอยู่ที่ 69% แต่ไม่มีใครดู โมเดลพังทลายลงในการผลิต หากทำการตรวจสอบความถูกต้องข้าม ความแตกต่างอย่างมากระหว่างการพับ (การเรียนรู้มากเกินไป) จะถูกมองเห็นได้ตั้งแต่เริ่มต้น บทเรียน: เชื่อ CV และคะแนนสอบ ไม่ใช่คะแนนการศึกษา

กรณีที่ 3 — การแยกผู้โชคดี นักวิเคราะห์รายหนึ่งรู้สึกยินดีเป็นอย่างยิ่งที่ได้ส่วนแบ่ง 88% จากการแยกหุ้นเพียงครั้งเดียว เมื่อเพื่อนร่วมงานทำ CV 5 เท่า คะแนนอยู่ที่ 88%, 71%, 83%, 64%, 79% — ค่าเฉลี่ยอยู่ที่ 77% แต่มีความผันผวนมาก โมเดลไม่เสถียร ช่องเดียวทำให้เข้าใจผิด บทเรียน: ดูที่ค่าเฉลี่ย CV และการแจกแจง ไม่ใช่ที่ถังขยะแต่ละรายการ

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) รายงานการจำแนกประเภทฉบับเต็ม:

ฉันได้ฝึกโมเดลและชุดทดสอบแล้ว สร้าง: เมทริกซ์ความสับสน ความแม่นยำ การเรียกคืน F1 (สำหรับแต่ละคลาส) และจำนวนการสนับสนุน ฉันอนุมานได้ แต่ก็ขึ้นอยู่กับฉัน ฉันจะบอกคุณว่าเมตริกใดที่สำคัญ โปรดทราบว่าความแม่นยำอาจทำให้เข้าใจผิดได้ด้วยข้อมูลที่ไม่สมดุล

2) การควบคุมการเรียนรู้มากเกินไป:

พิมพ์คะแนนแบบจำลองของฉันทั้งในชุดการฝึกอบรมและการทดสอบแบบเคียงข้างกัน คำนวณความแตกต่างระหว่างพวกเขาและเตือนว่าความแตกต่างอย่างมากเป็นสัญญาณของการเรียนรู้มากเกินไป หากความแตกต่างมีขนาดใหญ่ แนะนำให้ทำให้เป็นมาตรฐานหรือลดความซับซ้อน

3) การตรวจสอบข้าม:

ดำเนินการตรวจสอบข้าม 5 เท่า (สำหรับการแบ่งชั้น การจำแนกประเภท) พิมพ์คะแนน ค่าเฉลี่ย และส่วนเบี่ยงเบนมาตรฐานของแต่ละพับ หากคะแนนมีความผันผวนมาก (มาตรฐานสูง) แสดงว่าแบบจำลองไม่เสถียร ใช้ไปป์ไลน์เพื่อให้เรียนรู้การเปลี่ยนแปลงจากชิ้นส่วนการฝึกในแต่ละเลเยอร์เท่านั้น

4) การเปรียบเทียบพื้นฐาน:

วางหน่วยเมตริกของโมเดลของฉันเคียงข้างกันด้วยเส้นฐาน DummyClassifier โมเดลดังกล่าวเอาชนะค่าพื้นฐานอย่างมีนัยสำคัญหรือไม่ หากไม่ผ่าน ให้ชี้แจงให้ชัดเจนว่าโมเดลไม่ได้เพิ่มมูลค่าที่แท้จริงใดๆ

พรอมต์อ่อน / พรอมต์แข็งแกร่ง

พรอมต์ที่อ่อนแอ:

โมเดลของฉันดีไหม?

"ดี" ไม่ได้กำหนด; ยังไม่ชัดเจนว่าตัวชี้วัดใด เกณฑ์ใด หรือพื้นฐานใด AI สามารถให้ตัวเลขความแม่นยำเพียงตัวเดียวและทำให้เข้าใจผิดได้

พรอมต์อันทรงพลัง:

บทบาทของคุณ: ผู้ช่วยประเมิน การจำแนกประเภทข้อมูลไม่สมดุล (บวก 12%) ลำดับความสำคัญ: การเรียกคืน (ไม่พลาดข้อดี) ภารกิจ: (1) เมทริกซ์ความสับสน (2) ความแม่นยำ/การเรียกคืน/F1, (3) ค่าเฉลี่ย CV แบบแบ่งชั้น 5 เท่าและมาตรฐาน,(4) การเปรียบเทียบพื้นฐาน DummyClassifier มุ่งเน้นไปที่การเรียกคืนและความแตกต่างพื้นฐาน ไม่ใช่ความแม่นยำ แสดงความคิดเห็น แต่ฉันตัดสินใจขั้นสุดท้าย

ในที่นี้ ลำดับความสำคัญของตัวชี้วัด CV และเงื่อนไขพื้นฐานมีความชัดเจน

ข้อผิดพลาดทั่วไป

• เชื่อถือความถูกต้องแม่นยำในข้อมูลที่ไม่สมดุล ความแม่นยำ 99% อาจไม่สามารถจับกลุ่มชนกลุ่มน้อยได้เลย ดูเมทริกซ์ความสับสน
• แค่ดูคะแนนการศึกษาของคุณ การศึกษาระดับสูง คะแนนสอบต่ำคือการเรียนรู้มากเกินไป เปรียบเทียบสองคะแนนเสมอ
• อาศัยช่องเดียว การแบ่งลัคกี้ทำให้เข้าใจผิด ดูค่าเฉลี่ยและการแจกแจงด้วยการตรวจสอบข้าม
• ไม่เปรียบเทียบกับพื้นฐาน คุณไม่สามารถพูดว่า "ดี" โดยไม่รู้ว่าแบบจำลองนั้นเอาชนะตัวทำนายที่โง่เขลาหรือไม่
• การใช้อนุกรมเวลา k-fold แบบปกติ มันทำให้อนาคตรั่วไหล จำเป็นต้องแยกอนุกรมเวลา

เคล็ดลับ: เขียนตัวเลขสามตัวถัดจากแต่ละโมเดล: คะแนนการฝึกอบรม ค่าเฉลี่ยการตรวจสอบข้าม และคะแนนพื้นฐาน ทั้งสามสิ่งนี้เผยให้เห็นได้อย่างรวดเร็วถึงการเรียนรู้มากเกินไป (การฝึกอบรม >> CV) และการประเมินค่าต่ำเกินไป (พื้นฐาน CV µ)

โดยสรุป

การสร้างแบบจำลองเป็นเรื่องง่าย แต่การประเมินโดยสุจริตนั้นยาก ในการจำแนกประเภท เมทริกซ์ความสับสน ความแม่นยำ และการจดจำนั้นมีข้อมูลมากกว่าความแม่นยำ ต้นทุนของงานเป็นตัวกำหนดว่างานไหนสำคัญ MAE, RMSE และ R² ใช้ในการถดถอย กับดักที่ร้ายกาจที่สุดคือการเรียนรู้มากเกินไป: เปรียบเทียบคะแนนการฝึกซ้อมและคะแนนสอบเสมอ อาศัยค่าเฉลี่ยและการกระจายของการตรวจสอบข้าม ไม่ใช่การแยกส่วนเดียว เปรียบเทียบทุกสิ่งกับพื้นฐาน AI คำนวณสิ่งเหล่านี้ทั้งหมด แต่ก็ขึ้นอยู่กับมนุษย์ที่จะตัดสินใจว่าจะใช้หน่วยวัดใด

งานสมัคร

แยกเมทริกซ์ความสับสน ความแม่นยำ การเรียกคืน และ F1 สำหรับแบบจำลองการจำแนกประเภท จากนั้นทำการตรวจสอบความถูกต้องแบบไขว้ 5 เท่า และดูการกระจายคะแนนระหว่างพับต่างๆ สุดท้าย ให้เขียนคะแนนการฝึกอบรม ค่าเฉลี่ย CV และคะแนนพื้นฐานเคียงข้างกัน แสดงความคิดเห็นในประโยคเดียวว่าโมเดลของคุณเรียนรู้มากเกินไปและผ่านพื้นฐานหรือไม่

รายการตรวจสอบ

• [ ] ฉันได้ดูตัวชี้วัดที่แท้จริงของงาน (ความแม่นยำ/การเรียกคืน/F1 ฯลฯ) แทนที่จะดูความแม่นยำหรือไม่?
• [ ] ฉันได้ตรวจสอบเมทริกซ์ความสับสนแล้วหรือยัง?
• [ ] ฉันได้เปรียบเทียบคะแนนการฝึกอบรมและคะแนนทดสอบ และตรวจสอบการเรียนรู้มากเกินไปหรือไม่?
• [ ] ฉันได้ดูค่าเฉลี่ยและการแจกแจงด้วยการตรวจสอบข้ามแล้วหรือยัง?
• [ ] ฉันได้เปรียบเทียบแบบจำลองกับพื้นฐานแล้วหรือยัง?