การฝึกอบรมและการประเมินโมเดล: การวัดที่แม่นยำ การเปรียบเทียบที่ซื่อสัตย์

กำไร:

• ความสามารถในการเลือกตัวชี้วัดที่เหมาะสมกับประเภทปัญหาและบริบททางธุรกิจ (PR-AUC/การเรียกคืนในข้อมูลที่ไม่สมดุล, MAE/RMSE ในการถดถอย) และการรับรู้ที่มากเกินไป/น้อยในการเรียนรู้
• ความสามารถในการตีความแต่ละหน่วยเมตริกเทียบกับเส้นพื้นฐาน และวัดค่าเบี่ยงเบน และแยกสัญญาณรบกวนออกจากความคืบหน้าด้วยการตรวจสอบข้าม
• ความสามารถในการรายงานผลลัพธ์ที่ไม่เป็นไปในแง่ดีโดยการปรับไฮเปอร์พารามิเตอร์ด้วยชุดการตรวจสอบและใช้ชุดการทดสอบในตอนท้ายเท่านั้น

การฝึกอบรมแบบจำลอง (การฝึกอบรม: กระบวนการเรียนรู้รูปแบบจากข้อมูล) เป็นขั้นตอนที่ชัดเจนที่สุดแต่ทำให้เข้าใจผิดมากที่สุดของวิศวกรรม ML ปรากฏเพราะมันให้ตัวเลขที่น่าพอใจเช่น "ความแม่นยำ 95%" ทำให้เข้าใจผิดเพราะตัวเลขนั้นมักจะตอบคำถามผิดเสมอ ในหน่วยนี้ จะมีการหารือเกี่ยวกับการศึกษาและการประเมินผลกับสาขาวิชาวิศวกรรม เราใช้ปัญญาประดิษฐ์เป็นพันธมิตรในการออกแบบการทดลองและเป็นพื้นฐานของการตัดสินใจในการวัดผล

ตรรกะของวงจรการฝึก

แบบจำลองเรียนรู้รูปแบบในข้อมูลโดยการลดฟังก์ชันการสูญเสียให้เหลือน้อยที่สุด ซึ่งเป็นฟังก์ชันที่ใช้วัดข้อผิดพลาดของแบบจำลองเป็นตัวเลข อัลกอริธึมการปรับให้เหมาะสม (เช่น การไล่ระดับลง) ช่วยลดการสูญเสียโดยการปรับพารามิเตอร์ทีละขั้นตอน จุดมุ่งหมายไม่ใช่เพื่อจดจำข้อมูลการฝึกอบรม แต่เพื่อสรุปให้เป็นข้อมูลที่ไม่เคยมีมาก่อน

อันตรายหลักสองประการ:

• การติดตั้งมากเกินไป: โมเดลจะจดจำข้อมูลการฝึกและล้มเหลวกับข้อมูลใหม่ ความสำเร็จในการฝึกอบรมสูง ความสำเร็จในการตรวจสอบต่ำ
• การติดตั้งด้านล่าง: โมเดลไม่สามารถจับรูปแบบได้ ความสำเร็จทั้งการฝึกอบรมและการตรวจสอบความถูกต้องต่ำ

การค้นหาความสมดุลเป็นศิลปะของการศึกษา ชุดการตรวจสอบความถูกต้องมีไว้เพื่อติดตามความสมดุลนี้: หากความสำเร็จในการตรวจสอบความถูกต้องเริ่มลดลงในขณะที่ความสำเร็จในการฝึกอบรมเพิ่มขึ้น แสดงว่าการเรียนรู้มากเกินไปได้เริ่มต้นขึ้นแล้ว

เคล็ดลับ: พล็อตการสูญเสียการฝึกอบรมและการตรวจสอบความถูกต้องร่วมกันในแต่ละขั้นตอน จุดที่เส้นโค้งทั้งสองเริ่มแยกออกจากกันคือจุดที่การเรียนรู้มากเกินไปเริ่มต้นขึ้นและเป็นช่วงเวลาที่เหมาะสมในการ "หยุดก่อน"

การเลือกหน่วยเมตริก: การตัดสินใจที่สำคัญที่สุด

การวัดที่ไม่ถูกต้องทำให้โมเดลที่ดีดูแย่ และโมเดลที่ไม่ดีก็ดูดี ปัญหาจะกำหนดเมตริก:

• การจำแนกประเภทที่ไม่สมดุล (มีคลาสหนึ่งที่หายากมาก เช่น การฉ้อโกง): ความแม่นยำทำให้เข้าใจผิด แบบจำลองที่ระบุว่า "เรียกทุกอย่างเป็นปกติ" จะได้รับความแม่นยำ 99% แต่จะไม่พบการฉ้อโกงแม้แต่ครั้งเดียว ในทางกลับกัน ให้ใช้ความแม่นยำ (จำนวนสิ่งที่ฉันจับได้เป็นบวกจริง) เรียกคืน (จำนวนสิ่งที่ฉันจับได้เป็นบวกจริง) และใช้ความสมดุล F1 หรือ PR-AUC
• การจำแนกประเภทที่สมดุล: ความแม่นยำและ ROC-AUC อาจเหมาะสม
• การถดถอย (การประมาณจำนวน): MAE (หมายถึงข้อผิดพลาดสัมบูรณ์), RMSE (ลงโทษข้อผิดพลาดขนาดใหญ่), MAPE (ข้อผิดพลาดเป็นเปอร์เซ็นต์)
• อันดับ/คำแนะนำ: NDCG, MRR, Recall@K.

ความแม่นยำหรือการเรียกคืนนั้นมีความสำคัญหรือไม่นั้นขึ้นอยู่กับบริบททางธุรกิจ Recall (ไม่ขาดคนไข้) ถือเป็นเรื่องสำคัญในการตรวจคัดกรองมะเร็ง ความแม่นยำในการกรองสแปม (ไม่ส่งอีเมลสำคัญไปยังสแปม) เป็นสิ่งสำคัญ นี่เป็นการตัดสินใจทางธุรกิจ ไม่ใช่การตัดสินใจทางเทคนิค และทำร่วมกันโดยวิศวกรและเจ้าของ

พรอมต์อ่อน / พรอมต์แข็งแกร่ง

ข้อความเตือนที่อ่อนแอ: "ประเมินประสิทธิภาพของโมเดลของฉัน ความแม่นยำ 0.97"

ข้อความแจ้งที่มีประสิทธิภาพ: "ฉันมีโมเดลการตรวจจับการฉ้อโกง อัตราคลาสที่เป็นบวกคือ 1.5% มีการรายงานความแม่นยำที่ 0.97 อธิบายว่าเหตุใดหน่วยวัดนี้อาจทำให้เข้าใจผิด บอกฉันว่าหน่วยวัดใด (ความแม่นยำ การเรียกคืน PR-AUC) ที่ฉันควรใช้และเพราะเหตุใด นอกจากนี้ คำนวณด้วยว่าแบบจำลองพื้นฐาน 'เรียกทุกอย่างเป็นลบ' จะมีความแม่นยำเพียงใดในข้อมูลนี้ เพื่อที่ฉันจะได้เห็นมูลค่าเพิ่มที่แท้จริง"

ความแตกต่าง: พรอมต์ที่มีประสิทธิภาพให้อัตราส่วนของชั้นเรียนและบริบททางธุรกิจ และยังขอการเปรียบเทียบโมเดลพื้นฐานด้วย ซึ่งเป็นจุดยึดที่สำคัญที่สุดในการพิจารณาว่าเมตริกมีความหมายหรือไม่

ข้อมูลพื้นฐาน: เมตริกที่ไม่มีการเปรียบเทียบไม่มีความหมาย

ตัวชี้วัดนั้นไม่ได้ดีหรือไม่ดีในตัวมันเอง จะดีหรือไม่ดีตามโมเดลพื้นฐาน แบบจำลองพื้นฐานเป็นวิธีแก้ปัญหาที่ง่ายที่สุดที่อยู่ในใจ: "บอกชั้นเรียนส่วนใหญ่เสมอ", "ทำซ้ำมูลค่าของสัปดาห์ที่แล้ว", "เดาค่าเฉลี่ย" หากแบบจำลองของคุณไม่สามารถผ่านวิธีแก้ปัญหาง่ายๆ นี้ไปได้อย่างชัดเจน ความซับซ้อนทั้งหมดก็ไร้ประโยชน์

ข้อควรระวัง: ประโยค "แบบจำลองของฉันแม่นยำ 85%" เพียงอย่างเดียวไม่ได้พูดอะไรเลย หากโมเดลพื้นฐานได้รับ 84% แล้ว โมเดลของคุณแทบจะไม่มีค่าเลย หากโมเดลพื้นฐานได้รับ 50% โมเดลของคุณสมบูรณ์แบบ พูดในแง่ของรูปแบบพื้นฐานเสมอ

การตรวจสอบข้ามและความไว้วางใจ

การแบ่งการฝึก/การทดสอบครั้งเดียวอาจเนื่องมาจากโอกาส การตรวจสอบข้าม: การแบ่งข้อมูลออกเป็น k ส่วนและการทดสอบแต่ละส่วนตามลำดับแสดงให้เห็นว่าประสิทธิภาพมีเสถียรภาพเพียงใด ในการตรวจสอบความถูกต้องแบบข้าม 5 เท่า คุณจะได้รับคะแนนที่แตกต่างกันห้าคะแนน ค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานมีความสำคัญ หากค่าเฉลี่ยคือ 80% แต่ค่าเบี่ยงเบนคือ ±12% แสดงว่าแบบจำลองของคุณไม่เสถียร แบบจำลองอาจมีพฤติกรรมแตกต่างออกไปมากในชุดข้อมูลถัดไป

นี่เป็นสิ่งสำคัญสำหรับ "การเปรียบเทียบสองรุ่น" เช่นกัน ถ้ารุ่น A มี 81% และรุ่น B มี 82% แล้ว B จะดีกว่าจริงหรือ? หากค่าเบี่ยงเบนคือ ±3% ความแตกต่างนี้อาจเป็นสัญญาณรบกวน พิจารณาว่าความแตกต่างมีนัยสำคัญหรือไม่ก่อนตัดสินใจ

การปรับแต่งไฮเปอร์พารามิเตอร์: ด้วยการตรวจสอบ ไม่ใช่การทดสอบ

ไฮเปอร์พารามิเตอร์ (การตั้งค่าที่กำหนดด้วยตนเองก่อนการฝึก เช่น อัตราการเรียนรู้ ความลึกของต้นไม้ ฯลฯ) ได้รับการตั้งค่าด้วยชุดการตรวจสอบ ชุดทดสอบจะใช้เฉพาะตอนท้ายเท่านั้น หากคุณเลือกไฮเปอร์พารามิเตอร์โดยดูที่ชุดการทดสอบ ชุดทดสอบนั้นจะมีการปนเปื้อน และประสิทธิภาพที่คุณรายงานจะเป็นไปในแง่ดี ซึ่งในความเป็นจริงแล้วไม่ได้เป็นเช่นนั้น

ปัญญาประดิษฐ์เป็นตัวช่วยที่ดีในการออกแบบพื้นที่ค้นหาไฮเปอร์พารามิเตอร์และการเขียนโค้ดการค้นหา (การค้นหาแบบกริด การค้นหาแบบสุ่ม การเพิ่มประสิทธิภาพแบบเบย์) แต่คุณยังคงตัดสินใจว่า "เราจะเพิ่มประสิทธิภาพเมตริกใด"

มินิเคสสามอัน

กรณีที่ 1 - กับดักความแม่นยำ ทีมแพทย์ภูมิใจกับแบบจำลองที่ตรวจพบโรคหายากได้ โดยมีความแม่นยำ 98% เมื่อมีการเปรียบเทียบแบบจำลองพื้นฐาน ความจริงก็ปรากฏ เนื่องจากอัตราโรคอยู่ที่ 2% แบบจำลองที่ระบุว่า "ขอให้ทุกคนมีสุขภาพดี" ก็ได้รับ 98% เช่นกัน การเรียกคืนแบบจำลองนี้มีเพียง 11% เท่านั้น ซึ่งหายไปจากผู้ป่วยส่วนใหญ่ เมื่อแปลงหน่วยเมตริกเป็น PR-AUC แล้ว ระบบจะวัดประสิทธิภาพจริงและออกแบบโมเดลใหม่

กรณีที่ 2 - เสียงรบกวนที่ผิดพลาดเพื่อความก้าวหน้า ทีมงานใช้เวลาหลายเดือนในการปรับปรุงโมเดลจาก 86.2% เป็น 86.9% การตรวจสอบข้ามแสดงให้เห็นว่ามีอคติอยู่ที่ ±1.4% ดังนั้น "การปรับปรุง" ที่ 0.7 จุดจึงเป็นสัญญาณรบกวนทางสถิติ ทีมงานเสียเวลาไปสามสัปดาห์กับรายได้ที่ไม่เป็นจริง บทเรียน: อย่าประกาศชัยชนะโดยไม่ยืนยันว่าการปรับปรุงมีมากกว่าการเบี่ยงเบน

กรณีที่ 3 - การปนเปื้อนของชุดทดสอบ วิศวกรตรวจสอบชุดทดสอบซ้ำๆ เพื่อเลือกไฮเปอร์พารามิเตอร์ที่ดีที่สุด รายงาน 91% ลดลงเหลือ 83% ในการผลิต เหตุผล: เขาเลือกแบบจำลองตามนั้นโดยไม่รู้ตัว โดยดูชุดการทดสอบซ้ำแล้วซ้ำอีก (เรียนรู้มากเกินไปกับชุดทดสอบ) ประสิทธิภาพที่รายงานและจริงซ้อนทับกันเมื่อใช้ชุดการตรวจสอบความถูกต้องแยกต่างหาก

เทมเพลตที่คัดลอกได้

ช่วยฉันเลือกเมตริกที่เหมาะสมสำหรับปัญหาการจำแนกประเภทนี้ ปัญหา: [สิ่งที่คาดการณ์ไว้] การกระจายคลาส: [อัตราบวก

ประเมินการเปรียบเทียบของสองโมเดลต่อไปนี้ การตรวจสอบความถูกต้องแบบไขว้ของแบบจำลอง A: [รายการคะแนน] การตรวจสอบความถูกต้องแบบไขว้ของแบบจำลอง B: [รายการคะแนน] คำนวณค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน ความแตกต่างมีนัยสำคัญทางสถิติหรือเป็นเพียงสัญญาณรบกวนภายในส่วนเบี่ยงเบน? คุณจะแนะนำให้ฉันเลือกอันไหนและเพราะเหตุใด

ตรวจสอบรหัสการฝึกอบรมนี้สำหรับสิ่งต่อไปนี้:1) ไฮเปอร์พารามิเตอร์ถูกเลือกด้วยชุดการทดสอบหรือชุดการตรวจสอบความถูกต้องหรือไม่2) การหยุดก่อนกำหนดได้รับการตรวจสอบด้วยชุดที่ถูกต้องหรือไม่3) มีสัญญาณของการเรียนรู้มากเกินไปหรือไม่ (ความแตกต่างการสูญเสียการฝึกอบรม/การตรวจสอบความถูกต้อง) หรือไม่รหัส: [รหัส]

MAE, RMSE และ MAPE ใดที่ฉันควรรายงานสำหรับปัญหาการถดถอยนี้ ขนาดของตัวแปรเป้าหมาย: [ช่วง]ข้อผิดพลาดขนาดใหญ่มีค่าไม่ดีอย่างไม่เป็นสัดส่วน (RMSE) หรือทั้งหมดเท่ากัน (MAE) มีค่าใกล้เคียงกับศูนย์หรือไม่ (บิดเบือน MAPE หรือไม่) แนะนำโดยให้เหตุผลสั้นๆ

ตารางการเลือกเมตริก

ประเภทปัญหา

ตัวชี้วัดที่เหมาะสม

ที่จะหลีกเลี่ยง

ทำไม

การจำแนกประเภทที่ไม่สมดุล

PR-AUC, F1, เรียกคืน

ความแม่นยำ

คลาสส่วนใหญ่ทำให้เมตริกพองตัว

การจำแนกประเภทที่สมดุล

ความแม่นยำ ROC-AUC

—

เชื่อถือได้ในข้อมูลที่สมดุล

การถดถอย (ค่าผิดปกติที่สำคัญ)

RMSE

MAPE (ถ้าเป็นศูนย์)

ลงโทษข้อผิดพลาดที่สำคัญ

การถดถอย (น้ำหนักเท่ากัน)

แม่

—

ง่ายต่อการตีความ

อันดับ/คำแนะนำ

NDCG, Recall@K

ความแม่นยำ

การสั่งซื้อเป็นสิ่งสำคัญ

ข้อผิดพลาดทั่วไป

• การใช้ความแม่นยำกับข้อมูลที่ไม่สมดุล ข้อผิดพลาดด้านเมตริกที่พบบ่อยที่สุด
• ไม่ทำการเปรียบเทียบแบบจำลองพื้นฐาน มันทำให้ตัวชี้วัดหมดความหมาย
• กำลังดูชุดทดสอบสำหรับไฮเปอร์พารามิเตอร์ ผลลัพธ์ในแง่ดีและไม่สมจริง
• อาศัยช่องเดียว หากไม่มีการตรวจสอบข้าม คุณจะไม่เห็นอคติ
• เสียงรบกวนเพื่อความก้าวหน้า "การปรับปรุง" เล็กน้อยจากการเบี่ยงเบนส่วนใหญ่เป็นโชค
• ละเลยบริบททางธุรกิจ ความสมดุลของความแม่นยำ/การเรียกคืนคือการตัดสินใจทางธุรกิจ

โดยสรุป

ทักษะที่แท้จริงในการฝึกโมเดลไม่ใช่การสร้างตัวเลขที่สูง แต่ต้องรู้ว่าตัวเลขนั้นหมายถึงอะไร ปัญหาและบริบททางธุรกิจเป็นตัวกำหนดตัวชี้วัดที่ถูกต้อง ตีความแต่ละเมตริกตามแบบจำลองพื้นฐาน วัดอคติด้วยการตรวจสอบความถูกต้องข้าม และไม่เข้าใจผิดว่าสัญญาณรบกวนเป็นความคืบหน้า ใช้ชุดทดสอบในตอนท้ายเพียงครั้งเดียว AI เป็นพันธมิตรของคุณในการออกแบบการทดลอง แต่การตัดสินใจว่าจะ "ดีพอ" ขึ้นอยู่กับคุณและตัวคุณเอง

งานสมัคร

สำหรับแบบจำลองการจำแนกประเภท: (1) เขียนการกระจายคลาส (2) สร้างแบบจำลองพื้นฐานที่เหมาะสมและวัดคะแนน (3) ประเมินแบบจำลองของคุณด้วยการตรวจสอบความถูกต้องแบบข้าม 5 เท่า และรายงานค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน (4) คำนวณตัวชี้วัดที่เหมาะสมกับปัญหา (เช่น PR-AUC) แทนที่จะแม่นยำ เขียนว่าโมเดลของคุณเหนือกว่าโมเดลพื้นฐานด้วยระยะขอบที่มากโดยไม่มีอคติหรือไม่

รายการตรวจสอบ

• [ ] ฉันเลือกตัวชี้วัดตามประเภทปัญหาและบริบททางธุรกิจ
• [ ] ฉันสร้างโมเดลพื้นฐานและเปรียบเทียบกับโมเดลนั้น
• [ ] ฉันรายงานค่าเฉลี่ยและค่าเบี่ยงเบนด้วยการตรวจสอบข้าม
• [ ] ฉันยืนยันว่าการปรับปรุงมีมากกว่าส่วนเบี่ยงเบน
• [ ] ฉันเลือกไฮเปอร์พารามิเตอร์ที่มีชุดการตรวจสอบความถูกต้อง
• [ ] ฉันใช้ชุดทดสอบเพียงครั้งเดียวในตอนท้ายสุด