הדרכה והערכה של מודלים: מדדים מדויקים, השוואות כנה

רווחים:

• יכולת לבחור את המדד המתאים לסוג הבעיה ולהקשר העסקי (PR-AUC/ריקול בנתונים לא מאוזנים, MAE/RMSE ברגרסיה) ולזהות למידה יתר/תת
• יכולת לפרש כל מדד מול קו בסיס ולמדוד סטייה ולהפריד רעש מהתקדמות עם אימות צולב
• יכולת לדווח על תוצאות לא אופטימיות על ידי כוונון היפרפרמטרים עם ערכת האימות ושימוש בערכת הבדיקה רק בסוף

אימון מודלים (הדרכה: תהליך לימוד דפוסים מנתונים) הוא השלב הגלוי ביותר אך המטעה ביותר בהנדסת ML. זה מופיע מכיוון שהוא מייצר מספר משביע רצון כמו "דיוק 95%". מטעה כי המספר הזה הוא לרוב התשובה הנכונה לשאלה הלא נכונה. ביחידה זו נדונים חינוך והערכה עם הדיסציפלינה ההנדסית; אנו משתמשים בבינה מלאכותית כשותפים בתכנון ניסוי ומבססים את ההחלטה על מדידה.

ההיגיון של מחזור האימון

מודל לומד את הדפוס בנתונים על ידי מזעור פונקציית אובדן: פונקציה המודדת מספרית את השגיאה של המודל. אלגוריתם האופטימיזציה (למשל ירידה בשיפוע) מפחית את ההפסד על ידי התאמת הפרמטרים צעד אחר צעד. המטרה היא לא לשנן את נתוני האימון, אלא להכליל אותם לנתונים חסרי תקדים.

שתי סכנות עיקריות:

• התאמה יתר: הדגם משנן את נתוני האימון ונכשל בנתונים חדשים. הצלחת האימון גבוהה, הצלחת האימות נמוכה.
• התאמה נמוכה: הדגם לא יכול לתפוס את התבנית; גם הצלחת ההדרכה וגם האימות נמוכים.

מציאת האיזון היא אומנות החינוך. מערך האימות נמצא שם כדי לפקח על האיזון הזה: אם הצלחת האימות מתחילה לרדת בזמן שהצלחת האימון עולה, לימוד יתר החל.

טיפ: תכנן את אובדן האימון והאימות יחד בכל שלב. הנקודה שבה שתי העקומות מתחילות להתפצל היא המקום שבו מתחיל למידה יתר והיא הרגע הנכון ל"עצירה מוקדמת".

בחירת מדדים: ההחלטה הקריטית ביותר

המדד הלא נכון גורם לדגם טוב להיראות רע ולדגם רע להיראות טוב. הבעיה קובעת את המדד:

• סיווג לא מאוזן (מחלקה אחת נדירה מאוד, למשל הונאה): הדיוק מטעה. דגם שאומר "תקרא להכל רגיל" יקבל דיוק של 99% אבל לא יתפוס אפילו הונאה אחת. במקום זאת, נעשה שימוש בדייקנות (כמה ממה שתפסתי הוא למעשה חיובי), היזכרות (כמה ממה שתפסתי הוא חיובי אמיתי) והאיזון שלהם F1 או PR-AUC.
• סיווג מאוזן: דיוק ו-ROC-AUC עשויים להיות מתאימים.
• רגרסיה (הערכת מספר): MAE (ממוצע שגיאה מוחלטת), RMSE (מעניש שגיאות גדולות), MAPE (טעות באחוזים).
• דירוג/המלצה: NDCG, MRR, Recall@K.

האם דיוק או היזכרות חשובים תלוי בהקשר העסקי. ריקול (לא חסר אף מטופל) הוא בראש סדר העדיפויות בבדיקת סרטן; דיוק במסנן דואר זבל (לא שליחת דואר אלקטרוני חשוב לספאם) חשוב. זוהי החלטה עסקית, לא טכנית, והיא מתקבלת יחד על ידי המהנדס והבעלים.

הנחיה חלשה / הנחיה חזקה

הנחיה חלשה: "הערך את הביצועים של המודל שלי, דיוק 0.97."

הנחיה עוצמתית: "יש לי מודל לגילוי הונאה; שיעור כיתה חיובי הוא 1.5%. הדיוק מדווח כ-0.97. הסבירו מדוע המדד הזה עשוי להטעות, תגידו לי אילו מדדים (דיוק, זכירה, PR-AUC) אני צריך להעדיף ולמה. חשב גם כמה מדויק מודל בסיס אמיתי של 'קורא לכל שלילי', כדי שאוכל לראות ערך מוסף אמיתי לנתונים האלה."

הבדל: הנחיה חזקה נותנת יחס מעמדי והקשר עסקי; הוא גם מבקש השוואת מודלים בסיסיים - זהו העוגן החשוב ביותר לשאלה האם מדד הוא בעל משמעות.

קו בסיס: מדד ללא השוואה הוא חסר משמעות

מדד אינו טוב או רע בפני עצמו; זה טוב או רע לפי מודל בסיסי. המודל הבסיסי הוא הפתרון הפשוט ביותר שעולה בראש: "ספר תמיד למעמד הרוב", "חזור על הערך של השבוע שעבר", "נחש את הממוצע". אם הדגם שלך לא יכול לעבור בבירור את הפתרון הפשוט הזה, כל המורכבות היא לחינם.

זהירות: המשפט "הדגם שלי מדויק ב-85%" כשלעצמו לא אומר כלום. אם הדגם הבסיסי כבר מקבל 84%, הדגם שלך כמעט חסר ערך; אם הדגם הבסיסי מקבל 50%, הדגם שלך מושלם. דבר תמיד במונחים של המודל הבסיסי.

אימות צולב ואמון

פיצול אימון/בדיקה בודד עשוי להיות בגלל מקרה. אימות צולב: חלוקת הנתונים ל-k חלקים ובדיקת כל חלק ברצף מראה עד כמה הביצועים יציבים. באימות צולב פי 5 מקבלים חמישה ציונים שונים; הממוצע וסטיית התקן שלהם חשובים. אם הממוצע הוא 80% אבל הסטייה היא ±12%, המודל שלך לא יציב - הוא עשוי להתנהג בצורה שונה מאוד באצווה הבאה של הנתונים.

זה קריטי גם עבור "השוואת שני מודלים". אם דגם A קיבל 81% ודגם B קיבל 82%, האם B באמת טוב יותר? אם הסטייה היא ±3%, ההבדל הזה עשוי להיות רעש. שקול אם ההבדל משמעותי לפני שתחליט.

כוונון היפרפרמטר: עם אימות, לא בדיקה

היפרפרמטרים (הגדרות שנקבעו ידנית לפני האימון - קצב למידה, עומק עצים וכו') נקבעים עם ערכת האימות. ערכת הבדיקה משמשת רק בסוף, פעם אחת. אם תבחר בהיפרפרמטרים על ידי הסתכלות על ערכת הבדיקה, ערכת הבדיקה תהיה מזוהמת והביצועים שאתה מדווח יהיו אופטימיים מה שלא כך במציאות.

בינה מלאכותית היא עוזרת טובה בעיצוב מרחב החיפוש ההיפרפרמטר וכתיבת קוד החיפוש (חיפוש רשת, חיפוש אקראי, אופטימיזציה בייסיאנית). אבל אתה עדיין מחליט "איזה מדד נבצע אופטימיזציה?"

שלושה מיני תיקים

מקרה 1 - מלכודת דיוק. צוות רפואי היה גאה במודל שזיהה מחלה נדירה: 98% דיוק. כאשר נערכה השוואת המודלים הבסיסית, עלתה האמת: מאחר ושיעור המחלה עמד על 2%, גם המודל שאומר "תקראו לכולם בריאים" קיבל 98%. הריקול של המודל היה רק ​​11% - חסר רוב החולים. לאחר שהמדד הומר ל-PR-AUC, הביצועים בפועל נמדדו והמודל עוצב מחדש.

מקרה 2 - טעות ברעש בהתקדמות. צוות הקדיש חודשים לשיפור המודל מ-86.2% ל-86.9%. אימות צולב הראה שההטיה הייתה ±1.4% - כך שה"שיפור" של 0.7 נקודות היה רעש סטטיסטי. הצוות בזבז שלושה שבועות על רווחים לא אמיתיים. לקח: אל תכריז על ניצחון מבלי לוודא שהשיפור גדול מהסטייה.

מקרה 3 - זיהום מערך הבדיקות. מהנדס הסתכל שוב ושוב על ערכת הבדיקה כדי לבחור את ההיפרפרמטרים הטובים ביותר. 91% שעליה דיווח ירדו ל-83% בייצור. למה: הוא בחר שלא ביודעין את הדגם בהתאם על ידי התבוננות במערך המבחן שוב ושוב (למידה יתרה על ערכת המבחן). דיווח וביצועים בפועל חפפו כאשר נעשה שימוש בערכת אימות נפרדת.

תבניות הניתנות להעתקה

עזור לי לבחור את המדד המתאים לבעיית הסיווג הזו. בעיה: [מה צפוי] התפלגות מעמדות: [שיעור חיובי

העריכו את ההשוואה בין שני המודלים הבאים. אימות צולב של דגם A: [רשימת ציונים] אימות צולב של דגם B: [רשימת ציונים] חשב את הממוצע ואת סטיית התקן. האם ההבדל מובהק סטטיסטית או שזה רק רעש בתוך הסטייה? באיזה מהם הייתם ממליצים לי לבחור ולמה?

בדוק את קוד ההדרכה הזה עבור הדברים הבאים: 1) האם הפרמטרים ההיפר נבחרים עם ערכת הבדיקה או ערכת האימות? 2) האם עצירה מוקדמת מנוטרת עם הסט הנכון? 3) האם יש סימנים של למידה יתר (הבדל אובדן אימון/אימות)?קוד: [קוד]

איזה מה-MAE, RMSE ו-MAPE עלי לדווח על בעיית רגרסיה זו? קנה המידה של משתנה היעד: [טווח]האם שגיאות גדולות גרועות באופן לא פרופורציונלי (RMSE), או שכולן שוות (MAE)?האם יש ערכים קרובים לאפס (האם הם מעוותים את MAPE)?הצע עם הצדקה קצרה.

טבלת בחירת מדדים

סוג הבעיה

מדד מתאים

יש להימנע

למה

סיווג לא מאוזן

PR-AUC, F1, כזכור

דיוק

מעמד הרוב מנפח את המדד

סיווג מאוזן

דיוק, ROC-AUC

—

אמין בנתונים מאוזנים

רגרסיה (חריג משמעותי)

RMSE

MAPE (אם אפס)

מעניש טעויות גדולות

רגרסיה (משקל שווה)

MAE

—

קל לפרש

דירוג/המלצה

NDCG, Recall@K

דיוק

סדר חשוב

טעויות נפוצות

• שימוש בדיוק בנתונים לא מאוזנים. השגיאה המטרית הנפוצה ביותר.
• לא עושה השוואות מודל בסיסי. זה גורם למדד לאבד את משמעותו.
• מסתכל על ערכת הבדיקה של היפרפרמטרים. תוצאה אופטימית, לא מציאותית.
• מסתמכים על תא בודד. ללא אימות צולב לא תראה את ההטיה.
• טועה ברעש בהתקדמות. "שיפורים" קטנים מסטייה הם בעיקר מזל.
• התעלמות מההקשר העסקי. איזון הדיוק/היזכרות הוא החלטה עסקית.

לסיכום

המיומנות האמיתית בהכשרת מודלים היא לא לייצר מספר גבוה, אלא לדעת מה המספר הזה אומר. הבעיה וההקשר העסקי קובעים את המדד הנכון; לפרש כל מדד לפי מודל בסיס; למדוד הטיה עם אימות צולב ואל תטעה רעש בהתקדמות; השתמש בערכת הבדיקה רק בסוף, פעם אחת. בינה מלאכותית היא השותף שלך בתכנון הניסוי, אבל ההחלטה של ​​"מספיק טוב" תלויה בך וברשותך.

משימת יישום

עבור מודל סיווג: (1) כתוב את התפלגות המחלקה, (2) בנה מודל בסיס מתאים ומדוד את הציון שלו, (3) העריך את המודל שלך עם אימות צולב פי 5 ודווח על הממוצע וסטיית התקן, (4) חשב את המדד המתאים לבעיה (למשל PR-AUC) במקום דיוק. רשום אם הדגם שלך מנצח את המודל הבסיסי בפער גדול ללא הטיה.

רשימת בדיקה

• [ ] בחרתי את המדד על סמך סוג הבעיה וההקשר העסקי.
• [ ] בניתי מודל בסיס והשוויתי מולו.
• [ ] דיווחתי על הממוצע והסטייה עם אימות צולב.
• [ ] אישרתי שהשיפור גדול מהחריגה.
• [ ] בחרתי את ההיפרפרמטרים עם ערכת האימות.
• [ ] השתמשתי בערכת המבחן רק פעם אחת, ממש בסוף.