آموزش و ارزیابی مدل: معیارهای دقیق، محک زدن صادقانه

سود:

• امکان انتخاب معیار متناسب با نوع مشکل و زمینه کسب و کار (PR-AUC/یادآوری در داده های نامتعادل، MAE/RMSE در رگرسیون) و تشخیص بیش از حد یا کم یادگیری
• امکان تفسیر هر متریک بر اساس خط مبنا و اندازه گیری انحراف و جداسازی نویز از پیشرفت با اعتبارسنجی متقاطع
• امکان گزارش نتایج غیر خوش بینانه با تنظیم هایپرپارامترها با مجموعه اعتبارسنجی و استفاده از مجموعه تست فقط در پایان

آموزش مدل (آموزش: فرآیند یادگیری الگوها از داده ها) قابل مشاهده ترین اما گمراه کننده ترین مرحله مهندسی ML است. به نظر می رسد زیرا عدد رضایت بخشی مانند "دقت 95٪" را تولید می کند. گمراه کننده است زیرا این عدد اغلب پاسخ درست به سوال اشتباه است. در این واحد آموزش و ارزشیابی با رشته مهندسی بحث می شود. ما از هوش مصنوعی به عنوان شریک در طراحی آزمایشی استفاده می کنیم و تصمیم را بر اساس اندازه گیری قرار می دهیم.

منطق چرخه آموزش

یک مدل با به حداقل رساندن یک تابع ضرر، الگوی موجود در داده ها را یاد می گیرد: تابعی که خطای مدل را به صورت عددی اندازه گیری می کند. الگوریتم بهینه سازی (به عنوان مثال نزول گرادیان) با تنظیم پارامترها به صورت گام به گام تلفات را کاهش می دهد. هدف به خاطر سپردن داده های آموزشی نیست، بلکه تعمیم آن به داده های بی سابقه است.

دو خطر اصلی:

• Overfitting: مدل داده‌های آموزشی را به خاطر می‌سپارد و در داده‌های جدید با شکست مواجه می‌شود. موفقیت آموزش زیاد است، موفقیت تأیید کم است.
• عدم تناسب: مدل نمی تواند الگو را بگیرد. هم موفقیت آموزشی و هم موفقیت در اعتبارسنجی پایین است.

یافتن تعادل هنر آموزش است. مجموعه اعتبارسنجی برای نظارت بر این تعادل وجود دارد: اگر موفقیت اعتبار سنجی شروع به کاهش کند در حالی که موفقیت آموزشی افزایش می یابد، یادگیری بیش از حد آغاز شده است.

نکته: از دست دادن آموزش و اعتبارسنجی را با هم در هر مرحله ترسیم کنید. نقطه ای که در آن دو منحنی شروع به واگرایی می کنند، جایی است که یادگیری بیش از حد آغاز می شود و لحظه مناسب برای "توقف اولیه" است.

انتخاب متریک: حیاتی ترین تصمیم

معیار اشتباه باعث می شود یک مدل خوب بد و یک مدل بد خوب به نظر برسد. مشکل معیار را تعیین می کند:

• طبقه بندی نامتعادل (یک طبقه بسیار نادر است، به عنوان مثال تقلب): دقت گمراه کننده است. مدلی که می گوید "همه چیز را عادی صدا کنید" دقت 99٪ را دریافت می کند اما حتی یک کلاهبرداری نمی کند. در عوض، دقت (چه مقدار از چیزی که من گرفتم در واقع مثبت است)، یادآوری (چه مقدار از چیزی که من گرفتم مثبت واقعی است) و تعادل آنها F1 یا PR-AUC استفاده می شود.
• طبقه بندی متعادل: دقت و ROC-AUC ممکن است مناسب باشد.
• رگرسیون (تخمین عدد): MAE (میانگین خطای مطلق)، RMSE (خطاهای بزرگ را مجازات می کند)، MAPE (درصد خطا).
• رتبه بندی/توصیه: NDCG، MRR، Recall@K.

اینکه دقت یا فراخوانی مهم است به زمینه کسب و کار بستگی دارد. یادآوری (از دست ندادن هیچ بیمار) در غربالگری سرطان اولویت دارد. دقت در فیلتر اسپم (ارسال نکردن ایمیل های مهم به اسپم) مهم است. این یک تصمیم تجاری است نه فنی و با هم توسط مهندس و مالک گرفته می شود.

اعلان ضعیف / اعلان قوی

اعلان ضعیف: "عملکرد مدل من را ارزیابی کنید، دقت 0.97."

اعلان قدرتمند: "من یک مدل تشخیص تقلب دارم؛ نرخ کلاس مثبت 1.5٪ است. دقت 0.97 گزارش شده است. توضیح دهید که چرا این معیار ممکن است گمراه کننده باشد، به من بگویید کدام معیارها (دقت، فراخوان، PR-AUC) را ترجیح می دهم و چرا. همچنین محاسبه کنید که "تمام چیزها را منفی نامید" چقدر دقیق است، بنابراین می توانم این مدل داده های پایه واقعی را ببینم."

تفاوت: اعلان قدرتمند نسبت کلاس و زمینه تجاری را می دهد. همچنین یک مقایسه مدل پایه را می‌خواهد - این مهم‌ترین عامل برای معنادار بودن یک متریک است.

خط مبنا: متریک بدون مقایسه بی معنی است

یک معیار به خودی خود خوب یا بد نیست. طبق یک مدل اولیه خوب یا بد است. مدل پایه ساده ترین راه حلی است که به ذهن می رسد: «همیشه به کلاس اکثریت بگویید»، «مقدار هفته گذشته را تکرار کنید»، «میانگین را حدس بزنید». اگر مدل شما نمی تواند به وضوح از این راه حل ساده عبور کند، تمام پیچیدگی ها بیهوده است.

احتیاط: جمله "مدل من 85 درصد دقیق است" به خودی خود چیزی نمی گوید. اگر مدل پایه از قبل 84% دریافت کرده باشد، مدل شما تقریباً بی ارزش است. اگر مدل پایه 50 درصد شود، مدل شما عالی است. همیشه بر اساس مدل اصلی صحبت کنید.

اعتبار متقابل و اعتماد

یک تقسیم آموزشی/آزمایشی ممکن است به دلیل شانس باشد. اعتبار سنجی متقابل: تقسیم داده ها به k قسمت و آزمایش هر قسمت به صورت متوالی نشان می دهد که عملکرد چقدر پایدار است. در اعتبار سنجی متقاطع 5 برابری شما پنج امتیاز مختلف دریافت می کنید. میانگین و انحراف معیار آنها مهم است. اگر میانگین 80٪ باشد اما انحراف ±12٪ باشد، مدل شما ناپایدار است - ممکن است در دسته بعدی داده ها بسیار متفاوت عمل کند.

این نیز برای "مقایسه دو مدل" حیاتی است. اگر مدل A 81% و مدل B 82% داشته باشد آیا واقعاً B بهتر است؟ اگر انحراف 3±٪ باشد، این تفاوت ممکن است نویز باشد. قبل از تصمیم گیری در نظر بگیرید که آیا تفاوت قابل توجه است یا خیر.

تنظیم فراپارامتر: با اعتبارسنجی، نه تست

فراپارامترها (تنظیماتی که قبل از آموزش به صورت دستی تعیین می شوند - نرخ یادگیری، عمق درخت و غیره) با مجموعه اعتبارسنجی تنظیم می شوند. مجموعه تست فقط در پایان، یک بار استفاده می شود. اگر با مشاهده مجموعه تست، هایپرپارامترها را انتخاب کنید، مجموعه تست آلوده خواهد شد و عملکردی که گزارش می کنید خوش بینانه خواهد بود که در واقعیت اینطور نیست.

هوش مصنوعی کمک خوبی در طراحی فضای جستجوی فراپارامتر و نوشتن کد جستجو (جستجوی شبکه ای، جستجوی تصادفی، بهینه سازی بیزی) است. اما شما هنوز تصمیم می گیرید "کدام معیار را بهینه کنیم؟"

سه کیف کوچک

مورد 1 - تله دقت. یک تیم پزشکی به مدلی افتخار کرد که یک بیماری نادر را تشخیص داد: دقت 98 درصد. وقتی مقایسه مدل پایه انجام شد، حقیقت آشکار شد: از آنجایی که میزان بیماری 2٪ بود، مدلی که می گفت "همه را سالم صدا کنید" نیز 98٪ دریافت کرد. فراخوان مدل تنها 11 درصد بود - اغلب بیماران را از دست داده بود. هنگامی که متریک به PR-AUC تبدیل شد، عملکرد واقعی اندازه‌گیری شد و مدل دوباره طراحی شد.

مورد 2 - اشتباه گرفتن سر و صدا برای پیشرفت. یک تیم ماه ها را صرف بهبود مدل از 86.2٪ به 86.9٪ کرد. اعتبارسنجی متقاطع نشان داد که سوگیری 1.4 ±٪ بود - بنابراین 0.7 نقطه "بهبود" نویز آماری بود. تیم سه هفته را با درآمدهای غیر واقعی تلف کرده بود. درس: بدون تأیید اینکه پیشرفت بیشتر از انحراف است، پیروزی را اعلام نکنید.

مورد 3 - آلودگی مجموعه آزمایش. یک مهندس بارها مجموعه تست را برای انتخاب بهترین هایپرپارامترها بررسی کرد. 91 درصدی که گزارش داد به 83 درصد در تولید کاهش یافت. چرا: او ناآگاهانه با نگاه کردن مکرر به مجموعه تست (آموزش بیش از حد در مجموعه تست) مدل را بر اساس آن انتخاب کرده بود. هنگام استفاده از مجموعه اعتبارسنجی جداگانه، عملکرد گزارش شده و واقعی همپوشانی داشتند.

قالب های قابل کپی

در انتخاب معیار مناسب برای این مشکل طبقه بندی به من کمک کنید. مشکل: [آنچه پیش‌بینی می‌شود] توزیع طبقاتی: [نرخ مثبت

مقایسه دو مدل زیر را ارزیابی کنید. اعتبارسنجی متقابل مدل A: [لیست امتیازات] اعتبارسنجی متقابل مدل B: [لیست امتیازات] میانگین و انحراف استاندارد را محاسبه کنید. آیا این تفاوت از نظر آماری معنادار است یا فقط نویز در انحراف است؟ پیشنهاد می کنید کدام یک را انتخاب کنم و چرا؟

این کد آموزشی را برای موارد زیر بررسی کنید: 1) آیا فراپارامترها با مجموعه تست یا مجموعه اعتبار سنجی انتخاب شده اند؟ 2) آیا توقف زودهنگام با مجموعه صحیح نظارت می شود؟

کدام یک از MAE، RMSE، و MAPE را باید برای این مشکل رگرسیون گزارش کنم؟ مقیاس متغیر هدف: [محدوده] آیا خطاهای بزرگ به طور نامتناسبی بد هستند (RMSE)، یا همه آنها برابر هستند (MAE)؟ آیا مقادیر نزدیک به صفر وجود دارد (آیا MAPE را تحریف می کنند)؟ با توجیه مختصری پیشنهاد دهید.

جدول انتخاب متریک

نوع مشکل

متریک مناسب

اجتناب شود

چرا

طبقه بندی نامتعادل

PR-AUC، F1، فراخوانی

دقت

کلاس اکثریت متریک را باد می کند

طبقه بندی متوازن

دقت، ROC-AUC

-

قابل اعتماد در داده های متعادل

رگرسیون (پرت قابل توجه)

RMSE

MAPE (اگر صفر)

اشتباهات بزرگ را مجازات می کند

رگرسیون (وزن برابر)

MAE

-

آسان برای تفسیر

رتبه بندی/توصیه

NDCG، Recall@K

دقت

نظم مهم است

اشتباهات رایج

• استفاده از دقت در داده های نامتعادل رایج ترین خطای متریک
• عدم انجام مقایسه مدل های پایه باعث می شود متریک معنای خود را از دست بدهد.
• نگاهی به مجموعه تست برای فراپارامترها. نتیجه خوش بینانه و غیر واقعی
• تکیه بر یک محفظه واحد. بدون تأیید متقابل، شما سوگیری را نخواهید دید.
• اشتباه گرفتن سر و صدا با پیشرفت "بهبود" های کوچک از انحراف بیشتر شانس هستند.
• نادیده گرفتن زمینه کسب و کار تعادل دقت/ فراخوان یک تصمیم تجاری است.

به طور خلاصه

مهارت واقعی در آموزش مدل تولید عدد بالا نیست، بلکه این است که بدانیم آن عدد به چه معناست. مشکل و زمینه کسب و کار معیار مناسب را تعیین می کند. هر متریک را با توجه به یک مدل پایه تفسیر کنید. سوگیری را با اعتبارسنجی متقابل اندازه گیری کنید و نویز را با پیشرفت اشتباه نگیرید. از مجموعه تست فقط در پایان، یک بار استفاده کنید. هوش مصنوعی شریک شما در طراحی آزمایش است، اما تصمیم "به اندازه کافی خوب" به شما و شما بستگی دارد.

وظیفه کاربردی

برای یک مدل طبقه بندی: (1) توزیع کلاس را بنویسید، (2) یک مدل پایه مناسب بسازید و امتیاز آن را اندازه گیری کنید، (3) مدل خود را با اعتبار سنجی متقاطع 5 برابری ارزیابی کنید و میانگین و انحراف استاندارد را گزارش کنید، (4) به جای دقت، متریک مناسب با مشکل را محاسبه کنید (مثلاً PR-AUC). بنویسید که آیا مدل شما مدل پایه را با اختلاف زیادی بدون تعصب پیشی می‌گیرد یا خیر.

چک لیست

• [ ] من معیار را بر اساس نوع مشکل و زمینه کسب و کار انتخاب کردم.
• [ ] من یک مدل پایه ساختم و با آن مقایسه کردم.
• [ ] من میانگین و انحراف را با اعتبارسنجی متقاطع گزارش کردم.
• [ ] تأیید کردم که بهبود بیشتر از انحراف است.
• [ ] من فراپارامترها را با مجموعه اعتبارسنجی انتخاب کردم.
• [ ] من فقط یک بار از مجموعه تست استفاده کردم، در نهایت.