ارزیابی و نظارت: دانستن اینکه مدل واقعا در تولید چه می کند

سود:

• توانایی تشخیص علل بی‌صدا تخریب مدل (دریفت داده، رانش مفهومی، خطای بالادست) و ایجاد نظارت سه لایه (عملیاتی، ورودی، خروجی)
• امکان ارزیابی سیستم‌های LLM در چندین لایه با بررسی قوانین، ارزیابی داور LLM و ارزیابی انسانی و کالیبراسیون با لنگر انسانی داور LLM
• امکان طراحی یک مجموعه eval شامل موارد لبه و امنیتی و تبدیل هر خطای کشف شده به یک تست دائمی

هنگامی که یک مدل وارد تولید می شود، کار شما تمام نمی شود. مسئولیت واقعی تازه شروع می شود. زیرا وقتی کسی به آن نگاه نمی کند، مدل می تواند بی صدا خراب شود. در این واحد دو رشته مکمل ارزیابی (اندازه گیری سیستماتیک کیفیت مدل) و نظارت (نظارت مداوم بر مدل در تولید) را پوشش می دهیم. به خصوص در سیستم های LLM، ارزیابی دشوارتر از ML کلاسیک است و نیاز به مراقبت بیشتری دارد.

چرا مدل تولید بی سر و صدا در حال خراب شدن است

یک اشکال خراب می شود، گزارش چاپ می شود، زنگ هشدار خاموش می شود. از طرف دیگر، یک مدل ML می تواند بدون ایجاد خطا اشتباه باشد. سه عامل اصلی تخریب:

• دریفت داده: توزیع داده های ورودی در طول زمان تغییر می کند (محصولات جدید، تغییر رفتار کاربر، فصلی). مدل ثابت می ماند اما جهان تغییر می کند.
• دریفت مفهومی: رابطه ورودی و خروجی تغییر می کند. تاکتیک های کلاهبرداری و الگوهای هرزنامه تکامل می یابند. آنچه دیروز درست بود امروز اشتباه خواهد بود.
• فساد بالادستی: یک منبع داده قالب را تغییر می دهد، یک منطقه آزاد می شود. مدل بی‌صدا با ورودی خراب آب‌ریزش می‌کند.

ردیابی این اعوجاج های بی صدا را قابل شنیدن می کند.

آنچه باید تماشا کنید: سه لایه

نظارت خوب سه لایه را پوشش می دهد:

1. معیارهای عملیاتی: تأخیر، نرخ خطا، حجم درخواست، استفاده از منابع. "آیا سیستم ایستاده است؟"
2. معیارهای داده/ورودی: آیا توزیع ورودی مشابه با آموزش است؟ آیا نرخ ارزش گمشده افزایش یافته است؟ آیا دسته های جدید وارد شده اند؟ "آیا مدل داده های آشنا را می بیند؟"
3. معیارهای مدل/خروجی: گزارش توزیع پیش‌بینی؟ آیا نمرات اعتماد به نفس کاهش یافته است؟ و در صورت امکان دقت در مقایسه با حقیقت زمینی چقدر است؟ "آیا مدل هنوز دقیق است؟"

لایه سوم با ارزش ترین اما سخت ترین است. زیرا نتیجه واقعی معمولاً با تاخیر به دست می آید (بعد از ماه ها مشخص می شود که آیا وام بازپرداخت می شود یا خیر).

نکته: اگر نتیجه واقعی به تاخیر افتاد، ابتدا بر توزیع ورودی و پیش بینی نظارت کنید. تغییر توزیع ورودی نشانه اولیه کاهش دقت است و می تواند بدون انتظار برای نتیجه واقعی، زنگ هشدار را به صدا درآورد.

ارزیابی سیستم های LLM: چالش ویژه

در ML کلاسیک، "پاسخ صحیح" واضح است (کلاس 0 یا 1). از سوی دیگر، نتیجه LLM باز است: ممکن است پاسخ‌های صحیح زیادی برای یک سؤال وجود داشته باشد، «صحت» در یک عدد واحد قرار نمی‌گیرد. رویکردهای ارزشیابی LLM:

• معیارهای مرجع: مقایسه خروجی با پاسخ ایده آل. محدود؛ زیرا ممکن است پاسخ صحیح را که به طور متفاوت بیان شده است، «اشتباه» در نظر بگیرد.
• بررسی های مبتنی بر قوانین: آیا خروجی JSON معتبر است؟ آیا کلمات ممنوعه ای وجود دارد؟ آیا شامل فیلدهای مورد نظر است؟ ارزان، قابل اعتماد، محکم.
• LLM-judge (LLM-as-judge): از یک مدل نپرسید که "آیا این پاسخ با توجه به این معیار خوب است؟" مقیاس می شود، اما خود داور باید تایید شود.
• بررسی انسانی: استاندارد طلایی اما گران و کند. روی نمونه استفاده می شود.

در عمل اینها با هم استفاده می شوند: بررسی قوانین ارزان در هر خروجی، LLM-قاضی در یک نمونه بزرگ، ارزیابی انسانی در یک نمونه کوچک اما دقیق.

رویکرد ضعیف / رویکرد قوی

ضعیف: "LLM-من از داور پرسیدم، 92 درصد پاسخ های ما خوب بود. سیستم عالی است."

گوچلو: "ما ابتدا 100 پرینت را با برچسب انسانی گذاشتیم. ما قاضی LLM را روی همان 100 پرینت اجرا کردیم و توافق انسان و قاضی را اندازه گرفتیم - 85٪ موافقت، قابل قبول است. ما مستند کردیم که قاضی به طور سیستماتیک اشتباه کرده است (تمایل به یافتن پاسخ های طولانی به طور غیرمنصفانه) و به درخواست داور اعتماد کردیم.

تفاوت: رویکرد قوی داور را با لنگر انسانی تأیید می کند، نه کورکورانه. یک داور LLM تایید نشده اعتماد به نفسی زیبا اما کاذب می دهد.

توجه: داور LLM نیز یک مدل است. توهم زا، مغرضانه (از پاسخ های طولانی/مطمئنانه حمایت می کند)، می تواند ناسازگار باشد. قبل از تصمیم گیری در مورد تولید، امتیازات داور را با برچسب های انسانی کالیبره کنید.

مجموعه ارزیابی: با دقت طراحی شده است

یک مجموعه ارزیابی خوب نشان دهنده انواع کاربردهای واقعی و موارد دشوار است. یک ارزیابی پر از مثال های ساده شما را در اعتماد به نفس کاذب رها می کند. حتماً آن را در خوشه eval قرار دهید:

• موارد لبه: ورودی خالی، ورودی بسیار طولانی، فرمت غیر معمول.
• موارد سخت شناخته شده: نمونه هایی که مدل در گذشته اشتباهاتی داشته است (به عنوان آزمون رگرسیون).
• حوادث امنیتی: تلاش های سریع برای تزریق، درخواست های مخرب، تله های نقض حریم خصوصی.

خوشه eval در طول زمان رشد می کند: هر اشکال جدیدی که در تولید مشاهده می کنید به یک مورد آزمایشی برای ارزیابی بعدی تبدیل می شود.

هشدار و مداخله

نظارت بدون هشدار ناقص می ماند. برای هر معیار مهم باید یک آستانه و یک طرح پاسخ وجود داشته باشد: «اگر ضریب خطا از X بیشتر شد به مهندس اطلاع دهید»، «اگر میزان خطا از Y بیشتر شد، به عقب برگردید». آلارم ها را معنی دار نگه دارید - هشدارهای نادرست بیش از حد باعث کاهش حساسیت تیم می شود و باعث می شود زنگ واقعی را از دست بدهند.

سه کیف کوچک

مورد 1 - هشدار اولیه. دقت واقعی یک مدل پیش‌بینی تقاضا تنها در پایان هفته آشکار شد. این تیم توزیع ورودی را زیر نظر داشت و شاهد افزایش ناگهانی دسته بندی محصول جدید در روز سه شنبه بود - چیزی که مدل هرگز ندیده بود. آنها مدل را بدون انتظار کاهش دقت به روز کردند. نظارت بر ورودی روزهای ذخیره شده

مورد 2 - داور تایید نشده. یک تیم گزارش داد "کیفیت ما عالی است" بر اساس LLM-reviewer. هنگامی که شکایات مشتریان افزایش یافت، نظارت انسانی معرفی شد: داور پاسخ های مطمئن اما نادرست را "خوب" حساب کرد. هنگامی که داور با برچسب های انسانی کالیبره شد، کیفیت واقعی آشکار شد و بسیار پایین تر بود. درس: بدون تایید داور به داور اعتماد نکنید.

مورد 3 - آزمون رگرسیون. یک تغییر سریع یک مشکل را حل کرد در حالی که بی‌صدا مشکل دیگری را شکست. اما تیم باگ های گذشته را در سطل ارزیابی حفظ کرد. هنگامی که تغییر جدید روی این خوشه آزمایش شد، مورد شکسته بلافاصله کشف شد و تغییر رفع شد. درس: هر اشکال رفع شده باید به یک مورد آزمایشی دائمی تبدیل شود.

قالب های قابل کپی

یک طرح ردیابی برای این مدل تولیدی تهیه کنید. پوشش سه لایه: 1) عملیاتی (تأخیر، نرخ خطا، حجم) 2) ورودی/داده (تغییر توزیع، مقدار گمشده، دسته جدید) 3) مدل/خروجی (توزیع پیش بینی، اطمینان، دقت در صورت امکان) مدل: [توضیح]. چه مدت طول می کشد تا نتیجه واقعی به دست آید: [دوره] آستانه و توصیه مداخله را برای هر سنجه اضافه کنید.

یک استراتژی ارزیابی (Eval) برای این سیستم LLM پیشنهاد کنید. وظیفه: [توضیح] لایه‌ها را تعیین کنید:- کدام بررسی‌های مبتنی بر قانون باید روی هر خروجی اجرا شود؟- داور LLM چه معیارهایی را باید ارزیابی کند و چگونه باید اعتبار سنجی شوند (انکر انسانی)؟- ارزیابی انسانی در کدام نمونه باید انجام شود؟ موارد لبه و ایمنی را که باید در آن قرار دهم، فهرست کنید.

این دستور داور LLM را بررسی کنید: - آیا معیارهای ارزیابی واضح است یا ذهنی؟ - آیا مستعد سوگیری طول/اطمینان است؟ - چگونه داور را با برچسب های انسانی کالیبره کنم؟ درخواست داور: [prompt]

یک دفترچه پاسخ برای این هشدار نظارتی بنویسید. زنگ هشدار: [به عنوان مثال. از آستانه رانش ورودی فراتر رفت]باید شامل موارد زیر باشد: مراحل کنترل اولیه، علل احتمالی، معیارهای بازگشت، چه کسی باید اطلاع رسانی شود.

جدول باعث خرابی می شود

تحریف

علامت

راه تشخیص زودهنگام

رانش داده

تغییرات توزیع ورودی

نظارت بر توزیع ورودی

تغییر مفهوم

عدالت بی سر و صدا سقوط می کند

پیش بینی + مقایسه واقعی

خطای بالادست

فیلدها خالی می شوند/تغییر قالب می شوند

اعتبار سنجی طرحواره + نرخ از دست رفته

ناهماهنگی مدل

تغییرات توزیع خروجی

نظارت بر توزیع خروجی

اشتباهات رایج

• عدم ایجاد نظارت مدل بی صدا خراب می شود، کسی آن را نمی بیند.
• فقط معیارهای عملیاتی را ردیابی کنید. سیستم فعال است، اما پیش‌بینی‌ها ممکن است اشتباه باشند.
• استفاده از LLM بدون تایید داور. اعتماد به نفس کاذب می دهد.
• ارزیابی با مثال های آسان. نشان دهنده سختی واقعی نیست.
• بدون احتساب خطاهای گذشته در eval. دوباره همان خطا برمی گردد.
• آلارم های بلند تیم حساس می شود و زنگ خطر واقعی را از دست می دهد.

به طور خلاصه

مدل می تواند بدون ایجاد خطا در تولید نادرست باشد. بنابراین ارزیابی و نظارت به اندازه توسعه مهم است. ایجاد نظارت در سه لایه (عملیاتی، ورودی، خروجی). در صورت تأخیر در نتیجه واقعی، از دریفت ورودی به عنوان هشدار اولیه استفاده کنید. در سیستم های LLM، eval با پایان باز است. از بررسی قوانین، داور LLM و ارزیابی انسانی با هم استفاده کنید - اما مطمئن شوید که داور LLM را با یک لنگر انسانی تأیید کنید. خوشه Eval خود را با موارد لبه و امنیتی غنی کنید و هر خطای کشف شده را به یک مورد آزمایشی دائمی تبدیل کنید.

وظیفه کاربردی

یک طرح نظارتی سه لایه برای یک مدل تولید (یا نزدیک به تولید) بنویسید و آستانه + هشدار را برای حداقل یک معیار ورودی-توزیع تعریف کنید. اگر سیستم LLM دارید: 30 خروجی را با انسان‌ها علامت‌گذاری کنید، یک داور LLM را روی همان خروجی‌ها اجرا کنید و توافق انسان و داور را اندازه بگیرید. به تعصب سیستماتیک داور توجه کنید. حداقل 3 لبه و 2 کیس امنیتی را به کلاستر ارزیابی خود اضافه کنید.

چک لیست

• [ ] مانیتورینگ هر سه لایه (عملیاتی، ورودی، خروجی) را پوشش می دهد.
• [ ] در صورت تأخیر در نتیجه واقعی، از دریفت ورودی به عنوان هشدار اولیه استفاده می کنم.
• [ ] من داور LLM را با برچسب های انسانی کالیبره کردم.
• [ ] خوشه Eval شامل موارد لبه و امنیتی است.
• [ ] من هر اشکالی را که گرفتار می کردم به یک مورد آزمایشی دائمی تبدیل کردم.
• [ ] هر معیار مهم دارای آستانه و طرح پاسخ است.