سود:
- توانایی درک مراحل MLOps (انتشار، استقرار، نظارت، بازآموزی، بازگشت) و رانش مدل و برنامه ریزی استقرار نظارت شده
- توانایی به کارگیری اصول انصاف، شفافیت و پاسخگویی مدل و تشخیص دقت آماری از مقبولیت اخلاقی
- توانایی محافظت از داده های شخصی با اصول KVKK/GDPR و واگذاری مسئولیت نهایی به انسان در تصمیم گیری های پر تاثیر
آموزش یک مدل و گرفتن نمره بالا پایان کار نیست بلکه میانه راه است. ارزش واقعی زمانی به دست می آید که مدل به تولید برسد و به طور قابل اعتماد کار کند، در طول زمان بدون زوال نظارت شود، و کل فرآیند در محدوده های اخلاقی و قانونی انجام شود. این واحد پایانی سه موضوع را ترکیب میکند: MLOps (انضباط اجرای زنده، نظارت و نگهداری مدلها)، اخلاق (انصاف، شفافیت، عدم سوء استفاده) و حریم خصوصی (حفاظت از دادههای شخصی). هوش مصنوعی کدها، چک لیست ها و نقشه ها را در این زمینه ها تولید می کند. اما انسان ها تصمیم می گیرند که آیا یک مدل فعال شود، چه کسی تحت تأثیر قرار می گیرد و از چه داده هایی می توان استفاده کرد. این تصمیمات فنی نیستند، بلکه تصمیمات مسئولیتی هستند.
MLOps: مدل مانند یک محصول زندگی می کند
MLOps (عملیات یادگیری ماشین - تمرین اجرا، نظارت و بهروزرسانی مدلهای یادگیری ماشین در تولید) تطبیق DevOps در توسعه نرمافزار با علم داده است. ایده اصلی: یک مدل فایلی نیست که یک بار آموزش داده شود و فراموش شود، بلکه یک محصول زنده است که نیاز به نگهداری مداوم دارد. مراحل اصلی:
1. نسخه سازی: کد (Git)، داده ها و مدل با هم نسخه می شوند. ثبت می شود که کدام مدل با کدام داده و کد تولید شده است.
2. استقرار: مدل به عنوان یک API یا کار دسته ای به صورت زنده قرار می گیرد. معمولا ابتدا به یک مخاطب کوچک داده می شود (توزیع سایه/قناری).
3. نظارت: عملکرد مدل و داده های ورودی به طور مداوم نظارت می شود.
4. بازآموزی: هنگامی که عملکرد کاهش می یابد، مدل با داده های به روز شده مجددا آموزش داده می شود.
تغییر الگو: اعوجاج بی صدا
بزرگترین خطر در تولید، دریفت مدل است (دریفت مدل / دریفت داده). جهان تغییر می کند؛ شرایطی که مدل خود را بر اساس آن آموزش داده اید (رفتار مشتری، قیمت ها، فصل، قوانین) با گذشت زمان تغییر می کند و مدل شروع به منسوخ شدن می کند. به عنوان مثال، یک مدل تقاضا که قبل از همهگیری آموزش داده شده است، در طول همهگیری کاملاً اشتباه است. دریفت به دو صورت رخ می دهد: رانش داده (توزیع تغییرات داده های ورودی) و رانش مفهومی (رابطه بین تغییرات ورودی و هدف). راه برای گرفتن این موارد نظارت است: به طور مداوم توزیع ورودی، توزیع پیش بینی و (در صورت امکان) عملکرد را در مقایسه با نتیجه واقعی ردیابی کنید.
احتیاط: مدلی که تولید می شود خود به خود خراب می شود. موضوع «اگر» نیست، بلکه «وقتی» است. استقرار مدلها بدون تنظیم نظارت، مانند رانندگی با ماشین بدون کنترل موتور آن است. یک روز آنجا ساکت می نشیند و تو متوجه نمی شوی.
عنصر MLOps
هدف
در صورت غفلت
نسخه سازی
دانستن آنچه تولید می شود
غیر قابل تکرار، غیر قابل ردیابی
نظارت
زود دیدن لغزش
مدل بی صدا خراب می شود
بازآموزی
به روز باشید
پیش بینی ها قدیمی می شوند
بازگشت به عقب
بازگشت به مدل بد
مدل معیوب زنده می ماند
مستندات
شفافیت، گردش مالی
اطلاعات در یک نفر گیر می کند
اخلاق: تصمیمات مدل بر افراد تأثیر می گذارد
مدل های داده به طور فزاینده ای در تصمیم گیری هایی که بر زندگی افراد تأثیر می گذارد استفاده می شود: اعتبار، استخدام، بیمه، عدالت. با این قدرت مسئولیت می آید. خطرات اخلاقی عمده:
تعصب و تبعیض: این مدل می تواند بی عدالتی ها را در داده های تاریخی بیاموزد و تداوم بخشد. اگر در گذشته به گروه خاصی اعتبار کمتری داده شده باشد، مدل فرض می کند که این یک "قاعده" است و تبعیض را خودکار می کند. به همین دلیل است که تجزیه و تحلیل منصفانه - بررسی اینکه آیا مدل برای گروههای مختلف (جنس، سن، منطقه) عملکرد مشابهی دارد یا خیر - ضروری است.
شفافیت و توضیح پذیری: شما باید بتوانید توضیح دهید که چرا یک مدل یک شخص را رد کرده است. "جعبه سیاه چنین گفته است" از نظر اخلاقی و اغلب از نظر قانونی غیرقابل قبول است. به همین دلیل است که ابزارهای توضیح پذیری (اهمیت ویژگی، مقادیر SHAP) ارزشمند هستند.
پاسخگویی: اگر مدل تصمیم اشتباه بگیرد چه کسی مسئول است؟ پاسخ همیشه یک شخص/موسسه است، نه یک مدل. نظارت انسانی (انسان در حلقه - انسانی که تصمیم نهایی را تأیید می کند) باید در تصمیم گیری های پر تأثیر حفظ شود.
احتیاط: ممکن است یک مدل از نظر آماری "درست" باشد اما از نظر اخلاقی غیر قابل قبول باشد. یک مدل بسیار دقیق که به طور سیستماتیک به یک گروه آسیب می رساند، مدل خوبی نیست. صداقت جایگزین عدالت نیست.
حریم خصوصی: اطلاعات شخصی با دقت محافظت می شود
مواد خام علم داده اغلب داده های شخصی است و این داده ها توسط قانون محافظت می شوند: KVKK در ترکیه، GDPR در اروپا. اصول اساسی عبارتند از: محدودیت هدف (دادهها برای مقاصدی غیر از هدفی که برای آن جمعآوری شده استفاده نمیشوند)، به حداقل رساندن دادهها (اطلاعات بیشتری جمعآوری/حفظ نمیشود)، ناشناسسازی (اطلاعات شناسایی حذف میشوند) و امنیت (دادهها رمزگذاری شده و دسترسی محدود میشود). قانون اساسی هنگام کار با ابزارهای هوش مصنوعی: هرگز داده های شخصی واقعی را در ابزار هوش مصنوعی عمومی قرار ندهید. بیشتر اوقات، یک نمودار و یک نمونه ناشناس/مصنوعی برای تجزیه و تحلیل کافی است.
تاکید اضافی در زمینه امنیت اطلاعات: از ابزارها و تکنیک های علم داده فقط بر روی داده ها و سیستم هایی که برای آن ها اختیار دارید، برای اهداف تحلیل دفاعی و قانونی استفاده کنید. دسترسی غیرمجاز به دادههای شخص دیگری، شناسایی مجدد افراد (استخراج هویت از دادههای ناشناس) یا نمایهسازی غیرمجاز هم غیرقانونی و هم غیراخلاقی است.
سه کیف کوچک
مورد 1 - سقوط بدون ردیابی. یک شرکت تجارت الکترونیک با مدل پیشنهادی خود راه اندازی شد و ردیابی را راه اندازی نکرد. پس از 4 ماه کاتالوگ محصول به شدت تغییر کرده است. این مدل به توصیه محصولات قدیمی ادامه داد و نرخ تبدیل بی سر و صدا تا 30 درصد کاهش یافت. ماه ها کسی متوجه نشد. درس: استقرار بدون نظارت کور می شود.
مورد 2 - تبعیض پنهان. یک مدل غربالگری استخدام در مورد عدم تعادل جنسیتی در دادههای تاریخی یاد گرفت و به طور سیستماتیک نامزدهای زن را دست کم گرفت. مورد توجه قرار نگرفت زیرا تجزیه و تحلیل عادلانه وجود نداشت. در یک حسابرسی فاش شد و موسسه با خطر جدی شهرت/قانونی مواجه شد. درس: کنترل انصاف مبتنی بر گروه در مدلهای با تاثیر بالا ضروری است.
مورد 3 - نقض محرمانه بودن. یکی از تحلیلگران فایلی حاوی ایمیل های مشتری واقعی و تاریخچه خرید را در ابزار هوش مصنوعی عمومی بارگذاری کرد و گفت: «بخش ها را خلاصه کنید». داده های شخصی موسسه را ترک کرده است. فرآیند KVKK آغاز شده است. راه صحیح حذف فیلدهای هویت و اشتراک گذاری فقط ویژگی های ناشناس بود. درس: داده های شخصی واقعی وارد ابزار باز نمی شود.
چهار قالب قابل کپی
1) چک لیست قبل از استقرار:
نقش شما: مشاور MLOps. مواردی را که باید قبل از تولید یک مدل بررسی کنم فهرست کنید: نسخهسازی، معیارهای نظارت، طرح بازگشت، آستانه عملکرد، هشدار انتقال داده، شخص مسئول. برای هر مورد یک جمله توضیح دهید "چرا مهم است". من تصمیم خواهم گرفت.
2) طراحی ردیابی شیفت مدل:
یک طرح نظارتی رانش برای یک مدل طبقهبندی در تولید پیشنهاد دهید: (1) چه توزیعهای ورودی را باید نظارت کنم، (2) چه هشداری برای توزیع پیشبینی، (3) چگونه عملکرد را در زمان رسیدن به نتیجه واقعی مقایسه کنیم، (4) در چه آستانهای بازآموزی باید آغاز شود. همچنین یک اسکلت کد ارائه دهید.
3) کنترل انصاف:
کدی بنویسید که عملکرد مدل من را برای گروههای مختلف (مثلاً گروه سنی، منطقه) مقایسه کند: یادآوری/دقت و نرخ تصمیمگیری مثبت برای هر گروه. در صورت وجود تفاوت معنی دار بین گروه ها هشدار دهید. انجام تفاسیر علی/سیاسی؛ فقط تفاوت ها را به من نشان دهید و من تصمیم خواهم گرفت.
4) پیشبررسی حریم خصوصی:
قبل از دادن دادهها به ابزار هوش مصنوعی، بررسی کنید: آیا دادههای شخصی/هویت (نام، ایمیل، شناسه، تلفن، آدرس، IP) در فهرست ستون زیر وجود دارد؟ اگر چنین است، فهرست کنید که کدام یک باید حذف یا ناشناس شوند. ستون ها: [فهرست]. هدف: فقط به اشتراک گذاشتن طرحواره ناشناس.
اعلان ضعیف / اعلان قوی
اعلان ضعیف:
مدل من آماده است، برو زنده.
استقرار یک مرحله واحد نیست. پخش زنده بدون نظارت، عقبگرد، انصاف و کنترل حریم خصوصی دعوتی خاموش برای فاجعه است.
اعلان قدرتمند:
نقش شما: مشاور مسئول MLOps. مدل من آموزش دیده است، من می خواهم قبل از پخش زنده آمادگی کامل داشته باشم. ایجاد: (1) چک لیست قبل از استقرار، (2) طرح نظارت بر رانش، (3) کد بررسی عدالت مبتنی بر گروه، (4) بررسی حریم خصوصی (آیا داده های شخصی وجود دارد). همچنین پیشنهاد کنید که چگونه از رضایت انسان در تصمیم گیری های پر تاثیر محافظت شود. تصمیمات نهایی با من است.
در اینجا توزیع، نظارت، انصاف و حریم خصوصی به عنوان یک فرآیند مسئول واحد در نظر گرفته می شود.
اشتباهات رایج
- استقرار یک مدل بدون تنظیم نظارت. مدل بی سر و صدا می لغزد و تحریف می شود. ممکن است ماه ها طول بکشد تا متوجه شوید.
- دور زدن چک عدالت یک مدل با وفاداری بالا ممکن است به طور سیستماتیک برای یک گروه ضرر کند.
- تصمیم گیری در مورد جعبه سیاه غیرقابل توضیح تصمیمات پر تاثیر باید قابل توضیح باشند. "مدل گفت" کافی نیست.
- دادن اطلاعات شخصی واقعی برای باز کردن ابزار هوش مصنوعی. نقض KVKK/GDPR؛ نمودار و مثال ناشناس کافی است.
- تفویض تصمیم به مدل مسئولیت همیشه با یک شخص است. نظارت انسانی با تاثیر بالا حفظ می شود.
نکته: قبل از پخش زنده با هر مدل، یک سوال با صدای بلند بپرسید: "اگر این مدل فردا بی سر و صدا خراب شود یا گروهی را به ناعادلانه جریمه کند، چگونه متوجه می شوم و آن را پس می زنم؟" اگر پاسخ روشنی برای این سوال ندارید، مدل هنوز برای تولید آماده نیست.
به طور خلاصه
کار یک مدل با امتیاز بالا به پایان نمی رسد، بلکه به کار مطمئن و مسئولانه در تولید ختم نمی شود. MLOps رشته اجرای زنده، نظارت بر دریفت، بازآموزی و بازگرداندن مدل است. استقرار بدون ردیابی فروپاشی خاموش است. اخلاق مستلزم انصاف، شفافیت و پاسخگویی مدل است. دقت آماری جایگزینی برای مقبولیت اخلاقی نیست. حریم خصوصی به معنای محافظت از داده های شخصی با اصول KVKK/GDPR و دور نگه داشتن داده های واقعی از ابزارهای باز است. همه این تصمیمات فنی نیستند بلکه تصمیمات مسئولیتی هستند و همیشه متعلق به یک انسان هستند.
وظیفه کاربردی
به این فکر کنید که گویی میخواهید مدلی را که ساختهاید (یا فرضی) وارد تولید کنید و چهار لیست را پر کنید: (1) چک لیست قبل از استقرار، (2) معیارهای رانشی که ردیابی خواهید کرد، (3) برنامه کنترل انصاف مبتنی بر گروه، (4) کنترل حریم خصوصی. سپس یک پاسخ مشخص برای این سوال بنویسید: "چگونه متوجه شوم که فردا بی صدا خراب شود و آن را پس بگیرم؟"
چک لیست
- [ ] آیا من مدل را با نظارت (هشدار لغزش) و برنامه عقبگرد به کار می برم؟
- [ ] آیا شکاف انصاف/عملکرد را برای گروه های مختلف بررسی کرده ام؟
- [ ] آیا من در تصمیم گیری های پرتأثیر انسان در حلقه را حفظ کرده ام؟
- [ ] آیا از داده های شخصی با اصول KVKK/GDPR محافظت کرده ام و آنها را از ابزارهای باز دور نگه داشته ام؟
- [ ] آیا من مسئولیت نهایی را بر عهده یک انسان گذاشته ام، نه مدل؟
امتحان ماژول
1. یک دانشمند داده از هوش مصنوعی می پرسد: "جنگل تصادفی روی این داده ها چقدر دقیق است؟" بدون آموزش مدل، و مستقیماً پاسخ "89٪" را در ارائه قرار می دهد. اشتباه اساسی در این رویکرد چیست؟
- الف) انتظار برای معیارها بدون ارائه داده ها و مدل ها به هوش مصنوعی. نادیده گرفتن اینکه عددی که تولید میکند جعلی است و معیار واقعی را فقط از طریق آموزش و آزمایش میتوان پیدا کرد ✔
- ب) باید به جای جنگل تصادفی از رگرسیون لجستیک استفاده کرد
- ج) میزان دقت باید همیشه بالای 90 درصد باشد.
- د) درج معیارها در ارائه اکیدا ممنوع است
توضیح: هوش مصنوعی بدون دسترسی به مدل و داده ها نمی تواند معیاری تولید کند. شماره ای که می دهد توهم (ساختگی) است. این متریک توسط محاسبات خود دانشمند داده تنها پس از آموزش واقعی و آزمایش مدل به دست می آید. خروجی تایید نشده مانند یک گزارش بدون امضا است.
2. ستون "دلیل بسته شدن حساب" هنگام جمع آوری داده ها برای پیش بینی ریزش گنجانده می شود. این ستون تنها پس از خروج مشتری پر می شود. این مدل در مجموعه آزمایشی 97٪ را ارائه می دهد، اما در تولید کار نمی کند. نام و علت این عارضه چیست؟
- الف) یادگیری بیش از حد؛ مدل خیلی پیچیده است
- ب) نشت داده ها؛ ✔ استفاده از اطلاعاتی که در زمان پیش بینی در دسترس نخواهد بود، اما نتیجه هدف است، به عنوان یک ویژگی
- ج) یادگیری ناکافی؛ مدل خیلی ساده است
- د) سوگیری انتخاب؛ اندازه نمونه کوچک
توضیح: این یک نشت داده کلاسیک است: «دلیل بسته شدن» نتیجه هدف است و هنوز در زمان پیشبینی خالی است. مدل با این دانش آینده کار را انجام می دهد، در مجموعه آزمایشی عالی به نظر می رسد اما در تولید خراب می شود زیرا آن ستون خالی است. سوال "آیا من آن را در زمان پیش بینی دارم" باید از هر ستون پرسیده شود.
3. یک تحلیلگر مقادیر گم شده در ستون درآمد را با میانگین پر می کند. اما افراد غایب در واقع متعلق به قشر کم درآمدی هستند که هرگز درآمدی را اعلام نکرده اند (غایب سیستماتیک). چرا این پر کردن نادرست است؟
- الف) میانگین همیشه بزرگتر از میانه است، بنابراین نادرست است
- ب) مقادیر از دست رفته هرگز نباید پر شوند، همیشه باید حذف شوند
- ج) پر کردن شکاف سیستماتیک با میانگین، داده ها را با نمایش مصنوعی آن گروه تحریف می کند. پر کردن بدون پرسیدن این سوال انجام شد "چرا خالی است؟" ✔
- د) محاسبه میانگین مشکل عملکرد ایجاد می کند زیرا بسیار کند است
توضیح: علت کمبود راه حل را مشخص می کند. وقتی کمبود سیستماتیک (شکاف متمرکز در یک گروه خاص) با میانگین پر شود، آن گروه به طور مصنوعی به "درآمد متوسط" تبدیل می شود و داده ها تحریف می شوند. قبل از پر کردن آن، باید این سوال پرسیده شود که «چرا خالی است». سیستماتیک/میانگین گمشده نباید پر شود.
4. یک تیم یک همبستگی 0.78 بین «خرج آگهی» و «فروش» پیدا کرده و بودجه را دو برابر میکند. با این حال، آنچه در واقع هر دو را تحریک می کند، کمپین های فصلی است. کدام اصل در آمار این خطا را توضیح می دهد؟
- الف) همبستگی علیت نیست. یک متغیر سوم پنهان ممکن است بر هر دو متغیر تأثیر بگذارد ✔
- ب) از آنجایی که همبستگی 0.78 بسیار کم است، رابطه باید نادیده گرفته شود
- ج) همبستگی همیشه علیت را ثابت می کند، تیم آن را درست فهمیده است
- د) ارتباط بین تبلیغات و فروش را نمی توان به صورت ریاضی محاسبه کرد.
توضیح: همبستگی علیت نیست. این دو متغیر ممکن است با هم عمل کنند زیرا یک متغیر سوم پنهان (در اینجا کمپین های فصلی) بر هر دوی آنها تأثیر می گذارد. این نتیجه که یکی باعث دیگری می شود، تنها از طریق آزمایش و دانش میدانی قابل اثبات است. تعداد همبستگی ها به تنهایی دلیلی بر علیت نیست.
5. یک مدل کشف تقلب 99.2% دقت را نشان می دهد و تیم جشن می گیرد. با این حال، نرخ تراکنش جعلی در داده ها تنها 0.8٪ و فراخوان مدل 6٪ است. این جدول چه چیزی را نشان می دهد؟
- الف) مدل کامل است زیرا دقت بیش از 99٪ است
- ب) دقت با داده های نامتعادل گمراه کننده است. مدل تقریباً تمام جعلیها را از دست میدهد (یادآوری کم)، باید معیار مناسب را بررسی کرد ✔
- ج) از آنجایی که فراخوانی مدل زیاد است مشکلی وجود ندارد
- د) نیازی به ساخت مدل نبود زیرا نرخ جعلی پایین بود
توضیح: "دقت" در داده های نامتعادل گمراه کننده است. وقتی مدل تقریباً هر تراکنش را پاک مینامد، دقت بالایی به دست میآورد زیرا جعلیها بسیار کم هستند، اما نمیتواند تقلبیها را پیدا کند، که هدف اصلی آن است (یادآوری 6٪). بنابراین، در مسائل نامتعادل، تمرکز بر دقت نیست، بلکه بر روی ماتریس سردرگمی و معیارهای مناسب برای هدف کار، مانند یادآوری/دقت تمرکز میشود.
6. در یک پروژه پیش بینی تقاضا، داده های وابسته به زمان به طور تصادفی به آموزش/آزمایش تقسیم می شوند. این مدل دقت 93 درصدی را ارائه می دهد اما در تولید خراب می شود. رویکرد تقسیم بندی صحیح چگونه باید باشد؟
- الف) بزرگ کردن مجموعه تست، به عنوان مثال. تقسیم 50%/50%
- ب) استفاده از مدل پیچیده تر
- ج) پارتیشن را به طور کامل حذف کنید و با تمام داده ها آموزش دهید
- د) تقسیم زمانی: آموزش با دوره قدیم و آزمایش با دوره جدید، در نتیجه از دیدن آینده مدل جلوگیری می کند.
توضیح: اگر تقسیم تصادفی در داده های سری زمانی انجام شود، مدل آینده را می بیند و گذشته را در آموزش پیش بینی می کند. این یک نشت است و موفقیتی را ایجاد می کند که در واقع وجود ندارد. رویکرد صحیح تقسیم زمانی است: آموزش با دوره قدیم و آزمایش با دوره جدید، تقلید از وضعیت واقعی در تولید (پیشبینی از گذشته تا آینده).
7. پارامترهای مقیاس بندی (StandardScaler) در مهندسی ویژگی از چه داده هایی باید محاسبه شوند و چگونه باید اعمال شوند؟
- الف) از تمامی داده ها (آموزش + تست با هم) محاسبه شود تا دقت بیشتری داشته باشد
- ب) باید برای هر ردیف، از مقدار خود آن ردیف، جداگانه محاسبه شود
- ج) باید فقط از داده های آزمون محاسبه شود
- د) فقط باید از داده های آموزشی محاسبه شود، سپس همان پارامترها باید به داده های آزمون اعمال شود. در غیر این صورت نشت می کند ✔
توضیح: پارامترهای تمام تبدیل ها (میانگین، انحراف معیار و ...) مانند مقیاس بندی، رمزگذاری و padding را فقط باید از داده های آموزشی یاد گرفت، سپس همان را برای داده های آزمون اعمال کرد. در نظر گرفتن دادههای تست نیز باعث میشود اطلاعات تست در آموزش اختلال ایجاد کند، یعنی نشت کند و مدل را بهتر از آنچه هست به نظر برساند. استفاده از Pipeline این امر را تضمین می کند.
8. یک مدل دقت 98% را در مجموعه آموزشی و 72% دقت را در مجموعه تست می دهد. این علامت چه چیزی را نشان می دهد و چه باید کرد؟
- الف) یادگیری ناکافی؛ مدل باید پیچیده تر شود
- ب) نشت داده ها؛ مجموعه تست باید تغییر کند
- ج) نصب بیش از حد؛ مدل باید ساده شود، منظم سازی و اعتبارسنجی متقابل باید اعمال شود ✔
- د) وضعیت عادی؛ به هر حال نمره آموزش همیشه بالاتر است، اقدامات احتیاطی غیر ضروری است
توضیح: نمره بسیار بالا در تمرین و نمره پایین به طور قابل توجهی در تست یکی از علائم کلاسیک تطبیق بیش از حد است: مدل نویز داده های آموزشی را به جای الگوی واقعی حفظ کرده است. راهحلها شامل سادهسازی مدل، دادههای بیشتر، منظمسازی و تأیید وضعیت با اعتبارسنجی متقابل است. صرفاً اتکا به نمره تحصیلی این دام را پنهان می کند.
9. در یک ارائه مدیریتی، محور y نمودار میله ای که در آن فروش از 1000 به 1020 افزایش می یابد از 980 شروع می شود تا این افزایش بزرگ به نظر برسد. افزایش واقعی 2 درصد است. چرا این یک موضوع اخلاقی است؟
- الف) یک محور y کوتاه شده از نظر بصری یک تفاوت کوچک را اغراق می کند و بیننده را گمراه می کند. برای انصاف، محور در میله های مقایسه باید از 0 شروع شود
- ب) نمودارهای میله ای هرگز نمی توانند برای داده های فروش استفاده شوند
- ج) اشکال ندارد; همیشه خوب است که نمودار را چشمگیر جلوه دهید
- د) محور Y همیشه باید از بزرگترین مقدار داده شروع شود
توضیح: در نمودارهای میله ای برای مقاصد مقایسه ای، محور y باید به طور کلی از 0 شروع شود. برش محور و شروع از 980 باعث می شود که یک تفاوت کوچک 2٪ از نظر بصری بزرگ به نظر برسد و بیننده را گمراه کند. مسئولیت اخلاقی متخصص داده ترسیم نمودارهای صادقانه ای است که داده ها را اغراق آمیز یا دست کم نگیرند.
10. یک تحلیلگر پس از پیوستن به سفارشات با جدول محصول، کل گردش مالی را 3 بار پیدا می کند. تعداد خطوط از 240 هزار به 690 هزار افزایش یافت. برای جلوگیری از این خطای خاموش چه باید کرد؟
- الف) کل گردش مالی را بر 3 تقسیم کنید
- ب) همیشه به جای JOIN از پرس و جوهای جداگانه استفاده کنید
- ج) حذف کامل جدول محصولات
- د) بررسی تعداد ردیفها پس از ادغام/JOIN و تأیید اینکه آنها از طریق کلید صحیح به هم متصل شدهاند. گرفتن تکثیر زود هنگام ✔
توضیح: وقتی برای هر محصول (مثلاً رنگ های مختلف) در جدول محصول چندین ردیف وجود دارد، JOIN از طریق کلید اشتباه هر سفارش را کپی می کند و مجموع ها را افزایش می دهد. کد بدون خطا اجرا می شود اما نتیجه اشتباه است. راه جلوگیری از این امر این است که تعداد ردیفها را بعد از هر ادغام/JOIN بررسی کنید و با کلید صحیح ادغام کنید.
11. یک مدل غربالگری استخدام در مورد عدم تعادل جنسیتی در داده های تاریخی یاد می گیرد و به طور سیستماتیک از نامزدهای زن نمره می دهد، اما دقت کلی آن بالا است. این به چه معناست؟
- الف) اشکالی ندارد زیرا مدل دقت بالایی دارد
- ب) دقت آماری جایگزین مقبولیت اخلاقی نیست. مدل در مورد تبعیض گذشته آموخته است، بررسی انصاف مبتنی بر گروه مورد نیاز است ✔
- ج) افزایش بیشتر دقت مدل مشکل را حل می کند
- د) انصاف خارج از حوزه علم داده است
توضیح: حتی اگر یک مدل از نظر آماری صحیح باشد، ممکن است از نظر اخلاقی غیرقابل قبول باشد. این مدل بی عدالتی در داده های گذشته را می آموزد و تبعیض را خودکار می کند. صداقت بالا جایگزین عدالت نیست. در مدل های با تاثیر بالا، کنترل انصاف، که تفاوت عملکرد/تصمیم گیری را برای گروه های مختلف اندازه گیری می کند، ضروری است و مسئولیت نهایی بر عهده انسان است.
12. یک کارمند فایلی حاوی ایمیلهای واقعی مشتری و تاریخچه خرید را در یک ابزار هوش مصنوعی عمومی آپلود میکند و میگوید «بخشها را خلاصه کنید». چرا این یک اشتباه جدی است و راه درست چیست؟
- الف) اشکالی ندارد. ابزارهای هوش مصنوعی هرگز داده ها را ذخیره نمی کنند
- ب) خطا این است که فایل خیلی بزرگ است. باید کاهش می یافت
- ج) ارائه اطلاعات شخصی واقعی به یک ابزار باز نقض KVKK/GDPR است. فیلدهای هویت باید حذف می شدند و فقط طرحواره/اموال ناشناس به اشتراک گذاشته می شد ✔
- د) به جای اکسل باید از CSV استفاده می شد
توضیح: هنگامی که داده های شخصی واقعی (مانند ایمیل، نام و غیره) به یک ابزار هوش مصنوعی در دسترس عموم داده می شود، نقض حریم خصوصی در محدوده KVKK / GDPR وجود خواهد داشت. داده ها از سازمان خارج می شوند. بیشتر اوقات، یک نمودار و یک نمونه ناشناس/مصنوعی برای تجزیه و تحلیل کافی است. راه صحیح این است که فیلدهای هویت را حذف کنید و فقط ویژگی های ناشناس را به اشتراک بگذارید.
13. یک مدل توصیه وارد تولید می شود اما ردیابی ایجاد نشده است. هنگامی که کاتالوگ محصولات پس از 4 ماه تغییر می کند، مدل همچنان به توصیه محصولات قدیمی ادامه می دهد و نرخ تبدیل بی صدا 30٪ کاهش می یابد. نام این پدیده چیست؟
- الف) یادگیری بیش از حد؛ مدل مجموعه آموزشی را حفظ می کند
- ب) رانش مدل. با تغییر جهان، مدل بیصدا و بدون توجه منسوخ میشود زیرا نظارت برقرار نمیشود ✔
- ج) سوگیری انتخاب؛ تعصب نمونه
- د) نقض حداقل سازی داده ها
توضیح: این دریفت مدل است (مدل/رانش داده): وقتی دنیا تغییر می کند (کاتالوگ، رفتار، فصل) شرایطی که تحت آن مدل آموزش داده شده تغییر می کند و مدل بی صدا خراب می شود. مدلی که تولید می شود خود به خود خراب می شود. موضوع "چه زمانی" است. استقرار بدون نظارت (ردیابی ورودی و عملکرد) تشخیص تخریب را غیرممکن می کند.
14. مدلی که دقت 88 درصدی را در یک تقسیم آموزشی/آزمون به دست می آورد، دارای امتیازهای اعتبارسنجی متقابل 5 برابری 88، 71، 83، 64، 79 درصد است. این نشان دهنده چیست و چرا اعتبارسنجی متقابل مهم است؟
- الف) مدل پایدار است. 88 درصد عملکرد واقعی است
- ب) اعتبار متقابل غیر ضروری است. یک محفظه کافی است
- ج) نوسانات زیاد نمرات نشان دهنده ناپایدار بودن مدل است. اعتبار سنجی متقاطع عملکرد را بر اساس میانگین و توزیع چند سطل است، نه یک سطل خوش شانس ✔
- د) بهتر است بالاترین امتیاز (88%) گزارش شود.
توضیح: یک محفظه می تواند خوش شانس یا بدشانس باشد. 88 درصد فقط نتیجه آن تقسیم آسان بود. اعتبار سنجی متقاطع داده ها را چندین بار تقسیم می کند و عملکرد را بر اساس میانگین (در اینجا ~77٪) و نشان دادن نوسانات امتیازات است. نوسانات بالا در اینجا نشان می دهد که مدل ناپایدار است. تکیه بر یک محفظه منفرد گمراه کننده است.