سود:
- توانایی تشخیص تبعیض پنهان با درک اینکه سوگیری از داده ها (تاریخی، نمایشی، اندازه گیری، تجمیع) و ارزیابی مدل بر اساس زیرگروه ها می آید.
- توانایی ارائه قابلیت توضیح، نظارت انسانی و پاسخگویی در تصمیم گیری های پر تاثیر و شفافیت اسناد با کارت مدل
- امکان مدیریت هزینه های مالی و زیست محیطی بدون افت کیفیت با کوچکترین مدل مناسب، کوتاه کردن سریع، کش و دسته ای
یک مدل ممکن است از نظر فنی کاملاً کار کند، اما همچنان اشتباه است - اگر برای برخی افراد ناعادلانه باشد، غیرقابل توضیح باشد، یا هزینه های ناپایدار ایجاد کند. در این واحد، ما سه بعد "نامرئی" اما تعیین کننده مهندسی ML را پوشش می دهیم: تعصب و انصاف، اخلاق و شفافیت، هزینه و پایداری. اینها زیورآلاتی نیستند که بعداً اضافه شده اند، بلکه جزء جدایی ناپذیر کیفیت مهندسی هستند.
تعصب از کجا می آید؟
سوگیری مدل (رفتار سیستماتیک مدل با گروههای خاص بهطور متفاوت/ناعادلانه) معمولاً از دادهها ناشی میشود، نه مدل. منابع:
- سوگیری تاریخی: داده ها نشان دهنده بی عدالتی گذشته است. اگر در گذشته به یک گروه خاص اعتبار کمتری داده شده باشد، مدل آموزش داده شده بر روی آن داده ها این تبعیض را یاد می گیرد و تداوم می بخشد.
- سوگیری بازنمایی: برخی از گروه ها در داده ها کمتر نشان داده شده اند. این مدل برای آنها ضعیف عمل می کند (به عنوان مثال دقت پایین در یک نمونه جمعیتی کوچک).
- سوگیری اندازهگیری: خود برچسبها مغرضانه هستند (به عنوان مثال، اگر تعریف «کارمند خوب» بر اساس تصمیمهای ارتقای قبلی باشد).
- سوگیری تجمع: از آنجا که داده ها از یک کانال خاص می آیند، نشان دهنده جهان نیستند.
مدل فقط این تعصبات را یاد نمی گیرد. با خودکار کردن آن افزایش می یابد. تصمیم مغرضانه یک فرد بر شخص دیگر تأثیر می گذارد. حکم یک مدل مغرضانه میلیونی است.
احتیاط: اشتباه گفتن "مدل خنثی است زیرا فقط ریاضی است" نیفتید. این مدل سوگیری انسان را در داده ها یاد می گیرد و خودکار می کند. بی طرفی یک پیش فرض نیست، بلکه یک نتیجه است که باید اندازه گیری و تضمین شود.
سنجش عدالت
برای مدیریت عدالت، ابتدا باید آن را سنجید. برای انجام این کار، مدل را بر اساس زیر گروه ارزیابی کنید: آیا معیارهایی مانند دقت، یادآوری، نرخ مثبت کاذب در گروههای مختلف جمعیتی برابر هستند؟ چند مفهوم عدالت:
- انصاف گروهی: آیا این مدل با گروههای مختلف بهدرستی/نادرست با نرخهای مشابه رفتار میکند؟
- برابری فرصت ها: آیا این مدل موارد واقعاً مثبت را در همه گروه ها به طور مساوی به تصویر می کشد (یادآوری برابر)؟
واقعیت مهم: ممکن است تعاریف مختلف از عدالت در یک زمان برآورده نشود (این یک نتیجه ریاضی است). اینکه کدام تعریف از عدالت در این زمینه اولویت دارد، یک تصمیم اخلاقی و تجاری است، نه فنی، و همراه با ذینفعان اتخاذ می شود.
رویکرد ضعیف / رویکرد قوی
ضعیف: "دقت کلی مدل 88٪ است که منصفانه است."
گوچلو: "دقت کلی 88٪ بود، اما وقتی آن را به زیر گروه ها تقسیم کردیم، فراخوان در یک گروه 91٪ و در گروه دیگر 67٪ بود - مدل به طور سیستماتیک آن گروه را از دست می داد. ما دلیل (فقدان نمایش) را مستند کردیم، داده ها را برای آن گروه جمع آوری کردیم و آن را با هدف برابری عادلانه ارزیابی مجدد ارزیابی کردیم.
تفاوت: رویکرد قوی پشت معیار کلی پنهان نمی شود، زیرگروه ها را از هم جدا می کند و انصاف را به عنوان یک تصمیم باز تلقی می کند.
اخلاق و شفافیت
اصول اصلی هوش مصنوعی مسئول عبارتند از:
- توضیح پذیری: آیا می توان توضیح داد که چرا مدل این تصمیم را گرفته است؟ در تصمیم گیری های پر تاثیر (اعتبار، استخدام، مراقبت های بهداشتی) شخص حق توضیح دارد. مدل غیرقابل توضیح نباید در این زمینه ها استفاده شود یا باید با روشی قابل توضیح پشتیبانی شود.
- نظارت انسانی: تصمیمات پرتأثیر نباید به طور خودکار اتخاذ شوند. مدل پیشنهاد می کند، انسان تایید می کند.
- پاسخگویی: زمانی که مدل خطا می کند باید مشخص شود که چه کسی مسئول است. "مدل تصمیم گرفت" بهانه ای نیست.
- شفافیت: کاربر باید بداند که با یک هوش مصنوعی و نحوه استفاده از داده هایش در تعامل است.
در بسیاری از کشورها و بخشها، این اصول در قوانین (شفافیت، حسابرسی و نظارت انسانی برای سیستمهای هوش مصنوعی پرخطر) نیز گنجانده شده است. مهندس مسئول دانستن مقررات رشته خود است.
نکته: یک «کارت مدل» برای هر مدل با تأثیرگذاری بالا نگه دارید: مدل چه کاری انجام میدهد، بر روی چه دادههایی آموزش دیده است، در چه گروههایی چقدر خوب/ ضعیف عمل میکند، محدودیتهای شناخته شده آن چقدر است. این سند هم یک ابزار شفافیت و هم برای پاسخگویی است.
هزینه و پایداری
هوش مصنوعی ارزان نیست. هزینه در دو بعد مدیریت می شود:
هزینه مالی:
- هزینه توکن (LLM): هر درخواست و پاسخ هزینه توکن ها. با افزایش حجم، صورتحساب افزایش می یابد. درخواست های طولانی غیر ضروری، انتخاب مدل بیش از حد بزرگ و حلقه های عامل کنترل نشده (واحد 5) هزینه را افزایش می دهد.
- آموزش و میزبانی: تنظیم دقیق و ارائه مدل هزینه های سخت افزاری را به همراه دارد.
- بهینه سازی: اگر مدل کوچک کافی است از یک مدل بزرگ استفاده نکنید. حافظه پنهان سوالات متداول؛ کوتاه کردن اعلان؛ دسته ای که می تواند پردازش شود.
هزینه های زیست محیطی: آموزش و استنتاج مدل های بزرگ انرژی قابل توجهی مصرف می کند. پایداری اجتناب از محاسبات غیر ضروری (مدل اندازه صحیح، معماری کارآمد) را به یک مسئولیت حرفه ای تبدیل می کند.
نکته: اولین قانون بهینه سازی هزینه: "کوچکترین مدل مناسب برای این کار چیست؟" قرار دادن قدرتمندترین مدل در همه جا مانند کوبیدن میخ با پتک است - گران و غیر ضروری.
سه کیف کوچک
مورد اول - تبعیض پنهان. یک مدل غربالگری استخدام به طور کلی خوب به نظر می رسید. تجزیه و تحلیل زیرگروه نشان داد که این مدل به طور سیستماتیک بر نامزدهای زن تأکید میکرد، زیرا دادههای تاریخی تحت سلطه مردان بود - سوگیری تاریخی را آموخته بود. مدل متوقف شد، داده ها متعادل شد و معیارهای انصاف نظارت شد. عدالت عمومی، تبعیض پنهان را پوشانده است.
مورد 2 - رد بدون دلیل. یک مدل اعتباری درخواست ها را رد می کرد، اما هیچ کس نمی توانست دلیل آن را توضیح دهد. هنگامی که یک مشتری توضیح قانونی درخواست کرد، تیم قادر به پاسخگویی نبود. این مدل از استفاده در تصمیمگیریهای با تاثیر بالا کنار گذاشته شد تا زمانی که یک روش قابل توضیح اضافه شد و برای هر رد توجیهی تولید شد. درس: توضیحپذیری در تصمیمگیری با تأثیر بالا ضروری است.
مورد 3 - شوک بیل. یک تیم از بزرگترین LLM و درخواست های بسیار طولانی برای هر درخواست استفاده می کرد. صورتحساب ماهانه به طور غیرمنتظره ای رشد کرده است. تجزیه و تحلیل پست: بیشتر درخواستها را میتوان با یک مدل کوچک حل کرد، نیمی از درخواستها اضافی بودند و سؤالات مکرر میتوانستند کش شوند. این سه بهینه سازی هزینه را به طور قابل توجهی کاهش دادند، بدون اینکه کیفیت را به خطر بیندازند. درس: قدرتمندترین مدل در همه جا لازم نیست.
قالب های قابل کپی
به من کمک کنید این مدل را از نظر سوگیری/انصاف ارزیابی کنم. کدام زیرگروه ها (دموگرافیک/بخش) را باید تقسیم و اندازه گیری کنم؟ چه معیارهایی (دقت، یادآوری، نرخ مثبت کاذب بر اساس گروه) را باید مقایسه کنم؟ آیا تعاریف مختلف انصاف می توانند تعارض داشته باشند که در این زمینه کدام را باید در اولویت قرار دهم و چرا؟ زمینه مدل/تصمیم: [توضیح]
یک کارت مدل پیش نویس برای این مدل پر تاثیر تولید کنید. باید شامل موارد زیر باشد: هدف، داده ها و تاریخ آموزشی، عملکرد در زیر گروه ها، محدودیت های شناخته شده، استفاده مناسب/نامناسب، وضعیت قابل توضیح، نقطه نظارت انسانی. مدل: [توضیحات]
به من کمک کنید تا هزینه اجرای این LLM را بدون به خطر انداختن کیفیت کاهش دهم. موجود: اندازه مدل، طول متوسط درخواست، حجم درخواست، حافظه پنهان وجود دارد؟ ارزیابی: 1) آیا مدل کوچکتر کافی است (برای کدام کارها)؟ 2) آیا می توان درخواست را کوتاه کرد؟
یک چک لیست اخلاق/مسئولیت برای این سیستم تصمیم گیری پرتاثیر تهیه کنید.- قابلیت توضیح: آیا می توان تصمیم گیری را توجیه کرد؟- نظارت انسانی: آیا تصمیم با تاثیر بالا منوط به تایید است؟- پاسخگویی: در صورت بروز خطا چه کسی مسئول است؟- شفافیت: آیا کاربر می داند که از هوش مصنوعی استفاده می شود؟- مقررات: الزامات قانونی مربوط به اسکریپت چیست؟
جدول منبع سوگیری
منبع
علامت
احتیاط
سوگیری تاریخی
تبعیض گذشته ادامه دارد
حسابرسی داده + معیار انصاف
سوگیری نمایندگی
دقت پایین در گروه نمونه کوچک
تجزیه و تحلیل زیر گروه + متعادل سازی
تعصب اندازه گیری
برچسب های مغرضانه
بررسی فرآیند برچسب
سوگیری تجمع
کائنات نشان داده نمی شود
تنوع بخشیدن به منابع
اشتباهات رایج
- با تکیه بر معیار کلی. تبعیض پنهان بدون تجزیه و تحلیل زیر گروهی قابل مشاهده نیست.
- با فرض «خنثی مدل». مدل یاد می گیرد و سوگیری را در داده ها تقویت می کند.
- واگذاری تصمیم پر تاثیر به مدل غیرقابل توضیح. ریسک قانونی و اخلاقی
- دور زدن نظارت انسان "مدل تصمیم گرفت" بهانه ای نیست.
- قرار دادن بزرگترین مدل در همه جا. هزینه و انرژی غیر ضروری
- عدم پیگیری هزینه اسکناس بی صدا متورم می شود.
به طور خلاصه
یک مدل از نظر فنی صحیح اگر منصفانه، قابل توضیح و پایدار نباشد، همچنان یک شکست است. سوگیری بیشتر از داده ها می آید و مدل آن را در مقیاس بزرگ می کند. انصاف را توسط زیر گروه ها اندازه گیری کنید و با ذینفعان توافق کنید که کدام تعریف از انصاف را اولویت بندی کنید. توضیح پذیری، نظارت انسانی و مسئولیت پذیری در تصمیم گیری های پر تاثیر ضروری هستند. شفافیت سند با کارت مدل. مدیریت هزینه و انرژی: کوچکترین مدل مناسب را انتخاب کنید، اعلان را کوتاه کنید، از کش و دسته استفاده کنید. این ابعاد جزء جدایی ناپذیر کیفیت مهندسی هستند، نه زوایدی که بعدا اضافه می شوند.
وظیفه کاربردی
یک مدل را به حداقل دو زیر گروه تقسیم کنید و میزان فراخوان و مثبت کاذب را به صورت گروهی مقایسه کنید. اگر تفاوت معنی داری وجود دارد دلیل و احتیاط را بنویسید. یک کارت مدل مختصر برای یک مدل با تأثیر بالا (هدف، داده ها، عملکرد زیرگروه، مرزها، قابلیت توضیح) تهیه کنید. حداقل دو بهینه سازی بتن (حداقل / کوتاهی سریع / حافظه پنهان / دسته ای) را برای کاهش هزینه اجرای یک LLM شناسایی کنید و تأثیر تخمینی آنها را یادداشت کنید.
چک لیست
- [ ] من مدل را بر اساس زیر گروه ها ارزیابی کردم، من بر معیار کلی تکیه نکردم.
- [ ] من با ذینفعان تصمیم گرفتم که کدام تعریف از عدالت را در اولویت قرار دهم.
- [ ] تصمیم با تاثیر بالا قابل توضیح است و منوط به تایید انسان است.
- [ ] من شفافیت و مرزها را با کارت الگو ثبت کردم.
- [ ] من کوچکترین مدل مناسب را انتخاب کردم. من prompt/cache/batch را بهینه کردم.
- [ ] من تأثیر هزینه و انرژی را کنترل می کنم.