سود:
- می داند که داده ها منبع اصلی سوگیری هوش مصنوعی هستند
- خطراتی را که سوگیری می تواند در محل کار ایجاد کند، تشخیص می دهد
- اقداماتی را اجرا می کند که می تواند برای کاهش تعصب انجام شود
هوش مصنوعی به عنوان یک ماشین خنثی و هدف ظاهر می شود. اما حقیقت بسیار پیچیده تر است. سیستمهای هوش مصنوعی سوگیریهای انسانی را در دادههایی که روی آنها آموزش دیدهاند یاد میگیرند و گاهی اوقات آنها را بزرگنمایی و بازتولید میکنند. تعصب تمایل یک سیستم به نفع یا حذف سیستماتیک افراد یا گروه های خاص است. در این بخش، ما در نظر خواهیم گرفت که تعصب از کجا می آید، چه خطرات مشخصی در محل کار به همراه دارد و چه کاری می توان در برابر آن انجام داد. این فقط یک موضوع «اخلاق» نیست. این یک موضوع تجاری عملی است که در صورت سوء مدیریت، خطرات قانونی، تجاری و اعتباری را به همراه دارد.
تعصب از کجا می آید؟
اطلاعات یک مدل زبان از متون عظیمی که انسان تولید می کند به دست می آید. این متون حاوی تمام دانش جامعه بشری و همچنین کلیشه ها، عدم تعادل ها و نابرابری های تاریخی آن است. مدل تمایزی بین الگوهای "خوب" و "بد" قائل نیست. هر آنچه در داده ها باشد را یاد می گیرد.
مثال: اگر مشاغل خاصی در متون گذشته عمدتاً با یک جنسیت مرتبط بودند (مثلاً "پرستار" با زن، "مهندس" با مرد)، مدل این ارتباط را میآموزد. او ممکن است هنگام تکمیل جمله "یک مهندس وارد دفتر شد، او..." یک ضمیر مرد انتخاب کند. این فقط نشان دهنده عدم تعادل در داده ها است.
بنابراین تعصب بیشتر به این دلیل است که آینه ای از داده ها است، نه یک خطای برنامه نویسی آگاهانه. توضیح این مشکل به این صورت که "شخصی کد بد نوشته است" گمراه کننده است. مشکل این است که عدم تعادل در جهان به داده ها و از آنجا به مدل منتقل می شود.
خطرات ملموس در محل کار
منطقه
خطر سوگیری
آسیب احتمالی
استخدام
روند داده های تاریخی را بیاموزید و گروه های خاصی را حذف کنید
پرونده حقوقی، از دست دادن توانایی
ارتباط با مشتری
زبان کلیشه ای یا طردکننده
از دست دادن شهرت، فرار مشتری
اعتبار/ریسک
تداوم نابرابری های گذشته
تبعیض، تحریم
ارزیابی عملکرد
حمل سوگیری در داده ها در تصمیم گیری
تبلیغ/پاداش ناعادلانه
محتوا/بازاریابی
گروه خاصی را نامرئی کنید
آسیب برند
سه کیف کوچک
مورد 1 - تبلیغ زبان را محدود می کرد. یک شرکت شروع به چاپ آگهی های شغلی با هوش مصنوعی کرد. پس از مدتی متوجه شد که تبلیغات با عباراتی مانند "جوان و پویا"، "هدف تهاجمی" به پروفایل خاصی جلب شده و در نتیجه از تنوع اپلیکیشن ها کاسته است. تیم مرحله ای را اضافه کرد که هر پست را برای "زبان فراگیر" بررسی می کند. تنوع متقاضیان ظرف چند ماه به میزان قابل توجهی افزایش یافته است.
مورد 2 - سوگیری پنهان در خلاصه. یک مدیر از هوش مصنوعی خواسته بود که بازخورد 30 کارمند را خلاصه کند. خلاصه به نظر می رسید که نظرات منفی را روی یک تیم خاص متمرکز کند. در حالی که در داده های خام وضعیت متعادل بود. مدل چندین اظهارات قوی را اغراق می کند. وقتی مدیر برگشت و داده های خام را بررسی کرد، از ایجاد یک تصور غلط اجتناب کرد.
مورد 3 - دستور شمول کار آمد. یک تیم بازاریابی این دستورالعمل را در نسخه کمپین استانداردسازی کرد تا «از زبان جنسی/سن/گروهی فراگیر و غیر اختصاصی استفاده کنید و در پایان مفروضات خود را فهرست کنید.» عبارات فرمولی در متون تولید شده به طور محسوسی کاهش یافته است. تیم مجبور نبود هر خروجی را بارها و بارها به صورت دستی تصحیح کند.
چرا تشخیص تعصب سخت است؟
موذیانه ترین چیز در مورد تعصب این است که اغلب نامرئی است. خروجی صاف، حرفه ای و معقول به نظر می رسد. گرایش درون آن تنها زمانی آشکار می شود که فرد با دقت نگاه کند یا تأثیر آن را بر گروه های مختلف بسنجد. این گمراه کننده است که با نگاه کردن به یک مثال، بگوییم «اینجا تعصبی وجود ندارد». تعصب اغلب خود را نه در نمونه های فردی بلکه در گرایش عمومی سیستم نشان می دهد.
احتیاط: این فرض که "من بی طرف هستم، بنابراین ابزاری که استفاده می کنم نیز خنثی است" خطرناک است. بی طرفی ابزار به داده های آموزشی و نحوه بازرسی آن بستگی دارد، نه به قصد شما.
اعلان ضعیف / اعلان قوی
اعلان ضعیف: نامزد ایده آل برای این موقعیت را توصیف کنید.
نتیجه: مدل ممکن است بر کلیشه ها تکیه کند و نمایه خاصی را به عنوان "ایده آل" ارائه دهد.
اعلان قوی: فقط شایستگیهای قابل اندازهگیری را برای این موقعیت فهرست کنید که واقعاً با شغل مرتبط هستند. از هیچ ویژگی غیر مرتبط با شغل مانند جنسیت، سن، وضعیت تأهل، زادگاه استفاده نکنید. در نهایت آنچه را که از قلم انداخته اید زیر عنوان «فرض هایی که من اجتناب می کنم» بنویسید.
نتیجه: ارزیابی به معیارهای مرتبط با شغل محدود می شود، ویژگی های نامربوط حذف می شوند.
الگوهایی برای کاهش تعصب
متن زیر را برای زبان فراگیر بررسی کنید. عباراتی را که دلالت بر جنسیت، سن، قومیت، ناتوانی یا گروهی خاص دارند، علامت گذاری کنید و جایگزینی خنثی برای هر کدام پیشنهاد کنید. متن: [اینجا بچسبانید]
این ارزیابی را فقط بر اساس این معیارهای عینی انجام دهید: [معیارها]. هیچ اطلاعاتی غیر از این معیارها (نام، جنسیت، سن) را در نظر نگیرید.
در پایان زیر یک عنوان جداگانه، فرضیاتی را که در متنی که تولید کرده اید ذکر کرده اید. بنابراین من می توانم تعصبات پنهان را ببینم.
این محتوا را از دید سه گروه مختلف از خوانندگان ارزیابی کنید و اظهاراتی را که ممکن است به هر یک از آنها توهین یا توهین کند علامت گذاری کنید. محتوا: [اینجا بچسبانید]
اشتباهات رایج
اشتباهات رایج
- با فرض خروجی هوش مصنوعی "خنثی". حتی اگر خروجی خنثی به نظر می رسد، ممکن است دارای سوگیری در داده ها باشد. نظارت فعال لازم است.
- نگاه کردن به یک مثال و گفتن "هیچ تعصبی وجود ندارد". تعصب در گرایش عمومی نظام نهفته است.
- سپردن تصمیم گیری با تاثیر بالا به هوش مصنوعی بدون نظارت. اختیارات انسانی در تصمیماتی مانند استخدام، ارتقاء و اعتبار ضروری است.
- فراموش کردن تقاضای فراگیر بودن اگر به صراحت آن را در اعلان درخواست نکنید، مدل به الگوهای پیش فرض برمی گردد.
- یعنی «ماشین آن را گفت». شخصی که از تصمیم استفاده می کند نیز مسئول عواقب آن است.
عدالت مسئولیت همه است
مبارزه با تعصب فقط کار تیم فنی نیست. هر کارمندی که از خروجی هوش مصنوعی استفاده می کند این مسئولیت را دارد که سوال کند آیا این خروجی منصفانه است یا خیر. "ماشین به من گفت" بهانه ای نیست. شخص تصمیم گیرنده نیز مسئول عواقب آن است.
به طور خلاصه
- منبع اصلی سوگیری هوش مصنوعی بدخواهی نیست، بلکه عدم تعادل ها و کلیشه های موجود در داده های آموزشی است.
- تعصب؛ این ریسک واقعی حقوقی و اعتباری را در زمینه هایی مانند استخدام، ارتباطات مشتری، امور مالی و ارزیابی ایجاد می کند.
- تعصب اغلب نامرئی است و در ساختار کلی سیستم تعبیه شده است. نگاه کردن به یک مثال گمراه کننده است.
- برای کاهش: آگاه باشید، تصمیمگیری را به معیارهای مرتبط با شغل محدود کنید، صریحاً خواستار فراگیری باشید، کنترل انسانی را بر تصمیمهای پرتأثیر قرار دهید.
- "ماشین به من گفت" بهانه ای نیست. انصاف مسئولیت هر کسی است که از خروجی استفاده می کند.
وظیفه برنامه
به هوش مصنوعی بگویید «یک کارگر ایده آل [هر شغلی] را توصیف کند» و مشخص کنید که چه فرضیاتی (شاید غیرضروری) در خروجی انجام شده است. سپس با الگوی «معیارهای مرتبط با شغل» در بالا تکرار کنید و دو خروجی را برای انصاف مقایسه کنید.
چک لیست
- [ ] من می دانم که منبع اصلی سوگیری داده های آموزشی است.
- [ ] من می توانم خطرات مشخصی را که تعصب در محل کار می تواند ایجاد کند نام ببرم.
- [ ] من می دانم که تعصب اغلب نامرئی است و نگاه کردن به یک مثال گمراه کننده است.
- [ ] من به وضوح می توانم برای فراگیر بودن و معیارهای مرتبط با شغل در اعلان درخواست کنم.
- [ ] من به نظارت انسانی بر تصمیمات پرتأثیر نیاز دارم.