تعصب، انصاف و تبعیض: نقاط کور مدل

سود:

• درک اینکه چگونه سوگیری در مدل‌های هوش مصنوعی از داده‌ها و طراحی ناشی می‌شود و چرا ریسک‌های قانونی و اخلاقی در بانکداری ایجاد می‌کند.
• توانایی تشخیص ویژگی های محافظت شده، متغیرهای پروکسی و تبعیض غیرمستقیم و تصمیم گیری مدل سوال از نظر انصاف
• توانایی درک اینکه چگونه معیارهای عدالت، گروه‌های محروم و حق اعتراض در الگوی حاکمیتی بافته می‌شوند و خط قرمز تبعیض را حفظ می‌کنند.

یک مدل هوش مصنوعی خنثی نیست. این آینه ای از داده های آموخته شده است. اگر داده ها حامل نابرابری های گذشته باشند، مدل آنها را یاد می گیرد و به آینده منتقل می کند. در بانکداری، این یک بحث اخلاقی انتزاعی نیست: اگر یک مدل اعتباری به طور سیستماتیک به گروه خاصی آسیب برساند، این امر هم غیرقانونی (منع تبعیض) و هم نقض اخلاقی است و خطرات اعتبار و تحریم را برای بانک به همراه دارد. هدف این واحد نشان دادن این است که چگونه مدل به شکل‌های مغرضانه، مستقیم و غیرمستقیم تبعیض، تله متغیر پروکسی و راه‌هایی برای تنیدن انصاف در حاکمیت مدل تبدیل می‌شود. یک خط قرمز از همان ابتدا باید گفت: تبعیض، هر چقدر هم که «آماری» به نظر برسد، غیرقابل قبول است.

تعصب از کجا می آید؟

• سوگیری داده ها: اگر تصمیمات گذشته ناعادلانه بوده اند (مثلاً به یک گروه خاص در گذشته اعتبار کمتری داده شده است)، مدل فرض می کند که این "عادی" است و ادامه می یابد. به این می گویند سوگیری تاریخی.
• سوگیری نمونه گیری: اگر برخی از گروه ها در داده ها کمتر ارائه شوند، مدل به طور ضعیف و نادرست در مورد آنها یاد می گیرد.
• سوگیری برچسب: اگر خود تعریف «مشتری خوب» مغرضانه باشد، مدل برای تعصب بهینه می‌شود.
• سوگیری طراحی: انتخاب های انسان در مورد اینکه از کدام متغیرها استفاده شود نیز می تواند دارای سوگیری باشد.

نکته: "مدل مبتنی بر داده است، بنابراین عینی است" یک تصور اشتباه است. داده ها تصویری از گذشته است. اگر گذشته ناعادلانه بود، مدل "عینی" بی عدالتی را با ریاضیات توجیه می کند. عینیت تضمینی برای بی طرفی نیست.

تبعیض مستقیم و غیر مستقیم

• تبعیض مستقیم: استفاده مستقیم مدل از یک ویژگی محافظت شده (جنسیت، قومیت، مذهب، سن). این صراحتا ممنوع است.
• تبعیض غیرمستقیم (متغیر جایگزین / پروکسی): حتی اگر مدل به طور مستقیم از ویژگی محافظت شده استفاده نکند، با استفاده از متغیر دیگری که به شدت با آن مرتبط است (کد پستی، نام، دسته خرید، منطقه کاری) همان نتیجه را ایجاد می کند. کد پستی اغلب نماینده قومیت یا سطح درآمد است. مدل می گوید "همسایگی" اما نتیجه تبعیض "منشا" است.

متغیر

ظاهرا

می تواند یک پروکسی باشد

کد پستی / منطقه

جغرافیا

قومیت، سطح درآمد

نام

شناسه

منشاء، جنسیت

دسته خرید

رفتار

سبک زندگی، باور

فارغ التحصیل مدرسه

آموزش و پرورش

خاستگاه اجتماعی و اقتصادی

به همین دلیل است که وقتی گزاره‌ای مانند «همسایگی خطرناک است» را در یک توجیه می‌بینید باید زنگ خطر به صدا درآید: ممکن است به نظر یک معیار قانونی باشد اما تبعیض غیرمستقیم دارد.

احتیاط: حذف ویژگی محافظت شده از داده ها به تبعیض پایان نمی دهد. متغیرهای جایگزین می توانند آن را برگردانند. عدالت با «من ستون حساس را حذف کردم» محقق نمی شود. این با آزمایش نتایج تصمیمات مدل بین گروه ها به دست می آید.

تنیدن عدالت در حکومت

1. معیارهای انصاف میزان تایید/رد و خطای مدل را بین گروه ها مقایسه کنید. آیا یک گروه به طور سیستماتیک طردهای بالاتری را تجربه می کند؟
2. کنترل پروکسی رابطه متغیرهای استفاده شده با ویژگی های محافظت شده را بررسی کنید.
3. قابل توضیح برای هر تصمیمی باید توجیهی ارائه شود. انکار "جعبه سیاه" غیرقابل دفاع است.
4. حق اعتراض باید به مشتری این حق داده شود که منطق تصمیم را بیاموزد و درخواست بازبینی انسانی کند.
5. گروه های مستثنی شده همچنین باید بررسی شود که با گروه هایی که کمتر در داده ها حضور دارند، بدرفتاری نشود.

چهار قالب قابل کپی

1) غربالگری برای تبعیض در توجیه:

منطق تصمیم اعتباری زیر را بررسی کنید: آیا اشاره مستقیم یا غیرمستقیم به یک ویژگی محافظت شده (سن، جنسیت، منشاء، مذهب) یا یک متغیر پروکسی (کدپستی، محله، نام، نوع خرید) وجود دارد؟ اظهارات پرخطر را علامت گذاری کنید و توضیح دهید که چرا آنها خطر تبعیض دارند. دلیل: [متن]

2) کنترل پروکسی لیست متغیر:

این لیست از متغیرهای مورد استفاده در مدل اعتباری را بررسی کنید. کدام یک می تواند نماینده یک ویژگی محافظت شده باشد و خطر تبعیض غیرمستقیم را ایجاد کند؟ توجیه خود را برای هر نوع ریسکی بنویسید. فهرست: [متغیرها]

3) خلاصه تصمیم از نظر انصاف (خنثی، قابل توضیح):

نقش شما: دستیار که یک منطق تصمیم گیری قابل توضیح را تهیه می کند. فقط بر معیارهای قانونی و بدون تبعیض (نسبت بدهی به درآمد، سابقه پرداخت، وثیقه) تکیه کنید. به ویژگی محافظت شده و متغیر جایگزین ارجاع ندهید. منطق را به زبانی ساده بنویسید که مشتری متوجه شود. من تایید می کنم.

4) پیش نویس پاسخ اعتراض:

مشتری برای رد اعتبار درخواست تجدیدنظر داد و خواستار توجیه است. پیش نویس یک پاسخ محترمانه و توصیفی بر اساس معیارهای قانونی؛ به مشتری حق او برای بررسی و اصلاح انسانی را یادآوری کنید. از هیچ پیامد تبعیض آمیزی استفاده نکنید. دلیل رد تأیید شده: [دلیل]

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

برنامه های کاربردی در این منطقه بسیار مخاطره آمیز هستند، بیایید از اطلاعات ناحیه به شدت در مدل استفاده کنیم تا دقت بیشتر شود.

این رویکرد تبعیض غیرمستقیم بر اساس منطقه را تقویت می کند. این یک نتیجه غیرقانونی را به نام "ضربه" مشروعیت می بخشد.

اعلان قدرتمند:

نقش شما: دستیار حسابرسی دادگستری. متغیرهای مورد استفاده که خطر متغیرهای جانشین را به همراه دارند علامت گذاری کنید. برای مقایسه تصمیمات بین گروه‌ها از نظر میزان تأیید/رد، معیارهایی را پیشنهاد دهید که باید دنبال کنم. هرگز یک معیار تبعیض آمیز را تقویت نکنید. تغییر مسیر به معیارهای قانونی و قابل توضیح.

اراده قوی به دنبال ریسک پروکسی است، معیارهای انصاف را معرفی می کند و تبعیض را رد می کند.

سه کیف کوچک

مورد 1 - سوگیری تاریخی. یک مدل به یک گروه شغلی خاص نمره سیستماتیک پایینی می دهد زیرا در گذشته اعتبار کمتری به آن داده شده است. یک حسابرسی عادلانه نشان می دهد که نرخ رد برای این گروه 30 درصد بیشتر از سایرین در سطوح درآمدی مشابه است. مدل با درآمد مشروع و معیارهای پرداخت متعادل شده است.

مورد 2 - متغیر جایگزین. کد پستی یک متغیر قدرتمند در یک مدل است. ممیزی نشان می‌دهد که کد پستی با محله‌های خاصی که از نظر قومی متمرکز شده‌اند همپوشانی دارد و باعث ایجاد تبعیض غیرمستقیم در منشأ می‌شود. متغیر حذف شده و با معیارهای مالی قانونی جایگزین می شود. عملکرد در سطح قابل قبولی باقی می ماند، تبعیض از بین می رود.

مورد 3 - حق اعتراض. مشتری رد شده درخواست توجیه می کند. بانک توجیه قابل توضیح (نسبت بدهی به درآمد بالا) را ارائه می کند و درخواست بررسی انسانی را می پذیرد. بررسی نشان می دهد که یک سند اشتباه خوانده شده است. تصمیم تصحیح می شود. تبیین پذیری و حق اعتراض، اشتباه را با عدالت جبران می کند.

معیارهای انصاف: چه چیزی و چگونه اندازه گیری می کنیم

"آیا مدل منصفانه است؟" هیچ پاسخ واحدی برای این سوال وجود ندارد؛ تعاریف متعددی از عدالت وجود دارد و گاه با یکدیگر تعارض دارند. در اینجا چند رویکرد است که عملاً در بانکداری دنبال می شود:

• مقایسه نرخ تایید/رد: آیا نرخ تایید به طور سیستماتیک بین گروه های مختلف با مشخصات مالی مشابه (مانند گروه های جنسیتی) متفاوت است؟ تفاوت زیاد و غیرقابل توضیح نشانه تعصب است.
• برابری نرخ خطا: آیا نرخ رد کاذب مدل (رد درخواست قانونی) در بین گروه ها متعادل است؟ اگر یک گروه به طور ناعادلانه بیشتر از گروه دیگر طرد شود، مشکل وجود دارد.
• کالیبراسیون: آیا مشتریانی که مدل آنها را «ریسک بالا» می‌نامد، واقعاً با نرخ‌های مشابه در هر گروه پیش‌فرض می‌شوند؟ معنای نمره نباید از گروهی به گروه دیگر تغییر کند.

این معیارها گاهی اوقات نمی توانند همزمان ارائه شوند. اینکه کدام تعریف از عدالت در اولویت قرار گیرد، تصمیمی فنی نیست، بلکه یک تصمیم اخلاقی و قانونی است و نیازمند حاکمیت انسانی است.

نکته: معیار انصاف را در فواصل زمانی منظم اندازه گیری کنید، نه فقط زمانی که مدل را می سازید. یک مدل ممکن است به طور منصفانه فعال شود و در طول زمان به دلیل جابجایی داده ها، مغرضانه شود. عدالت امری «تأسیس» نیست بلکه «نظارت» است.

اشتباهات رایج

• مغالطه "داده های عینی". با فرض خنثی بودن مدل؛ داده ها دارای سوگیری تاریخی هستند.
• فقط ستون حساس را حذف کنید. حذف ویژگی محافظت شده و نادیده گرفتن متغیرهای پراکسی.
• ردیابی نکردن معیارهای انصاف به هیچ وجه نمی توان میزان رد/خطا را بین گروه ها مقایسه کرد.
• دفاع از تصمیم جعبه سیاه در نظر گرفتن تصمیمی که قابل توجیه نیست.
• سلب حق اعتراض. غیرفعال کردن بازبینی انسانی زیرا "فرآیند را کند می کند."

توجه: تبعیض اغلب نه از سوء نیت بلکه از بی احتیاطی ناشی می شود. یک متغیر اضافه شده به دلیل "افزایش دقت" ممکن است ناخودآگاه یک گروه را حذف کند. بنابراین عدالت مبتنی بر حسن نیت نیست، بلکه بر اساس آزمایش منظم است.

به طور خلاصه

مدل‌های هوش مصنوعی دارای سوگیری داده‌هایی هستند که از آنها یاد می‌گیرند و تبعیض در بانکداری یک خطر قانونی، اخلاقی و شهرت است. تبعیض مستقیم با استفاده از یک ویژگی محافظت شده است. از سوی دیگر، تبعیض غیرمستقیم، همان نتیجه را با متغیرهای پراکسی (کد پستی، نام) ایجاد می کند. عدالت پاک کردن ستون حساس نیست. با معیارهای انصاف، کنترل پروکسی، توضیح پذیری و حق اعتراض تضمین می شود. در یک جمله: الگوی گذشته را تکرار می کند. این وظیفه انسان است که عدالت را رعایت کند و تبعیض را نپذیرد.

وظیفه کاربردی

فهرستی از 8 تا 10 متغیر را برای یک مدل اعتباری بنویسید (برخی با ریسک عمدی پروکسی: کد پستی، نام، دسته خرید). 2. یک بررسی پروکسی با الگو انجام دهید و موارد پرخطر را با دلایل آنها علامت بزنید. سپس یک متن توجیهی تبعیض آمیز بنویسید و آن را با الگوی 1 اسکن کنید. در نهایت، در یک پاراگراف برنامه ریزی کنید که کدام معیارهای انصاف را برای مقایسه نرخ رد مدل بین گروه ها دنبال کنید.

چک لیست

• [ ] من بررسی کرده ام که مدل/منطق از ویژگی های محافظت شده استفاده نمی کند.
• [ ] همچنین ریسک متغیرهای پروکسی را بررسی کردم.
• [ ] من قصد داشتم میزان تایید/رد و خطا را بین گروه ها مقایسه کنم.
• [ ] من مطمئن شدم که هر تصمیمی دارای یک منطق قابل توضیح است.
• [ ] به مشتری حق اعتراض و بازبینی انسانی دادم.
• [ ] من حتی از خط قرمز تبعیض به دلیل "ضربه" عبور نکردم.