سود:
- داده ها، طراحی و منابع استفاده از سوگیری الگوریتمی را تشخیص می دهد و خروجی را بر اساس گروهی آزمایش می کند.
- توضیح می دهد که چگونه حلقه بازخورد و خطای نمایش، نابرابری را بزرگ می کنند و کنترل تاثیر را ایجاد می کنند.
- با اطمینان از توضیح پذیری و تجدیدنظر در هر تصمیم خودکار، مسئولیت پذیری را تضمین می کند.
مردم باید قدرت خود را به طور یکسان در مورد همه اعمال کنند: رفتار مشابه با دو شهروند در موقعیت های مشابه، تفاوت متناسب با موقعیت های مختلف. این اصل برابری یک الزام قانون اساسی است. هوش مصنوعی هم می تواند این زمینه را بهبود بخشد و هم بی سر و صدا مختل کند. می تواند بهبود یابد زیرا یک قانون به طور مداوم اعمال می شود می تواند خودسری و تعصب انسانی را کاهش دهد. می تواند مخرب باشد زیرا مدل های هوش مصنوعی از داده های گذشته درس می گیرند و داده های گذشته تبعیض گذشته را به همراه دارد. اگر سیستمی بر روی دادههایی آموزش ببیند که از لحاظ تاریخی به گروه خاصی آسیب رساندهاند، آن مضرات را به آینده منتقل میکند – و به شکلی که تشخیص آن حتی دشوارتر است، تحت پوشش یک «الگوریتم عینی». در این بخش، نحوه تشخیص سوگیری الگوریتمی (سوگیری سیستماتیک خروجی مدل در برابر گروههای خاص) را در هنگام استفاده از هوش مصنوعی در بخش عمومی، نحوه کاهش آن و مهمتر از همه، نحوه اطمینان از پاسخگویی الگوریتمی (منطقی برای یک تصمیم خودکار، قابل توضیح، ممیزی و قابل اعتراض) را یاد خواهید گرفت.
تعصب از کجا می آید؟
منابع متعددی برای سوگیری الگوریتمی وجود دارد، و همه آنها در معرض خطر هستند:
- سوگیری تاریخی: داده های آموزشی حاوی نابرابری گذشته است. به عنوان مثال، اگر منطقه ای در گذشته خدمات کمتری داشته است، "داده های تقاضا" ممکن است آن منطقه را به عنوان دارای نیازهای کم نشان دهد - در حالی که در واقع تقاضا کم بود زیرا خدماتی وجود نداشت.
- سوگیری بازنمایی: برخی از گروهها در دادهها کمتر نشان داده شدهاند (آنهایی که دسترسی دیجیتالی ندارند، گروههای زبان اقلیت) و این مدل برای آنها ضعیف عمل میکند.
- سوگیری پروکسی: حتی اگر مدل به طور مستقیم به یک معیار ممنوعه (قومیت، مذهب) نگاه نکند، میتواند با نگاه کردن به یک نماینده مرتبط با آن (محله، نام، کد پستی) همان تبعیض را ایجاد کند.
- سوگیری اندازه گیری: آنچه ما اندازه گیری می کنیم آن چیزی نیست که واقعاً می خواهیم اندازه گیری کنیم. «تعداد شکایات» به جای نیاز، توانایی شکایت را می سنجد.
احتیاط: این گمراه کننده است که بگوییم "من داده های حساس (جنسیت، قومیت) را از مدل حذف کردم، اکنون منصفانه است". تبعیض از طریق متغیرهای پروکسی ممکن است ادامه یابد. انصاف نه با حذف ورودی، بلکه با آزمایش خروجی بین گروه ها به دست می آید.
انصاف تست: خروجی را ببینید
عادلانه بودن یا نبودن یک سیستم را با نگاه کردن به نتایج آن می توان فهمید نه اهداف آن. روش اصلی: تصمیم را به گروه ها تقسیم کرده و مقایسه کنید. آیا خروجی هایی مانند نرخ پذیرش/رد، میزان خطا، زمان انتظار بین گروه های مختلف (جنس، سن، منطقه، درآمد) تفاوت قابل توجهی دارد؟ در صورت وجود اختلاف، آیا این تفاوت بر اساس دلیل موجه است یا تبعیض است؟ از آنجایی که این تجزیه و تحلیل ممکن است به داده های شخصی نیاز داشته باشد، باید مطابق با KVKK جمع آوری و انجام شود.
نکته: قبل از راهاندازی یک سیستم تصمیمگیری جدید مبتنی بر هوش مصنوعی، تصمیمات آن را بر اساس گروههای جمعیتی تقسیم کنید و یک «گزارش انصاف» تهیه کنید. اگر تفاوتی پیدا کردید، "آیا این تفاوت قابل توضیح است؟" سوال را به یک کمیته از مردم ببرید.
توضیح پذیری و جذابیت: قلب مسئولیت پذیری
در بخش دولتی هیچ شهروندی را نمی توان با پاسخ «نظام تصمیم گرفت» از حقوق خود محروم کرد. برای هر تصمیم خودکار یا با کمک هوش مصنوعی، سه چیز باید تضمین شود:
- توضیح پذیری: اینکه تصمیم بر چه اساسی بوده، چه عواملی مؤثر بوده است، باید به زبان ساده توضیح داده شود.
- راه اعتراض: شهروندان باید بتوانند به تصمیم اعتراض کنند و از یک انسان بخواهند که آن را بررسی کند.
- دنباله حسابرسی: باید ثبت شود که کدام داده، کدام مدل/نسخه و با کدام شخص مسئول تصمیم گرفته شده است.
سه کیف کوچک
مورد 1 - نوع جایگزین ضبط شد. یکی از مدلهای اولویتبندی کمکها از دادههای حساس استفاده نمیکند، اما به «کد پستی» نگاه میکند. در آزمون انصاف، مشخص شد که محلههای خاصی به طور سیستماتیک اولویت پایینی دارند - که با کد پستی، درآمد و تراکم قومی مرتبط است. متغیر حذف شد و اولویت مستقیماً به شاخصهای نیاز گره خورد.
مورد 2 - شکاف نمایندگی. یک چت بات 41 درصد بیشتر احتمال دارد که سؤالات شهروندان با زبان مادری غیرترکی را گمراه کند. داده های آموزشی حاوی اندکی از این گروه بود. وقتی پشتیبانی چند زبانه و آستانه تحویل انسانی اضافه شد، شکاف بسته شد.
مورد 3 - رد بدون دلیل. یک موسسه به طور خودکار درخواست را رد کرد. شهروند "چرا؟" وقتی از افسر سؤال شد، افسر نتوانست توضیح دهد زیرا دلیل مدل قابل درک نبود. این رویداد نشان داد که مدلهایی با قابلیت توضیح ضعیف نمیتوانند برای تصمیمگیری حقوقی مورد استفاده قرار گیرند. این سیستم به مدلی تبدیل شده است که توجیه می کند و نیاز به تایید انسانی دارد.
چهار قالب قابل کپی
1) منبع اسکن سوگیری:
نقش شما: کارشناس عدالت الگوریتمی. فرآیند تصمیم گیری مبتنی بر هوش مصنوعی را در زیر بررسی کنید. منابع احتمالی سوگیری را فهرست کنید: (1) سوگیری تاریخی، (2) سوگیری بازنمایی (گروه کم ارائه)، (3) متغیرهای پروکسی (ستون مرتبط با معیار ممنوع)، (4) سوگیری اندازه گیری. برای هر کدام یک مثال ملموس بزنید و به من بگویید چگونه آن را آزمایش کنم. فرآیند: [فرایند تصمیم گیری و داده های استفاده شده]
2) طرح آزمون انصاف:
یک طرح تست انصاف را برای خروجی تصمیم زیر ایجاد کنید: کدام گروه ها (سن، جنسیت، منطقه، درآمد) را باید تجزیه کنم، کدام معیارها (نرخ پذیرش، نرخ خطا، زمان انتظار) را باید مقایسه کنم، چگونه تصمیم بگیرم که تفاوت مشروع است یا تبعیض آمیز؟ هشدار KVKK را اضافه کنید. تصمیم: [چه تصمیمی]
3) بیانیه تصمیم (به شهروند):
برای تصمیم زیر یک توضیح پیش نویس قابل فهم برای شهروندان بنویسید: چه عواملی تأثیرگذار بودند، به زبان ساده. حق درخواست تجدیدنظر را در پایان و امکان بررسی انسانی [با زمان تایید] اضافه کنید. استفاده از عبارات مبهم مانند «سیستم تصمیم گرفت». تصمیم: [خلاصه و عوامل مؤثر]
4) بررسی پاسخگویی قبل از انتشار:
قبل از راهاندازی سیستم تصمیمگیری مبتنی بر هوش مصنوعی، یک چک لیست پاسخگویی تهیه کنید: آیا قابل توضیح است، آیا راهی برای درخواست تجدیدنظر وجود دارد، آیا دنباله حسابرسی (داده/نسخه مدل/ پاسخگو) نگهداری میشود، آیا آزمایش انصاف انجام شده است، نقطه تأیید انسانی کجاست. اقلام گمشده را بهعنوان پرچمهای قرمز پرچمگذاری کنید. SYSTEM: [دستور العمل]
اعلان ضعیف / اعلان قوی
ضعیف: "آیا این مدل تصمیم عادلانه است؟"
قوی: "نقش شما متخصص انصاف الگوریتمی است. برای این مدل اولویتبندی کمک، ابتدا منابع سوگیری (تاریخی، بازنمایی، متغیر جایگزین، اندازهگیری) را جستجو کنید و برای هر کدام مثالهای ملموس ارائه کنید. سپس یک طرح تست انصاف ارائه دهید: تفکیک بر اساس کدام گروهها، کدام معیارها، نحوه تصمیمگیری در مورد مشروعیت KV قبل از KV. چک لیستی برای توضیح پذیری، مسیر تجدیدنظر و پیگیری حسابرسی، و کاستی ها را علامت گذاری کنید."
تفاوت: یک اعلان قوی به دنبال سوگیری در منبع خود میگردد، خروجی را توسط گروهها آزمایش میکند و مسئولیتپذیری را گسترده میکند.
ابعاد و کنترل های عدالت
اندازه
ریسک
کنترل کنید
داده های تاریخی
گذشته حامل نابرابری است
خروجی تست توسط گروه ها
نمایندگی
برای برخی گروه ها بد کار می کند
نرخ خطای مبتنی بر گروه
متغیر جایگزین
تبعیض پنهان
رابطه معیار حساس به متغیر
قابل توضیح
تصمیم غیر موجه
توضیح ساده ایجاد کنید
اعتراض
مصادره شدن
مسیر بررسی انسانی
خطای حلقه بازخورد و نمایش
موذیانه ترین شکل تمایز الگوریتمی نه در یک تصمیم اشتباه، بلکه در یک حلقه بازخوردی رخ می دهد که در طول زمان خود را تقویت می کند (خروجی مدل بر داده های آموزشی بعدی تأثیر می گذارد و سوگیری موجود را تقویت می کند). به عنوان مثال، اگر یک مدل بازرسی محله خاصی را به عنوان «خطرناک» علامتگذاری کند، هرچه بازرسیهای بیشتری در آنجا انجام شود، سوابق بیشتری ایجاد میشود، مدل آن محله را مخاطرهآمیزتر میبیند - حتی اگر تفاوت در مکان مورد نظر افزایش یافته باشد، نه در خطر واقعی. آنچه راه را برای این امر هموار می کند اغلب یک خطای نمایش است (داده های آموزشی که برخی گروه ها را به طور ناقص یا تحریف منعکس می کند). در بخش عمومی، این چرخه ها می توانند گروه های محروم را تحت نظارت و تحریم های شدید فزاینده قرار دهند. راه محافظت از خود نظارت بر تأثیر مدل است، نه فقط خروجی آن: نظارت منظم بر توزیع تصمیمات مبتنی بر گروه و عدم اجرای کورکورانه توصیه های مدل.
مورد کوچک - شک خود ستوده. یک مدل تشخیص کلاهبرداری رفاهی، منطقه ای را که در گذشته به شدت مورد بازرسی قرار گرفته بود، به عنوان پرخطر معرفی کرد. هنگامی که تیم شدت اجرا را از دادهها استخراج کرد و «نرخ تشخیص واقعی نسبت به جمعیت» را اندازهگیری کرد، دریافتند که تفاوتهای بین مناطق تا حد زیادی ناپدید شد. این مدل نابرابری را با ریسک واقعی اشتباه گرفت.
الگوی کنترل تاثیر مبتنی بر گروه:
وظیفه: داده های تصمیم گیری زیر را بر اساس گروه ها بررسی کنید (بدون اطلاعات شخصی، خلاصه طبقه بندی شده). داده ها: [گروه | تصمیم کل | نرخ تصمیم منفی | شدت بازرسی] خروجی: 1) آیا نرخ تصمیم گیری منفی تفاوت معنی داری را بین گروه ها نشان می دهد؟ 2) آیا این تفاوت می تواند به دلیل خطر واقعی یا شدت کنترل/نمایش باشد؟ 3) آیا نشانه ای از حلقه بازخورد وجود دارد؟ 4) توصیه هایی برای کنترل انسان. قانون: ایجاد ادعای علیت. توضیحات احتمالی و راه های تست را فهرست کنید.
احتیاط: این استدلال که «الگو خنثی است زیرا یک قانون را برای همه اعمال می کند» گمراه کننده است. همین قانون، وقتی برای دادههای کجشده اعمال میشود، نابرابری را حفظ و بزرگنمایی میکند. عدالت با برابری نتیجه سنجیده می شود نه با قاعده.
اشتباهات رایج
- حذف داده های حساس و فکر کردن "عادلانه است". متغیرهای جایگزین تبعیض را تداوم می بخشند. خروجی را تست کنید
- سنجش عدالت با نیت عدالت در پایان ظاهر می شود; تصمیمات را در گروه ها مرتب کنید و مقایسه کنید.
- فراموش کردن گروه کم نمایندگی این مدل ممکن است بی سر و صدا برای یک گروه اقلیت ضعیف عمل کند. به خطای گروهی مراجعه کنید.
- استفاده از مدل غیرقابل توضیح در تصمیمات حقوقی سیستمی که نمی تواند توجیهی ایجاد کند نمی تواند تصمیمات عمومی بگیرد.
- ارائه نکردن وسیله اعتراض هر تصمیم خودکار باید در معرض بازبینی انسانی قرار گیرد.
- عدم حفظ دنباله حسابرسی باید ثبت شود که تصمیم با کدام داده/مدل/فرد مسئول گرفته شده است.
به طور خلاصه
در بخش عمومی، هوش مصنوعی میتواند ثبات را افزایش دهد، اما تبعیض گذشته را نیز به آرامی حمل میکند. سوگیری از داده های تاریخی، شکاف نمایش، متغیرهای پراکسی و اندازه گیری نادرست ناشی می شود. حذف داده های حساس مشکل را حل نمی کند. انصاف با آزمایش نتیجه در بین گروه ها به دست می آید. و هیچ شهروندی را نمی توان با «نظام گفت» محروم کرد: هر تصمیمی باید قابل توضیح، اعتراض و ممیزی باشد. این نهاد است که پاسخگو است نه الگوریتم.
وظیفه کاربردی
یک فرآیند تصمیم گیری مبتنی بر هوش مصنوعی یا خودکار را در واحد خود انتخاب کنید. سوگیری های احتمالی را فهرست کنید و حداقل یک ریسک متغیر جایگزین را با الگوی "Source of Bias Scan" پیدا کنید. با «طرح آزمون انصاف»، تفکیک گروه را تعیین کنید. برای یک تصمیم نمونه، توضیحی برای شهروندی با الگوی "توضیح تصمیم" تهیه کنید.
چک لیست
- [ ] منابع سوگیری (تاریخی، بازنمایی، پروکسی، اندازه گیری) را اسکن کردم.
- [ ] من فقط داده های حساس را حذف نکردم. من خروجی را توسط گروه ها تست کردم.
- [ ] من نرخ خطا را برای گروه هایی که کمتر ارائه شده بودند کنترل کردم.
- [ ] من برای هر تصمیم توجیه ساده و قابل توضیحی ارائه کرده ام.
- [ ] من اعتراض و مسیر بررسی انسانی را تعریف کرده ام.
- [ ] دنباله حسابرسی (داده/نسخه مدل/مسئول) حفظ می شود.