سود:
- توانایی تشخیص خطرات تبعیض، سوگیری و تبعیض غیرمستقیم در قیمت گذاری و پذیره نویسی و آزمایش آنها در خروجی هوش مصنوعی
- امکان رعایت حق توضیح و اعتراض در چارچوب مقررات SEDDK، KVKK و اصول تصمیم گیری خودکار
- توانایی اعمال کنترل انسانی و تعهدات توجیهی در تصمیم گیری های خودکار پرخطر
بیمه تجارتی است که گروه بندی و قیمت آن ریسک می کند. اما این گروه بندی باید منصفانه باشد. اعطای حق بیمه بالاتر یا انکار پوشش به افراد به دلیل خصوصیات محافظت شده از قبیل جنسیت، قومیت، عقیده، منطقه سکونت، تبعیض ناعادلانه و ممنوع است. هوش مصنوعی (نرمافزاری که از دادههای تاریخی میآموزد و توصیههای قیمت و تصمیم را تولید میکند) خطر خاصی در این زمینه دارد: میتواند الگوهای ناعادلانه در دادههای تاریخی را بیاموزد و ناخواسته تبعیض را تداوم یا حتی پنهان کند. علاوه بر این، می تواند این کار را نه مستقیم بلکه غیرمستقیم (از طریق یک متغیر پروکسی) انجام دهد. در این واحد با نحوه تشخیص خطرات سوگیری و تبعیض در قیمتگذاری و پذیرهنویسی، نحوه آزمایش خروجی هوش مصنوعی از نظر انصاف و نحوه رعایت حق توضیح و اعتراض در چارچوب SEDDK (سازمان تنظیم و نظارت بیمه و بازنشستگی خصوصی)، KVKK و اصول تصمیمگیری خودکار آشنا میشوید. این واحد مشاوره حقوقی نیست. اصول کلی را توضیح می دهد، در هر مورد مشخص، حتما با واحد حقوقی/تطبیق مشورت کنید.
تعصب و تبعیض از کجا می آید؟
تعصب هوش مصنوعی از سه منبع اصلی ناشی می شود:
- سوگیری داده ها: مدل در مورد ناعادلانه بودن داده های تاریخی می آموزد. به عنوان مثال، اگر به گروه خاصی در گذشته به طور سیستماتیک حق بیمه بالا داده شده باشد، مدل همچنان این موضوع را "عادی" در نظر می گیرد.
- متغیر جایگزین (پراکسی): حتی اگر مدل مستقیماً از ویژگی محافظت شده (جنسیت، مبدا) استفاده نکند، با استفاده از متغیری که به شدت به آن مرتبط است (محله، نام، الگوی خرید) به طور غیرمستقیم تبعیض قائل می شود.
- سوگیری نمونه گیری: از آنجایی که برخی از گروه ها در داده ها کمتر ارائه می شوند، مدل قضاوت های غیر قابل اعتماد و غیرمنصفانه ای در مورد آنها ایجاد می کند.
دو نوع تبعیض وجود دارد. تبعیض مستقیم: استفاده آشکار از یک ویژگی محافظت شده. تبعیض غیرمستقیم: زمانی که یک معیار ظاهراً خنثی به طور نامتناسبی بر یک گروه خاص تأثیر می گذارد. دومی موذیانه تر است زیرا بدون قصد رخ می دهد و تشخیص آن دشوار است.
احتیاط: این دفاع که «الگو مبتنی بر آمار است، پس عینی است» اشتباه است. آمار همچنین شامل بی عدالتی گذشته است. مدل به آن مشروعیت نمی بخشد، آن را تداوم می بخشد. انصاف چیزی است که باید به طور فعال مورد آزمایش قرار گیرد.
آزمایش خروجی برای عدالت
خروجی هوش مصنوعی (توصیه قیمت، دلیل رد، امتیاز ریسک) را با سه سوال برای عدالت آزمایش کنید:
- آیا دلیل مشروع است؟ آیا تصمیم بر اساس معیارهایی است که رابطه واقعی و قابل توجیهی با خطر دارد یا بر اموال حفاظت شده یا نیابت آن؟
- آیا پروکسی وجود دارد؟ آیا یکی از متغیرهای مورد استفاده (همسایگی، نام، شغل، وضعیت تأهل) می تواند به شدت با یک ویژگی محافظت شده مرتبط باشد؟
- میشه توضیح داد؟ آیا می توانید تصمیم را به صورت شفاف و قابل دفاع برای صاحبکار و حسابرس توضیح دهید؟ "مدل چنین گفته است" یک بیانیه نیست.
اگر توجیهی از این سه آزمون عبور نکند، مردود است و تصمیم بر اساس معیارهای قانونی است.
نکته: منطق رد یا حق بیمه بالا را با این جمله آزمایش کنید: "آیا اگر این موضوع را برای مشتری و حسابرس توضیح دهم خجالت می کشم؟" از توجیه شرم آور یا غیرقابل دفاع (همسایگی، نام، مبدأ) نباید استفاده کرد.
چارچوب قانونی: SEDDK، KVKK، تصمیم گیری خودکار
استفاده از هوش مصنوعی در بیمه تابع مقررات مختلفی است. اصول اصلی:
- اصول SEDDK: فعالیت های بیمه باید به شیوه ای منصفانه، شفاف و حمایت از مصرف کننده انجام شود. قیمت گذاری باید قابل توجیه باشد و هیچ تبعیض ناعادلانه ای وجود نداشته باشد.
- KVKK: داده های شخصی باید مطابق با قانون، محدود به هدف و ایمن پردازش شوند. داده های ویژه، مانند سلامت، تحت بالاترین حفاظت قرار دارند.
- اصول تصمیم گیری خودکار: در تصمیماتی که صرفاً مبتنی بر پردازش خودکار است و به طور قابل توجهی بر شخص تأثیر می گذارد (مثلاً رد شدن توسط هوش مصنوعی به تنهایی)، شخص؛ حق اعتراض به تصمیم، درخواست مداخله انسانی و یادگیری منطق تصمیم مطرح می شود.
بنابراین، توضیح پذیری، کنترل انسانی و توجیه در تصمیم گیری های پر تاثیر ضروری است. تصمیم غیر موجه مدل «جعبه سیاه» هم غیرقابل کنترل است و هم با این حقوق در تضاد است.
گام به گام: تصمیم منصفانه و هماهنگ
- خواص محافظت شده را شناسایی کنید جنسیت، اصل، اعتقاد، سلامت، منطقه محل سکونت و غیره.
- یک اسکن پروکسی انجام دهید. رابطه متغیرهای مورد استفاده با ویژگی های محافظت شده را زیر سوال ببرید.
- توجیه را در آزمون مشروعیت قرار دهید. آیا رابطه واقعی با ریسک وجود دارد؟ میشه توضیح داد؟
- کنترل انسانی را اضافه کنید. اجازه دهید یک انسان نتیجه خودکار را در یک تصمیم پر تاثیر بررسی کند.
- منطق را مستند کنید. ثبت کنید که این تصمیم بر چه معیارهای قانونی استوار است.
- راه تجدید نظر را بدانید. حق اعتراض، بررسی انسانی و توجیه را برای مشتری فراهم کنید.
سه کیف کوچک
مورد 1 - رد وکالت. یک مدل قیمت گذاری مسکن یک حق بیمه سیستماتیک بالا را برای یک کد پستی خاص پیشنهاد می کند. کارشناس بررسی کرد: کدپستی با منطقه ای با غلظت قومی خاص همپوشانی داشت. این یک متغیر پروکسی بود. وقتی خطر واقعی (سن ساختمان، نوع سازه، تاریخچه آسیب) شکسته شود، بیشتر افزایش دیگر توجیه نمی شود. قیمت بر اساس معیارهای ریسک قانونی مجدداً برقرار شده است.
مورد 2 - گروه کم نمایندگی. برای یک محصول مراقبت های بهداشتی، این مدل حق بیمه بسیار بالایی را برای گروه سنی کوچک ارائه می دهد. دلیل: این گروه به قدری در داده ها کمتر معرفی شده بود که چند آسیب زیاد باعث شد کل گروه "در معرض خطر" به نظر برسد. کارشناس یک تصحیح اعتبار (پایایی آماری) انجام داد و مستند کرد که توصیه غیرقابل اعتماد است. افزایش ناعادلانه اعمال نشد.
مورد 3 - حق اعتراض. یک برنامه به طور خودکار با امتیاز مبتنی بر هوش مصنوعی رد شد. مشتری مخالفت کرد. به عنوان بخشی از فرآیند انطباق، تصمیم دوباره توسط یک متخصص مورد بررسی قرار گرفت. به نظر میرسد امتیاز براساس دادههای از دست رفته (تطبیق آسیبهای گذشته) است. تصمیم تصحیح شده است. بدون کنترل انسان و حق اعتراض، طرد ناعادلانه دائمی خواهد بود.
چهار فرمان قابل کپی
1) اسکن پروکسی و تبعیض:
توجیه قیمت/تصمیم زیر را برای انصاف بررسی کنید: [توجیه] به دنبال: آیا ویژگی محافظت شده (جنسیت، منشاء، اعتقاد، سلامت، منطقه محل سکونت) به طور مستقیم یا غیرمستقیم استفاده می شود (نمایندگی: محله، نام، حرفه و غیره)؟ برای هر متغیر مشکوک، توضیح دهید که چرا می تواند یک پروکسی باشد و یک جایگزین قانونی پیشنهاد دهید.
2) آزمون مشروعیت توجیهی:
منطق زیر را با سه سوال تست کنید: [توجیه] 1. آیا رابطه واقعی و قابل توجیهی با ریسک وجود دارد؟ آیا مبتنی بر اموال حفاظت شده است یا وکالت آن؟ آیا می توان آن را برای صاحبکار و حسابرس توضیح داد؟ به هر سوال به وضوح پاسخ دهید؛ دلیل عدم موفقیت در آزمون را به عنوان "رد" علامت گذاری کنید.
3) پیش نویس توجیهی قابل توضیح:
یک دلیل منطقی برای تصمیم گیری مشتری بر اساس معیارهای ریسک مشروع و تأیید شده زیر تهیه کنید: [معیارهای قانونی] لحن: محترمانه، واضح. استفاده از دارایی/پراکسی محافظت شده حق اعتراض مشتری و درخواست بررسی انسانی را بیان کنید. این یک پیش نویس است. کارشناس تایید می کند
4) چک لیست بازرسی انسانی:
یک چک لیست حسابرسی انسانی برای یک تصمیم خودکار با تأثیر بالا ایجاد کنید: نوع تصمیم: [رد/حق بیمه بالا/محدودیت وثیقه] فهرست: بررسی متخصص واجد شرایط، بررسی داده ها، انصاف/کنترل پروکسی، سند توجیهی، اعلامیه تجدیدنظر مشتری، سابقه پیگیری.
اعلان ضعیف / اعلان قوی
ضعیف: "با این داده ها سودآورترین قیمت را تعیین کنید و توجیه را بنویسید."
مشکل: انصاف، پروکسی و توضیح پذیری رعایت نمی شود. این مدل می تواند تبعیض گذشته را تداوم و توجیه کند.
قوی: "این توجیه را برای پراکسی و تبعیض بررسی کنید؛ نقاطی را که بر ویژگی محافظت شده یا پروکسی آن متکی هستند علامت بزنید و با معیار خطر قانونی جایگزین کنید. یک توجیه قابل توضیح را مشخص کنید."
چرا خوب است: تبعیض به طور فعال مورد آزمایش قرار می گیرد، تصمیم بر اساس معیارهای قانونی و قابل توضیح است.
نمودار مقایسه
موضوع
رویکرد مخاطره آمیز
رویکرد درست
خروجی مدل
"آمار عینی است"
عدالت را به طور فعال آزمایش کنید
انتخاب متغیر
از هر داده ای استفاده کنید
پراکسی ها را استخراج کنید
توجیه
"این چیزی است که مدل گفت"
معیار قانونی و قابل توضیح
تصمیم با تاثیر بالا
تمام اتوماتیک
نظارت انسانی اجباری است
حق مشتری
گزارش نشده است
اعتراض + بررسی انسانی + توجیه
اشتباهات رایج
- دفاع "آمار عینی است". توجیه بی عدالتی گذشته
- نادیده گرفتن پروکسی تبعیض غیرمستقیم بر اساس محله/نام/حرفه.
- تصمیم غیرقابل اعتماد برای گروهی که نمایندگی کمتری دارد. با فرض اینکه نرخ به دست آمده از یک نمونه کوچک دقیق است.
- تصمیم جعبه سیاه اجرای یک تصمیم خودکار که دلیل آن قابل توضیح نیست.
- عدم به رسمیت شناختن حق اعتراض. عدم دادن حق بررسی و توجیه انسانی به مشتری.
به طور خلاصه
هوش مصنوعی می تواند تبعیض در داده های تاریخی را بیاموزد و آن را به طور غیرمستقیم (از طریق پروکسی) در قیمت گذاری و پذیره نویسی ادامه دهد. انصاف را به طور فعال آزمایش کنید: ویژگی ها و پروکسی های محافظت شده را شناسایی کنید، توجیه مشروعیت و توضیح پذیری را آزمایش کنید. SEDDK، KVKK و اصول تصمیم گیری خودکار؛ قیمت گذاری منصفانه نیازمند توضیح پذیری، بررسی انسانی و حق اعتراض است. کنترل انسانی در تصمیم گیری های پر تاثیر ضروری است. در مورد خاص، با بخش حقوقی/تطبیق مشورت کنید. تبعیض خط قرمز است.
وظیفه کاربردی
لیستی از 10 متغیری که یک مدل قیمت گذاری استفاده می کند (واقعی یا مثال) بنویسید. برای هر کدام، به این سؤال پاسخ دهید "آیا این می تواند نماینده ای برای یک دارایی محافظت شده باشد"؛ مشکوک ها را پرچم گذاری کنید. سپس یک نمونه توجیه رد را از طریق آزمون مشروعیت شماره 2 قرار دهید: آیا این آزمون را قبول می کند و اگر نه، چگونه آن را با یک معیار مشروع جایگزین می کنید؟
چک لیست
- [ ] من ویژگی های محافظت شده را مشخص کرده ام.
- [ ] من متغیرها را برای پروکسی اسکن کردم.
- [ ] من توجیه را در آزمون مشروعیت و تبیین پذیری قرار دادم.
- [ ] من بررسی های قابلیت اطمینان را برای گروه هایی که کمتر ارائه شده بودند انجام دادم.
- [ ] من کنترل انسانی را در تصمیم گیری با تاثیر بالا اضافه کردم.
- [ ] من منطق را مستند کردم و به مشتری حق اعتراض/بازبینی انسانی دادم.
- [ ] وقتی شک داشتم، با بخش حقوقی/تطبیق مشورت کردم.