Печалби:
- Способност за разпознаване на рисковете от дискриминация, пристрастия и непряка дискриминация при ценообразуването и подписването и тестването им в резултат от изкуствен интелект
- Възможност за спазване на правото на обяснение и възражение в рамките на разпоредбите на SEDDK, KVKK и принципите за автоматично вземане на решения
- Способност за прилагане на задължения за човешки контрол и обосновка при високорискови автоматизирани решения
Застраховането е бизнес, който групира и оценява риска; но това групиране трябва да е справедливо. Даването на по-висока премия или отказът на покритие на лице поради защитени характеристики като техния пол, етническа принадлежност, убеждения, регион на пребиваване е несправедлива дискриминация и е забранено. Изкуственият интелект (софтуер, който се учи от исторически данни и генерира препоръки за цена и решения) представлява особена опасност в тази област: той може да научи несправедливи модели в историческите данни и неволно да увековечи или дори да скрие дискриминацията. Освен това, той може да направи това не директно, а индиректно (чрез прокси променлива). В този модул ще научите как да разпознавате рисковете от пристрастност и дискриминация при ценообразуването и подписването, как да тествате резултатите от изкуствения интелект за справедливост и как да спазвате правото на обяснение и възражение в рамките на SEDDK (Агенция за регулиране и надзор на застраховането и частното пенсионно осигуряване), KVKK и принципите за автоматично вземане на решения. Това звено не е правна консултация; Обяснява общите принципи, във всеки конкретен случай не забравяйте да се консултирате с правния отдел/отдела за съответствие.
Откъде идват предразсъдъците и дискриминацията?
Пристрастията към AI възникват от три основни източника:
- Пристрастност на данните: Моделът научава за несправедливостта в историческите данни. Например, ако определена група е получавала системно високи премии в миналото, моделът продължава да счита това за „нормално“.
- Сурогатна променлива (прокси): Дори ако моделът не използва директно защитената характеристика (пол, произход), той дискриминира косвено чрез използване на променлива, която е тясно свързана с нея (квартал, име, модел на пазаруване).
- Пристрастност на извадката: Тъй като някои групи са недостатъчно представени в данните, моделът създава ненадеждни и несправедливи преценки за тях.
Има два вида дискриминация. Пряка дискриминация: явно използване на защитена характеристика. Непряка дискриминация: когато привидно неутрален критерий засяга непропорционално определена група. Второто е по-коварно, защото възниква без умисъл и трудно се открива.
Внимание: защитата, че „моделът се основава на статистика, така че е обективен“ е погрешна. Статистиката включва и минали несправедливости; Моделът не го легитимира, той го увековечава. Справедливостта е нещо, което трябва да бъде активно тествано.
Тестване на резултата за справедливост
Тествайте резултата от AI (препоръка за цена, причина за отказ, оценка на риска) с три въпроса за справедливост:
- Основна ли е причината? Дали решението се основава на критерии, които имат реална и оправдана връзка с риска, или на защитеното имущество или негов заместител?
- Има ли прокси? Може ли една от използваните променливи (квартал, име, професия, семейно положение) да бъде силно свързана със защитена характеристика?
- Може ли да се обясни? Можете ли да обясните решението на клиента и одитора по ясен и защитим начин? „Моделът каза така“ не е твърдение.
Ако дадена обосновка не премине тези три теста, тя се отхвърля и решението се основава на легитимни критерии.
Съвет: Тествайте обосновката за отказ или висока премия с това изречение: „Ще се смутя ли, ако обясня това на клиента и одитора?“ Не трябва да се използва срамно или неоправдано оправдание (квартал, име, произход).
Законодателна рамка: SEDDK, KVKK, автоматично решение
Използването на изкуствен интелект в застраховането е предмет на различни разпоредби. Основни принципи:
- Принципи на SEDDK: Застрахователните дейности трябва да се извършват по справедлив, прозрачен и защитаващ потребителите начин; Ценообразуването трябва да е оправдано и не трябва да има несправедлива дискриминация.
- KVKK: Личните данни трябва да се обработват в съответствие със закона, ограничено до целта и сигурно. Специални данни, като здравето, са обект на най-висока защита.
- Принципи на автоматизирано вземане на решения: При решения, които се основават единствено на автоматична обработка и значително засягат лицето (например отказ, направен само от изкуствен интелект), лицето; На преден план излизат правата да възразите срещу решението, да поискате човешка намеса и да научите обосновката на решението.
Следователно, обяснимостта, човешкият контрол и обосновката са от съществено значение при решенията със силно въздействие. Необоснованото решение на модела на „черната кутия” е както неконтролируемо, така и в противоречие с тези права.
Стъпка по стъпка: Справедливо и хармонично решение
- Идентифицирайте защитени имоти. Пол, произход, вяра, здраве, регион на пребиваване и др.
- Направете прокси сканиране. Поставете под въпрос връзката на използваните променливи със защитените свойства.
- Подложете обосновката на изпитание за легитимност. Има ли истинска връзка с риска? Може ли да се обясни?
- Добавете човешки контрол. Оставете човек да прегледа автоматичния резултат с решение със силно въздействие.
- Документирайте обосновката. Запишете на какви легитимни критерии се основава решението.
- Знайте как да обжалвате. Осигурете на клиента право на възражение, човешки преглед и обосновка.
три мини калъфа
Случай 1 — Отхвърляне на проксито. Модел за ценообразуване на жилища предполага систематично висока надбавка за определен пощенски код. Експертът изследва: пощенският код се припокрива с район с определена етническа концентрация; това беше прокси променлива. Когато действителният риск (възраст на сградата, тип структура, история на щетите) е разбит, по-голямата част от увеличението вече не е оправдано. Цената е възстановена въз основа на законни критерии за риск.
Случай 2 — Недостатъчно представена група. За здравен продукт, моделът предложи прекалено висока премия за малка възрастова група. Причина: тази група беше толкова слабо представена в данните, че няколко големи щети направиха цялата група да изглежда „изложена на риск“. Експертът извърши корекция за достоверност (статистическа надеждност) и документира, че препоръката е ненадеждна; Нечестно повишение не е приложено.
Случай 3 — Право на възражение. Заявлението беше автоматично отхвърлено с резултат, задвижван от AI. Клиентът възрази. Като част от процеса на адаптиране, решението беше преразгледано от експерт; Резултатът изглежда се основава на липсващи данни (несъответстващи минали щети). Решението е коригирано. Без човешки контрол и право на възражение несправедливото отхвърляне би било постоянно.
Четири подкани за копиране
1) Сканиране за прокси и дискриминация:
Проверете следната обосновка за ценообразуване/решение за справедливост: [обосновка]Търсете: защитената характеристика (пол, произход, вяра, здраве, регион на пребиваване) използва ли се пряко или непряко (прокси: квартал, име, професия и т.н.)? За всяка съмнителна променлива обяснете защо може да бъде прокси и предложете легитимна алтернатива.
2) Тест за легитимност на обосновката:
Тествайте следната обосновка за отказ/висок бонус с три въпроса: [обосновка]1. Има ли реална и оправдана връзка с риска?2. Дали се основава на защитена собственост или нейно заместник?3. Може ли да се обясни на клиента и одитора? Отговорете ясно на всеки въпрос; Маркирайте причината, която не преминава теста като "ОТХВЪРЛЯНЕ".
3) Проект на обяснима обосновка:
Изгответе ясно изразена обосновка на клиента за решението въз основа на следните ПРОВЕРЕНИ, легитимни критерии за риск: [легитимни критерии]Тон: уважителен, ясен. Използване на защитена собственост/прокси. Посочете правото на клиента да възрази и да поиска преглед от човек. Това е чернова; експерт потвърждава.
4) Контролен списък за инспекция от хора:
Създайте контролен списък за човешки одит за автоматизирано решение с голямо въздействие: Тип решение: [отхвърляне/висока премия/ограничение за обезпечение] Списък: преглед от квалифициран експерт, проверени данни, справедливост/проксиконтрол, документ за обосновка, известие за обжалване на клиента, запис на следи.
Слаба подкана / Силна подкана
Слаб: "Определете най-изгодната цена с тези данни и напишете обосновката."
Проблем: Справедливостта, прокси и обяснимостта не се зачитат; моделът може да увековечи и оправдае минала дискриминация.
Силно: „Проверете тази обосновка за прокси и дискриминация; маркирайте точки, които разчитат на защитена функция или нейно прокси и заменете с легитимен критерий за риск. Очертайте обяснима обосновка.“
Защо е добре: Дискриминацията се тества активно, решението се основава на легитимни и обясними критерии.
сравнителна диаграма
Предмет
рисков подход
правилен подход
Изход на модела
"Статистиката е обективна"
Активно тествайте справедливостта
Избор на променливи
Използвайте всички данни
Извличане на проксита
обосновка
"Това каза моделът"
Легитимен, обясним критерий
Решение със силно въздействие
напълно автоматичен
Човешкият надзор е задължителен
Право на клиента
Не се съобщава
Възражение + човешка проверка + обосновка
Често срещани грешки
- Защитата "статистиката е обективна". Оправдание на минала несправедливост.
- Игнориране на проксито. Непряка дискриминация по квартал/име/професия.
- Ненадеждно решение за слабо представена група. Ако приемем, че скоростта, получена от малка извадка, е точна.
- Решение за черна кутия. Прилагане на автоматично решение, за което причината не може да бъде обяснена.
- Непризнаване на правото на възражение. Не предоставя на клиента правото на човешки преглед и обосновка.
В обобщение
Изкуственият интелект може да научи дискриминацията в историческите данни и да я продължи индиректно (чрез прокси) в ценообразуването и подписването. Активно тествайте справедливостта: идентифицирайте защитени свойства и проксита, тествайте обосновката за легитимност и обяснимост. SEDDK, KVKK и принципи за автоматично вземане на решения; Справедливото ценообразуване изисква обяснение, преглед от човек и право на възражение. Човешкият контрол е от съществено значение при решения със силно въздействие. В конкретния случай се консултирайте с правния отдел/отдел за съответствие; Дискриминацията е червената линия.
Задача за приложение
Напишете списък от 10 променливи, които използва моделът на ценообразуване (действителни или примерни). За всеки отговорете на въпроса „може ли това да бъде прокси за защитена собственост“; Маркирайте подозрителните. След това поставете примерна обосновка за отхвърляне чрез тест за легитимност № 2: преминава ли теста и ако не, как да го замените с легитимен критерий?
контролен списък
- [ ] Посочих защитени имоти.
- [ ] Сканирах променливите за прокси.
- [ ] Подлагам обосновката на теста за легитимност и обяснимост.
- [ ] Проведох проверки за надеждност за слабо представени групи.
- [ ] Добавих човешки контрол в решението за силно въздействие.
- [ ] Документирах обосновката и дадох на клиента правото на възражение/човешки преглед.
- [ ] При съмнения се консултирах с правния отдел/отдела за съответствие.