Добивки:
- Способност да се препознаат ризиците од дискриминација, пристрасност и индиректна дискриминација во цените и преземањето и да се тестираат во производството на вештачка интелигенција
- Способност да се запази правото на објаснување и приговор во рамките на прописите на СЕДДК, КВКК и принципите за автоматско одлучување
- Способност за примена на човечка контрола и обврски за оправдување во автоматизирани одлуки со висок ризик
Осигурувањето е бизнис кој го групира и ризикува цените; но оваа групација мора да биде фер. Давањето повисока премија или да се одбие покривање на лице поради заштитени карактеристики како што се неговиот пол, етничка припадност, убедување, регион на живеење е неправедна дискриминација и е забранета. Вештачката интелигенција (софтвер кој учи од историските податоци и генерира препораки за цени и одлуки) претставува посебна опасност во оваа област: може да научи неправедни обрасци во историските податоци и несвесно да ја овековечи или дури и да ја скрие дискриминацијата. Покрај тоа, тоа може да го направи не директно, туку индиректно (преку прокси променлива). Во оваа единица, ќе научите како да ги препознаете ризиците од пристрасност и дискриминација во цените и преземањето на обврските, како да ги тестирате резултатите од вештачката интелигенција за правичност и како да го почитувате правото на објаснување и приговор во рамките на SEDDK (Агенција за регулирање и супервизија на осигурување и приватни пензиски), KVKK и принципите за автоматско одлучување. Оваа единица не е правен консултант; Ги објаснува општите принципи, во секој конкретен случај, задолжително консултирајте се со единицата за правни/усогласеност.
Од каде доаѓаат предрасудите и дискриминацијата?
Пристрасноста на вештачката интелигенција произлегува од три главни извори:
- Пристрасност на податоците: Моделот учи за неправедноста во историските податоци. На пример, ако на одредена група систематски и биле давани високи премии во минатото, моделот продолжува да го смета ова како „нормално“.
- Сурогат променлива (прокси): Дури и ако моделот директно не ја користи заштитената карактеристика (пол, потекло), тој индиректно дискриминира со користење на променлива која е силно поврзана со неа (соседство, име, шема на купување).
- Пристрасност за земање примероци: Бидејќи некои групи се недоволно застапени во податоците, моделот произведува неверодостојни и нефер судови за нив.
Постојат два вида на дискриминација. Директна дискриминација: бесрамна употреба на заштитена карактеристика. Индиректна дискриминација: кога навидум неутрален критериум несразмерно влијае на одредена група. Второто е поподмолно бидејќи се јавува без намера и тешко се открива.
Внимание: Погрешна е одбраната дека „моделот се базира на статистика, значи е објективен“. Статистиката ја вклучува и неправдата од минатото; Моделот не го легитимира, туку го овековечува. Праведноста е нешто што треба активно да се тестира.
Тестирање на излезот за правичност
Тестирајте го излезот на вештачката интелигенција (препорака за цена, причина за одбивање, резултат на ризик) со три прашања за праведност:
- Дали причината е легитимна? Дали одлуката се заснова на критериуми кои имаат реална и оправдана врска со ризикот или на заштитениот имот или негов полномошник?
- Дали има полномошник? Дали една од користените променливи (соседство, име, занимање, брачен статус) може да биде силно поврзана со заштитена карактеристика?
- Може ли да се објасни? Можете ли да ја објасните одлуката на клиентот и ревизорот на јасен и одбранбен начин? „Моделот рече така“ не е изјава.
Доколку некое оправдување не ги помине овие три теста, се отфрла и одлуката се заснова на легитимни критериуми.
Совет: Тестирајте го образложението за одбивање или висока премија со оваа реченица: „Дали ќе се срамам ако ова му го објаснам на клиентот и на ревизорот?“ Не треба да се користи срамно или неодбранливо оправдување (соседство, име, потекло).
Законодавна рамка: СЕДДК, КВКК, автоматско одлучување
Употребата на вештачка интелигенција во осигурувањето е предмет на различни прописи. Главни принципи:
- Принципи на SEDDK: Осигурителните активности треба да се спроведуваат на фер, транспарентен и заштитен начин за заштита на потрошувачите; Цените мора да бидат оправдани и не смее да има неправедна дискриминација.
- КВКК: Личните податоци мора да се обработуваат во согласност со законот, ограничени на целта и безбедно. Специјалните податоци, како што е здравјето, се предмет на највисока заштита.
- Принципи за автоматско одлучување: Во одлуките кои се засноваат исклучиво на автоматска обработка и значително влијаат на личноста (на пример, отфрлање направено само од вештачка интелигенција), личноста; Доаѓаат до израз правата да се приговори на одлуката, да се бара човечка интервенција и да се научи образложението на одлуката.
Затоа, објаснувањето, човечката контрола и оправданоста се од суштинско значење во одлуките со големо влијание. Неоправданата одлука на моделот на „црната кутија“ е и неконтролирана и во судир со овие права.
Чекор по чекор: Правична и хармонична одлука
- Идентификувајте ги заштитените својства. Пол, потекло, верување, здравје, регион на живеење итн.
- Направете прокси скенирање. Прашајте ја врската на користените променливи со заштитените својства.
- Оправдувањето ставете го на тест за легитимноста. Дали постои вистинска врска со ризикот? Може ли да се објасни?
- Додадете човечка контрола. Дозволете човек да го прегледа автоматскиот резултат во одлука со големо влијание.
- Документирајте го образложението. Запишете на кои легитимни критериуми е донесена одлуката.
- Знајте го начинот на жалба. Обезбедете му на клиентот право на приговор, човечки преглед и оправдување.
три мини футроли
Случај 1 - Отфрлање на полномошникот. Моделот на цени за домување предложи систематски висока премија за одреден поштенски број. Експертот испитувал: поштенскиот код се преклопувал со област со одредена етничка концентрација; ова беше прокси променлива. Кога ќе се расчлени вистинскиот ризик (старост на градба, тип на структура, историја на оштетување), поголемиот дел од зголемувањето повеќе не е оправдано. Цената е повторно воспоставена врз основа на легитимни критериуми за ризик.
Случај 2 - недоволно застапена група. За здравствен производ, моделот нудел претерано висока премија на мала возрасна група. Причина: оваа група беше толку недоволно застапена во податоците што неколку високи штети направија целата група да изгледа како „загрозена“. Експертот изврши корекција на кредибилитетот (статистичка веродостојност) и документира дека препораката е неверодостојна; Неправедно покачување не беше применето.
Случај 3 - Право на приговор. Апликацијата беше автоматски отфрлена со резултат напојуван со вештачка интелигенција. Муштеријата се спротивстави. Како дел од процесот на адаптација, одлуката беше преиспитана од експерт; Се чинеше дека резултатот се заснова на податоци што недостасуваат (неусогласена штета од минатото). Одлуката е поправена. Без човечка контрола и право на приговор, неправедното отфрлање би било трајно.
Четири потсетници за копирање
1) Скенирање на прокси и дискриминација:
Проверете го следното оправдување за цените/одлуката за праведност: [оправдување]Побарајте: дали заштитената карактеристика (род, потекло, верување, здравје, регион на живеење) се користи директно или индиректно (прокси: соседство, име, професија итн.)? За секоја сомнителна променлива, објаснете зошто може да биде прокси и предложете легитимна алтернатива.
2) Тест за легитимност на оправдувањето:
Тестирајте го следното образложение за негирање/висок бонус со три прашања: [оправдување]1. Дали постои реална и оправдана врска со ризикот?2. Дали се заснова на заштитен имот или негов полномошник?3. Дали може да им се објасни на клиентот и на ревизорот? Одговорете јасно на секое прашање; Означете ја причината што не го положила тестот како „ОТФРЛИ“.
3) Објаснив нацрт за оправдување:
Нацртајте артикулирано образложение до клиентот за одлуката врз основа на следните ПОВЕРИРАНИ, легитимни критериуми за ризик: [легитимни критериуми] Тон: почитуван, јасен. Користење на заштитен имот/прокси. Наведете го правото на клиентот да приговара и да побарате човечки преглед. Ова е нацрт; потврдува експертот.
4) Список за проверка на човечки инспекции:
Создадете контролна листа за човечка ревизија за автоматизирана одлука со големо влијание: Тип на одлука: [одбивање/висока премија/ограничување на колатерал] Листа: прегледување на квалификуван експерт, проверени податоци, правичност/контрола на прокси, документ за оправдување, известување за жалба од клиент, запис за трага.
Слаб промпт / Силен промпт
Слабо: „Определете ја најпрофитабилната цена со овие податоци и напишете го оправдувањето“.
Проблем: Не се почитуваат правичноста, проксито и објаснувањето; моделот може да ја овековечи и оправда дискриминацијата од минатото.
Силно: „Проверете го ова оправдување за полномошник и дискриминација; означете ги точките со знаме што се потпираат на заштитена карактеристика или нејзино прокси и заменете ги со критериум за легитимен ризик. Наведете објаснето оправдување“.
Зошто е добро: Дискриминацијата е активно тестирана, одлуката се заснова на легитимни и објаснети критериуми.
споредбена табела
Предмет
ризичен пристап
правилен пристап
Излез на моделот
„Статистиката е објективна“
Активно тестирајте ја правдата
Променлива селекција
Користете ги сите податоци
Извлечете прокси
оправдување
„Така рече манекенката“
Легитимен, објаснувачки критериум
Одлука со големо влијание
целосно автоматски
Човечкиот надзор е задолжителен
Во право на клиентот
Не е пријавено
Приговор + човечки преглед + оправдување
Вообичаени грешки
- Одбраната „статистиката е објективна“. Оправдување на неправдата од минатото.
- Игнорирање на полномошникот. Индиректна дискриминација врз основа на соседството/името/професијата.
- Несигурна одлука за недоволно застапената група. Под претпоставка дека стапката добиена од мал примерок е точна.
- Одлука за црната кутија. Спроведување на автоматско решение за кое не може да се објасни причината.
- Непризнавање на правото на приговор. Не давајќи му на клиентот право на човечки преглед и оправдување.
Сумирано
Вештачката интелигенција може да научи дискриминација во историските податоци и да ја продолжи индиректно (преку прокси) во одредувањето на цените и преземањето. Активно тестирајте ја правичноста: идентификувајте ги заштитените својства и прокси, тестирајте ја оправданоста за легитимност и објаснување. SEDDK, KVKK и принципи за автоматско одлучување; Правичната цена бара објаснување, човечки преглед и право на приговор. Човечката контрола е од суштинско значење во одлуките со големо влијание. Во конкретниот случај, консултирајте се со правниот/одделот за усогласеност; Дискриминацијата е црвената линија.
Задача за апликација
Напишете листа од 10 променливи што ги користи моделот на цени (вистински или пример). За секој, одговорете на прашањето „дали ова може да биде полномошник за заштитен имот“; Означете ги сомнителните. Потоа ставете оправдување за отфрлање примерок преку тестот за легитимност бр. 2: дали го поминува тестот, и ако не, како да го замените со легитимен критериум?
листа за проверка
- [ ] Наведов заштитени својства.
- [ ] Ги скенирав променливите за прокси.
- [ ] Оправдувањето го ставив на тест за легитимност и објаснување.
- [ ] Спроведов проверки на доверливост за недоволно застапени групи.
- [ ] Додадов човечка контрола во одлуката со големо влијание.
- [ ] Го документирав образложението и му дадов на клиентот право на приговор/човечки преглед.
- [ ] Кога се сомневав, се консултирав со правниот/одделот за усогласеност.