Печалби:
- Той разпознава данни, дизайн и източници на използване на алгоритмични отклонения и тества изхода на групова основа.
- Обяснява как обратната връзка и грешката в представянето увеличават неравенството и установяват контрол на въздействието.
- Той гарантира отчетност, като осигурява обяснимост и обжалване във всяко автоматизирано решение.
Обществеността трябва да прилага своята власт еднакво към всички: еднакво отношение към двама граждани в подобни ситуации, пропорционална разлика към различните ситуации. Този принцип на равенство е конституционно задължение. Изкуственият интелект може както да подобри, така и тихо да наруши това поле. Може да се подобри, защото последователно прилаганото правило може да намали произвола и човешката пристрастност. Това може да бъде корумпиращо, защото моделите на ИИ се учат от минали данни, а минали данни носят дискриминацията на миналото. Ако една система е обучена на данни, които исторически са поставяли в неблагоприятно положение определена група, тя пренася този недостатък в бъдещето - и то във форма, която е още по-трудна за откриване, под прикритието на "обективен алгоритъм". В този модул ще научите как да разпознавате алгоритмично отклонение (систематично отклонение на изхода на модела спрямо определени групи) при използване на AI в публичния сектор, как да го намалите и, най-важното, как да осигурите алгоритмична отчетност (обосновката за едно автоматизирано решение да бъде обяснимо, подлежащо на одит и оспорване).
Откъде идва пристрастието?
Има няколко източника на алгоритмични пристрастия и всички те са рисковани на публично място:
- Историческо отклонение: Данните от обучението съдържат минало неравенство. Например, ако дадена област е имала по-малко услуги в миналото, „данните за търсенето“ може да покажат, че тази област има ниски нужди – когато всъщност търсенето е било ниско, защото не е имало услуга.
- Пристрастност на представителството: Някои групи са недостатъчно представени в данните (тези без цифров достъп, малцинствени езикови групи) и моделът работи зле за тях.
- Прокси пристрастие: Дори ако моделът не разглежда директно забранен критерий (етническа принадлежност, религия), той може да доведе до същата дискриминация, като разглежда прокси, свързан с него (квартал, име, пощенски код).
- Пристрастност на измерването: Това, което измерваме, не е това, което всъщност искаме да измерим. „Броят на оплакванията“ измерва по-скоро способността за оплакване, отколкото нуждата.
Внимание: Подвеждащо е да се каже „Премахнах чувствителни данни (пол, етническа принадлежност) от модела, сега е справедливо“. Дискриминацията чрез прокси променливи може да продължи. Справедливостта се постига не чрез изтриване на входа, а чрез тестване на изхода между групите.
Тестване на справедливост: вижте резултата
Дали една система е справедлива или не може да се разбере, като се погледнат нейните резултати, а не нейните намерения. Основен метод: разделете решението на групи и сравнете. Резултатите като процент на приемане/отхвърляне, процент на грешки, време на изчакване различават ли се значително между различните групи (пол, възраст, регион, доход)? Ако има разлика, дали тази разлика се основава на законна причина или е дискриминация? Тъй като този анализ може да изисква лични данни, той трябва да бъде обобщен и извършен в съответствие с KVKK.
Съвет: Преди да пуснете нова система за вземане на решения, базирана на AI, разбийте нейните решения по демографски групи и изгответе „доклад за справедливост“. Ако откриете разлика, "може ли тази разлика да бъде обяснена?" Отнесете въпроса до комисия от хора.
Обяснимост и привлекателност: сърцето на отчетността
В публичния сектор никой гражданин не може да бъде лишен от права с отговор „системата така е решила“. За всяко автоматизирано или подпомогнато от AI решение трябва да се гарантират три неща:
- Обяснимост: На какво се основава решението, кои фактори са били ефективни, трябва да се обясни на ясен език.
- Начин на обжалване: Гражданите трябва да могат да възразят срещу решението и да поискат от човек да го прегледа.
- Одитна пътека: Трябва да се запише кои данни, кой модел/версия и с кое отговорно лице е взето решението.
три мини калъфа
Случай 1 — Уловен сурогатен вариант. Един модел за приоритизиране на помощта не използва чувствителни данни, но разглежда „пощенския код“. При теста за справедливост беше установено, че определени квартали получават системно нисък приоритет - в зависимост от пощенския код, доходите и етническата плътност. Променливата беше премахната и приоритетът беше свързан директно с индикаторите за нуждите.
Случай 2 — Пропуск в представянето. Чатбот е с 41% по-голяма вероятност да подведе въпроси от граждани, чийто роден език не е турски; Данните за обучението съдържаха малко от тази група. Когато бяха добавени многоезична поддръжка и праг за предаване от човек, празнината се затвори.
Случай 3 — Необяснимо отхвърляне. Институция автоматично отхвърли заявление; гражданин "защо?" На въпрос служителят не можа да обясни, защото причината за модела не беше разбираема. Инцидентът показа, че модели с лоша обяснимост не могат да се използват за вземане на решения, носещи права; Системата е трансформирана в модел, който генерира обосновка и изисква човешко одобрение.
Четири копируеми шаблона
1) Източник на пристрастно сканиране:
Вашата роля: експерт по алгоритмична справедливост. Вижте процеса на вземане на решения, задвижван от изкуствен интелект по-долу. Избройте възможните източници на отклонение: (1) историческо отклонение, (2) отклонение на представянето (недостатъчно представена група), (3) заместващи променливи (колона, свързана със забранен критерий), (4) отклонение при измерване. Дайте конкретен пример за всеки и ми кажете как да го тествам. ПРОЦЕС: [процес на вземане на решение и използвани данни]
2) План за тест за справедливост:
Генерирайте план за тестване на справедливост за следния изход за решение: кои групи (възраст, пол, регион, доход) трябва да разделя, кои показатели (процент на приемане, процент грешки, време на изчакване) трябва да сравня, как да реша дали разликата е законна или дискриминационна? Добавете предупреждение за KVKK. РЕШЕНИЕ: [какво решение]
3) Изявление за решение (до гражданина):
Напишете разбираемо за гражданите чернова на обяснение за следното решение: какви фактори са оказали влияние, на ясен език. Добавете правото на обжалване в края и възможността за преглед от човек [с време, което предстои да бъде потвърдено]. Използване на неясни изрази като „Системата така реши“. РЕШЕНИЕ: [обобщение и влияещи фактори]
4) Проверка на отчетността преди разпространение:
Създайте контролен списък за отчетност, преди да пуснете системата за вземане на решения, задвижвана от изкуствен интелект: обяснима ли е, има ли начин за обжалване, поддържа ли се одитна пътека (версия на данни/модел/отчетна), извършено ли е тестване за справедливост, къде е точката на човешко одобрение. Маркирайте липсващите елементи като червени знамена. СИСТЕМА: [рецепта]
Слаба подкана / Силна подкана
Слаб: „Този модел на решение справедлив ли е?“
Силен: „Вашата роля е експерт по алгоритмична справедливост. За този модел за приоритизиране на помощта, първо сканирайте за източници на пристрастия (исторически, представяне, сурогатна променлива, измерване) и дайте конкретни примери за всеки. След това изгответе план за тестване на справедливост: разбивка по кои групи, кои показатели, как да решите легитимността на разликата; добавете предупреждението KVKK. Накрая, преди да пуснете системата, дайте контролен списък за обяснимост, път за обжалване и одитна пътека и сигнализиране за недостатъците."
Разликата: силната подкана търси пристрастие при нейния източник, резултатите се тестват от групи и прави отчетността широко разпространена.
Измерения и контрол на справедливостта
Размер
Риск
контрол
исторически данни
Миналото носи неравенство
Тествайте резултата по групи
представителство
Работи зле за някои групи
Групово базиран процент грешки
сурогатна променлива
скрита дискриминация
Критерийна връзка, чувствителна към променливи
Обяснимост
необосновано решение
Генерирайте просто обяснение
възражение
конфискация
Път за преглед от човек
Цикъл за обратна връзка и грешка в представянето
Най-коварната форма на алгоритмична дискриминация се проявява не в едно грешно решение, а в обратна връзка, която се засилва с течение на времето (изходът на модела засяга последващите данни за обучение, засилвайки съществуващото отклонение). Например, ако модел на проверка маркира конкретен квартал като „рисков“, колкото повече проверки отиват там, толкова повече записи се създават, моделът вижда този квартал като по-рисков – въпреки че разликата се е увеличила в разглежданото местоположение, а не в действителния риск. Това, което проправя пътя за това, често е грешка в представянето (данните за обучение отразяват някои групи непълно или изкривено). В публичния сектор тези цикли могат да поставят групите в неравностойно положение под все по-строго наблюдение и санкции. Начинът да се предпазите е да наблюдавате въздействието на модела, а не само неговия резултат: редовно да наблюдавате груповото разпределение на решенията и да не прилагате сляпо препоръките на модела.
Мини калъф — съмнение за самовъзвеличаване. Модел за откриване на измами със социални помощи маркира регион, който е бил по-сериозно инспектиран в миналото, като високорисков. Когато екипът извлече интензитета на прилагане от данните и измери „истинската степен на откриване спрямо населението“, те установиха, че разликите между регионите до голяма степен изчезнаха; Моделът обърка неравенството с реален риск.
Групов шаблон за контрол на въздействието:
Задача: Разгледайте следните данни за решения по групи (без лични данни, категорично обобщение). Данни: [група | общо решение | процент на отрицателни решения | интензитет на проверката] Резултат: 1) Процентът на отрицателните решения показва ли значителна разлика между групите? 2) Възможно ли е разликата да се дължи на действителен риск или интензитет на контрол/представяне? 3) Има ли признаци за обратна връзка? 4) Препоръки за човешки контрол. Правило: Установяване на твърдение за причинно-следствена връзка; Избройте възможните обяснения и начини за тестване.
Внимание: Аргументът, че „моделът е неутрален, защото прилага едно и също правило за всички“ е подвеждащ. Същото правило, когато се прилага към изкривени данни, запазва и увеличава неравенството. Справедливостта се измерва с равенството на резултата, а не с правилото.
Често срещани грешки
- Изтриване на чувствителни данни и мислене „това е честно“. Сурогатните променливи поддържат дискриминацията; тествайте изхода.
- Измерване на справедливостта чрез намерение. Справедливостта се появява накрая; Сортирайте решенията в групи и сравнете.
- Забравяйки слабо представената група. Моделът може да работи тихо и слабо за малцинствена група; Вижте групова грешка.
- Използване на необяснимия модел при решения, даващи права. Система, която не може да представи обосновка, не може да взема публични решения.
- Не предоставя никакви средства за възражение. Всяко автоматизирано решение трябва да бъде предмет на човешка проверка.
- Неподдържане на одитна пътека. Трябва да се запише с кои данни/модел/отговорник е взето решението.
В обобщение
В публичния сектор изкуственият интелект може да увеличи последователността, но и тихо да пренесе дискриминацията от миналото. Пристрастията идват от исторически данни, разлика в представянето, прокси променливи и неточно измерване; Изтриването на чувствителни данни няма да реши проблема. Справедливостта се постига чрез тестване на резултата в групите. И нито един гражданин не може да бъде лишен от избирателни права от „системата каза така“: всяко решение трябва да бъде обяснимо, оспоримо и подлежащо на проверка. Отговорна е институцията, а не алгоритъмът.
Задача за приложение
Изберете задвижван от AI или автоматизиран процес на вземане на решения във вашето устройство. Избройте възможните отклонения и намерете поне един сурогатен променлив риск с шаблона „Сканиране на източник на отклонения“. Определете кои групови разбивки да разгледате с „плана за тест за справедливост“. За примерно решение изгответе обяснение за гражданите с шаблона „Обяснение на решението“.
контролен списък
- [ ] Сканирах за източници на пристрастие (исторически, представяне, прокси, измерване).
- [ ] Не просто изтрих чувствителни данни; Тествах изхода по групи.
- [ ] Контролирах процента на грешки за слабо представените групи.
- [ ] Предоставих проста, обяснима обосновка за всяко решение.
- [ ] Дефинирах път за възражение и проверка от човек.
- [ ] Одитна пътека (данни/версия на модела/отговорник) се поддържа.