Прибыль:
- Он распознает источники алгоритмической предвзятости в данных, дизайне и использовании и тестирует выходные данные на групповой основе.
- Объясняет, как петля обратной связи и ошибка представления увеличивают неравенство и обеспечивают контроль воздействия.
- Это обеспечивает подотчетность, обеспечивая объяснимость и апелляцию каждого автоматизированного решения.
Общество должно применять свою власть одинаково ко всем: одинаковое обращение с двумя гражданами в одинаковых ситуациях, пропорциональные различия в разных ситуациях. Этот принцип равенства является конституционным обязательством. Искусственный интеллект может как улучшить, так и незаметно разрушить эту область. Его можно улучшить, поскольку последовательно применяемое правило может уменьшить произвол и человеческую предвзятость. Это может быть разрушительным, поскольку модели ИИ учатся на прошлых данных, а прошлые данные несут в себе дискриминацию прошлого. Если система обучена на данных, которые исторически ставили определенную группу в невыгодное положение, она переносит этот недостаток в будущее — и в форме, которую еще труднее обнаружить, под видом «объективного алгоритма». В этом модуле вы узнаете, как распознать алгоритмическую предвзятость (систематическую предвзятость результатов модели в отношении определенных групп) при использовании ИИ в государственном секторе, как ее уменьшить и, самое главное, как обеспечить алгоритмическую подотчетность (обоснование того, что автоматизированное решение объяснимо, проверяемо и оспоримо).
Откуда берется предвзятость?
Есть несколько источников алгоритмической предвзятости, и все они рискованны публично:
- Историческая предвзятость: данные обучения содержат прошлое неравенство. Например, если в прошлом в каком-то районе было меньше услуг, «данные о спросе» могут показать, что в этом районе низкие потребности, хотя на самом деле спрос был низким из-за отсутствия услуг.
- Предвзятость репрезентации: некоторые группы недостаточно представлены в данных (те, у кого нет доступа к цифровым технологиям, группы языковых меньшинств), и для них модель работает плохо.
- Предвзятость по доверенности: даже если модель не учитывает напрямую запрещенный критерий (этническая принадлежность, религия), она может вызвать ту же дискриминацию, рассматривая связанный с ним прокси (район, имя, почтовый индекс).
- Ошибка измерения: то, что мы измеряем, — это не то, что мы на самом деле хотим измерить. «Количество жалоб» измеряет возможность жаловаться, а не потребность.
Внимание: утверждение «Я удалил из модели конфиденциальные данные (пол, этническая принадлежность)» неверно, теперь это справедливо. Дискриминация через прокси-переменные может продолжаться. Справедливость достигается не за счет удаления входных данных, а за счет проверки выходных данных между группами.
Проверка справедливости: посмотрите результат
Справедлива ли система или нет, можно понять, глядя на ее результаты, а не на ее намерения. Основной метод: разделить решение на группы и сравнить. Значительно ли различаются между разными группами (пол, возраст, регион, доход) такие результаты, как процент принятия/отклонения, процент ошибок, время ожидания? Если есть разница, то основана ли эта разница на законной причине или это дискриминация? Поскольку для этого анализа могут потребоваться персональные данные, они должны быть агрегированы и проведены в соответствии с КВКК.
Совет: прежде чем внедрять новую систему принятия решений на основе искусственного интеллекта, разбейте ее решения по демографическим группам и подготовьте «отчет о справедливости». Если вы обнаружите разницу, «можно ли объяснить эту разницу?» Передайте вопрос комитету людей.
Объяснимость и привлекательность: суть подотчетности
В бюджетной сфере ни один гражданин не может быть лишен прав с ответом «система так решила». Для каждого автоматизированного решения или решения с помощью искусственного интеллекта необходимо обеспечить три вещи:
- Объясняемость: на чем было основано решение, какие факторы оказались эффективными, следует объяснить простым языком.
- Способ подачи апелляции: Граждане должны иметь возможность опротестовать решение и попросить человека пересмотреть его.
- Контрольный журнал: следует записать, какие данные, какая модель/версия и с каким ответственным лицом было принято решение.
три мини-кейса
Случай 1 — захвачен суррогатный вариант. Одна из моделей определения приоритетов помощи не использовала конфиденциальные данные, а учитывала «почтовый индекс». В ходе теста на справедливость выяснилось, что некоторые районы систематически получают низкий приоритет — в зависимости от почтового индекса, дохода и этнической плотности. Переменная была удалена, а приоритет был напрямую привязан к показателям потребности.
Случай 2. Разрыв в представительстве. Чат-бот на 41% чаще вводил в заблуждение вопросы граждан, для которых турецкий язык не является родным; Данные обучения содержали мало представителей этой группы. Когда были добавлены многоязычная поддержка и порог передачи данных человеком, разрыв закрылся.
Случай 3 — Необъяснимый отказ. Учреждение автоматически отклонило заявку; гражданин "почему?" На вопрос офицер не смог объяснить, поскольку причина модели была непонятна. Инцидент показал, что модели с плохой объяснимостью нельзя использовать для принятия решений, касающихся прав; Система трансформировалась в модель, порождающую обоснование и требующую одобрения человека.
Четыре копируемых шаблона
1) Источник смещения сканирования:
Ваша роль: эксперт по алгоритмической справедливости. Ознакомьтесь с процессом принятия решений на основе искусственного интеллекта ниже. Перечислите возможные источники систематической ошибки: (1) историческая систематическая ошибка, (2) систематическая ошибка репрезентации (недопредставленная группа), (3) прокси-переменные (столбец, связанный с запрещенным критерием), (4) систематическая ошибка измерения. Приведите конкретный пример для каждого и расскажите, как его протестировать. ПРОЦЕСС: [процесс принятия решения и используемые данные]
2) План проверки честности:
Создайте план проверки справедливости для следующего результата решения: какие группы (возраст, пол, регион, доход) мне следует разбить, какие показатели (коэффициент принятия, процент ошибок, время ожидания) мне следует сравнить, как мне решить, является ли разница законной или дискриминационной? Добавьте предупреждение KVKK. РЕШЕНИЕ: [какое решение]
3) Заявление о решении (гражданину):
Напишите понятный гражданину черновой вариант объяснения следующего решения: какие факторы оказали влияние, простым языком. Добавьте в конце право на апелляцию и возможность человеческого рассмотрения [время будет подтверждено]. Использование расплывчатых выражений типа «Так решила система». РЕШЕНИЕ: [краткое содержание и влияющие факторы]
4) Проверка подотчетности перед распространением:
Прежде чем развертывать систему принятия решений на основе искусственного интеллекта, составьте контрольный список подотчетности: объяснимо ли это, есть ли способ подать апелляцию, ведется ли контрольный журнал (данные/версия модели/подотчетный), проведено ли тестирование на справедливость, где находится точка одобрения человеком. Отметьте недостающие предметы красным флажком. СИСТЕМА: [рецепт]
Слабая подсказка / Сильная подсказка
Слабый: «Справедлива ли эта модель принятия решений?»
Стронг: «Ваша роль — эксперт по алгоритмической справедливости. Для этой модели определения приоритетов помощи сначала просканируйте источники систематической ошибки (исторические, репрезентативные, суррогатные переменные, измерения) и приведите конкретные примеры для каждого. Затем придумайте план проверки справедливости: разбивка по группам, по каким показателям, как определить законность разницы; добавьте предупреждение KVKK. Наконец, перед развертыванием системы дайте контрольный список для объяснимости, пути апелляции и контрольного журнала, а также пометьте недостатки».
Разница: сильная подсказка ищет источник предвзятости, результаты проверяются группами и обеспечивает широкое распространение ответственности.
Измерения и средства контроля правосудия
Размер
Риск
контроль
исторические данные
Прошлое несет в себе неравенство
Тестовый вывод по группам
представительство
Плохо работает для какой-то группы
Коэффициент ошибок на основе группы
суррогатная переменная
скрытая дискриминация
Отношения критерия, чувствительного к переменной
Объясняемость
необоснованное решение
Создать простое объяснение
возражение
конфискация
Путь проверки человеком
Петля обратной связи и ошибка представления
Самая коварная форма алгоритмической дискриминации возникает не в результате единственного неправильного решения, а в петле обратной связи, которая усиливается с течением времени (выходные данные модели влияют на последующие обучающие данные, усиливая существующую предвзятость). Например, если модель проверки помечает определенный район как «рискованный», то чем больше проверок проводится там, тем больше записей создается, модель считает этот район более рискованным — даже несмотря на то, что разница увеличилась в рассматриваемом месте, а не в фактическом риске. Причиной этого зачастую является ошибка представления (обучающие данные отражают некоторые группы не полностью или искаженно). В государственном секторе эти циклы могут привести к тому, что обездоленные группы населения будут подвергаться все более жесткому надзору и санкциям. Чтобы защитить себя, нужно следить за воздействием модели, а не только за ее результатами: регулярно отслеживать распределение решений по группам, а не слепо выполнять рекомендации модели.
Мини-кейс — самовозвеличивающее сомнение. Модель обнаружения мошенничества в сфере социального обеспечения пометила регион, который в прошлом подвергался более тщательным проверкам, как регион с высоким уровнем риска. Когда команда извлекла из данных интенсивность правоприменения и измерила «истинный уровень выявления по отношению к численности населения», они обнаружили, что различия между регионами в значительной степени исчезли; Модель ошибочно приняла неравенство за реальный риск.
Шаблон группового контроля воздействия:
Задача: Изучите следующие данные решения по группам (без личных данных, категориальное резюме). Данные: [группа | общее решение | отрицательная частота принятия решений | интенсивность проверки]Результаты: 1) Показывает ли процент отрицательных решений значительную разницу между группами? 2) Может ли разница быть связана с фактическим риском или интенсивностью контроля/представительства? 3) Есть ли признаки обратной связи? 4) Рекомендации по человеческому контролю. Правило: Установление причинно-следственной связи; Перечислите возможные объяснения и способы проверки.
Внимание: аргумент о том, что «модель нейтральна, поскольку она применяет одно и то же правило ко всем», вводит в заблуждение. То же правило, примененное к искаженным данным, сохраняет и усиливает неравенство. Справедливость измеряется равенством результатов, а не правилом.
Распространенные ошибки
- Удаление конфиденциальных данных и размышление «это справедливо». Суррогатные переменные увековечивают дискриминацию; протестируйте вывод.
- Измерение справедливости намерением. В конце концов появляется справедливость; Распределите решения по группам и сравните.
- Забывая о недостаточно представленной группе. Модель может плохо работать для группы меньшинства; См. групповую ошибку.
- Использование необъяснимой модели при принятии решений о предоставлении прав. Система, которая не может обеспечить обоснование, не может принимать публичные решения.
- Не предоставляя никаких средств возражения. Каждое автоматизированное решение должно подвергаться проверке человеком.
- Не вести контрольный журнал. Следует записать, с какими данными/моделью/ответственным лицом было принято решение.
В заключение
В государственном секторе ИИ может повысить согласованность, но при этом незаметно перенести дискриминацию прошлого. Смещение возникает из-за исторических данных, разрыва в представлении, косвенных переменных и неточных измерений; Удаление конфиденциальных данных не решит проблему. Справедливость достигается путем тестирования результатов между группами. И ни один гражданин не может быть лишен избирательных прав из-за того, что «система так сказала»: каждое решение должно быть объяснимым, оспоримым и проверяемым. Ответственность несет учреждение, а не алгоритм.
Задача приложения
Выберите в своем подразделении процесс принятия решений на базе искусственного интеллекта или автоматизированный. Перечислите возможные систематические ошибки и найдите хотя бы одну суррогатную переменную риска с помощью шаблона «Сканирование источников систематических ошибок». Определите, на какие групповые разбивки следует обратить внимание с помощью «плана проверки на справедливость». Для примера решения подготовьте объяснение для граждан с помощью шаблона «Объяснение решения».
контрольный список
- [ ] Я искал источники предвзятости (исторические, репрезентативные, косвенные, измерения).
- [ ] Я не просто удалил конфиденциальные данные; Я протестировал вывод по группам.
- [ ] Я контролировал частоту ошибок для недостаточно представленных групп.
- [ ] Я предоставил простое и объяснимое обоснование каждого решения.
- [ ] Я определил путь возражений и человеческого рассмотрения.
- [ ] Сохраняется контрольный журнал (данные/версия модели/ответственный).