Прибыль:
- Выделение трех моделей человеческого управления (в цикле, в цикле, по команде)
- Признание и снижение рисков предвзятости и дискриминации в результатах ИИ
- Преобразование принципов прозрачности и объяснимости в конкретные применения
Система искусственного интеллекта может технически работать идеально, но при этом ошибаться: она может систематически устранять группу, не объяснять причину своего решения или заставлять людей принять его без вопросов. В этом модуле мы переводим «мягкую», но наиболее решающую сторону управления — человеческий контроль, управление предвзятостью, прозрачность и этику — в конкретные практики. Целью не являются расплывчатые лозунги вроде «не доверяйте ИИ»; Это работающие механизмы, которые показывают, как проверять результаты, уменьшать предвзятость и обеспечивать прозрачность.
Три модели человеческого контроля
Надзор со стороны человека означает, что человек сохраняет контроль над решениями, принимаемыми ИИ. Существует три базовые модели, и выбрать подходящую модель необходимо в зависимости от риска.
модель
Значение
Где это подходит
Человек в петле
Человек одобряет каждое решение
Рискованные, эффективные решения
Человек на петле
ИИ работает, люди наблюдают и при необходимости вмешиваются
Средний риск, большие объемы сделок
Человек в команде
Человек проектирует систему, устанавливает ее пределы, может ее закрыть.
Общий уровень управления
Для решений, которые существенно влияют на человека (трудоустройство, кредит, здравоохранение), предпочтительна модель «человек в цикле»: ИИ дает совет, но окончательное решение принимает компетентный человек. «ИИ так сказал» никогда не является оправданием; Ответственность всегда лежит на человеке.
Внимание: недостаточно, чтобы человеческий контроль был «на бумаге». Если человек автоматически одобряет предложение ИИ (штампует), реального контроля нет. Чтобы одитинг имел смысл, нужно уметь увидеть обоснование, подвергнуть сомнению его и искренне сказать «нет».
Риск предрассудков и дискриминации
Предвзятость — это когда ИИ систематически ставит в невыгодное или выгодное положение определенные группы. Его источником часто являются обучающие данные: если в исторических данных есть дискриминация, ИИ изучает и поддерживает ее — даже масштабирует.
Практические шаги по уменьшению предвзятости:
- Просмотрите чувствительные переменные: проверьте влияние таких полей, как пол, возраст, этническая принадлежность, на решение.
- Результаты тестирования по группам: обеспечивает ли система разные показатели отклонения/принятия в разных группах?
- Остерегайтесь прокси-переменных: такие поля, как «район» или «школа», могут неявно отражать этнические/классовые различия.
- Установите регулярный мониторинг: предвзятость проверяется постоянно, а не один раз; Он может вернуться по мере изменения данных.
три мини-кейса
Случай 1 — Штамп. В одном банке кредитные специалисты утверждают оценку AI, не проверяя ее; Говорят "система уже посчитала". Аудит показывает, что в 498 из 500 заявок человек принял то же решение, что и ИИ, — поэтому реального анализа нет. Решение: потребовать, чтобы люди увидели обоснование, в определенной степени усомнились в решении и потребовали примечания «почему согласен/не согласен».
Случай 2 — Неявное смещение. Рекрутинговый ИИ оценивает кандидатов-женщин ниже, хотя он вообще не использует пол. Откуда? Поскольку прошлые данные включали в основном мужчин на данной должности, модель усвоила косвенную дискриминацию через прокси-переменные, такие как «непрерывная карьера». Групповое тестирование показывает это; Команда извлекает суррогатные переменные и отслеживает результат.
Случай 3 — Доверие с прозрачностью. При оценке ущерба с помощью искусственного интеллекта страховая компания сообщает каждому клиенту, что «решение принимается на основе искусственного интеллекта, они могут подать апелляцию и запросить проверку человеком». Уровень возражений ниже, чем ожидалось, поскольку клиенты понимают процесс и доверяют ему. Прозрачность повышает доверие и одновременно снижает риски.
Прозрачность и объяснимость
Прозрачность заключается в том, чтобы дать понять соответствующим людям, что ИИ действует и как он работает. Объяснимость означает способность объяснить причину решения в доступной форме. Конкретные применения:
- Уведомление «Вы разговариваете с ИИ» при взаимодействии ИИ с человеком.
- «Это решение было основано на объяснении следующих факторов» в автоматических решениях.
- Четко представьте способ подачи апелляции и запросите человеческую проверку.
- Для внутренних команд: документирование и запись того, что делает модель.
Подсказка: спросите решение ИИ: «Какие три основных фактора повлияли на это решение?» Проверьте это с помощью вопроса. Если система не может сделать это понятным и решение существенно влияет на человека, эта система еще не готова к ответственному использованию.
Предвзятость автоматизации: собственная ловушка
Даже если будут установлены прозрачность и человеческий надзор, с человеческой стороны существует коварный риск: предвзятость автоматизации. Это тенденция людей доверять результатам работы машины больше, чем собственному суждению. Поскольку предложение ИИ на экране кажется «объективным и просчитанным», возникает соблазн принять его без вопросов — в этом психологическое происхождение штампа.
Есть конкретные способы уменьшить это. Сначала поощряйте противоположное мнение: спросите человека, одобряющего решение: «Почему я могу не согласиться с ИИ?» Попросите его подумать над вопросом. Затем покажите показатель уверенности: укажите, насколько уверен ИИ; Отдельно отметьте результаты с низкой достоверностью. Затем настройте оповещение о конфликте: если рекомендация ИИ нарушает правила учреждения или данные, доступные человеку, система выделит это. Наконец, примените два человеческих принципа к важным решениям; Один утверждающий более подвержен предвзятости автоматизации.
Внимание: утверждение «есть одобрение людей» не означает отсутствия предвзятости в отношении автоматизации. У человека должны быть полномочия, время и нужная информация, чтобы задавать вопросы ИИ. Система, которая заставляет утверждающего принимать 200 решений за 3 секунды, на самом деле не обеспечивает настоящего человеческого контроля.
Копируемые шаблоны
ШАБЛОН 1. Выбор модели человеческого управления: «Какая модель человеческого управления подходит для следующего использования ИИ [опишите использование]: в цикле, в цикле или в команде? Рекомендовать с обоснованием, учитывая риск и влияние на человека. Укажите, какой элемент управления я должен добавить, чтобы избежать риска «штампа».
ШАБЛОН 2 — План тестирования смещения: «Составьте план тестирования смещения [опишите использование] для следующего ИИ поддержки принятия решений: какие группы мне следует сравнить, какой показатель мне следует измерить (уровень отклонения/принятия и т. д.), какие суррогатные переменные мне следует искать, как часто мне следует повторять тест? Напишите его шаг за шагом».
ШАБЛОН 3. Текст описания решения: «Напишите простое описание персонализированного автоматического решения: было ли решение основано на искусственном интеллекте, ключевые факторы, влияющие на решение, способ подать апелляцию и запросить человеческую проверку. Необвинительный, уважительный тон, не более 120 слов».
ШАБЛОН 4. Контрольный список этической проверки: «Перед публикацией информации об использовании ИИ подготовьте контрольный список этической проверки: справедливость/дискриминация, прозрачность, человеческий контроль, конфиденциальность, безопасность, подотчетность. Включите 1–2 четких вопроса, на которые нужно ответить, под каждым заголовком».
Слабая подсказка / Сильная подсказка
СЛАБЫЙ: «Справедлив ли этот набор ИИ?» -> Модель дает общий ответ типа «это должно быть честно»; не обеспечивает проверяемого метода и измерения систематической ошибки. СИЛЬНО: «Разработайте план тестирования предвзятости для этого искусственного интеллекта, поддерживающего рекрутинг: метод сравнения показателей принятия по гендерным и возрастным группам, прокси-переменные, которые следует учитывать, допустимый порог различия и частоту мониторинга. Также добавьте контроль, чтобы гарантировать, что окончательное решение принимает человек». -> Модель создает измеримый и повторяемый механизм справедливости.
Распространенные ошибки
- Оставить человеческий контроль «на бумаге» и автоматически утвердить рекомендации ИИ (штамп).
- Оставлять решения, которые существенно влияют на человека, без присмотра, а не в курсе.
- Учитывая, что смещение устранено только потому, что «я удалил чувствительную переменную»; пропуск прокси-переменных.
- Тестирование предвзятости один раз, а не постоянный мониторинг.
- Пропуск прозрачности, потому что «это техническая деталь, которую пользователь не поймет».
- Использование системы, которая не может объяснить причину принятия решения в критически важных решениях.
- Оставив этическую оценку до публикации, сказав: «Посмотрим позже».
В заключение
- Человеческий контроль реализован в трех моделях; В решениях, затрагивающих людей, в цикле предпочтение отдается людям.
- Контроль должен быть значимым; Штамп (автоматическое одобрение) не является фактическим аудитом.
- Предвзятость часто возникает из-за обучающих данных; Чувствительные и суррогатные переменные следует проверять и постоянно контролировать.
- Прозрачность и объяснимость требуют четкого представления пользователю того, что ИИ задействован, и причины такого решения.
- Этическая проверка проводится перед публикацией; ответственность всегда лежит на человеке, фраза «ИИ так сказал» не является оправданием.
Задача приложения
Выберите процесс принятия решений с использованием ИИ, который повлияет на людей в вашей организации (например, оценка приложения). Определите подходящую модель человеческого контроля для этого процесса с обоснованием и разработайте конкретный контроль для предотвращения штамповки (например, требование просмотра обоснования, проверка образцов). Затем напишите план тестирования смещения: укажите, какие группы вы будете сравнивать, с какой метрикой, как часто и на какие прокси-переменные вы будете обращать внимание. Наконец, подготовьте текст объяснения решения, который будет показан человеку во время этого процесса, и включите возможность апелляции/пересмотра человеком.
контрольный список
- [ ] Я выбрал модель человеческого управления, соответствующую процессу.
- [ ] Я разработал конкретный элемент управления, который предотвратит штампование.
- [ ] Я подготовил план тестирования на предвзятость (группы, показатели, частота).
- [ ] Я оценил риск использования суррогатных переменных.
- [ ] Я написал для этого человека текст с объяснением решения.
- [ ] Я ясно представил путь апелляции и человеческого рассмотрения.
- [ ] Перед публикацией я провел этическую экспертизу.