Прибыль:
- Понимает, что данные являются основным источником предвзятости ИИ.
- Признает риски, которые предвзятость может создать на рабочем месте
- Принимает меры, которые можно принять для уменьшения предрассудков
ИИ выглядит как нейтральная, объективная машина; но истина гораздо сложнее. Системы искусственного интеллекта изучают человеческие предубеждения в данных, на которых они обучаются, а иногда усиливают и воспроизводят их. Предрассудки – это тенденция системы систематически отдавать предпочтение или исключать определенных людей или группы. В этом разделе мы рассмотрим, откуда берутся предрассудки, какие конкретные риски они представляют на рабочем месте и что можно с ними сделать. Это не просто вопрос «этики»; Это практический деловой вопрос, который при неправильном управлении несет в себе юридический, коммерческий и репутационный риск.
Откуда берутся предрассудки?
Информация о языковой модели поступает из огромных текстов, которые создают люди. В этих текстах собраны все знания человеческого общества, а также все его стереотипы, дисбалансы и историческое неравенство. Модель не различает «хорошие» и «плохие» модели; Он изучает все, что содержится в данных.
Пример: если в прошлых текстах определенные профессии преимущественно ассоциировались с полом (например, «медсестра» — с женщиной, «инженер» — с мужчиной), модель запоминает эту ассоциацию. Она может склоняться к выбору местоимения мужского пола при завершении предложения: «Инженер вошел в офис, он...» Модель не является злонамеренной; это просто отражает дисбаланс в данных.
Таким образом, предвзятость в основном связана с тем, что это зеркало данных, а не с сознательной ошибкой программирования. Объяснение проблемы тем, что «кто-то написал плохой код», вводит в заблуждение; Проблема в том, что дисбаланс в мире переносится в данные, а оттуда в модель.
Ощутимые риски на рабочем месте
площадь
Риск предвзятости
возможный вред
вербовка
Изучите тенденцию в исторических данных и исключите определенные группы.
Судебное дело, потеря дееспособности
Общение с клиентами
Стереотипный или исключающий язык
Потеря репутации, бегство клиентов
кредит/риск
Увековечивание прошлого неравенства
Дискриминация, санкции
Оценка эффективности
Учет предвзятости данных при принятии решения
Несправедливое продвижение/бонус
Контент/маркетинг
Сделать определенную группу невидимой
Ущерб бренду
Три мини-кейса
Случай 1. В объявлении сужался язык. Компания начала печатать объявления о вакансиях с помощью ИИ. Через некоторое время было замечено, что рекламные объявления обращались к определенному профилю с такими выражениями, как «молодой и динамичный», «агрессивная цель», и тем самым уменьшали разнообразие приложений. Команда добавила шаг, который проверяет каждое сообщение на предмет «инклюзивного языка»; Разнообразие претендентов значительно увеличилось за несколько месяцев.
Случай 2 — Скрытая предвзятость в резюме. Один менеджер поручил ИИ обобщить отзывы 30 сотрудников. Подведение итогов, казалось, сосредоточило негативные комментарии на одной конкретной команде; тогда как в исходных данных ситуация была сбалансированной. Модель преувеличила несколько сильных заявлений. Когда менеджер вернулся и проверил исходные данные, он избежал ошибочного представления.
Случай 3. Мандат на инклюзивность сработал. Одна маркетинговая команда стандартизировала инструкцию в тексте кампании, чтобы «использовать инклюзивный, неспецифичный для пола/возраста/группы язык и перечислить свои предположения в конце». Формульные выражения в создаваемых текстах заметно уменьшились; команде не приходилось вручную исправлять каждый результат снова и снова.
Почему предвзятость трудно распознать?
Самое коварное в предрассудках то, что они часто незаметны. Результат выглядит гладким, профессиональным и разумным; Тенденция внутри него становится очевидной только тогда, когда внимательно присмотришься или измеришь его влияние на различные группы. Было бы неверно утверждать, что «здесь нет предвзятости», глядя на один-единственный пример; Предвзятость часто проявляется не в отдельных примерах, а в общей тенденции системы.
Предостережение: предположение, что «я нейтрален, следовательно, инструмент, который я использую, тоже нейтральен» опасно. Нейтральность инструмента зависит от обучающих данных и способа их проверки, а не от ваших намерений.
Слабая подсказка/Сильная подсказка
Слабая подсказка: Опишите идеального кандидата на эту должность.
Результат: модель может полагаться на стереотипы и представлять определенный профиль как «идеальный».
Сильная подсказка: перечислите только измеримые компетенции для этой должности, которые действительно имеют отношение к этой должности. Не используйте какие-либо характеристики, не связанные с должностью, такие как пол, возраст, семейное положение, родной город. Наконец, напишите то, что вы пропустили, под заголовком «Предположения, которых я избегаю».
Результат: Оценка ограничивается критериями, связанными с работой, нерелевантные функции исключены.
Шаблоны для уменьшения предвзятости
Проверьте текст ниже на наличие инклюзивного языка. Отметьте утверждения, которые подразумевают пол, возраст, этническую принадлежность, инвалидность или определенную группу, и предложите нейтральную альтернативу для каждого из них. Текст: [вставить сюда]
Делайте эту оценку только на основе следующих объективных критериев: [критерии]. Не учитывайте никакую информацию, кроме этих критериев (имя, пол, возраст).
Перечислите под отдельным заголовком в конце, какие предположения вы сделали в написанном вами тексте. Так что я вижу скрытые предубеждения.
Оцените этот контент глазами трех разных групп читателей и отметьте любые высказывания, которые могут обидеть/оскорбить кого-либо из них. Содержание: [вставьте сюда]
Распространенные ошибки
Распространенные ошибки
- Предполагая «нейтральный» выход AI. Несмотря на то, что выходные данные кажутся нейтральными, они могут нести в данных предвзятость; Требуется активный надзор.
- Глядя на один пример и говоря: «предвзятости нет». Предрассудки скрыты в общей тенденции системы.
- Оставляя принятие важных решений на усмотрение ИИ без присмотра. Человеческий авторитет важен при принятии таких решений, как найм, продвижение по службе и кредит.
- Забывают требовать инклюзивности. Если вы не запросите это явно в командной строке, модель вернется к шаблонам по умолчанию.
- Это означает «Машина сказала это». Лицо, принявшее решение, также несет ответственность за последствия.
Справедливость – это обязанность каждого
Борьба с предрассудками — это не только работа технической команды. Каждый сотрудник, использующий результаты ИИ, обязан задаться вопросом, являются ли эти результаты справедливыми. «Машина сказала мне» — не оправдание; Ответственность за последствия несет и тот, кто принимает решение.
В заключение
- Основным источником предвзятости ИИ является не злонамеренность, а существующие дисбалансы и стереотипы в обучающих данных.
- Предрассудки; Это создает реальный юридический и репутационный риск в таких областях, как набор персонала, общение с клиентами, финансы и оценка.
- Предвзятость часто невидима и заложена в общей структуре системы; Рассмотрение одного примера вводит в заблуждение.
- Чтобы сократить: будьте внимательны, ограничивайте решения критериями, связанными с работой, прямо требуйте инклюзивности, ставьте под человеческий контроль высокоэффективные решения.
- «Машина сказала мне» — не оправдание; Справедливость — это ответственность каждого, кто использует результаты.
Задача приложения
Скажите ИИ «опишите идеального работника [любой профессии]» и отметьте, какие (возможно, ненужные) предположения были сделаны в выводе. Затем повторите действия с приведенным выше шаблоном «критерии, связанные с работой» и сравните два результата на предмет справедливости.
Контрольный список
- [ ] Я понимаю, что основным источником систематической ошибки являются данные обучения.
- [ ] Я могу назвать конкретные риски, которые могут представлять предвзятость на рабочем месте.
- [ ] Я знаю, что предвзятость часто незаметна и что рассмотрение одного примера вводит в заблуждение.
- [ ] Я могу явно попросить указать в подсказке инклюзивность и критерии, связанные с работой.
- [ ] Мне нужен человеческий контроль над важными решениями.