Прибыль:
- Распознавание случаев, когда ИИ порождает предвзятость посредством обучающих данных, рамок, двойных стандартов и лести
- Способность установить контроль над предвзятостью с помощью нейтральных вопросов, распознавания доказательств и стереотипов и теста под обратным углом.
- Способность переводить стигматизирующий язык в описательный и уважительный язык, используя культурные знания как объект внимания, а не как окончательное правило.
Смыслом существования социальной работы является справедливость и человеческое достоинство; В основе профессии лежит приверженность тому, что каждый человек имеет равную ценность, противостоит дискриминации и защищает уязвимые группы. Искусственный интеллект несет в себе риск, который может незаметно нанести вред именно этим ценностям: предвзятость. ИИ учится на исторических данных; Если эти данные включают неравенство, стереотипы и дискриминацию в обществе, ИИ изучает их и воспроизводит на беглом, «объективном» языке. В руках социального работника это может привести к систематически более негативной оценке группы, стереотипному представлению о семье или неправильному пониманию культуры. В этом модуле вы научитесь распознавать предвзятость ИИ, контролировать ее и использовать ИИ честно и с учетом культурных особенностей.
Факт с самого начала: ИИ не нейтрален, он кажется нейтральным. Самая опасная предвзятость — та, которая изложена уверенным и профессиональным языком; потому что это принимается без вопросов. Ваша задача как социального работника — сделать эту невидимую предвзятость видимой и отслеживать, не противоречат ли полученные результаты вашим профессиональным ценностям.
Откуда берется предвзятость ИИ и как она выглядит?
- Смещение обучающих данных. ИИ учится на текстах, отражающих неравенство в обществе. Стереотипы об определенных этнических группах, бедных, инвалидах, определенных районах или гендерах могут просачиваться в выходные данные.
- Язык и предвзятость в фреймировании. ИИ может представить группу как пассивную, «проблемную» или «объект, нуждающийся в помощи»; другая группа в качестве субъектов. Одно и то же поведение может быть истолковано как «культурное» одной группой и «проблемное» другой группой.
- Отсутствие представительства. ИИ может неточно или поверхностно понимать группы, которые недостаточно представлены в данных (небольшие популяции, редкие случаи).
- Лесть (подхалимство). ИИ склонен подтверждать ваше подразумеваемое мнение; Предвзятый вопрос приносит предвзятое подтверждение.
Эти предубеждения особенно опасны в социальной работе, поскольку результаты напрямую затрагивают жизнь реальных людей — оценка, отчет, направление.
Внимание: «ИИ так рассчитал» — это предупреждающий знак, а не оправдание. Когда вы видите результаты, которые негативно изображают группу или отдельного человека, первый вопрос: «основаны ли они на фактах или на стереотипах?» должно быть.
Шаг за шагом: аудит против предвзятости
- Спросите нейтрально. Задавайте вопросы, которые не подразумевают и не ведут; Не «объясните, почему эта семья небрежна», а «что могут означать эти наблюдения, каковы альтернативные объяснения?» просить.
- Различайте доказательства и стереотипы. По каждому отрицательному утверждению спрашивайте: основано ли оно на конкретных фактах, находящихся передо мной, или на общем предположении о группе?
- Тест под противоположным углом. Рассмотрим ту же ситуацию для другой группы: «Если бы клиент был из другого социально-экономического/этнического происхождения, написал бы ИИ его на том же языке?»
- Ищите культурную чувствительность. Спросите о культурном контексте поведения; но воспринимайте культурные знания как возможность и предостережение, а не как абсолютное правило (избегайте стереотипов).
- Очистите импринтирующий язык. Переведите это на язык, который описывает ситуацию, а не человека, а также видит сильные стороны.
три мини-кейса
Случай 1. Обратный угол выявил смещение. Эксперт попросил ИИ обобщить два похожих случая; единственной разницей был социально-экономический статус семей. YZ писал тоном «высокий риск пренебрежения» для семьи с низким доходом и тоном «родитель вынужден вести себя хорошо» для семьи с высоким доходом. Эксперт признал этот двойной стандарт и сформулировал обе оценки равным языком, основанным на фактических данных.
Случай 2 — Исправлено культурное неправильное толкование. YZ охарактеризовал ситуацию ребенка, живущего в большой семье, как «проблемы границ и смешанную домашнюю среду». Эксперт знал, что в культурном контексте семьи расширенная семья является мощным источником поддержки и защиты. ИИ превратил культурную силу в проблему. Обзор был исправлен, чтобы признать эту поддержку ресурсом.
Случай 3. Наводящий вопрос вызвал предвзятость. «Напишите, почему этому отцу нельзя доверять», — попросил ИИ стажер. ИИ выдал текст, изображающий отца негативно (лестно) без каких-либо доказательств. Супервайзер модифицировал вопрос: «Какие наблюдения об отце, каковы его сильные и слабые стороны?» Результаты стали сбалансированными и научно обоснованными. Урок: предвзятый вопрос приводит к предвзятому ответу.
Четыре копируемых шаблона
1) Запросите нейтральную, сбалансированную оценку:
Обобщая следующие наблюдения, вы представляете как возможные сильные стороны, так и возможные опасения СБАЛАНСИРОВАННО и основываясь ТОЛЬКО на фактических данных. Не делайте никаких выводов, основанных на стереотипах. Если комментарий не основан на наблюдениях, напишите «недостаточно доказательств». Наблюдения: [вставить наблюдения]
2) Проверка смещения (проверка противоположного угла):
Ознакомьтесь с текстом обзора ниже. Существуют ли утверждения, которые передают необоснованный стереотип из-за социально-экономического статуса, этнической принадлежности, религии, пола, инвалидности или места проживания клиента? Для каждого спросите: «Было бы это написано на том же языке, если бы клиент был из другой группы?» Пометить проблемные предложения.Текст: [вставить текст]
3) Культурный контекст (нестереотипный):
Предоставьте ВОЗМОЖНОСТИ того, что следующее поведение/ситуация может означать в различных культурных контекстах. Представьте их как моменты, которые следует учитывать, а не как абсолютные правила; Подчеркните, что в каждом сообществе существуют индивидуальные различия. Не делайте обобщений об одной группе. Ситуация: [напишите ситуацию]
4) Импринтинговая чистка языка:
В тексте ниже найдите прилагательные, которые осуждают или стигматизируют человека (например, «небрежный», «отказной», «проблемный»). Для каждого из них замените один и тот же факт альтернативой, которая будет описательной, уважительной и учитывающей сильные стороны. Добавление новой информации.Текст: [вставить текст]
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Объясните, почему эта семья неспособна воспитывать детей.
Этот вопрос предполагает результат с самого начала («недостаточный»). ИИ с его склонностью к лести выдаст бездоказательный и предвзятый текст, подтверждающий это предположение. Если вопрос предвзятый, то и ответ будет предвзятым.
Мощная подсказка:
Основываясь на следующих наблюдениях, перечислите как сильные стороны этой семьи в воспитании детей, так и проблемные области СБАЛАНСИРОВАННО и только на основе фактических данных. Не предполагайте результат с самого начала; Если доказательств недостаточно, укажите это. Избегайте стереотипов. Наблюдения: [вставить наблюдения]
Разница: сбалансированный вопрос, который не предполагает результата и требует доказательств, в первую очередь предотвращает предвзятость.
Виды предвзятости и меры противодействия
Тип смещения
Как это выглядит
контрмера
данные обучения
групповой стереотип
Различие между доказательствами и образцами
обрамление
Пассивный/негативный язык
Сбалансированный, предметно-ориентированный язык
двойной стандарт
То же поведение, другой тон
тест на обратный угол
культурная слепота
Превращение культурной власти в проблему
Вопрос о культурном контексте
лесть
подтвердить вывод
Не задавайте нейтральные вопросы
отсутствие представительства
Поверхностное/непонимание
Местное/экспертное подтверждение
Распространенные ошибки
- Задавать предвзятые вопросы. Вопрос, предполагающий вывод, приводит к предвзятому ответу; нейтральная проблема.
- Опираясь на уверенный язык. Профессиональный тон не делает предвзятость правильной; посмотрите на доказательства.
- Рассмотрение культурных знаний как непреложного правила. Воспринимайте это как точку возможности и внимания; Избегайте стереотипов.
- Не замечая двойных стандартов. Проверьте, как одно и то же поведение записано в разных группах.
- Принятие штампа за доказательство. Это «небрежное» суждение; Описывайте явление, не судите человека.
В заключение
ИИ не нейтрален, он кажется нейтральным; Он воспроизводит неравенство и стереотипы в образовательных данных на свободном языке. В социальной работе это может привести к несправедливым оценкам реальных людей. Распознавайте предвзятость (данные обучения, рамочные рамки, двойные стандарты, культурную слепоту, лесть), проверяйте ее (нейтральный вопрос, разделение доказательств и шаблонов, проверка угла зрения, культурная чувствительность, устранение стигмы) и фильтруйте каждый результат через профессиональные ценности справедливости и чести. Последним этическим фильтром всегда являетесь вы.
Задача приложения
Попросите ИИ обобщить один и тот же набор вымышленных наблюдений с двумя разными профилями групп (например, разным социально-экономическим статусом) и сравнить с «тестом обратного угла», различаются ли тона/язык. Затем попробуйте задать нейтральный вопрос с сознательно предвзятым вопросом («объясните, почему это неадекватно») и изучите разницу в результатах. Наконец, примените к тексту шаблон «очистка языка водяных знаков».
контрольный список
- [ ] Я сформулировал свои вопросы нейтрально, не предполагая результата.
- [ ] Я проверил каждое отрицательное утверждение, используя различие между доказательствами и стереотипами.
- [ ] Я проверил двойной стандарт с помощью теста на обратный угол.
- [ ] Я использовал культурные знания как предостережение, а не как абсолютное правило.
- [ ] Я заменил стигматизирующие высказывания описательными, уважительными выражениями.