Прибыль:
- Осознайте на примерах, как культурные, гендерные и диагностические предвзятости в моделях искусственного интеллекта причиняют вред в контексте психологии.
- Возможность реализовать проверку предвзятости, которая проверяет результаты для разных групп, языков и культур.
- Способность разрабатывать методы оперативной проверки и проверки, которые исправляют западноцентричные нормы и стигматизирующие высказывания.
Искусственный интеллект (ИИ) не является нейтральным. Модель ИИ учится на огромной куче текста в Интернете, и «мировоззрение» модели искажается в зависимости от того, чей голос содержит больше, а чей — меньше. Это искажение называется предвзятостью. Предвзятость в психологии — это не обычный технический недостаток; Это может напрямую повлиять на оценку, диагностику и лечение человека. Симптом может рассматриваться как «нормальный» в одной культуре и «патологический» в другой; поведение может быть обозначено как «напористость» в одном поле и «агрессия» в другом. ИИ может учиться и воспроизводить эти исторические предубеждения. В этом модуле вы научитесь распознавать предвзятость ИИ в контексте психологии и проверять результаты для разных групп, языков и культур.
Откуда берутся предрассудки и чем они вредят?
Есть три основных источника предвзятости ИИ:
- Дисбаланс обучающих данных. Модели обучаются преимущественно на текстах определенного языка, культуры и периода. Основная часть литературы по психологии исходит из западных, образованных, промышленно развитых обществ; следовательно, предположение ИИ о «нормальном человеке» отражает эту узкую выборку.
- Включение исторической предвзятости. В данные также включены тексты, которые в прошлом патологизировали и стигматизировали определенные группы; модель изучает эти закономерности.
- Отсутствие представительства. Модель содержит либо недостаточную, либо стереотипную информацию о недостаточно представленных группах (разная этническая принадлежность, язык, сексуальная ориентация, инвалидность).
Вред ощутим: ИИ может оценить симптом как более серьезный в одной группе и более легкий, чем в другой; может ошибочно рассматривать культурное выражение (траурный ритуал, религиозный опыт) как симптом; Оно может порождать стигматизирующие, клишеные выражения.
Предупреждение: даже если результат работы ИИ выглядит как «объективная наука», он может нести в себе предубеждения, которым он научился. В частности, когда речь идет о различных культурах, гендерах, сексуальной ориентации и социально-экономических группах, мы рассматриваем каждый результат как «справедливо ли это для всех групп?» Фильтр с вопросом.
Типы предвзятости, характерные для психологии
Тип смещения
Взгляд в психологии
риск
культурная предвзятость
Считая западные нормы универсальными
Не путайте культурное выражение с патологией
гендерная предвзятость
Интерпретация одного и того же поведения по-разному в зависимости от пола
диагностическое несоответствие
диагностическая ошибка
Изображение определенных групп как «предрасположенных» к определенным диагнозам.
Слишком/недостаточный диагноз
языковая предвзятость
Более «владеет» доминирующим языком, поверхностно владеет другим
Неравная оценка
Штамповка
Язык, который идентифицирует человека с его диагнозом
унижающее достоинство оформление
Шаг за шагом: контроль смещения
- Вы можете изменить вывод на «для кого это было написано?» вопрос. Кто является субъектом по умолчанию? В целом он образованный, западный, «средний» парень.
- Тестируйте с разными группами. Повторите одну и ту же подсказку в разных культурных, гендерных и возрастных контекстах; Комментарии меняются?
- Сканируйте стигматический язык. Правильная формулировка, идентифицирующая человека с диагнозом («человек, страдающий шизофренией» вместо «шизофреник»).
- Добавьте культурный контекст. Сообщите ИИ культурный/лингвистический контекст клиента и «не считайте выражения, которые могут быть нормальными в этом контексте, патологией».
- Взгляд экспертов и сообщества. Если вы не уверены в каком-либо культурном вопросе, проконсультируйтесь с коллегой, знающим эту культуру.
- Пусть люди решают. Даже проверка предвзятости не остается на усмотрение ИИ; Окончательное решение справедливости за вами.
Совет: Практический способ проверить, является ли результат предвзятым: измените один атрибут (пол, культура, возраст) в подсказке и задайте тот же вопрос еще раз. Если интерпретация меняется «несправедливо» при этом изменении, возникает предвзятость.
три мини-кейса
Случай 1 — Патологизация культурного самовыражения. Профессионал сообщает ИИ, что клиент из другой культуры «разговаривает с умершим» во время процесса горя. ИИ формулирует это как «может быть психотическим симптомом». Однако это обычное и нормальное выражение горя в культуре клиента. Эксперт отвергает результаты ИИ, потому что знает культурный контекст. Тот, кто не знал контекста, мог сделать серьезную ошибку.
Случай 2. Тестирование на гендерную предвзятость. Следователь дважды передает одно и то же дело ИИ; это просто меняет пол человека. В «женской» версии ИИ подчеркивает «эмоциональную нестабильность», а в «мужской» оформляет то же поведение как «реакцию на стресс». Это ясно показывает гендерную предвзятость модели. Исследователь документирует эту разницу и использует результаты, осознавая это.
Случай 3 — Исправление стигматизирующих высказываний. ИИ — это «больная пограничная болезнь», говорится в одном из проектов доклада. Специалист видит в этом стигматизирующий язык, который идентифицирует человека с его диагнозом и переводит его на язык, фокусирующийся на человеке, например, на «человека с определенным пограничным личностным паттерном». Небольшое изменение в формулировках имеет большое значение для защиты достоинства клиента.
Копируемые подсказки и шаблоны
Проверьте следующий текст на предмет предвзятости: отметьте утверждения, указывающие на культурные, половые, сексуальные ориентации, возрастные или социально-экономические предвзятости. Также покажите предположения, которые считают западные нормы универсальными. Предложите более справедливую альтернативу для каждого. Текст: [текст]
Помогите мне оценить следующую ситуацию, но культурный контекст клиента — это [культура/язык]. В этом контексте представление выражений, которые могут быть НОРМАЛЬНЫМИ, как патология; Если вы не уверены в каком-либо культурном аспекте, скажите: «Это может варьироваться в зависимости от культуры, проконсультируйтесь с экспертом». Статус: [анонимный статус]
Переведите стигматизирующие выражения в этом тексте, которые идентифицируют человека с его диагнозом (например, «шизофреник», «пограничная личность») на язык, который центрирует человека и сохраняет его достоинство. Не меняйте содержание, просто очеловечьте язык. Текст: [текст]
Я буду оценивать следующее краткое описание случая дважды: один раз субъект [особенность A], другой [особенность B]. Существует ли несправедливая разница между двумя оценками, и если да, то вызвана ли она предвзятостью? Compare.Abstract: [анонимное резюме]
Слабая подсказка / Сильная подсказка
Слабая подсказка: «Поведение этого клиента нормальное или ненормальное?»
В этом приглашении не спрашивается, для кого предназначено слово «нормальный»; ИИ предполагает западноцентричную, некультурную «нормальность» и может патологизировать культурное выражение.
Сильная подсказка: «Этот клиент находится в [культурном/лингвистическом контексте]. Объясните, может ли такое поведение быть нормальным выражением в этом культурном контексте или признаком, требующим внимания, обсуждая оба аспекта отдельно. Не делайте категоричного суждения; напомните мне проконсультироваться с экспертом, который знает культурный контекст».
Эта подсказка ставит контекст в центр, предотвращает культурные ошибки и оставляет решение эксперту.
Распространенные ошибки
- Принятие вывода ИИ за «объективность». Забывая о том, что модель несет в себе предвзятость, и принимая результаты как научный факт.
- Считая западную норму универсальной. Определение «нормального» в соответствии с единой культурой и патологизация различных выражений.
- Не замечая стигматизирующего языка. Принятие языка, который идентифицирует человека с его диагнозом, за «технический язык».
- Не проверяю на предвзятость. Не нужно пробовать одно и то же приглашение с разными группами и проверять согласованность.
- Принимать решения в одиночку в культуре, которую вы не знаете. Вынесение суждения без консультации с коллегой, знающим эту культуру.
В заключение
ИИ предвзят, потому что он учится на текстах предвзятого мира; В психологии эта предвзятость выражается в ощутимом вреде в виде культурных, гендерных, диагностических, языковых и стигм. Сравните каждый результат с вопросом «справедливо ли это по отношению ко всем группам?» процедите его; протестируйте одну и ту же подсказку с разными группами; добавьте культурный контекст в вашу подсказку; изменить стигматизирующий язык на язык, ориентированный на человека; Ищите взгляды экспертов/сообщества на культуру, с которой вы незнакомы. Справедливое суждение, включая контроль над предвзятостью, исходит от человека.
Задача приложения
Подготовьте краткое описание дела (анонимно). Отдайте его ИИ дважды; изменить только одну характеристику (пол, культуру или возраст). Поместите две распечатки рядом и проверьте, нет ли несправедливых различий. Также попросите ИИ перевести стигматизирующие фразы в параграфе отчета на личностно-ориентированный язык и обратите внимание на разницу.
контрольный список
- [ ] Измените вывод на «справедливо ли это для всех групп?» Я задал вопрос.
- [ ] Я тестировал одну и ту же подсказку с разными группами/культурами.
- [ ] Я добавил в подсказку культурный контекст; Я не патологизировал культурное самовыражение.
- [ ] Я сменил стигматизирующий язык на язык, ориентированный на человека.
- [ ] Я обратился за советом к эксперту/коллеге по незнакомому мне культурному вопросу.
- [ ] Я оставил окончательное решение о справедливости на свое усмотрение, а не на ИИ.