Прибыль:
- Возможность подготовить контрольный список рисков и защитных факторов, а также структуру плана безопасности с помощью искусственного интеллекта и работать, не пропуская ни одного участка.
- Поймите, что решения об уровне/оценке риска и безопасности принимаются только экспертами, командами, надзорными органами и юридическими процессами, и что искусственный интеллект не может принимать решения.
- Видя, что искусственный интеллект может приписывать систематическую предвзятость обездоленным группам, и применять дисциплину: никогда не использовать его результаты в качестве решения и обрабатывать наиболее конфиденциальные данные только в безопасной системе.
Самой серьезной обязанностью социальной работы является оценка рисков – суждения, которые непосредственно касаются безопасности жизни, например, подвергается ли ребенок пренебрежению или жестокому обращению, может ли человек причинить вред себе или кому-то еще, находится ли в безопасности пожилой человек или насколько подвергается опасности жертва насилия. Первое и самое смелое правило этого модуля гласит: принятие решений о риске не принадлежит, не может и не должно принадлежать ИИ. Решение о безопасности человека; Это требует профессионального авторитета, клинического суждения, мнения многопрофильной команды, надзора и юридической ответственности. ИИ здесь — всего лишь инструмент подготовки и напоминания: он напоминает вам, какие факторы риска и защиты следует учитывать, систематизирует ваши записи, намечает план безопасности. Он не выставляет оценку, не говорит «риск низкий/высокий», не принимает решения.
Почему мы так резко подчеркиваем это? Потому что на арене риска цена ошибки ИИ необратима. Оценка риска ИИ как «низкая» оставляет ребенка без защиты; Если риск будет казаться излишне «высоким», это может привести к несправедливому разделению семьи. Кроме того, ИИ несет в себе предвзятость в обучающих данных: во всем мире документированы алгоритмы, которые систематически приписывают более высокий риск определенным социально-экономическим группам, этническим группам или районам. Таким образом, даже если выходные данные ИИ являются входными данными, они никогда не смогут отвергнуть ваше независимое суждение.
Законная роль ИИ: напоминание и регулирование
Есть три места, где вы можете безопасно использовать ИИ в условиях риска:
1. Фактор-напоминание. Факторы риска (например, насилие в прошлом, употребление психоактивных веществ, социальная изоляция, предыдущая госпитализация) и защитные факторы (например, поддерживающий взрослый, регулярное посещение школы, сильные социальные сети), которые следует учитывать при оценке риска, являются продолжительными; ИИ помогает вам не упустить ни одной области, вызывая контрольный список, соответствующий структуре, которую использует ваша организация.
2. Редактирование заметок. Он преобразует ваши наблюдения и заявления клиентов в организованный, основанный на фактах текст, поэтому вы можете основывать свои суждения на четких данных.
3. Проект плана обеспечения безопасности. План безопасности (конкретный план, определяющий, что будет делать пострадавший в случае опасности, с кем он будет контактировать, куда пойдет) имеет определенную структуру. ИИ может создать черновой вариант скелета для заполнения клиентом; Но вы с клиентом заполняете содержание плана в соответствии с реальностью.
Внимание: никогда не спрашивайте ИИ «каков уровень риска в данном случае?» или «безопасен ли ребенок дома?» Не спрашивай. НЕ используйте результаты в качестве решения, даже если вы спросите. На эти вопросы отвечают только уполномоченный эксперт, команда и надзор через официальный инструмент управления рисками учреждения.
Шаг за шагом: правильное позиционирование ИИ в процессе управления рисками
- Безопасность прежде всего. При наличии непосредственной и серьезной опасности (безопасности жизни) необходимо действовать в аварийном порядке учреждения, а не иметь дело с ИИ. ИИ не должен откладывать выполнение каких-либо срочных задач.
- Дезидентифицировать. Рейтинги риска являются наиболее конфиденциальными данными; Информация, идентифицирующая клиента, не вводится в открытый инструмент, используется только защищенный инструмент учреждения.
- Напомните мне список факторов. Запросите контрольный список рисков и защитных факторов, соответствующий институциональной базе.
- Сделайте свое собственное суждение. Вы взвешиваете факторы, оцениваете вместе с командой и советуетесь с руководителем. Вы не хотите, чтобы ИИ «оценивал».
- Завершите план безопасности вместе с клиентом. Черновой скелет может исходить от ИИ; Контент заполняется фактической сетью, ресурсами и предпочтениями клиента.
три мини-кейса
Случай 1 — Пропущенный защитный фактор. Эксперт остановился на факторах риска в деле о домашнем насилии. В контрольном списке факторов, который он попросил у ИИ, он спросил о работе безопасной сети поддержки клиента в разделе «защитные факторы» — область, которую эксперт пропустил. Эта сеть стала наиболее реалистичной частью плана обеспечения безопасности. Решение снова оставалось за экспертом; ИИ просто напомнил вопрос.
Случай 2 — неверной оценке не доверяли. Одно агентство увидело, что пробный инструмент искусственного интеллекта пометил случай как «низкий риск». Однако наблюдение эксперта и заявление клиента указывали на серьезную опасность. Команда отвергла ярлык AI и инициировала защитные меры на основе собственной оценки. Позже было подтверждено, что опасность была реальной. Урок: оценка ИИ не является решением; человеческое суждение имеет приоритет.
Случай 3 — Предвзятость обнаружена. В одном суде одно и то же дело было передано на рассмотрение ИИ дважды; Единственная разница заключалась в районе, где жил клиент. ИИ систематически создавал «язык повышенного риска» для района, который, как известно, находится в невыгодном положении. Это продемонстрировало предвзятость данных обучения ИИ и укрепило политику агентства по отказу от использования ИИ при принятии решений о рисках.
Четыре копируемых шаблона
1) Напоминание о факторе риска/защиты:
Ваша роль: помощник руководителя социальной работы. Подготовьте контрольный список факторов риска и защитных факторов, которые рекомендуется учитывать при оценке риска в случаях [домашнего насилия]. Представьте это как список НАПОМИНАНИЙ; НЕ выдавайте никаких оценок, решений или «уровней риска». Оценка и решение принадлежат эксперту.
2) Схема проекта плана обеспечения безопасности:
Ваша роль: редактор. Подготовьте ЧИСТЫЙ план плана безопасности, который будет заполнен жертвой домашнего насилия: предупреждающие знаки, безопасные места, люди и учреждения, с которыми можно связаться, важные документы, план для детей, цифровая безопасность. Наполнение контентом; Оставьте пустые места под каждым заголовком, чтобы их мог заполнить клиент.
3) Редактирование риск-ноты (без принятия решения):
Переведите следующие замечания и примечания к утверждениям в структурированный, основанный на фактах текст. Пометьте наблюдение и высказывание клиента отдельно. УТВЕРЖДАЕМ уровень риска, ПРИНИМАЕМ решение, ДОБАВЛЯЕМ комментарий. Редактируйте только то, что есть в заметке, и отмечайте недостающие/непонятные области. Примечание: [вставить обезличенную заметку]
4) Предвзятый самоконтроль:
Есть ли в приведенном ниже проекте примечания о рисках заявление, которое передает недоказанную предвзятость из-за социально-экономического статуса, этнической принадлежности, места проживания или аналогичных характеристик клиента? Отметьте каждое предложение, основанное на стереотипах, а не на фактах. Не меняйте текст, просто предупредите. Примечание: [вставить примечание]
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Прочтите этот случай и решите, безопасно ли ребенку оставаться дома и каков уровень риска.
Это передача самого весомого решения, касающегося человеческой жизни, программному обеспечению. Это неэтично, противоречит профессиональной ответственности и несет предвзятость ИИ непосредственно в судьбу ребенка.
Мощная подсказка:
Ваша роль: помощник по напоминаниям. Прежде чем читать приведенное ниже примечание, не идентифицирующее личность, подготовьте контрольный список факторов риска и защитных факторов, которые необходимо учитывать при оценке случаев [пренебрежения детьми]. ПРОИЗВОДСТВЕННОЕ решение, оценка или уровень риска. Я проведу оценку вместе со своей командой; Вы просто напоминаете мне, какие области мне не следует пропускать.
Разница: высказывание «какие вопросы мне не следует забывать» вместо того, чтобы спрашивать решения, удерживает ИИ на безопасном и этическом уровне.
Ролевые границы в сфере риска
Квест
Сможет ли ИИ это сделать?
Кто делает?
Напоминание о контрольном списке факторов
Да
ИИ (напоминание)
Собственно редактирование заметок
Да
ИИ + одобрение эксперта
Пустой скелет плана безопасности
Да
ИИ; контент-клиент+эксперт
Определение уровня/оценки риска
нет
Эксперт + команда + супервизия
«Это безопасно?» решение
нет
Компетентный эксперт, юридический процесс
Введение защитных мер
нет
Учреждение, компетентный орган
Распространенные ошибки
- Запрос у ИИ оценки риска/решения. Самая опасная ошибка; Решение требует профессиональных полномочий и юридической ответственности.
- Доверяя лейблу AI. Вывод о «низком риске» никогда не лишит законной силы ваше противоположное наблюдение.
- Игнорирование предрассудков. ИИ может приписывать систематический высокий риск уязвимым группам населения; самоконтроль необходим.
- Отсрочка срочности. Если существует безопасность жизни, сначала необходимо выполнить экстренную процедуру; Работа с ИИ не может ждать.
- Передача наиболее конфиденциальных данных в открытый инструмент. Заметки о рисках обрабатываются только в инструменте безопасного учреждения.
В заключение
Оценка риска является самой серьезной обязанностью социальной работы, и решение полностью лежит на человеке — профессионале, команде, надзоре, законном органе. Здесь ИИ — это всего лишь инструмент для напоминания (список факторов риска/защиты), организации (фактическое примечание) и составления (скелет плана безопасности); Он не забивает, не принимает решений. Помните, что ИИ несет предвзятость, никогда не используйте его результаты в качестве решения и обрабатывайте наиболее конфиденциальные данные только в защищенной системе.
Задача приложения
Выберите вымышленный тип дела. Получите контрольный список с шаблоном «напоминание о факторах риска/защиты» и убедитесь, что ИИ не выдает никаких «уровней риска». Затем возьмите пустой скелет плана с шаблоном «Скелет структуры плана безопасности». Сознательно спрашивая ИИ «каков уровень риска?» и напишите в одном предложении, почему НЕ следует использовать выходные данные в качестве решения.
контрольный список
- [ ] Я попросил у ИИ только напоминание о факторе, а не решение/оценку.
- [ ] Я обрабатывал наиболее конфиденциальные данные только в безопасном корпоративном инструменте.
- [ ] План безопасности я планировал заполнить вместе с клиентом.
- [ ] Я проверил выход AI на предмет смещения.
- [ ] Я подтвердил, что окончательное решение о риске остается за командой, контролем и соблюдением надлежащей правовой процедуры.