Ganhos:
- Capacidade de preparar a lista de verificação de fatores de risco e proteção e o esqueleto do plano de segurança com inteligência artificial e trabalhar sem pular nenhuma área
- Entenda que o nível/pontuação de risco e as decisões de segurança são tomadas apenas por especialistas, equipes, supervisão e processos legais, e que a inteligência artificial não pode produzir decisões.
- Vendo que a inteligência artificial pode atribuir preconceitos sistemáticos a grupos desfavorecidos e aplicando a disciplina de nunca usar os seus resultados como uma decisão e processar os dados mais sensíveis apenas num sistema seguro
A responsabilidade mais séria do serviço social é a avaliação de riscos – julgamentos que dizem directamente respeito à segurança da vida, tais como se uma criança é negligenciada ou abusada, se um indivíduo é susceptível de prejudicar a si próprio ou a outra pessoa, se uma pessoa idosa está segura, ou quão ameaçada está uma vítima de violência. A primeira e mais ousada regra desta unidade é esta: a tomada de decisões sobre riscos não pertence, não pode e não deve pertencer à IA. Decisão sobre a segurança de uma pessoa; Requer autoridade profissional, julgamento clínico, opinião de equipe multidisciplinar, supervisão e responsabilidade legal. A IA é apenas uma ferramenta de preparação e lembrete aqui: ela lembra quais fatores de risco e proteção devem ser revisados, organiza suas anotações, traça um plano de segurança. Não dá pontuação, não diz “o risco é baixo/alto”, não toma decisão.
Por que enfatizamos isso tão duramente? Porque na área do risco, o custo de um erro de IA é irreversível. A classificação de risco da AI como “baixo” deixa a criança desprotegida; Fazer com que um risco pareça desnecessariamente “elevado” pode levar à separação injusta de uma família. Além disso, a IA carrega preconceitos nos dados de treinamento: algoritmos que atribuem sistematicamente maior risco a determinados grupos socioeconômicos, etnias ou bairros foram documentados em todo o mundo. Portanto, mesmo que a saída da IA seja uma entrada, ela nunca poderá substituir o seu julgamento independente.
O papel legítimo da IA: lembrete e regulamentação
Existem três lugares onde você pode usar IA com segurança em situações de risco:
1. Lembrete de fator. Os factores de risco (por exemplo, história passada de violência, consumo de substâncias, isolamento social, admissões anteriores) e factores de protecção (por exemplo, um adulto solidário, frequência escolar regular, uma rede social forte) que devem ser considerados numa avaliação de risco são longos; A IA ajuda você a evitar a perda de alguma área, lembrando-se de uma lista de verificação que se adapta à estrutura usada pela sua organização.
2. Edição de notas. Ele traduz suas observações e declarações do cliente em um texto organizado e factual – para que você possa basear seu julgamento em dados claros.
3. Projeto de plano de segurança. Um plano de segurança (um plano concreto que determina o que a vítima fará em caso de perigo, com quem contactará, para onde irá) tem uma determinada estrutura. A IA pode produzir um rascunho do esqueleto para ser preenchido com o cliente; Mas você e o cliente preenchem o conteúdo do plano de acordo com a realidade.
Cuidado: Nunca pergunte à IA “qual é o nível de risco neste caso?” ou “a criança está segura em casa?” Não pergunte. NÃO use o resultado como uma decisão, mesmo se você perguntar. Essas dúvidas são respondidas apenas pelo especialista autorizado, equipe e supervisão por meio da ferramenta de risco oficial da instituição.
Passo a passo: posicionando a IA corretamente no processo de risco
- Segurança em primeiro lugar. Havendo perigo imediato e grave (segurança de vida), é necessário acionar o procedimento de emergência da instituição, não para lidar com IA. A IA não deve atrasar nenhuma urgência.
- Desidentificar. As classificações de risco são os dados mais sensíveis; As informações de identificação do cliente não são inseridas na ferramenta aberta, apenas é utilizada a ferramenta segura da instituição.
- Lembre-me da lista de fatores. Solicite uma lista de verificação de fatores de risco e proteção adequada ao quadro institucional.
- Faça seu próprio julgamento. Você pesa os fatores, avalia com a equipe e consulta o supervisor. Você não quer que a IA “avalie”.
- Conclua o plano de segurança com o cliente. O rascunho do esqueleto pode vir da IA; O conteúdo é preenchido com a rede, os recursos e as preferências reais do cliente.
três mini cases
Caso 1 — Fator de proteção perdido. Um especialista focado nos fatores de risco em um caso de violência doméstica. A lista de verificação de fatores que ele solicitou à IA o fez perguntar sobre a rede de suporte segura do cliente no trabalho na seção “fatores de proteção” – uma área que o especialista não percebeu. Esta rede tornou-se a parte mais realista do plano de segurança. A decisão coube novamente ao perito; AI apenas lembrou a pergunta.
Caso 2 — A pontuação incorreta não era confiável. Uma agência viu uma ferramenta experimental de IA rotular um caso como “baixo risco”. No entanto, a observação do perito e o depoimento do cliente apontaram para um grave perigo. A equipe rejeitou o rótulo de IA e iniciou ações protetoras com base em sua própria avaliação. Mais tarde foi confirmado que o perigo era real. Lição: a pontuação da IA não é uma decisão; o julgamento humano tem precedência.
Caso 3 — Viés detectado. Em um julgamento, o mesmo caso foi entregue duas vezes à IA; A única diferença era o bairro onde o cliente morava. A IA produziu sistematicamente uma “linguagem de risco” mais elevada para bairros conhecidos por serem desfavorecidos. Isto demonstrou preconceito nos dados de formação da IA e reforçou a política da agência de não utilizar IA na tomada de decisões de risco.
Quatro modelos copiáveis
1) Lembrete de fator de risco/proteção:
Sua função: assistente do supervisor de serviço social. Preparar uma lista de verificação de factores de risco e factores de protecção que se recomenda que sejam revistos numa avaliação de risco em casos [de violência doméstica]. Apresente isso como uma lista de LEMBRETES; NÃO produza quaisquer pontuações, decisões ou "níveis de risco". A avaliação e a decisão pertencem ao perito.
2) Esqueleto do projeto do plano de segurança:
Sua função: editor. Preparar um esboço EM BRANCO de um plano de segurança a preencher com uma vítima de violência doméstica: sinais de alerta, locais seguros, pessoas e instituições a contactar, documentos importantes, plano para crianças, segurança digital. Preenchendo o conteúdo; Deixe espaços em branco abaixo de cada título para serem preenchidos com o cliente.
3) Editar uma nota de risco (sem tomar uma decisão):
Traduza as seguintes notas de observação e declaração em um texto factual e organizado. Rotule a observação e a declaração do cliente separadamente. DECLARANDO o nível de risco, TOMANDO uma decisão, ADICIONANDO um comentário. Edite apenas o que está na nota e marque as áreas faltantes/obscuras. Nota: [colar nota não identificada]
4) Autocontrole tendencioso:
No rascunho da nota de risco abaixo, há uma declaração que transmite preconceito não comprovado devido ao status socioeconômico, etnia, vizinhança ou característica semelhante do cliente? Marque cada frase baseada em estereótipos e não em evidências. Não altere o texto, apenas avise. Nota: [colar nota]
Alerta fraco / Alerta forte
Alerta fraco:
Leia este caso e decida se é seguro para a criança ficar em casa e qual é o nível de risco.
Isso é terceirizar a decisão mais importante sobre a vida humana para um software. É antiético, contrário à responsabilidade profissional, e traz o preconceito da IA diretamente para o destino da criança.
Alerta poderoso:
Sua função: assistente de lembretes. Antes de ler a nota anonimizada abaixo, prepare uma lista de verificação de factores de risco e de protecção a analisar na avaliação de casos [de negligência infantil]. PRODUZINDO decisão, pontuação ou nível de risco. Farei a avaliação com minha equipe; Você apenas me lembra quais áreas eu não deveria pular.
A diferença: dizer “quais perguntas não devo esquecer” em vez de pedir decisões mantém a IA na fronteira segura e ética.
Limites de funções no campo do risco
Missão
A IA pode fazer isso?
Quem faz?
Lembrete da lista de verificação de fatores
Sim
IA (lembrete)
Editando notas de fato
Sim
IA + aprovação de especialista
Esqueleto em branco do plano de segurança
Sim
IA; cliente de conteúdo + especialista
Determinação do nível/pontuação de risco
não
Especialista + equipe + supervisão
"É seguro?" decisão
não
Especialista competente, processo legal
Iniciando medidas de proteção
não
Instituição, autoridade competente
Erros comuns
- Pedir à IA uma pontuação/decisão de risco. O erro mais perigoso; A decisão requer autoridade profissional e responsabilidade legal.
- Confiando no rótulo de IA. Uma conclusão de “baixo risco” nunca invalidará a sua observação em contrário.
- Ignorando o preconceito. A IA pode atribuir riscos sistemáticos elevados a grupos desfavorecidos; o autocontrole é essencial.
- Atrasando a urgência. Se houver segurança de vida, primeiro procedimento de emergência; Lidar com a IA não pode esperar.
- Fornecer os dados mais confidenciais à ferramenta aberta. As notas de risco são processadas apenas na ferramenta segura da instituição.
Em resumo
A avaliação de riscos é a responsabilidade mais grave do serviço social, e a decisão cabe diretamente à pessoa – o profissional, a equipe, a supervisão, a autoridade legal. Aqui, a IA é apenas uma ferramenta para lembrar (lista de fatores de risco/proteção), organizar (nota factual) e elaborar (esqueleto do plano de segurança); Não marca, não toma decisões. Lembre-se de que a IA carrega preconceitos, nunca use seus resultados como uma decisão e processe os dados mais confidenciais apenas no sistema seguro.
Tarefa de aplicativo
Escolha um tipo de caso fictício. Obtenha uma lista de verificação com um modelo de “lembrete de fator de risco/proteção” e verifique se a IA não produz nenhum “nível de risco”. Em seguida, pegue um esqueleto de plano em branco com o modelo "esqueleto do plano de segurança". Perguntar conscientemente à IA “qual é o nível de risco?” e escreva em uma frase por que você NÃO deve usar o resultado como uma decisão.
lista de verificação
- [] Só pedi à IA um lembrete de fator, não uma decisão/pontuação.
- [ ] Processei os dados mais confidenciais apenas na ferramenta empresarial segura.
- [] Planejei preencher o conteúdo do plano de segurança junto com o cliente.
- [] Verifiquei a saída da IA em busca de polarização.
- [ ] Confirmei que a decisão final sobre o risco cabe à equipe, à supervisão e ao devido processo.