Gains :
- Capacité à préparer la liste de contrôle des facteurs de risque et de protection et le squelette du plan de sécurité avec l'intelligence artificielle et à travailler sans sauter aucun domaine.
- Comprenez que les décisions en matière de niveau/score de risque et de sécurité sont prises uniquement par des experts, des équipes, des processus de supervision et juridiques, et que l'intelligence artificielle ne peut pas produire de décisions.
- Considérant que l'intelligence artificielle peut attribuer des biais systématiques aux groupes défavorisés et appliquer la discipline consistant à ne jamais utiliser ses résultats comme décision et à traiter les données les plus sensibles uniquement dans un système sécurisé
La responsabilité la plus importante du travail social est l'évaluation des risques – des jugements qui concernent directement la sécurité des personnes, par exemple si un enfant est négligé ou maltraité, si une personne est susceptible de se faire du mal ou de faire du mal à quelqu'un d'autre, si une personne âgée est en sécurité ou dans quelle mesure une victime de violence est en danger. La première et la plus audacieuse règle de cette unité est la suivante : la prise de décision en matière de risque n’appartient pas, ne peut pas et ne doit pas appartenir à l’IA. Décision concernant la sécurité d'une personne ; Cela nécessite une autorité professionnelle, un jugement clinique, l’opinion d’une équipe multidisciplinaire, une supervision et une responsabilité juridique. L'IA n'est ici qu'un outil de préparation et de rappel : elle vous rappelle les facteurs de risque et de protection à examiner, organise vos notes, esquisse un plan de sécurité. Il ne donne pas de score, il ne dit pas « le risque est faible/élevé », il ne prend pas de décision.
Pourquoi insistons-nous sur ce point si durement ? Car dans le domaine du risque, le coût d’une erreur d’IA est irréversible. L'évaluation du risque par AI comme étant « faible » laisse l'enfant sans protection ; Faire paraître un risque inutilement « élevé » pourrait conduire à une séparation injuste d’une famille. De plus, l’IA comporte des biais dans les données de formation : des algorithmes attribuant systématiquement un risque plus élevé à certains groupes socio-économiques, ethnies ou quartiers ont été documentés dans le monde entier. Ainsi, même si la sortie de l’IA est une entrée, elle ne pourra jamais l’emporter sur votre jugement indépendant.
Le rôle légitime de l’IA : rappel et régulation
Il existe trois endroits où vous pouvez utiliser l’IA en toute sécurité en cas de risque :
1. Rappel des facteurs. Les facteurs de risque (p. ex. antécédents de violence, consommation de substances, isolement social, admissions antérieures) et les facteurs de protection (p. ex. un adulte solidaire, une fréquentation scolaire régulière, un réseau social solide) qui devraient être pris en compte dans une évaluation des risques sont longs ; L'IA vous aide à éviter de manquer des domaines en rappelant une liste de contrôle qui correspond au cadre utilisé par votre organisation.
2. Édition de notes. Il traduit vos observations et les déclarations de vos clients en un texte organisé et factuel, afin que vous puissiez fonder votre jugement sur des données claires.
3. Projet de plan de sécurité. Un plan de sécurité (un plan concret qui détermine ce que la victime fera en cas de danger, qui elle contactera, où elle ira) a une certaine structure. L'IA peut produire un brouillon de squelette à remplir avec le client ; Mais vous et le client remplissez le contenu du plan en fonction de la réalité.
Attention : Ne demandez jamais à l'IA "quel est le niveau de risque dans ce cas ?" ou "l'enfant est-il en sécurité à la maison?" Ne demandez pas. N'utilisez PAS le résultat comme une décision, même si vous le demandez. Ces questions reçoivent une réponse uniquement par l'expert autorisé, l'équipe et la supervision via l'outil de gestion des risques officiel de l'institution.
Pas à pas : bien positionner l’IA dans le processus de risque
- La sécurité avant tout. En cas de danger immédiat et grave (sécurité des personnes), il est nécessaire de mettre en œuvre la procédure d'urgence de l'établissement et non de s'occuper de l'IA. L’IA ne devrait retarder aucune urgence.
- Désidentifier. Les évaluations de risque sont les données les plus sensibles ; Les informations identifiant le client ne sont pas saisies dans l’outil ouvert, seul l’outil sécurisé de l’institution est utilisé.
- Rappelez-moi la liste des facteurs. Demander une liste de contrôle des facteurs de risque et de protection adaptée au cadre institutionnel.
- Faites votre propre jugement. Vous pesez les facteurs, évaluez avec l’équipe et consultez le superviseur. Vous ne voulez pas que l'IA « évalue ».
- Compléter le plan de sécurité avec le client. Le projet de squelette peut provenir de l’IA ; Le contenu est renseigné avec le réseau, les ressources et les préférences réels du client.
trois mini-cases
Cas 1 — Facteur de protection manqué. Un expert s'est concentré sur les facteurs de risque dans une affaire de violence domestique. La liste de contrôle des facteurs qu'il a demandée à AI l'a amené à poser des questions sur le réseau de soutien sécurisé du client au travail dans la section « facteurs de protection », un domaine que l'expert avait manqué. Ce réseau est devenu la partie la plus réaliste du plan de sécurité. La décision revenait encore une fois à l'expert ; AI a simplement rappelé la question.
Cas 2 — Un score incorrect n'a pas été fiable. Une agence a vu un outil d’essai d’IA qualifier un cas de « faible risque ». Cependant, l'observation de l'expert et la déclaration du client indiquaient un danger sérieux. L’équipe a rejeté le label IA et a lancé une action de protection basée sur sa propre évaluation. Il a été confirmé par la suite que le danger était réel. Leçon : le score de l’IA n’est pas une décision ; le jugement humain prime.
Cas 3 — Biais détecté. Dans un procès, le même cas a été soumis à deux reprises à l’IA ; La seule différence était le quartier où vivait le client. L’IA a systématiquement produit un « langage à risque » plus élevé pour le quartier réputé défavorisé. Cela démontre un biais dans les données de formation de l'IA et renforce la politique de l'agence consistant à ne pas utiliser l'IA dans la prise de décision en matière de risques.
Quatre modèles copiables
1) Rappel des facteurs de risque/protection :
Votre rôle : assistant du superviseur du travail social. Préparez une liste de contrôle des facteurs de risque et des facteurs de protection qu'il est recommandé d'examiner dans une évaluation des risques dans les cas de [violence domestique]. Présentez-le sous forme de liste de RAPPELS ; ne produisent AUCUN score, décision ou « niveau de risque ». L'évaluation et la décision appartiennent à l'expert.
2) Squelette du projet de plan de sécurité :
Votre rôle : rédacteur. Préparez un schéma VIERGE d'un plan de sécurité à remplir avec une victime de violence conjugale : panneaux d'avertissement, lieux sûrs, personnes et institutions à contacter, documents importants, plan pour les enfants, sécurité numérique. Remplir le contenu ; Laissez des espaces vides sous chaque rubrique à remplir avec le client.
3) Editer une note de risque (sans prendre de décision) :
Traduisez les notes d’observation et de déclaration suivantes en un texte factuel et organisé. Étiquetez séparément l’observation et la déclaration du client. INDIQUER le niveau de risque, PRENDRE une décision, AJOUTER un commentaire. Modifiez uniquement le contenu de la note et marquez les zones manquantes/obscures. Remarque : [coller la note anonymisée]
4) Biais de maîtrise de soi :
Dans le projet de note de risque ci-dessous, existe-t-il une déclaration qui véhicule un parti pris non prouvé en raison du statut socio-économique, de l'origine ethnique, du quartier ou de caractéristiques similaires du client ? Marquez chaque phrase qui est basée sur des stéréotypes plutôt que sur des preuves. Ne changez pas le texte, prévenez simplement. Remarque : [coller la note]
Invite faible/Invite forte
Invite faible :
Lisez ce cas et décidez s'il est sécuritaire pour l'enfant de rester à la maison et quel est le niveau de risque.
Il s’agit de confier à un logiciel la décision la plus importante concernant une vie humaine. C’est contraire à l’éthique, contraire à la responsabilité professionnelle, et exerce les préjugés de l’IA directement sur le sort d’un enfant.
Invite puissante :
Votre rôle : assistant de rappel. Avant de lire la note anonymisée ci-dessous, préparez une liste de contrôle des facteurs de risque et de protection à examiner lors de l'évaluation des cas de [négligence envers les enfants]. PRODUIRE une décision, un score ou un niveau de risque. Je ferai l'évaluation avec mon équipe; Rappelez-moi simplement les domaines que je ne devrais pas sauter.
La différence : dire « quelles questions ne dois-je pas oublier » plutôt que demander des décisions maintient l’IA sur la frontière sûre et éthique.
Limites des rôles dans le domaine du risque
Quête
L’IA peut-elle le faire ?
Qui le fait ?
Rappel de la liste de contrôle des facteurs
Oui
IA (rappel)
Éditer des notes de manière factuelle
Oui
IA + approbation d'un expert
Squelette vierge du plan de sécurité
Oui
IA ; client de contenu + expert
Détermination du niveau de risque/score
non
Expert + équipe + supervision
"Est-ce que c'est sûr ?" décision
non
Expert compétent, procédure judiciaire
Initier des mesures de protection
non
Institution, autorité compétente
Erreurs courantes
- Demander à l'IA le score de risque/la décision. L'erreur la plus dangereuse ; La décision requiert une autorité professionnelle et une responsabilité juridique.
- Faire confiance au label AI. Une conclusion de « faible risque » n’invalidera jamais votre observation contraire.
- Ignorer les préjugés. AI peut attribuer systématiquement un risque élevé aux groupes défavorisés ; la maîtrise de soi est essentielle.
- Retarder l’urgence. Si les personnes sont en sécurité, procédez d'abord à la procédure d'urgence ; Faire face à l’IA ne peut pas attendre.
- Donner les données les plus sensibles à l’outil ouvert. Les notes de risques sont traitées uniquement dans l'outil sécurisé de l'établissement.
En résumé
L’évaluation des risques est la responsabilité la plus grave du travail social, et la décision appartient entièrement à la personne : le professionnel, l’équipe, la supervision, l’autorité légale. Ici, l’IA n’est qu’un outil de rappel (liste des facteurs de risque/protection), d’organisation (note factuelle) et de rédaction (schéma du plan de sécurité) ; Il ne marque pas, il ne prend pas de décisions. N'oubliez pas que l'IA est biaisée, n'utilisez jamais ses résultats comme une décision et traitez les données les plus sensibles uniquement dans le système sécurisé.
Tâche de candidature
Choisissez un type de cas fictif. Obtenez une liste de contrôle avec un modèle de « rappel de facteur de risque/de protection » et vérifiez que l’IA ne produit aucun « niveau de risque ». Ensuite, récupérez un squelette de plan vierge avec le modèle « squelette de plan de sécurité ». Demander consciemment à l'IA « quel est le niveau de risque ? et écrivez en une phrase pourquoi vous ne devriez PAS utiliser le résultat comme décision.
liste de contrôle
- [ ] J'ai seulement demandé à l'IA un rappel de facteur, pas une décision/un score.
- [ ] J'ai traité les données les plus sensibles uniquement dans l'outil d'entreprise sécurisé.
- [ ] J'avais prévu de remplir le contenu du plan de sécurité avec le client.
- [ ] J'ai vérifié le biais de la sortie de l'IA.
- [ ] J'ai confirmé que la décision finale en matière de risque appartient à l'équipe, à la supervision et à la procédure régulière.