Gains :
- Reconnaître, à l'aide d'exemples, comment les préjugés culturels, de genre et diagnostiques dans les modèles d'intelligence artificielle causent des dommages dans le contexte de la psychologie.
- Capacité à mettre en œuvre un contrôle de biais qui teste les résultats pour différents groupes, langues et cultures
- Capacité à développer des techniques d'invite et de vérification qui corrigent les normes centrées sur l'Occident et le langage stigmatisant
L'intelligence artificielle (IA) n'est pas neutre. Un modèle d'IA apprend à partir d'une énorme pile de textes sur Internet, et la « vision du monde » du modèle est faussée selon la voix qu'il contient le plus et celle qui en contient le moins. Cette distorsion est appelée biais. Les préjugés en psychologie ne sont pas un défaut technique ordinaire ; Cela peut affecter directement l’évaluation, le diagnostic et le traitement d’une personne. Un symptôme peut être lu comme « normal » dans une culture et « pathologique » dans une autre ; un comportement peut être qualifié d’« affirmation de soi » pour un sexe et d’« agression » pour l’autre. L’IA peut apprendre et reproduire ces préjugés historiques. Dans cette unité, vous apprendrez à reconnaître les préjugés dans l'IA dans le contexte de la psychologie et à auditer les résultats pour différents groupes, langues et cultures.
D’où viennent les préjugés et en quoi sont-ils nocifs ?
Il existe trois principales sources de biais en matière d’IA :
- Déséquilibre des données de formation. Les modèles sont formés principalement avec des textes d'une langue, d'une culture et d'une période spécifiques. La majeure partie de la littérature sur la psychologie provient de sociétés occidentales, instruites et industrialisées ; par conséquent, l’hypothèse d’un « humain normal » d’IA reflète cet échantillon restreint.
- Inclusion des biais historiques. Les textes qui ont pathologisé et stigmatisé certains groupes dans le passé sont également inclus dans les données ; le modèle apprend ces modèles.
- Manque de représentation. Le modèle contient des informations soit insuffisantes, soit stéréotypées sur les groupes sous-représentés (origine ethnique différente, langue, orientation sexuelle, handicap).
Le préjudice est tangible : l’IA peut évaluer un symptôme comme étant plus grave dans un groupe et plus léger que dans un autre ; peut considérer à tort une expression culturelle (rituel de deuil, expérience religieuse) comme un symptôme ; Cela peut produire un langage stigmatisant et cliché.
Attention : même si un résultat de l’IA semble être une « science objective », il peut comporter les préjugés qu’il a appris. En particulier lorsqu’il s’agit de différentes cultures, genres, orientations sexuelles et groupes socio-économiques, nous considérons chaque résultat comme : « est-ce juste pour tous les groupes ? » Filtrez avec la question.
Types de biais spécifiques à la psychologie
Type de biais
Vue en psychologie
risque
préjugé culturel
Considérer les normes occidentales comme universelles
Ne confondez pas l’expression culturelle avec la pathologie
préjugés sexistes
Interpréter différemment un même comportement selon le sexe
disparité diagnostique
biais diagnostique
Présenter certains groupes comme « sujets » à certains diagnostics
Sur/sous diagnostic
biais linguistique
Plus « compétent » dans la langue dominante, superficiel dans l’autre
Évaluation inégale
Estampage
Langue qui identifie la personne avec son diagnostic
cadrage dégradant
Étape par étape : contrôle des biais
- Vous pouvez modifier le résultat en « pour qui a-t-il été écrit ? » question. Qui est le sujet par défaut ? C'est généralement un gars instruit, occidental et « moyen ».
- Testez avec différents groupes. Répétez la même invite dans différents contextes culturels, de genre et d’âge ; Les commentaires changent-ils ?
- Scannez la langue stigmatique. Formulation correcte qui identifie la personne avec son diagnostic (« personne souffrant de schizophrénie » au lieu de « schizophrène »).
- Ajoutez un contexte culturel. Indiquez à l’IA le contexte culturel/linguistique du client et « ne considérez pas les expressions qui peuvent être normales dans ce contexte comme une pathologie ».
- Regard d’expert et de communauté. Si vous n'êtes pas sûr d'un problème culturel, consultez un collègue qui connaît cette culture.
- Laissez les gens décider. Même la vérification des biais n’est pas laissée à l’intelligence artificielle ; Le jugement final de la justice vous appartient.
Astuce : Un moyen pratique de tester si un résultat est biaisé : modifiez un seul attribut (sexe, culture, âge) dans l'invite et posez à nouveau la même question. Si l’interprétation change « injustement » avec ce changement, il y a biais.
trois mini-cases
Cas 1 – Pathologisation de l’expression culturelle. Un professionnel indique à l’IA qu’un client d’une culture différente « parle au défunt » pendant le processus de deuil. AI décrit cela comme « peut être un symptôme psychotique ». Cependant, il s’agit d’une expression courante et normale du chagrin dans la culture de ce client. L'expert rejette les résultats de l'IA parce qu'il connaît le contexte culturel. Quelqu’un qui ne connaît pas le contexte pourrait commettre une grave erreur d’appréciation.
Cas 2 — Tests de préjugés sexistes. Un enquêteur donne deux fois le même résumé de cas à l’IA ; cela change simplement le sexe de la personne. Dans la version « féminine », l’IA met l’accent sur « l’instabilité émotionnelle », tandis que dans la version « masculine », elle encadre le même comportement comme une « réponse au stress ». Cela montre clairement le biais sexiste du modèle. Le chercheur documente cette différence et utilise les résultats avec cette conscience.
Cas 3 — Corriger un langage stigmatisant. L’IA est une « limite malade », indique un projet de rapport. Le spécialiste y voit un langage stigmatisant qui identifie la personne avec son diagnostic et le traduit en un langage centré sur la personne, comme « un individu avec un modèle de personnalité limite défini ». Un petit changement de langage fait une grande différence en protégeant la dignité du client.
Invites et modèles copiables
Vérifiez le texte suivant pour détecter tout parti pris : signalez les déclarations qui indiquent des préjugés culturels, de genre, d'orientation sexuelle, d'âge ou socio-économiques. Montrez également les hypothèses selon lesquelles les normes occidentales sont universelles. Proposer une alternative plus juste pour chacun.Texte : [texte]
Aidez-moi à évaluer la situation suivante, mais le contexte culturel du client est [culture/langue]. Dans ce contexte, présenter des expressions qui peuvent être NORMALES comme une pathologie ; Si vous n'êtes pas sûr d'un point culturel, dites « cela peut varier culturellement, consultez un expert ». Statut : [statut anonyme]
Traduisez les expressions stigmatisantes de ce texte qui identifient la personne avec son diagnostic (par exemple, « schizophrène », « un borderline ») dans un langage qui centre la personne et préserve sa dignité. Ne changez pas le contenu, humanisez simplement le langage. Texte : [texte]
J'évaluerai deux fois le résumé de cas suivant : une fois le sujet [caractéristique A], l'autre [caractéristique B]. Existe-t-il une différence injuste entre les deux évaluations, et si oui, est-elle due à un biais ? Compare.Abstract : [résumé anonyme]
Invite faible/Invite forte
Invite faible : « Le comportement de ce client est-il normal ou anormal ?
Cette invite ne demande pas à qui s'adresse « normal » ; L’IA suppose une « normale » centrée sur l’Occident et inculte et peut pathologiser l’expression culturelle.
Invite forte : "Ce client est dans [contexte culturel/linguistique]. Expliquez si ce comportement peut être une expression normale dans ce contexte culturel ou un signe qui nécessite une attention, en discutant des deux séparément. Ne portez pas de jugement définitif ; rappelez-moi de consulter un expert qui connaît le contexte culturel. "
Cette invite place le contexte au centre, évite les erreurs de lecture culturelle et laisse la décision à l'expert.
Erreurs courantes
- Confondre la sortie de l’IA avec un « objectif ». Oublier que le modèle comporte des biais et accepter les résultats comme un fait scientifique.
- Considérer la norme occidentale comme universelle. Définir le « normal » selon une culture unique et pathologiser différentes expressions.
- Ne pas remarquer un langage stigmatisant. Confondre le langage qui identifie la personne avec son diagnostic avec du « langage technique ».
- Ne pas tester les biais. Ne pas essayer la même invite avec différents groupes et vérifier la cohérence.
- Prendre des décisions seul dans une culture que vous ne connaissez pas. Porter un jugement sans consulter un collègue qui connaît cette culture.
En résumé
L’IA est biaisée parce qu’elle apprend des textes d’un monde biaisé ; En psychologie, ce préjugé se traduit par un préjudice tangible sous forme de stigmatisation culturelle, de genre, de diagnostic, de langage et de stigmatisation. Comparez chaque résultat avec la question « est-ce juste pour tous les groupes ? » égouttez-le; tester la même invite avec différents groupes ; ajoutez un contexte culturel à votre invite ; changer le langage stigmatisant en un langage centré sur la personne ; Recherchez l’avis d’un expert/de la communauté sur une culture que vous ne connaissez pas. Le jugement de justice, y compris le contrôle des préjugés, émane de l’être humain.
Tâche de candidature
Préparez un résumé du cas (anonyme). Donnez-le à l'IA deux fois ; changer une seule caractéristique (sexe, culture ou âge). Placez les deux impressions côte à côte et recherchez des différences injustes. Demandez également à l'IA de traduire les phrases stigmatisantes d'un paragraphe de rapport dans un langage centré sur la personne et de noter la différence.
liste de contrôle
- [ ] Remplacez le résultat par « est-ce juste pour tous les groupes ? » J'ai posé la question.
- [ ] J'ai testé la même invite avec différents groupes/cultures.
- [ ] J'ai ajouté le contexte culturel à l'invite ; Je n’ai pas pathologisé l’expression culturelle.
- [ ] J'ai changé le langage stigmatisant en un langage centré sur la personne.
- [ ] J'ai demandé l'avis d'un expert/collègue sur une question culturelle que je ne connaissais pas.
- [ ] J'ai laissé la décision finale d'équité à mon propre jugement, et non à l'IA.