Préjugés et justice

Gains :

• Comprend que les données sont la principale source de biais de l'IA
• Reconnaît les risques que les préjugés peuvent créer sur le lieu de travail
• Met en œuvre des mesures qui peuvent être prises pour réduire les préjugés

L’IA apparaît comme une machine neutre et objective ; mais la vérité est bien plus complexe. Les systèmes d’IA apprennent les préjugés humains dans les données sur lesquelles ils sont formés et les amplifient et les reproduisent parfois. Les préjugés sont la tendance d'un système à favoriser ou à exclure systématiquement certaines personnes ou groupes. Dans cette unité, nous examinerons l'origine des préjugés, les risques concrets qu'ils posent sur le lieu de travail et ce qui peut être fait pour les combattre. Ce n’est pas seulement une question « d’éthique » ; Il s’agit d’une question commerciale pratique qui comporte des risques juridiques, commerciaux et de réputation en cas de mauvaise gestion.

D’où viennent les préjugés ?

Les informations d’un modèle linguistique proviennent des énormes textes produits par les humains. Ces textes contiennent toute la connaissance de la société humaine, ainsi que tous ses stéréotypes, déséquilibres et inégalités historiques. Le modèle ne fait pas de distinction entre les « bons » et les « mauvais » modèles ; Il apprend tout ce qu'il y a dans les données.

Exemple : Si certaines professions étaient majoritairement associées à un genre dans des textes antérieurs (par exemple « infirmière » avec une femme, « ingénieur » avec un homme), le modèle apprend cette association. Elle peut avoir tendance à choisir un pronom masculin lorsqu'elle complète la phrase : « Un ingénieur est entré dans le bureau, il... » Le modèle n'est pas malveillant ; cela reflète simplement le déséquilibre des données.

Le biais est donc principalement dû au fait qu'il s'agit d'un miroir des données, et non d'une erreur de programmation consciente. Expliquer le problème par « quelqu'un a écrit du mauvais code » est trompeur ; Le problème est que le déséquilibre du monde est répercuté dans les données et, de là, dans le modèle.

Risques tangibles sur le lieu de travail

zone

Risque de biais

préjudice possible

recrutement

Apprenez la tendance des données historiques et éliminez certains groupes

Affaire judiciaire, perte de capacité

Communication client

Langage stéréotypé ou exclusif

Perte de réputation, fuite des clients

crédit/risque

Perpétuer les inégalités passées

Discriminations, sanctions

Évaluation des performances

Intégrer les biais dans les données dans la décision

Promotion/bonus injuste

Contenu/marketing

Rendre un groupe spécifique invisible

Dommages à la marque

Trois mini-étuis

Cas 1 – L'annonce réduisait le langage. Une entreprise a commencé à imprimer des offres d’emploi avec l’IA. Au bout d'un moment, on s'est aperçu que les publicités s'adressaient à un certain profil avec des expressions telles que « jeune et dynamique », « cible agressive » et réduisaient ainsi la diversité des candidatures. L'équipe a ajouté une étape qui vérifie le « langage inclusif » de chaque publication ; La diversité des candidats s'est considérablement accrue en quelques mois.

Cas 2 — Biais caché dans le résumé. Un responsable a demandé à l'IA de résumer les commentaires de 30 employés. Le récapitulatif semblait concentrer les commentaires négatifs sur une équipe en particulier ; alors que dans les données brutes, la situation était équilibrée. Le modèle a exagéré plusieurs déclarations fortes. Lorsque le responsable est revenu et a vérifié les données brutes, il a évité de se tromper.

Cas 3 — Le mandat d’inclusivité a fonctionné. Une équipe marketing a standardisé les instructions dans le texte de la campagne pour « utiliser un langage inclusif et non spécifique en matière de sexe/âge/groupe et énumérer vos hypothèses à la fin ». Les expressions formulées dans les textes produits ont sensiblement diminué ; l'équipe n'a pas eu à corriger manuellement chaque sortie encore et encore.

Pourquoi les préjugés sont-ils difficiles à reconnaître ?

Le plus insidieux des préjugés est qu’ils sont souvent invisibles. Le résultat semble fluide, professionnel et raisonnable ; La tendance qui s’y dégage ne devient apparente que lorsqu’on l’examine attentivement ou qu’on mesure son impact sur différents groupes. Il est trompeur de dire « il n’y a pas de parti pris ici » en examinant un seul exemple ; Les préjugés ne se manifestent souvent pas dans des exemples individuels mais dans la tendance générale du système.

Attention : L'hypothèse selon laquelle « je suis neutre, donc l'outil que j'utilise est également neutre » est dangereuse. La neutralité de l'outil dépend des données de formation et de la manière dont elles sont inspectées, et non de votre intention.

Invite faible/Invite forte

Invite faible : Décrivez le candidat idéal pour ce poste.

Résultat : le modèle peut s'appuyer sur des stéréotypes et présenter un profil particulier comme « idéal ».

Invite forte : indiquez uniquement les compétences mesurables pour ce poste qui sont vraiment pertinentes pour le poste. N'utilisez aucune caractéristique qui n'est pas liée à l'emploi, comme le sexe, l'âge, l'état civil, la ville d'origine. Enfin, écrivez ce que vous avez omis sous le titre « hypothèses que j'évite ».

Résultat : l'évaluation est limitée aux critères liés au poste, les caractéristiques non pertinentes sont exclues.

Modèles pour réduire les biais

Vérifiez le texte ci-dessous pour un langage inclusif. Signalez les déclarations qui impliquent le sexe, l'âge, l'origine ethnique, le handicap ou un groupe spécifique et suggérez une alternative neutre pour chacun.Texte : [coller ici]

Faites cette évaluation uniquement sur la base de ces critères objectifs : [critères]. Ne tenez compte d’aucune information autre que ces critères (nom, sexe, âge).

Énumérez sous un titre distinct à la fin les hypothèses que vous avez formulées dans le texte que vous avez produit. Je peux donc voir des préjugés cachés.

Évaluez ce contenu à travers les yeux de trois groupes différents de lecteurs et marquez toute déclaration susceptible d'offenser/offenser l'un d'entre eux. Contenu : [coller ici]

Erreurs courantes

Erreurs courantes

• En supposant une sortie IA "neutre". Même si les résultats semblent neutres, ils peuvent comporter un biais dans les données ; Une supervision active est requise.
• En regardant un exemple et en disant "il n'y a pas de parti pris". Les préjugés sont cachés dans la tendance générale du système.
• Laisser la prise de décision à fort impact à l’IA non supervisée. L'autorité humaine est essentielle dans les décisions telles que le recrutement, la promotion et le crédit.
• Oublier d’exiger l’inclusivité. Si vous ne le demandez pas explicitement dans l'invite, le modèle revient aux modèles par défaut.
• Cela signifie "La machine l'a dit". La personne qui utilise la décision est également responsable des conséquences.

La justice est la responsabilité de tous

La lutte contre les préjugés n’est pas seulement l’affaire de l’équipe technique. Chaque employé qui utilise les résultats de l’IA a la responsabilité de se demander si ces résultats sont équitables. « La machine m'a dit » n'est pas une excuse ; Celui qui prend la décision est également responsable des conséquences.

En résumé

• La principale source de biais de l’IA n’est pas la malveillance, mais les déséquilibres et les stéréotypes existants dans les données d’entraînement.
• Préjugé; Cela crée un réel risque juridique et de réputation dans des domaines tels que le recrutement, la communication avec les clients, la finance et l'évaluation.
• Les préjugés sont souvent invisibles et ancrés dans la disposition globale du système ; Prendre un seul exemple est trompeur.
• Pour réduire : soyez conscient, limitez la décision aux critères liés au travail, demandez explicitement l'inclusivité, placez le contrôle humain sur les décisions à fort impact.
• « La machine m'a dit » n'est pas une excuse ; L'équité est la responsabilité de tous ceux qui utilisent le résultat.

Tâche d'application

Dites à l’IA « décrire un travailleur idéal [n’importe quelle profession] » et marquez quelles hypothèses (peut-être inutiles) ont été faites dans le résultat. Répétez ensuite avec le modèle de « critères liés à l'emploi » ci-dessus et comparez les deux résultats pour plus d'équité.

Liste de contrôle

• [ ] Je comprends que la principale source de biais sont les données de formation.
• [ ] Je peux citer les risques concrets que peuvent poser les préjugés sur le lieu de travail.
• [ ] Je sais que les préjugés sont souvent invisibles et que regarder un seul exemple est trompeur.
• [ ] Je peux clairement demander des critères d'inclusivité et liés à l'emploi dans l'invite.
• [ ] J'ai besoin d'une surveillance humaine pour les décisions à fort impact.