Préjugés, équité et discrimination : les angles morts du modèle

Gains :

• Comprendre comment les biais dans les modèles d'intelligence artificielle proviennent des données et de la conception et pourquoi ils créent des risques juridiques et éthiques dans le secteur bancaire
• Capacité à reconnaître les caractéristiques protégées, les variables proxy et la discrimination indirecte et à remettre en question les décisions du modèle en termes d'équité
• Capacité à comprendre comment les mesures de justice, les groupes exclus et le droit d'opposition sont intégrés dans le modèle de gouvernance et à maintenir la ligne rouge en matière de discrimination

Un modèle d’IA n’est pas neutre ; C'est un miroir des données apprises. Si les données portent sur des inégalités passées, le modèle les apprend et les reporte dans le futur. Dans le secteur bancaire, il ne s’agit pas d’un débat éthique abstrait : si un modèle de crédit désavantage systématiquement un groupe particulier, cela est à la fois illégal (interdiction de discrimination) et constitue une violation de l’éthique, entraînant des risques de réputation et de sanctions pour la banque. Le but de cette unité est de montrer comment le modèle devient des formes biaisées, directes et indirectes de discrimination, le piège des variables proxy et les moyens d'intégrer l'équité dans la gouvernance du modèle. Une ligne rouge doit être posée d’emblée : la discrimination, aussi « statistique » qu’elle puisse paraître, est inacceptable.

D'où viennent les préjugés ?

• Biais des données : si les décisions passées étaient injustes (par exemple, un groupe particulier a reçu moins de crédit dans le passé), le modèle suppose que cela est « normal » et continue. C’est ce qu’on appelle un biais historique.
• Biais d'échantillonnage : si certains groupes sont sous-représentés dans les données, le modèle en apprend peu et de manière inexacte.
• Biais d'étiquette : si la définition du « bon client » elle-même est biaisée, le modèle optimise le biais.
• Biais de conception : les choix humains concernant les variables à utiliser peuvent également comporter des biais.

Astuce : « Le modèle est basé sur des données, il est donc objectif » est une idée fausse. Les données sont un instantané du passé ; Si le passé était injuste, le modèle « objectif » justifie l'injustice par les mathématiques. L'objectivité n'est pas une garantie d'impartialité.

Discrimination directe et indirecte

• Discrimination directe : utilisation directe par le modèle d'une caractéristique protégée (sexe, origine ethnique, religion, âge). Ceci est expressément interdit.
• Discrimination indirecte (variable de substitution / proxy) : Même si le modèle n'utilise pas directement la fonctionnalité protégée, il produit le même résultat en utilisant une autre variable qui lui est fortement liée (code postal, nom, catégorie commerciale, quartier de travail). Le code postal est souvent un indicateur de l'origine ethnique ou du niveau de revenu. Le modèle dit « quartier » mais le résultat est une discrimination « origine ».

Variable

apparemment

peut être un proxy

Code postal/arrondissement

géographie

Origine ethnique, niveau de revenu

Nom

pièce d'identité

origine, sexe

Catégorie d'achats

comportement

style de vie, croyance

école supérieure

Éducation

Origine socio-économique

C'est pourquoi il faut s'alarmer lorsque l'on voit dans une justification une affirmation telle que « le quartier est à risque » : cela peut sembler être un critère légitime mais il est porteur d'une discrimination indirecte.

Attention : la suppression de la fonctionnalité protégée des données ne met pas fin à la discrimination. Les variables de substitution peuvent le renvoyer. La justice ne se réalise pas par « j’ai supprimé la rubrique sensible » ; Ceci est réalisé en testant les résultats des décisions modèles entre les groupes.

Intégrer la justice à la gouvernance

1. Mesures d'équité. Comparez les taux d'approbation/rejet du modèle et les taux d'erreur entre les groupes. Un groupe connaît-il systématiquement des rejets plus élevés ?
2. Contrôle par procuration. Examinez la relation entre les variables utilisées et les propriétés protégées.
3. Explicabilité. Une justification doit être produite pour chaque décision ; Un déni de type « boîte noire » est intenable.
4. Droit d'opposition. Le client doit avoir le droit de connaître la justification de la décision et de demander un examen humain.
5. Groupes exclus. Il convient également de vérifier que les groupes sous-représentés dans les données ne soient pas maltraités.

Quatre modèles copiables

1) Contrôle de la discrimination dans la justification :

Vérifiez la justification suivante de la décision de crédit : existe-t-il une référence directe/indirecte à une caractéristique protégée (âge, sexe, origine, religion) ou à une variable proxy (code postal, quartier, nom, type de magasin) ? Signalez les déclarations à risque et expliquez pourquoi elles présentent un risque de discrimination. Raison : [texte]

2) Contrôle proxy de liste de variables :

Examinez cette liste de variables utilisées dans un modèle de crédit. Lesquels pourraient représenter une caractéristique protégée et présenter un risque de discrimination indirecte ? Écrivez votre justification pour chaque variante risquée. Liste : [variables]

3) Résumé de la décision en termes d'équité (neutre, explicable) :

Votre rôle : assistant qui rédige une justification de décision explicable. S'appuyer uniquement sur des critères légitimes et non discriminatoires (rapport dette/revenu, historique de paiement, garanties). NE faites PAS référence à une propriété protégée et à une variable de substitution. Écrivez la justification dans un langage simple que le client comprendra. Je donnerai l'approbation.

4) Projet de réponse aux objections :

Un client a fait appel du refus de crédit et souhaite une justification. Rédiger une réponse respectueuse et descriptive basée sur des critères légitimes ; Rappelez au client son droit à un examen et à une correction humains. N’utilisez aucune implication discriminatoire. Raison du refus vérifié : [raison]

Invite faible/Invite forte

Invite faible :

Les applications dans cette région sont très risquées, utilisons davantage les informations de district dans le modèle afin d'augmenter la précision.

Cette approche renforce la discrimination indirecte basée sur le district ; Il légitime un résultat illégal au nom du « coup ».

Invite puissante :

Votre rôle : assistant audit justice. Signalez les variables utilisées qui présentent le risque de variables de substitution. Suggérez les mesures que je devrais suivre pour comparer les décisions entre les groupes en termes de taux d'approbation/rejet. Ne jamais renforcer un critère discriminatoire ; rediriger vers des critères légitimes et explicables.

Une forte volonté recherche le risque indirect, introduit des mesures d’équité et rejette la discrimination.

trois mini-cases

Cas 1 — Biais historique. Un modèle attribue systématiquement une note faible à un groupe professionnel particulier parce qu’il a reçu moins de crédit dans le passé. Un audit d'équité montre que le taux de rejet de ce groupe est 30 % plus élevé que celui des autres groupes ayant des niveaux de revenus similaires. Le modèle est rééquilibré avec des critères légitimes de revenus et de paiement.

Cas 2 — Variable de substitution. Le code postal est une variable puissante dans un modèle. L'audit montre que le code postal chevauche certains quartiers à forte concentration ethnique, produisant une discrimination indirecte selon l'origine. La variable est supprimée et remplacée par des références financières légitimes ; la performance reste à un niveau acceptable, la discrimination est éliminée.

Cas 3 — Droit d’opposition. Un client rejeté demande une justification. La banque fournit une justification explicable (ratio dette/revenu élevé) et accepte la demande d’examen humain. L'examen révèle une mauvaise lecture d'un document ; La décision est corrigée. L'explicabilité et le droit d'opposition compensent une erreur par la justice.

Mesures d’équité : quoi et comment nous mesurons

« Le modèle est-il juste ? » Il n’y a pas de réponse unique à la question ; Il existe de multiples définitions de la justice, et elles entrent parfois en conflit les unes avec les autres. Voici quelques approches pratiquement suivies dans le secteur bancaire :

• Comparaison des taux d'approbation/de rejet : le taux d'approbation est-il systématiquement différent entre différents groupes ayant des profils financiers similaires (par exemple, les groupes de genre) ? Une différence importante et inexpliquée est un signe de biais.
• Égalité du taux d'erreur : le taux de faux rejets (rejet d'une candidature légitime) du modèle est-il équilibré entre les groupes ? Si un groupe est injustement rejeté plus souvent qu’un autre, il y a un problème.
• Calibrage : les clients que le modèle qualifie de « à haut risque » font-ils réellement défaut à des taux similaires dans chaque groupe ? La signification du score ne doit pas varier d’un groupe à l’autre.

Ces mesures ne peuvent parfois pas être fournies en même temps ; La définition de la justice à privilégier n’est pas une décision technique mais une décision éthique et juridique et nécessite une gouvernance humaine.

Conseil : Mesurez la mesure de l'équité à intervalles réguliers, pas seulement lorsque vous créez le modèle. Un modèle peut être mis en ligne de manière équitable et devenir biaisé au fil du temps en raison de la dérive des données. La justice n’est pas une question « d’établissement » mais une question de « contrôle ».

Erreurs courantes

• L’erreur des « données objectives ». En supposant que le modèle soit neutre ; les données comportent un biais historique.
• Supprimez simplement la colonne sensible. Suppression de la propriété protégée et négligence des variables proxy.
• Ne pas suivre les mesures d'équité. Ne pas comparer du tout le taux de rejet/d’erreur entre les groupes.
• Défendre la décision de la boîte noire. Considérer une décision qui ne peut être justifiée comme légitime.
• Suppression du droit d'opposition. Désactiver l'examen humain car "cela ralentit le processus".

Attention : La discrimination ne résulte souvent pas de la malveillance mais de la négligence. Une variable ajoutée parce qu'elle « augmente la précision » peut exclure un groupe sans le savoir. La justice ne repose donc pas sur la bonne foi, mais sur des tests réguliers.

En résumé

Les modèles d’IA comportent les biais des données dont ils tirent leurs enseignements, et la discrimination dans le secteur bancaire constitue un risque juridique, éthique et de réputation. La discrimination directe utilise une fonctionnalité protégée ; La discrimination indirecte, en revanche, produit le même résultat avec des variables proxy (code postal, nom). La justice ne consiste pas à effacer la colonne sensible ; Garanti par des mesures d’équité, un contrôle par procuration, une explicabilité et un droit d’opposition. En une phrase : Le modèle répète le passé ; Il est de la responsabilité de l'homme de faire respecter la justice et de rejeter la discrimination.

Tâche de candidature

Rédigez une liste de 8 à 10 variables pour un modèle de crédit (certaines avec un risque proxy intentionnel : code postal, nom, catégorie d'achats). 2. Effectuez une vérification par procuration avec le modèle et marquez les plus risqués avec leurs raisons. Rédigez ensuite un texte de justification discriminatoire et numérisez-le avec le modèle 1. Enfin, planifiez dans un paragraphe les mesures d'équité que vous suivrez pour comparer le taux de rejet du modèle entre les groupes.

liste de contrôle

• [ ] J'ai vérifié que le modèle/justification n'utilise pas de propriétés protégées.
• [ ] J'ai également examiné le risque des variables proxy.
• [ ] J'avais prévu de comparer les taux d'approbation/rejet et d'erreur entre les groupes.
• [ ] Je me suis assuré que chaque décision avait une justification explicable.
• [ ] J'ai donné au client le droit d'opposition et d'examen humain.
• [ ] Je n'ai même pas franchi la ligne rouge de discrimination au motif du "hit".