Équité, discrimination et responsabilité algorithmique

Gains :

• Il reconnaît les sources de données, de conception et d’utilisation de biais algorithmiques et teste les résultats sur une base groupée.
• Explique comment la boucle de rétroaction et l’erreur de représentation amplifient les inégalités et établissent un contrôle d’impact.
• Il garantit la responsabilité en garantissant l'explicabilité et l'appel de chaque décision automatisée.

Le public doit appliquer son pouvoir de manière égale à tous : traitement similaire à deux citoyens dans des situations similaires, différence proportionnée à des situations différentes. Ce principe d'égalité est une obligation constitutionnelle. L’intelligence artificielle peut à la fois améliorer et perturber discrètement ce domaine. Cela peut s’améliorer car une règle appliquée de manière cohérente peut réduire l’arbitraire et les préjugés humains. Cela peut être source de corruption, car les modèles d’IA apprennent des données passées, et les données passées portent la discrimination du passé. Si un système est formé sur des données qui ont historiquement désavantagé un groupe particulier, il perpétuera ce désavantage dans le futur – et sous une forme encore plus difficile à détecter, sous le couvert d’un « algorithme objectif ». Dans cette unité, vous apprendrez comment reconnaître les biais algorithmiques (biais systématique des résultats du modèle à l'encontre de certains groupes) lors de l'utilisation de l'IA dans le secteur public, comment les réduire et, surtout, comment garantir la responsabilité algorithmique (la justification d'une décision automatisée étant explicable, vérifiable et contestable).

D’où vient le biais ?

Il existe plusieurs sources de biais algorithmiques, et toutes sont risquées en public :

• Biais historique : les données sur la formation contiennent des inégalités passées. Par exemple, si une zone a bénéficié de moins de services dans le passé, les « données sur la demande » peuvent montrer que cette zone a de faibles besoins – alors qu’en réalité la demande était faible parce qu’il n’y avait pas de service.
• Biais de représentation : certains groupes sont sous-représentés dans les données (ceux qui n'ont pas accès au numérique, groupes linguistiques minoritaires) et le modèle fonctionne mal pour eux.
• Biais de proxy : Même si le modèle ne regarde pas directement un critère interdit (origine ethnique, religion), il peut produire la même discrimination en regardant un proxy qui lui est associé (quartier, nom, code postal).
• Biais de mesure : ce que nous mesurons n’est pas ce que nous voulons réellement mesurer. Le « nombre de plaintes » mesure la capacité de se plaindre plutôt que le besoin.

Attention : Il est trompeur de dire « J'ai supprimé les données sensibles (sexe, appartenance ethnique) du modèle, maintenant c'est juste ». La discrimination par le biais de variables proxy peut perdurer. L'équité n'est pas obtenue en supprimant l'entrée, mais en testant la sortie entre les groupes.

Tester l'équité : voir le résultat

On peut comprendre si un système est équitable ou non en examinant ses résultats, et non ses intentions. Méthode de base : divisez la décision en groupes et comparez. Les résultats tels que le taux d’acceptation/rejet, le taux d’erreur et le temps d’attente diffèrent-ils de manière significative entre les différents groupes (sexe, âge, région, revenu) ? S’il y a une différence, cette différence repose-t-elle sur un motif légitime ou s’agit-il d’une discrimination ? Étant donné que cette analyse peut nécessiter des données personnelles, elle doit être agrégée et effectuée conformément au KVKK.

Astuce : avant de déployer un nouveau système de décision basé sur l'IA, ventilez ses décisions par groupes démographiques et produisez un « rapport sur l'équité ». Si vous trouvez une différence, « cette différence peut-elle être expliquée ? » Posez la question à un comité de personnes.

Expliquabilité et attrait : le cœur de la responsabilité

Dans le secteur public, aucun citoyen ne peut être privé de ses droits avec la réponse « le système en a décidé ainsi ». Pour chaque décision automatisée ou assistée par l’IA, trois choses doivent être assurées :

1. Explicabilité : les éléments sur lesquels la décision était fondée et les facteurs efficaces doivent être expliqués dans un langage simple.
2. Mode de recours : les citoyens devraient pouvoir s'opposer à la décision et demander à un être humain de la réviser.
3. Piste d'audit : il convient d'enregistrer quelles données, quel modèle/version et avec quelle personne responsable la décision a été prise.

trois mini-cases

Cas 1 — Variante de substitution capturée. Un modèle de priorisation de l’aide n’utilisait pas de données sensibles mais examinait le « code postal ». Lors du test d’équité, il a été constaté que certains quartiers recevaient systématiquement une faible priorité – en corrélation avec le code postal, le revenu et la densité ethnique. La variable a été supprimée et la priorité a été directement liée aux indicateurs de besoin.

Cas 2 — Écart de représentation. Un chatbot était 41 % plus susceptible d'induire en erreur les questions des citoyens dont la langue maternelle n'est pas le turc ; Les données de formation contenaient peu de ce groupe. Lorsque la prise en charge multilingue et le seuil de transfert humain ont été ajoutés, l'écart s'est réduit.

Cas 3 — Rejet inexpliqué. Une institution rejette automatiquement une candidature ; citoyen "pourquoi?" Lorsqu'on lui a demandé, l'agent n'a pas pu expliquer car la raison du modèle n'était pas compréhensible. L’incident a montré que les modèles peu explicables ne peuvent pas être utilisés pour prendre des décisions fondées sur des droits ; Le système a été transformé en un modèle qui génère une justification et nécessite l'approbation humaine.

Quatre modèles copiables

1) Source de l'analyse des biais :

Votre rôle : expert en équité algorithmique. Découvrez le processus de décision basé sur l'IA ci-dessous. Énumérez les sources possibles de biais : (1) biais historique, (2) biais de représentation (groupe sous-représenté), (3) variables proxy (colonne associée à un critère interdit), (4) biais de mesure. Donnez un exemple concret pour chacun et dites-moi comment le tester. PROCESSUS : [processus de décision et données utilisées]

2) Plan de test d'équité :

Générez un plan de test d'équité pour les résultats de décision suivants : quels groupes (âge, sexe, région, revenu) dois-je répartir, quelles mesures (taux d'acceptation, taux d'erreur, temps d'attente) dois-je comparer, comment puis-je décider si la différence est légitime ou discriminatoire ? Ajouter un avertissement KVKK. DÉCISION : [quelle décision]

3) Déclaration de décision (au citoyen) :

Rédigez un projet d'explication compréhensible par les citoyens pour la décision suivante : quels facteurs ont eu une influence, dans un langage simple. Ajoutez le droit de faire appel à la fin et la possibilité d'avoir un examen humain [avec un délai à confirmer]. Utiliser des expressions vagues telles que « Le système en a décidé ainsi ». DÉCISION : [résumé et facteurs d’influence]

4) Contrôle de responsabilité avant diffusion :

Produisez une liste de contrôle de responsabilité avant de déployer le système de décision basé sur l'IA : est-il explicable, existe-t-il un moyen de faire appel, une piste d'audit (données/version du modèle/responsable) est-elle conservée, des tests d'équité ont-ils été effectués, où se trouve le point d'approbation humaine. Signaler les éléments manquants comme des drapeaux rouges. SYSTÈME : [recette]

Invite faible/Invite forte

Faible : « Ce modèle de décision est-il juste ? »

Strong : "Votre rôle est celui d'un expert en équité algorithmique. Pour ce modèle de priorisation de l'aide, recherchez d'abord les sources de biais (historique, représentation, variable de substitution, mesure) et donnez des exemples concrets pour chacune. Ensuite, élaborez un plan de test d'équité : répartition par quels groupes, quelles mesures, comment décider de la légitimité de la différence ; ajoutez l'avertissement KVKK. Enfin, avant de déployer le système, donnez une liste de contrôle pour l'explicabilité, la voie d'appel et la piste d'audit, et signalez les lacunes. "

La différence : une incitation forte recherche les biais à la source, fait tester les résultats par groupes et généralise la responsabilisation.

Dimensions et contrôles de la justice

Taille

Risque

contrôle

données historiques

Le passé est porteur d’inégalités

Test de sortie par groupes

représentation

Fonctionne mal pour certains groupes

Taux d'erreur basé sur le groupe

variable de substitution

discrimination déguisée

Relation critère variable-sensible

Explicabilité

décision injustifiée

Générer une explication simple

opposition

confiscation

Chemin d'examen humain

Boucle de rétroaction et erreur de représentation

La forme la plus insidieuse de discrimination algorithmique ne se produit pas dans une seule mauvaise décision mais dans une boucle de rétroaction qui se renforce au fil du temps (le résultat d'un modèle affecte les données d'entraînement ultérieures, renforçant les biais existants). Par exemple, si un modèle d’inspection signale un quartier particulier comme « à risque », plus les inspections y sont nombreuses, plus les enregistrements sont créés, le modèle considère ce quartier comme plus risqué – même si la différence a augmenté dans l’emplacement examiné, et non dans le risque réel. Ce qui ouvre la voie à cela est souvent une erreur de représentation (les données de formation reflètent certains groupes de manière incomplète ou déformée). Dans le secteur public, ces cycles peuvent placer les groupes défavorisés sous une surveillance et des sanctions de plus en plus sévères. La manière de se protéger est de surveiller l'impact du modèle, pas seulement ses résultats : surveiller régulièrement la répartition des décisions par groupe et ne pas mettre en œuvre aveuglément les recommandations du modèle.

Mini cas – doute auto-agrandissant. Un modèle de détection de la fraude sociale a identifié une région qui avait été plus rigoureusement inspectée dans le passé comme étant à haut risque. Lorsque l’équipe a extrait l’intensité de la lutte contre la fraude à partir des données et mesuré le « taux de détection réel par rapport à la population », elle a constaté que les différences entre les régions disparaissaient en grande partie ; Le modèle a pris l’inégalité pour un risque réel.

Modèle de contrôle d'impact basé sur un groupe :

Tâche : Examinez les données de décision suivantes par groupes (aucune donnée personnelle, résumé catégoriel).Données : [groupe | décision totale | taux de décision négatif | intensité de l'inspection]Résultat : 1) Le taux de décision négative montre-t-il une différence significative entre les groupes ? 2) La différence pourrait-elle être due au risque réel ou à l’intensité du contrôle/représentation ? 3) Y a-t-il des signes d’une boucle de rétroaction ? 4) Recommandations pour le contrôle humain. Règle : Établir une allégation de causalité ; Énumérez les explications possibles et les moyens de tester.

Attention : L'argument selon lequel « le modèle est neutre car il applique la même règle à tout le monde » est trompeur. La même règle, lorsqu’elle est appliquée à des données asymétriques, préserve et amplifie les inégalités. La justice se mesure par l’égalité des résultats et non par la règle.

Erreurs courantes

• Supprimer les données sensibles et penser « c'est juste ». Les variables de substitution perpétuent la discrimination ; tester la sortie.
• Mesurer la justice par l’intention. La justice apparaît à la fin ; Triez les décisions en groupes et comparez.
• Oublier le groupe sous-représenté. Le modèle peut fonctionner mal pour un groupe minoritaire ; Voir erreur basée sur le groupe.
• Utiliser le modèle inexpliqué dans les décisions d’octroi de droits. Un système qui ne peut pas produire de justification ne peut pas prendre de décisions publiques.
• Ne fournissant aucun moyen d’opposition. Chaque décision automatisée doit être soumise à un examen humain.
• Ne pas conserver de piste d'audit. Il convient d'enregistrer avec quelles données/modèles/personne responsable la décision a été prise.

En résumé

Dans le secteur public, l’IA peut accroître la cohérence, mais aussi perpétuer discrètement la discrimination du passé. Les biais proviennent des données historiques, des écarts de représentation, des variables proxy et des mesures inexactes ; La suppression des données sensibles ne résoudra pas le problème. L’équité est obtenue en testant les résultats entre les groupes. Et aucun citoyen ne peut être privé de ses droits à cause du « système qui l’a dit » : chaque décision doit être explicable, contestable et vérifiable. C’est l’institution qui est tenue responsable, pas l’algorithme.

Tâche de candidature

Choisissez un processus de décision automatisé ou alimenté par l’IA dans votre unité. Répertoriez les biais possibles et trouvez au moins un risque variable de substitution avec le modèle « Source d'analyse des biais ». Déterminez les répartitions de groupe à examiner avec le « plan de test d'équité ». Pour un exemple de décision, produisez une explication destinée aux citoyens avec le modèle « Explication de la décision ».

liste de contrôle

• [ ] J'ai recherché les sources de biais (historiques, représentation, proxy, mesure).
• [ ] Je n'ai pas seulement supprimé des données sensibles ; J'ai testé la sortie par groupes.
• [ ] J'ai contrôlé le taux d'erreur pour les groupes sous-représentés.
• [ ] J'ai fourni une justification simple et explicable pour chaque décision.
• [ ] J'ai défini le chemin de l'objection et de l'examen humain.
• [ ] La piste d'audit (données/version du modèle/responsable) est conservée.