Fairness, Diskriminierung und algorithmische Rechenschaftspflicht

Gewinne:

• Es erkennt Daten-, Design- und Nutzungsquellen algorithmischer Verzerrungen und testet die Ausgabe auf Gruppenbasis.
• Erklärt, wie die Rückkopplungsschleife und der Darstellungsfehler die Ungleichheit vergrößern und eine Wirkungskontrolle etablieren.
• Es stellt die Verantwortlichkeit sicher, indem es bei jeder automatisierten Entscheidung Erklärbarkeit und Einspruch gewährleistet.

Die Öffentlichkeit muss ihre Macht auf alle gleichermaßen anwenden: Gleichbehandlung von zwei Bürgern in ähnlichen Situationen, verhältnismäßige Unterschiede in unterschiedlichen Situationen. Dieser Gleichheitsgrundsatz ist eine verfassungsrechtliche Verpflichtung. Künstliche Intelligenz kann diesen Bereich sowohl verbessern als auch stillschweigend verändern. Es kann sich verbessern, weil eine konsequent angewandte Regel Willkür und menschliche Voreingenommenheit reduzieren kann. Es kann verfälschend sein, weil KI-Modelle aus vergangenen Daten lernen und vergangene Daten die Diskriminierung der Vergangenheit tragen. Wenn ein System auf Daten trainiert wird, die in der Vergangenheit eine bestimmte Gruppe benachteiligt haben, überträgt es diesen Nachteil in die Zukunft – und zwar in einer Form, die unter dem Deckmantel eines „objektiven Algorithmus“ noch schwieriger zu erkennen ist. In dieser Einheit erfahren Sie, wie Sie algorithmische Verzerrungen (systematische Verzerrungen der Modellausgabe gegenüber bestimmten Gruppen) beim Einsatz von KI im öffentlichen Sektor erkennen, wie Sie diese reduzieren und, was am wichtigsten ist, wie Sie die Rechenschaftspflicht der Algorithmen sicherstellen (die Gründe für eine automatisierte Entscheidung müssen erklärbar, überprüfbar und anfechtbar sein).

Woher kommt Voreingenommenheit?

Es gibt mehrere Quellen algorithmischer Voreingenommenheit, und alle davon sind in der Öffentlichkeit riskant:

• Historische Verzerrung: Trainingsdaten enthalten vergangene Ungleichheiten. Wenn es in einem Gebiet beispielsweise in der Vergangenheit weniger Dienstleistungen gab, können „Nachfragedaten“ zeigen, dass in diesem Gebiet ein geringer Bedarf besteht – obwohl die Nachfrage tatsächlich niedrig war, weil es keinen Service gab.
• Repräsentationsfehler: Einige Gruppen sind in den Daten unterrepräsentiert (Personen ohne digitalen Zugang, Minderheitensprachengruppen) und das Modell funktioniert für sie schlecht.
• Proxy-Bias: Auch wenn das Modell ein verbotenes Kriterium (Ethnizität, Religion) nicht direkt berücksichtigt, kann es die gleiche Diskriminierung hervorrufen, indem es einen damit verbundenen Proxy (Nachbarschaft, Name, Postleitzahl) betrachtet.
• Messverzerrung: Was wir messen, ist nicht das, was wir tatsächlich messen wollen. Die „Anzahl der Beschwerden“ misst die Beschwerdefähigkeit und nicht die Notwendigkeit.

Achtung: Es ist irreführend zu sagen: „Ich habe sensible Daten (Geschlecht, ethnische Zugehörigkeit) aus dem Modell entfernt, jetzt ist es fair.“ Die Diskriminierung durch Proxy-Variablen kann weiterhin bestehen. Fairness wird nicht durch das Löschen der Eingabe erreicht, sondern durch das Testen der Ausgabe zwischen Gruppen.

Fairness testen: siehe Ausgabe

Ob ein System fair ist oder nicht, kann anhand seiner Ergebnisse und nicht anhand seiner Absichten verstanden werden. Grundlegende Methode: Die Entscheidung in Gruppen aufteilen und vergleichen. Unterscheiden sich Ergebnisse wie Akzeptanz-/Ablehnungsrate, Fehlerrate, Wartezeit erheblich zwischen verschiedenen Gruppen (Geschlecht, Alter, Region, Einkommen)? Wenn es einen Unterschied gibt, beruht dieser Unterschied auf einem legitimen Grund oder handelt es sich um eine Diskriminierung? Da für diese Analyse personenbezogene Daten erforderlich sein können, muss diese gemäß KVKK aggregiert und durchgeführt werden.

Tipp: Bevor Sie ein neues KI-gestütztes Entscheidungssystem einführen, schlüsseln Sie dessen Entscheidungen nach demografischen Gruppen auf und erstellen Sie einen „Fairness-Bericht“. Wenn Sie einen Unterschied feststellen, „Kann dieser Unterschied erklärt werden?“ Bringen Sie die Frage einem Ausschuss vor.

Erklärbarkeit und Attraktivität: das Herzstück der Rechenschaftspflicht

Im öffentlichen Sektor kann kein Bürger mit der Antwort „Das System hat es so entschieden“ seiner Rechte beraubt werden. Bei jeder automatisierten oder KI-gestützten Entscheidung müssen drei Dinge sichergestellt sein:

1. Erklärbarkeit: Worauf die Entscheidung beruhte, welche Faktoren wirksam waren, sollte im Klartext erklärt werden.
2. Möglichkeit zur Berufung: Bürger sollten die Möglichkeit haben, Einspruch gegen die Entscheidung einzulegen und einen Menschen zu bitten, sie zu überprüfen.
3. Audit Trail: Es soll festgehalten werden, welche Daten, welches Modell/welche Version und mit welchem ​​Verantwortlichen die Entscheidung getroffen wurde.

drei Mini-Koffer

Fall 1 – Ersatzvariante erfasst. Ein Hilfsmittelpriorisierungsmodell verwendete keine sensiblen Daten, sondern berücksichtigte die „Postleitzahl“. Im Fairness-Test wurde festgestellt, dass bestimmte Stadtteile systematisch eine niedrige Priorität erhielten – abhängig von der Postleitzahl, dem Einkommen und der ethnischen Dichte. Die Variable wurde entfernt und die Priorität direkt an die Bedarfsindikatoren gebunden.

Fall 2 – Repräsentationslücke. Die Wahrscheinlichkeit, dass ein Chatbot Fragen von Bürgern mit einer nichttürkischen Muttersprache in die Irre führte, war um 41 % höher; Die Trainingsdaten enthielten wenig von dieser Gruppe. Als die mehrsprachige Unterstützung und die Übergabeschwelle durch einen Menschen hinzugefügt wurden, wurde die Lücke geschlossen.

Fall 3 – Unerklärte Ablehnung. Eine Institution hat einen Antrag automatisch abgelehnt; Bürger „warum?“ Auf Nachfrage konnte der Beamte keine Erklärung abgeben, da der Grund für das Modell nicht nachvollziehbar sei. Der Vorfall zeigte, dass Modelle mit schlechter Erklärbarkeit nicht verwendet werden können, um rechtebehaftete Entscheidungen zu treffen; Das System wurde in ein Modell umgewandelt, das Rechtfertigung generiert und menschliche Zustimmung erfordert.

Vier kopierbare Vorlagen

1) Quelle des Bias-Scans:

Ihre Rolle: Experte für algorithmische Fairness. Schauen Sie sich unten den KI-gestützten Entscheidungsprozess an. Listen Sie mögliche Quellen der Verzerrung auf: (1) historische Verzerrung, (2) Darstellungsverzerrung (unterrepräsentierte Gruppe), (3) Proxy-Variablen (mit verbotenem Kriterium verknüpfte Spalte), (4) Messverzerrung. Geben Sie jeweils ein konkretes Beispiel und sagen Sie mir, wie ich es testen kann. PROZESS: [Entscheidungsprozess und verwendete Daten]

2) Fairness-Testplan:

Erstellen Sie einen Fairness-Testplan für die folgenden Entscheidungsergebnisse: Welche Gruppen (Alter, Geschlecht, Region, Einkommen) soll ich aufschlüsseln, welche Kennzahlen (Akzeptanzrate, Fehlerrate, Wartezeit) soll ich vergleichen, wie entscheide ich, ob der Unterschied legitim oder diskriminierend ist? KVKK-Warnung hinzufügen. ENTSCHEIDUNG: [welche Entscheidung]

3) Entscheidungserklärung (an den Bürger):

Verfassen Sie einen bürgerverständlichen Begründungsentwurf für die folgende Entscheidung: Welche Faktoren waren einflussreich, im Klartext. Fügen Sie am Ende das Recht auf Berufung und die Möglichkeit einer menschlichen Überprüfung hinzu [mit noch zu bestätigender Zeit]. Verwendung vager Ausdrücke wie „Das System hat so entschieden.“ ENTSCHEIDUNG: [Zusammenfassung und Einflussfaktoren]

4) Überprüfung der Verantwortlichkeit vor der Verbreitung:

Erstellen Sie eine Checkliste zur Rechenschaftspflicht, bevor Sie das KI-gestützte Entscheidungssystem einführen: Ist es erklärbar, gibt es eine Möglichkeit, Einspruch einzulegen, wird ein Prüfpfad (Daten-/Modellversion/Rechenschaftspflicht) geführt, wurden Fairnesstests durchgeführt, wo ist der menschliche Genehmigungspunkt. Markieren Sie fehlende Elemente als Warnsignale.SYSTEM: [Rezept]

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwach: „Ist dieses Entscheidungsmodell fair?“

Strong: „Ihre Rolle ist ein Experte für algorithmische Fairness. Für dieses Hilfspriorisierungsmodell scannen Sie zunächst nach Quellen der Verzerrung (historisch, Darstellung, Ersatzvariable, Messung) und geben Sie jeweils konkrete Beispiele an. Erstellen Sie dann einen Fairness-Testplan: Aufschlüsselung nach Gruppen, Metriken, wie über die Legitimität des Unterschieds entschieden werden soll; fügen Sie die KVKK-Warnung hinzu. Geben Sie schließlich vor der Einführung des Systems eine Checkliste für Erklärbarkeit, Einspruchspfad und Prüfpfad an und kennzeichnen Sie die Mängel mit einer roten Markierung.“

Der Unterschied: Eine starke Aufforderung sucht nach Voreingenommenheit an der Quelle, lässt die Ergebnisse von Gruppen testen und macht die Verantwortlichkeit weit verbreitet.

Gerechtigkeitsdimensionen und -kontrollen

Größe

Risiko

Kontrolle

historische Daten

Die Vergangenheit bringt Ungleichheit mit sich

Testausgabe nach Gruppen

Darstellung

Funktioniert für einige Gruppen schlecht

Gruppenbasierte Fehlerquote

Ersatzvariable

verdeckte Diskriminierung

Variablensensitive Kriteriumsbeziehung

Erklärbarkeit

ungerechtfertigte Entscheidung

Generieren Sie eine einfache Erklärung

Einspruch

Verfall

Menschlicher Überprüfungspfad

Rückkopplungsschleife und Darstellungsfehler

Die heimtückischste Form der algorithmischen Diskriminierung entsteht nicht in einer einzelnen falschen Entscheidung, sondern in einer Rückkopplungsschleife, die sich mit der Zeit verstärkt (die Ausgabe eines Modells wirkt sich auf nachfolgende Trainingsdaten aus und verstärkt so bestehende Verzerrungen). Wenn ein Inspektionsmodell beispielsweise ein bestimmtes Viertel als „risikoreich“ kennzeichnet, sieht das Modell dieses Viertel als riskanter an, je mehr Inspektionen dort durchgeführt werden, desto mehr Datensätze werden erstellt – auch wenn der Unterschied beim betrachteten Standort und nicht beim tatsächlichen Risiko zugenommen hat. Der Grund dafür ist häufig ein Darstellungsfehler (Trainingsdaten spiegeln einige Gruppen unvollständig oder verzerrt wider). Im öffentlichen Sektor können diese Zyklen dazu führen, dass benachteiligte Gruppen zunehmend strenger überwacht und sanktioniert werden. Der Weg, sich zu schützen, besteht darin, die Auswirkungen des Modells zu überwachen, nicht nur seinen Output: die gruppenbasierte Verteilung von Entscheidungen regelmäßig zu überwachen und die Empfehlungen des Modells nicht blind umzusetzen.

Mini-Fall – selbstverherrlichender Zweifel. Ein Modell zur Erkennung von Sozialbetrug kennzeichnete eine Region, die in der Vergangenheit stärker kontrolliert wurde, als Hochrisikoregion. Als das Team die Durchsetzungsintensität aus den Daten extrahierte und die „tatsächliche Erkennungsrate im Verhältnis zur Bevölkerung“ maß, stellte es fest, dass die Unterschiede zwischen den Regionen weitgehend verschwanden; Das Modell verwechselte Ungleichheit mit realem Risiko.

Vorlage für gruppenbasierte Auswirkungskontrolle:

Aufgabe: Untersuchen Sie die folgenden Entscheidungsdaten nach Gruppen (keine personenbezogenen Daten, kategoriale Zusammenfassung).Daten: [Gruppe | Gesamtentscheidung | negative Entscheidungsrate | Inspektionsintensität]Ausgabe: 1) Zeigt die negative Entscheidungsrate einen signifikanten Unterschied zwischen den Gruppen? 2) Könnte der Unterschied auf das tatsächliche Risiko oder die Kontroll-/Darstellungsintensität zurückzuführen sein? 3) Gibt es Anzeichen einer Rückkopplungsschleife? 4) Empfehlungen zur menschlichen Kontrolle. Regel: Feststellung eines Kausalitätsanspruchs; Listen Sie mögliche Erklärungen und Testmöglichkeiten auf.

Achtung: Das Argument, dass „das Modell neutral ist, weil es für alle die gleichen Regeln anwendet“, ist irreführend. Dieselbe Regel bewahrt und vergrößert die Ungleichheit, wenn sie auf verzerrte Daten angewendet wird. Gerechtigkeit wird an der Gleichheit des Ergebnisses gemessen, nicht an der Regel.

Häufige Fehler

• Sensible Daten löschen und denken: „Das ist fair.“ Ersatzvariablen verewigen die Diskriminierung; Testen Sie die Ausgabe.
• Gerechtigkeit an der Absicht messen. Am Ende erscheint Gerechtigkeit; Sortieren Sie Entscheidungen in Gruppen und vergleichen Sie sie.
• Die unterrepräsentierte Gruppe vergessen. Für eine Minderheitengruppe funktioniert das Modell möglicherweise eher schlecht. Siehe gruppenbasierter Fehler.
• Verwendung des ungeklärten Modells bei Entscheidungen zur Gewährung von Rechten. Ein System, das keine Rechtfertigung herbeiführen kann, kann keine öffentlichen Entscheidungen treffen.
• Keine Widerspruchsmöglichkeiten vorgesehen. Jede automatisierte Entscheidung sollte einer menschlichen Überprüfung unterliegen.
• Kein Audit-Trail führen. Es sollte festgehalten werden, mit welchen Daten/Modell/Verantwortlicher die Entscheidung getroffen wurde.

Zusammenfassend

Im öffentlichen Sektor kann KI die Konsistenz erhöhen, aber auch die Diskriminierung der Vergangenheit stillschweigend übertragen. Verzerrungen entstehen durch historische Daten, Darstellungslücken, Proxy-Variablen und ungenaue Messungen. Das Löschen sensibler Daten wird das Problem nicht lösen. Fairness wird erreicht, indem das Ergebnis gruppenübergreifend getestet wird. Und kein Bürger kann dadurch entrechtet werden, dass „das System es so sagt“: Jede Entscheidung muss erklärbar, anfechtbar und überprüfbar sein. Es ist die Institution, die zur Rechenschaft gezogen wird, nicht der Algorithmus.

Anwendungsaufgabe

Wählen Sie einen KI-gestützten oder automatisierten Entscheidungsprozess in Ihrer Einheit. Listen Sie mögliche Verzerrungen auf und finden Sie mit der Vorlage „Source of Bias Scan“ mindestens ein Ersatzvariablenrisiko. Bestimmen Sie mit dem „Fairness-Testplan“, welche Gruppenaufteilungen Sie sich ansehen möchten. Erstellen Sie für eine Musterentscheidung eine bürgernahe Erklärung mit der Vorlage „Entscheidungserklärung“.

Checkliste

• [ ] Ich habe nach Quellen der Verzerrung gesucht (historisch, Darstellung, Proxy, Messung).
• [ ] Ich habe nicht nur sensible Daten gelöscht; Ich habe die Ausgabe nach Gruppen getestet.
• [ ] Ich habe die Fehlerrate für unterrepräsentierte Gruppen kontrolliert.
• [ ] Ich habe für jede Entscheidung eine einfache, erklärbare Begründung geliefert.
• [ ] Ich habe den Einspruchs- und menschlichen Überprüfungspfad definiert.
• [ ] Audit Trail (Daten/Modellversion/Verantwortlicher) wird gepflegt.