Winst:
- Het herkent data-, ontwerp- en gebruiksbronnen van algoritmische vooringenomenheid en test de output op groepsbasis.
- Legt uit hoe de feedbackloop en representatiefout de ongelijkheid vergroten en impactbeheersing tot stand brengen.
- Het zorgt voor verantwoording door te zorgen voor uitlegbaarheid en beroep bij elk geautomatiseerd besluit.
Het publiek moet zijn macht op gelijke wijze op iedereen toepassen: een gelijke behandeling voor twee burgers in vergelijkbare situaties, evenredige verschillen voor verschillende situaties. Dit gelijkheidsbeginsel is een grondwettelijke verplichting. Kunstmatige intelligentie kan dit vakgebied zowel verbeteren als stilletjes ontwrichten. Het kan verbeteren omdat een consequent toegepaste regel willekeur en menselijke vooringenomenheid kan verminderen. Het kan corrumperend zijn omdat AI-modellen leren van gegevens uit het verleden, en gegevens uit het verleden dragen de discriminatie uit het verleden met zich mee. Als een systeem wordt getraind op gegevens die historisch gezien een bepaalde groep hebben benadeeld, neemt het dat nadeel mee naar de toekomst – en in een vorm die nog moeilijker te detecteren is, onder het mom van een ‘objectief algoritme’. In dit onderdeel leer je hoe je algoritmische vooringenomenheid (systematische vooringenomenheid van de modeluitvoer ten opzichte van bepaalde groepen) kunt herkennen bij het gebruik van AI in de publieke sector, hoe je deze kunt verminderen en, belangrijker nog, hoe je algoritmische verantwoording kunt garanderen (de grondgedachte voor een geautomatiseerde beslissing is verklaarbaar, controleerbaar en betwistbaar).
Waar komt vooroordeel vandaan?
Er zijn verschillende bronnen van algoritmische vooringenomenheid, en deze zijn allemaal riskant in het openbaar:
- Historische bias: trainingsgegevens bevatten ongelijkheid uit het verleden. Als een gebied in het verleden bijvoorbeeld minder dienstverlening heeft gehad, kunnen “vraaggegevens” aantonen dat dat gebied weinig behoeften heeft – terwijl de vraag in feite laag was omdat er geen dienstverlening was.
- Representatiebias: Sommige groepen zijn ondervertegenwoordigd in de gegevens (mensen zonder digitale toegang, minderheidstaalgroepen) en het model werkt slecht voor hen.
- Proxy bias: Zelfs als het model niet direct naar een verboden criterium (etniciteit, religie) kijkt, kan het dezelfde discriminatie veroorzaken door te kijken naar een proxy die daarmee geassocieerd is (buurt, naam, postcode).
- Meetbias: wat we meten, is niet wat we eigenlijk willen meten. Het ‘aantal klachten’ meet eerder het vermogen om te klagen dan de noodzaak.
Let op: het is misleidend om te zeggen: "Ik heb gevoelige gegevens (geslacht, etniciteit) uit het model verwijderd, nu is het eerlijk". Discriminatie via proxyvariabelen kan blijven bestaan. Eerlijkheid wordt niet bereikt door de invoer te verwijderen, maar door de uitvoer tussen groepen te testen.
Eerlijkheid testen: zie de output
Of een systeem eerlijk is of niet, kan worden begrepen door naar de resultaten te kijken, niet naar de bedoelingen. Basismethode: verdeel de beslissing in groepen en vergelijk. Verschillen uitkomsten zoals het acceptatie-/afwijzingspercentage, het foutenpercentage en de wachttijd aanzienlijk tussen verschillende groepen (geslacht, leeftijd, regio, inkomen)? Als er een verschil is, berust dit verschil dan op een legitieme reden of is er sprake van discriminatie? Omdat voor deze analyse mogelijk persoonsgegevens nodig zijn, moet deze worden geaggregeerd en uitgevoerd in overeenstemming met KVKK.
Tip: Voordat u een nieuw AI-aangedreven beslissingssysteem uitrolt, moet u de beslissingen ervan opsplitsen in demografische groepen en een ‘eerlijkheidsrapport’ opstellen. Als u een verschil vindt, "kan dit verschil dan verklaard worden?" Leg de vraag voor aan een commissie van mensen.
Uitlegbaarheid en aantrekkingskracht: de kern van verantwoording
In de publieke sector kan geen enkele burger van zijn rechten worden beroofd met het antwoord 'het systeem heeft zo besloten'. Voor elke geautomatiseerde of AI-ondersteunde beslissing moeten drie dingen worden gewaarborgd:
- Uitlegbaarheid: Waar de beslissing op gebaseerd was, welke factoren effectief waren, moet in duidelijke taal worden uitgelegd.
- Manier om in beroep te gaan: Burgers moeten bezwaar kunnen maken tegen de beslissing en een mens kunnen vragen deze te herzien.
- Audit trail: Er moet worden vastgelegd welke gegevens, welk model/versie en bij welke verantwoordelijke persoon de beslissing is genomen.
drie minikoffers
Geval 1 – Surrogaatvariant vastgelegd. Eén model voor het prioriteren van hulp maakte geen gebruik van gevoelige gegevens, maar keek naar ‘postcode’. Uit de eerlijkheidstest bleek dat bepaalde buurten systematisch een lage prioriteit kregen – gecorreleerd met postcode, inkomen en etnische dichtheid. De variabele werd verwijderd en de prioriteit werd rechtstreeks gekoppeld aan de behoefteindicatoren.
Geval 2 — Representatiekloof. Een chatbot had 41% meer kans om vragen van burgers met een niet-Turkse moedertaal te misleiden; De trainingsgegevens bevatten weinig van deze groep. Toen meertalige ondersteuning en de drempel voor menselijke overdracht werden toegevoegd, werd de kloof gedicht.
Geval 3 – Onverklaarbare afwijzing. Een instelling heeft automatisch een aanvraag afgewezen; burger "waarom?" Desgevraagd kon de agent geen uitleg geven omdat de reden voor het model niet begrijpelijk was. Het incident heeft aangetoond dat modellen met een slechte verklaarbaarheid niet kunnen worden gebruikt om rechtendragende beslissingen te nemen; Het systeem is getransformeerd in een model dat rechtvaardiging genereert en menselijke goedkeuring vereist.
Vier kopieerbare sjablonen
1) Bron van bias-scannen:
Jouw rol: expert op het gebied van algoritmische eerlijkheid. Bekijk hieronder het door AI aangedreven besluitvormingsproces. Noem mogelijke bronnen van vertekening: (1) historische vertekening, (2) representatievertekening (ondervertegenwoordigde groep), (3) proxyvariabelen (kolom geassocieerd met verboden criterium), (4) meetvertekening. Geef voor elk een concreet voorbeeld en vertel me hoe ik het kan testen. PROCES: [beslissingsproces en gebruikte gegevens]
2) Eerlijkheidstestplan:
Genereer een eerlijkheidstestplan voor de volgende beslissingsresultaten: welke groepen (leeftijd, geslacht, regio, inkomen) moet ik uitsplitsen, welke statistieken (acceptatiepercentage, foutenpercentage, wachttijd) moet ik vergelijken, hoe bepaal ik of het verschil legitiem of discriminerend is? Voeg KVKK-waarschuwing toe. BESLUIT: [welke beslissing]
3) Beslissingsverklaring (aan de burger):
Schrijf een voor de burger begrijpelijke conceptverklaring voor de volgende beslissing: welke factoren waren van invloed, in duidelijke taal. Voeg het recht toe om aan het eind in beroep te gaan en de mogelijkheid van een menselijke beoordeling [met nog te bevestigen tijd]. Vage uitdrukkingen gebruiken zoals 'Het systeem heeft dit besloten'. BESLUIT: [samenvatting en beïnvloedende factoren]
4) Controle van de verantwoording vóór verspreiding:
Stel een verantwoordingschecklist op voordat u het door AI aangedreven besluitvormingssysteem uitrolt: is dit verklaarbaar, is er een manier om in beroep te gaan, wordt er een audittrail (gegevens/modelversie/verantwoording) bijgehouden, zijn er eerlijkheidstests uitgevoerd, waar ligt het menselijke goedkeuringspunt. Markeer ontbrekende items als rode vlaggen.SYSTEEM: [recept]
Zwakke prompt/sterke prompt
Zwak: “Is dit beslissingsmodel eerlijk?”
Strong: "Jouw rol is expert op het gebied van algoritmische eerlijkheid. Voor dit model voor het prioriteren van hulp moet je eerst zoeken naar bronnen van vooringenomenheid (historisch, representatie, surrogaatvariabele, meting) en concrete voorbeelden geven voor elk daarvan. Bedenk vervolgens een plan voor het testen van de eerlijkheid: uitsplitsing naar welke groepen, welke maatstaven, hoe je de legitimiteit van het verschil kunt bepalen; voeg de KVKK-waarschuwing toe. Geef ten slotte, voordat je het systeem uitrolt, een checklist voor verklaarbaarheid, beroepspad en audittrail, en geef een alarmsignaal voor de tekortkomingen."
Het verschil: een sterke prompt zoekt naar vooroordelen bij de bron, laat de resultaten door groepen testen en maakt verantwoording wijdverspreid.
Afmetingen en controles van justitie
Grootte
Risico
controle
historische gegevens
Het verleden brengt ongelijkheid met zich mee
Testuitvoer per groep
vertegenwoordiging
Werkt slecht voor een bepaalde groep
Op groepen gebaseerd foutenpercentage
surrogaatvariabele
heimelijke discriminatie
Variabelgevoelige criteriumrelatie
Uitlegbaarheid
onterechte beslissing
Genereer een eenvoudige uitleg
bezwaar
verbeurdverklaring
Menselijk beoordelingspad
Feedbacklus en weergavefout
De meest verraderlijke vorm van algoritmische discriminatie vindt niet plaats in een enkele verkeerde beslissing, maar in een feedbacklus die zichzelf in de loop van de tijd versterkt (de output van een model beïnvloedt daaropvolgende trainingsgegevens, waardoor bestaande vooroordelen worden versterkt). Als een inspectiemodel bijvoorbeeld een bepaalde buurt als ‘risicovol’ bestempelt, geldt dat hoe meer inspecties daar plaatsvinden, hoe meer records er worden aangemaakt. Het model beschouwt die buurt als risicovoller – ook al is het verschil groter geworden in de bekeken locatie, en niet in het daadwerkelijke risico. Wat hiervoor de weg vrijmaakt, is vaak een representatiefout (trainingsgegevens geven sommige groepen onvolledig of vervormd weer). In de publieke sector kunnen deze cycli kansarme groepen onder steeds strenger toezicht en sancties plaatsen. De manier om jezelf te beschermen is door de impact van het model te monitoren, en niet alleen de output ervan: door regelmatig de groepsgebaseerde verdeling van beslissingen te monitoren en de aanbevelingen van het model niet blindelings te implementeren.
Minizaak – zelfverheerlijkende twijfel. Een model voor de detectie van welzijnsfraude markeerde een regio die in het verleden zwaarder geïnspecteerd was als een hoog risico. Toen het team de handhavingsintensiteit uit de gegevens haalde en het ‘echte detectiepercentage in verhouding tot de bevolking’ meet, ontdekten ze dat de verschillen tussen regio’s grotendeels verdwenen; Het model zag ongelijkheid aan voor reëel risico.
Op groepen gebaseerde impactcontrolesjabloon:
Taak: Onderzoek de volgende beslissingsgegevens per groep (geen persoonsgegevens, categorische samenvatting). Gegevens: [groep | totale beslissing | percentage negatieve beslissingen | inspectie-intensiteit]Output: 1) Toont het negatieve beslissingspercentage een significant verschil tussen groepen? 2) Kan het verschil te wijten zijn aan het werkelijke risico of de intensiteit van de controle/representatie? 3) Zijn er tekenen van een feedbackloop? 4) Aanbevelingen voor menselijke controle. Regel: vaststellen van een causaliteitsclaim; Noem mogelijke verklaringen en manieren om te testen.
Let op: het argument dat “het model neutraal is omdat het op iedereen dezelfde regel toepast” is misleidend. Wanneer dezelfde regel wordt toegepast op scheve gegevens, wordt de ongelijkheid in stand gehouden en vergroot. Gerechtigheid wordt gemeten aan de hand van de gelijkheid van de uitkomst, niet aan de hand van de regel.
Veel voorkomende fouten
- Gevoelige gegevens verwijderen en denken "het is eerlijk". Surrogaatvariabelen houden de discriminatie in stand; test de uitvoer.
- Het meten van rechtvaardigheid door middel van opzet. Uiteindelijk verschijnt gerechtigheid; Sorteer beslissingen in groepen en vergelijk.
- We vergeten de ondervertegenwoordigde groep. Het model werkt misschien stilletjes slecht voor een minderheidsgroep; Zie op groepen gebaseerde fout.
- Het onverklaarde model gebruiken bij beslissingen over het verlenen van rechten. Een systeem dat geen rechtvaardiging kan voortbrengen, kan geen publieke beslissingen nemen.
- Geen mogelijkheid tot verzet voorzien. Elk geautomatiseerd besluit moet onderworpen zijn aan menselijke beoordeling.
- Geen audit trail bijhouden. Er moet worden vastgelegd met welke gegevens/model/verantwoordelijke de beslissing is genomen.
Samengevat
In de publieke sector kan AI de consistentie vergroten, maar ook de discriminatie uit het verleden stilletjes overdragen. Vertekening komt voort uit historische gegevens, representatiekloof, proxyvariabelen en onnauwkeurige metingen; Het verwijderen van gevoelige gegevens zal het probleem niet oplossen. Eerlijkheid wordt bereikt door de uitkomst binnen groepen te testen. En geen enkele burger kan zijn kiesrecht worden ontnomen door ‘het systeem zei het’: elke beslissing moet verklaarbaar, betwistbaar en controleerbaar zijn. Het is de instelling die verantwoordelijk wordt gehouden, niet het algoritme.
Applicatie taak
Kies een AI-aangedreven of geautomatiseerd besluitvormingsproces in uw eenheid. Maak een lijst van mogelijke biases en vind ten minste één surrogaatvariabel risico met de sjabloon ‘Source of bias scan’. Bepaal naar welke groepsindelingen gekeken moet worden met het ‘eerlijkheidstestplan’. Voor een voorbeeldbesluit maakt u een burgergerichte toelichting met het sjabloon 'Besluittoelichting'.
controlelijst
- [ ] Ik heb gescand op bronnen van vooringenomenheid (historisch, representatie, proxy, meting).
- [ ] Ik heb niet alleen gevoelige gegevens verwijderd; Ik heb de uitvoer per groep getest.
- [ ] Ik controleerde het foutenpercentage voor ondervertegenwoordigde groepen.
- [ ] Ik heb voor elke beslissing een eenvoudige, verklaarbare rechtvaardiging gegeven.
- [ ] Ik heb het bezwaar- en menselijke beoordelingspad gedefinieerd.
- [ ] Audittrail (data/modelversie/verantwoordelijk) wordt bijgehouden.