Gevinster:
- Den genkender data, design og brugskilder til algoritmisk bias og tester outputtet på gruppebasis.
- Forklarer, hvordan feedbacksløjfen og repræsentationsfejlen forstørrer ulighed og etablerer effektkontrol.
- Det sikrer ansvarlighed ved at sikre forklaring og appel i hver automatiseret beslutning.
Offentligheden skal anvende sin magt ligeligt på alle: ens behandling af to borgere i lignende situationer, forholdsmæssig forskel til forskellige situationer. Dette lighedsprincip er en forfatningsmæssig forpligtelse. Kunstig intelligens kan både forbedre og stille og roligt forstyrre dette felt. Det kan forbedres, fordi en konsekvent anvendt regel kan reducere vilkårlighed og menneskelig skævhed. Det kan være korrumperende, fordi AI-modeller lærer af tidligere data, og tidligere data bærer fortidens diskrimination. Hvis et system er trænet på data, der historisk set har stillet en bestemt gruppe dårligere, bærer det denne ulempe ind i fremtiden - og i en form, der er endnu sværere at opdage, under dække af en "objektiv algoritme." I denne enhed lærer du, hvordan du genkender algoritmisk skævhed (systematisk skævhed af modellens output mod bestemte grupper), når du bruger AI i den offentlige sektor, hvordan du reducerer det og, vigtigst af alt, hvordan du sikrer algoritmisk ansvarlighed (rationalet for, at en automatiseret beslutning kan forklares, revideres og anfægtes).
Hvor kommer bias fra?
Der er flere kilder til algoritmisk bias, og alle er risikable i offentligheden:
- Historisk skævhed: Træningsdata indeholder tidligere ulighed. For eksempel, hvis et område tidligere har haft mindre service, kan "efterspørgselsdata" vise, at området har lave behov - mens efterspørgslen faktisk var lav, fordi der ikke var nogen service.
- Repræsentationsbias: Nogle grupper er underrepræsenteret i dataene (dem uden digital adgang, minoritetssproglige grupper), og modellen fungerer dårligt for dem.
- Proxy bias: Selvom modellen ikke direkte ser på et forbudt kriterium (etnicitet, religion), kan den frembringe den samme diskrimination ved at se på en proxy tilknyttet den (nabolag, navn, postnummer).
- Målingsbias: Det, vi måler, er ikke det, vi rent faktisk ønsker at måle. "Antallet af klager" måler evnen til at klage frem for behovet.
Forsigtig: Det er misvisende at sige "Jeg har fjernet følsomme data (køn, etnicitet) fra modellen, nu er det rimeligt". Diskrimination gennem proxy-variabler kan fortsætte. Retfærdighed opnås ikke ved at slette input, men ved at teste output mellem grupper.
Test af retfærdighed: se output
Hvorvidt et system er retfærdigt eller ej, kan forstås ved at se på dets resultater, ikke dets hensigter. Grundlæggende metode: opdel beslutningen i grupper og sammenlign. Er output som accept/afvisningsprocent, fejlrate, ventetid væsentligt forskellige mellem forskellige grupper (køn, alder, region, indkomst)? Hvis der er en forskel, er denne forskel så baseret på en legitim grund eller er det forskelsbehandling? Da denne analyse kan kræve persondata, skal den aggregeres og udføres i overensstemmelse med KVKK.
Tip: Inden du udruller et nyt AI-drevet beslutningssystem, skal du opdele dets beslutninger efter demografiske grupper og lave en "rimelighedsrapport." Hvis du finder en forskel, "kan denne forskel forklares?" Tag spørgsmålet til et udvalg af mennesker.
Forklarlighed og appel: hjertet af ansvarlighed
I den offentlige sektor kan ingen borger fratages sine rettigheder med svaret "det besluttede systemet." For hver automatiseret eller AI-assisteret beslutning skal tre ting sikres:
- Forklarlighed: Hvad beslutningen var baseret på, hvilke faktorer der var effektive, skal forklares i almindeligt sprog.
- Måde at appellere: Borgerne skal kunne gøre indsigelse mod afgørelsen og bede et menneske om at gennemgå den.
- Revisionsspor: Det skal registreres hvilke data, hvilken model/version og med hvilken ansvarlig person beslutningen er truffet.
tre minisager
Case 1 - Surrogatvariant fanget. En hjælpeprioriteringsmodel brugte ikke følsomme data, men kiggede på "postnummer". I retfærdighedstesten blev visse kvarterer fundet at have systematisk lav prioritet - korreleret med postnummer, indkomst og etnisk tæthed. Variablen blev fjernet, og prioriteringen blev knyttet direkte til behovsindikatorerne.
Sag 2 — Repræsentationskløft. En chatbot var 41 % mere tilbøjelig til at vildlede spørgsmål fra borgere med et ikke-tyrkisk modersmål; Træningsdataene indeholdt kun lidt af denne gruppe. Da flersproget støtte og menneskelig overdragelsestærskel blev tilføjet, lukkede hullet.
Sag 3 — Uforklaret afvisning. En institution afviste automatisk en ansøgning; borger "hvorfor?" På spørgsmålet kunne betjenten ikke forklare, fordi årsagen til modellen ikke var forståelig. Hændelsen viste, at modeller med dårlig forklaring ikke kan bruges til at træffe rettighedsbærende beslutninger; Systemet er blevet transformeret til en model, der genererer begrundelse og kræver menneskelig godkendelse.
Fire kopierbare skabeloner
1) Kilde til bias-scanning:
Din rolle: ekspert i algoritmisk retfærdighed. Se den AI-drevne beslutningsproces nedenfor. Angiv mulige kilder til bias: (1) historisk bias, (2) repræsentationsbias (underrepræsenteret gruppe), (3) proxyvariabler (kolonne forbundet med forbudt kriterium), (4) målebias. Giv et konkret eksempel for hver og fortæl mig, hvordan jeg tester det. PROCES: [beslutningsproces og anvendte data]
2) Retfærdighedstestplan:
Generer en retfærdighedstestplan for følgende beslutningsoutput: hvilke grupper (alder, køn, region, indkomst) skal jeg opdele, hvilke målinger (acceptprocent, fejlrate, ventetid) skal jeg sammenligne, hvordan afgør jeg, om forskellen er legitim eller diskriminerende? Tilføj KVKK-advarsel. AFGØRELSE: [hvilken beslutning]
3) Beslutningserklæring (til borgeren):
Skriv et borgerforståeligt udkast til forklaring til følgende beslutning: hvilke faktorer havde indflydelse, i almindeligt sprog. Tilføj retten til at appellere til sidst og muligheden for at få en menneskelig gennemgang [med tid til at blive bekræftet]. Brug af vage udtryk som "Systemet besluttede det." BESLUTNING: [resumé og indflydelsesfaktorer]
4) Kontrol af ansvarlighed før formidling:
Udarbejd en ansvarlighedstjekliste, før det AI-drevne beslutningssystem udrulles: kan det forklares, er der en måde at appellere på, vedligeholdes et revisionsspor (data/modelversion/ansvarlig), er der foretaget retfærdighedstest, hvor er det menneskelige godkendelsespunkt. Flag manglende elementer som røde flag.SYSTEM: [opskrift]
Svag prompt / Stærk prompt
Svag: "Er denne beslutningsmodel fair?"
Stærk: "Din rolle er algoritmisk retfærdighedsekspert. For denne bistandsprioriteringsmodel skal du først scanne for kilder til bias (historisk, repræsentation, surrogatvariabel, måling) og give konkrete eksempler for hver. Kom derefter med en retfærdighedstestplan: opdeling efter hvilke grupper, hvilke metrics, hvordan man beslutter legitimiteten af forskellen; tjek endelig KVKK-systemet, før advarsel udrulning, forklar en advarsel. sti og revisionsspor, og rød markering af manglerne."
Forskellen: en stærk prompt leder efter bias ved sin kilde, får outputtet testet af grupper og gør ansvarlighed udbredt.
Retfærdighedsdimensioner og kontroller
Størrelse
Risiko
kontrol
historiske data
Fortiden rummer ulighed
Test output efter grupper
repræsentation
Fungerer dårligt for nogle grupper
Gruppebaseret fejlrate
surrogatvariabel
skjult diskrimination
Variabelfølsomt kriterieforhold
Forklarlighed
uberettiget beslutning
Generer en simpel forklaring
indsigelse
fortabelse
Menneskelig gennemgangsvej
Feedback loop og repræsentationsfejl
Den mest lumske form for algoritmisk diskrimination forekommer ikke i en enkelt forkert beslutning, men i en feedback-loop, der forstærker sig selv over tid (en models output påvirker efterfølgende træningsdata, hvilket forstærker eksisterende bias). For eksempel, hvis en inspektionsmodel markerer et bestemt kvarter som "risikofyldt", jo flere inspektioner, der går der, jo flere registreringer oprettes, modellen ser det kvarter som mere risikabelt - selvom forskellen er steget i den placering, der ses på, ikke i den faktiske risiko. Det, der baner vejen for dette, er ofte en repræsentationsfejl (træningsdata, der afspejler nogle grupper ufuldstændigt eller forvrænget). I den offentlige sektor kan disse cyklusser placere dårligt stillede grupper under stadig strengere overvågning og sanktioner. Måden at beskytte dig selv på er at overvåge effekten af modellen, ikke kun dens output: at regelmæssigt overvåge den gruppebaserede fordeling af beslutninger og ikke blindt at implementere modellens anbefalinger.
Mini sag — selvforhøjende tvivl. En model for afsløring af velfærdssvig markerer en region, der tidligere var blevet mere strengt inspiceret, som højrisiko. Da holdet udtog håndhævelsesintensiteten fra dataene og målte den "sande detektionsrate i forhold til befolkningen", fandt de ud af, at forskellene mellem regionerne stort set forsvandt; Modellen forvekslede ulighed med reel risiko.
Gruppebaseret skabelon for effektkontrol:
Opgave: Undersøg følgende beslutningsdata efter grupper (ingen personlige data, kategorisk resumé). Data: [gruppe | samlet beslutning | negativ beslutningsrate | inspektionsintensitet]Output: 1) Viser den negative beslutningsrate en signifikant forskel mellem grupperne? 2) Kan forskellen skyldes faktisk risiko eller kontrol/repræsentationsintensitet? 3) Er der tegn på en feedback-loop? 4) Anbefalinger for menneskelig kontrol.Regel: Etablering af en kausalitetspåstand; Angiv mulige forklaringer og måder at teste på.
Forsigtig: Argumentet om, at "modellen er neutral, fordi den anvender den samme regel for alle" er misvisende. Den samme regel, når den anvendes på skæve data, bevarer og forstørrer ulighed. Retfærdighed måles ved ligheden af resultatet, ikke reglen.
Almindelige fejl
- Sletning af følsomme data og tænkt "det er rimeligt". Surrogatvariabler fastholder diskrimination; test outputtet.
- Måling af retfærdighed efter hensigt. Retfærdighed viser sig til sidst; Sorter beslutninger i grupper og sammenlign.
- Glemmer den underrepræsenterede gruppe. Modellen fungerer måske stille og roligt dårligt for en minoritetsgruppe; Se gruppebaseret fejl.
- Brug af den uforklarede model i rettighedsgivende beslutninger. Et system, der ikke kan frembringe begrundelse, kan ikke træffe offentlige beslutninger.
- Ingen indsigelsesmuligheder. Enhver automatiseret beslutning bør være genstand for menneskelig kontrol.
- Holder ikke et revisionsspor. Det skal registreres, hvilken data/model/ansvarlig beslutningen er truffet med.
Sammenfattende
I den offentlige sektor kan kunstig intelligens øge konsistensen, men også stille og roligt videreføre fortidens diskrimination. Bias kommer fra historiske data, repræsentationsgab, proxyvariabler og unøjagtig måling; Sletning af følsomme data løser det ikke. Retfærdighed opnås ved at teste resultatet på tværs af grupper. Og ingen borger kan fratages deres rettigheder af "systemet sagde det": enhver beslutning skal kunne forklares, anfægtes og revideres. Det er institutionen, der holdes ansvarlig, ikke algoritmen.
Ansøgningsopgave
Vælg en AI-drevet eller automatiseret beslutningsproces i din enhed. Angiv mulige skævheder, og find mindst én surrogatvariabel risiko med skabelonen "Kilde til biasscanning". Bestem, hvilke gruppeopdelinger der skal ses på med "fairness test planen". For en prøveafgørelse skal du fremstille en borgervendt forklaring med skabelonen "Beslutningsforklaring".
tjekliste
- [ ] Jeg scannede for kilder til bias (historisk, repræsentation, proxy, måling).
- [ ] Jeg slettede ikke bare følsomme data; Jeg testede output efter grupper.
- [ ] Jeg kontrollerede fejlprocenten for underrepræsenterede grupper.
- [ ] Jeg har givet en enkel, forklarlig begrundelse for hver beslutning.
- [ ] Jeg har defineret indsigelse og menneskelig gennemgang.
- [ ] Revisionsspor (data/modelversion/ansvarlig) vedligeholdes.