Dobički:
- Prepozna vire podatkov, zasnove in uporabe algoritemske pristranskosti ter preskusi rezultate na skupinski osnovi.
- Pojasnjuje, kako povratna zanka in napaka predstavitve povečata neenakost in vzpostavita nadzor vpliva.
- Zagotavlja odgovornost z zagotavljanjem razložljivosti in pritožbe pri vsaki avtomatizirani odločitvi.
Javnost mora svojo moč uporabiti enako za vse: enako obravnavanje dveh državljanov v podobnih situacijah, sorazmerna razlika za različne situacije. To načelo enakosti je ustavna obveznost. Umetna inteligenca lahko to področje tako izboljša kot tiho moti. Lahko se izboljša, ker lahko dosledno uporabljeno pravilo zmanjša samovoljo in človeško pristranskost. Lahko je škodljivo, ker se modeli AI učijo iz preteklih podatkov, pretekli podatki pa nosijo diskriminacijo preteklosti. Če je sistem usposobljen na podlagi podatkov, ki so določeno skupino zgodovinsko prikrajšali, prenese to pomanjkljivost v prihodnost – in to v obliki, ki jo je še težje zaznati, pod krinko »objektivnega algoritma«. V tej enoti se boste naučili, kako prepoznati algoritemsko pristranskost (sistematično pristranskost izhoda modela proti določenim skupinam) pri uporabi umetne inteligence v javnem sektorju, kako jo zmanjšati in, kar je najpomembnejše, kako zagotoviti algoritemsko odgovornost (utemeljitev za avtomatizirano odločitev, ki je razložljiva, revizijska in izpodbojna).
Od kod prihaja pristranskost?
Obstaja več virov algoritemske pristranskosti in vsi so tvegani v javnosti:
- Zgodovinska pristranskost: podatki o usposabljanju vsebujejo preteklo neenakost. Na primer, če je bilo na območju v preteklosti manj storitev, lahko »podatki o povpraševanju« pokažejo, da ima to območje nizke potrebe – čeprav je bilo povpraševanje v resnici nizko, ker ni bilo storitev.
- Pristranskost zastopanja: nekatere skupine so premalo zastopane v podatkih (tiste brez digitalnega dostopa, manjšinske jezikovne skupine) in model zanje slabo deluje.
- Pristranskost posrednika: Tudi če model ne obravnava neposredno prepovedanega kriterija (etnična pripadnost, vera), lahko povzroči enako diskriminacijo, če pogleda posrednik, povezan z njim (soseska, ime, poštna številka).
- Pristranskost merjenja: To, kar merimo, ni tisto, kar dejansko želimo izmeriti. "Število pritožb" meri zmožnost pritoževanja in ne potrebe.
Pozor: Zavajajoče je reči: "Iz modela sem odstranil občutljive podatke (spol, etnično pripadnost), zdaj je pošteno". Diskriminacija prek proxy spremenljivk se lahko nadaljuje. Poštenost se ne doseže z brisanjem vnosa, temveč s preizkušanjem izhoda med skupinami.
Testiranje poštenosti: glejte rezultat
Ali je sistem pošten ali ne, je mogoče razumeti, če pogledamo njegove rezultate, ne pa namere. Osnovna metoda: odločitev razdelite v skupine in primerjajte. Ali se rezultati, kot so stopnja sprejema/zavrnitve, stopnja napak, čakalna doba, bistveno razlikujejo med različnimi skupinami (spol, starost, regija, dohodek)? Če obstaja razlika, ali ta razlika temelji na zakonitem razlogu ali gre za diskriminacijo? Ker lahko ta analiza zahteva osebne podatke, mora biti agregirana in izvedena v skladu s KVKK.
Namig: preden uvedete nov sistem odločanja, ki ga poganja umetna inteligenca, razčlenite njegove odločitve po demografskih skupinah in pripravite »poročilo o pravičnosti«. Če najdete razliko, "ali je to razliko mogoče razložiti?" Predajte vprašanje odboru ljudi.
Razložljivost in privlačnost: srce odgovornosti
V javnem sektorju nobenemu državljanu ni mogoče kratiti pravic z odgovorom "tako je odločil sistem." Za vsako avtomatizirano ali z umetno inteligenco podprto odločitev je treba zagotoviti tri stvari:
- Razložljivost: Na čem je temeljila odločitev, kateri dejavniki so bili učinkoviti, je treba pojasniti v preprostem jeziku.
- Način pritožbe: Državljani bi morali imeti možnost ugovarjati odločitvi in prositi osebo, da jo pregleda.
- Revizijska sled: Zabeležiti je treba, kateri podatki, kateri model/verzija in pri kateri odgovorni osebi je bila sprejeta odločitev.
trije mini kovčki
Primer 1 – Zajeta nadomestna različica. En model določanja prednosti pomoči ni uporabil občutljivih podatkov, temveč je upošteval »poštno številko«. V testu poštenosti je bilo ugotovljeno, da nekatere soseske prejemajo sistematično nizko prednost - v povezavi s poštno številko, dohodkom in etnično gostoto. Spremenljivka je bila odstranjena in prioriteta je bila neposredno povezana s kazalniki potreb.
Primer 2 – Vrzel v zastopanosti. Klepetalni robot je imel 41 % večjo verjetnost, da bo zavedel vprašanja državljanov, katerih materni jezik ni turški; Podatki o usposabljanju so vsebovali malo te skupine. Ko sta bila dodana večjezična podpora in prag človeške predaje, se je vrzel zapolnila.
Primer 3 – Nepojasnjena zavrnitev. Institucija je samodejno zavrnila vlogo; državljan "zakaj?" Na vprašanje policist ni mogel pojasniti, ker razlog za model ni bil razumljiv. Incident je pokazal, da modelov s slabo razložljivostjo ni mogoče uporabiti za sprejemanje odločitev, ki prinašajo pravice; Sistem je bil spremenjen v model, ki ustvarja utemeljitev in zahteva človeško odobritev.
Štiri predloge za kopiranje
1) Skeniranje vira pristranskosti:
Vaša vloga: strokovnjak za pravičnost algoritmov. Spodaj si oglejte postopek odločanja, ki ga poganja AI. Naštejte možne vire pristranskosti: (1) zgodovinska pristranskost, (2) pristranskost reprezentacije (premalo zastopana skupina), (3) nadomestne spremenljivke (stolpec, povezan s prepovedanim kriterijem), (4) pristranskost meritev. Navedite konkreten primer za vsakega in mi povejte, kako naj ga preizkusim. POSTOPEK: [postopek odločanja in uporabljeni podatki]
2) Načrt preizkusa pravičnosti:
Ustvarite načrt testiranja poštenosti za naslednji izhod odločitve: katere skupine (starost, spol, regija, dohodek) naj razčlenim, katere meritve (stopnjo sprejemljivosti, stopnjo napak, čakalni čas) naj primerjam, kako se odločim, ali je razlika legitimna ali diskriminatorna? Dodajte opozorilo KVKK. ODLOČITEV: [kakšna odločitev]
3) Odločitev (občanu):
Napišite državljanom razumljiv osnutek obrazložitve naslednje odločitve: kateri dejavniki so vplivali, v preprostem jeziku. Na koncu dodajte pravico do pritožbe in možnost človeškega pregleda [čas bo potrjen]. Uporaba nejasnih izrazov, kot je "Sistem se je tako odločil." ODLOČITEV: [povzetek in dejavniki vpliva]
4) Preverjanje odgovornosti pred razširjanjem:
Izdelajte kontrolni seznam odgovornosti, preden uvedete sistem odločanja, ki ga poganja umetna inteligenca: ali je razložljiv, ali obstaja način za pritožbo, ali se vzdržuje revizijska sled (različica podatkov/modela/odgovorno), ali je bilo opravljeno testiranje poštenosti, kje je točka človeške odobritve. Manjkajoče elemente označi kot rdeče zastavice. SISTEM: [recept]
Šibek poziv/močan poziv
Slabo: "Ali je ta model odločanja pravičen?"
Strong: "Vaša vloga je algoritemski strokovnjak za pravičnost. Za ta model določanja prednosti pomoči najprej poiščite vire pristranskosti (zgodovinski, reprezentativni, nadomestne spremenljivke, meritve) in navedite konkretne primere za vsakega. Nato pripravite načrt testiranja poštenosti: razčlenitev po skupinah, katere meritve, kako se odločiti o legitimnosti razlike; dodajte opozorilo KVKK. Nazadnje, preden uvedete sistem, dajte kontrolni seznam za razložljivost, pritožbena pot in revizijska sled ter opozoriti na pomanjkljivosti."
Razlika: močan poziv išče pristranskost pri njenem viru, rezultate testirajo skupine in poskrbi za splošno odgovornost.
Razsežnosti in kontrole pravičnosti
Velikost
Tveganje
nadzor
zgodovinski podatki
Preteklost nosi neenakost
Preizkusite rezultate po skupinah
reprezentanca
Za nekatere skupine deluje slabo
Stopnja napak na podlagi skupine
nadomestna spremenljivka
prikrito diskriminacijo
Razmerje merila, občutljivega na spremenljivko
Razložljivost
neupravičena odločitev
Ustvari preprosto razlago
ugovor
zaplemba
Pot človeškega pregleda
Povratna zanka in napaka pri predstavitvi
Najbolj zahrbtna oblika algoritemske diskriminacije se ne pojavi v eni sami napačni odločitvi, ampak v povratni zanki, ki se sčasoma krepi (izhod modela vpliva na podatke o nadaljnjem usposabljanju in krepi obstoječo pristranskost). Na primer, če inšpekcijski model določeno sosesko označi kot »tvegano«, več inšpekcijskih pregledov je tam opravljenih, več zapisov je ustvarjenih, model vidi to sosesko kot bolj tvegano – čeprav se je razlika povečala v pregledani lokaciji, ne v dejanskem tveganju. Tisto, kar utira pot temu, je pogosto napaka v predstavitvi (podatki o usposabljanju, ki nekatere skupine odražajo nepopolno ali izkrivljeno). V javnem sektorju lahko ti cikli postavijo prikrajšane skupine pod vse hujši nadzor in sankcije. Način, da se zaščitite, je spremljanje vpliva modela, ne le njegovega rezultata: redno spremljanje skupinske porazdelitve odločitev in ne slepo izvajanje priporočil modela.
Mini primer — dvom o samopoveličevanju. Model za odkrivanje goljufij na področju blaginje je označil regijo, ki je bila v preteklosti strožje inšpekcijska, kot visoko tvegano. Ko je ekipa iz podatkov izluščila intenzivnost uveljavljanja in izmerila »dejansko stopnjo odkrivanja glede na populacijo«, je ugotovila, da so razlike med regijami večinoma izginile; Model je neenakost zamenjal za resnično tveganje.
Predloga za nadzor vpliva na podlagi skupine:
Naloga: Preglejte naslednje podatke o odločitvah po skupinah (brez osebnih podatkov, kategorični povzetek). Podatki: [skupina | skupna odločitev | stopnja negativne odločitve | Intenzivnost inšpekcijskega pregleda] Rezultat: 1) Ali stopnja negativnih odločitev kaže pomembno razliko med skupinami? 2) Ali je razlika lahko posledica dejanskega tveganja ali intenzivnosti nadzora/predstavljanja? 3) Ali obstajajo znaki povratne zanke? 4) Priporočila za človeški nadzor. Pravilo: Vzpostavitev trditve o vzročnosti; Navedite možne razlage in načine testiranja.
Pozor: argument, da je "model nevtralen, ker za vse uporablja isto pravilo", je zavajajoč. Isto pravilo, ko se uporabi za izkrivljene podatke, ohranja in povečuje neenakost. Pravičnost se meri po enakosti izida, ne po pravilu.
Pogoste napake
- Brisanje občutljivih podatkov in razmišljanje "to je pošteno". Nadomestne spremenljivke ohranjajo diskriminacijo; preizkusite izhod.
- Merjenje pravičnosti z namenom. Pravica se pojavi na koncu; Odločitve razvrstite v skupine in primerjajte.
- Pozabljamo na premalo zastopano skupino. Model lahko tiho deluje slabo za manjšinsko skupino; Oglejte si skupinsko napako.
- Uporaba nepojasnjenega modela pri odločitvah o podeljevanju pravic. Sistem, ki ne more ustvariti utemeljitve, ne more sprejemati javnih odločitev.
- Ne zagotavlja nobenega sredstva za ugovor. Vsaka avtomatizirana odločitev mora biti predmet človeškega pregleda.
- Ne vodenje revizijske sledi. Zapisano je treba, s katerimi podatki/modelom/odgovorno osebo je bila odločitev sprejeta.
Če povzamem
V javnem sektorju lahko umetna inteligenca poveča doslednost, a tudi tiho prenese diskriminacijo iz preteklosti. Pristranskost izhaja iz preteklih podatkov, vrzeli v predstavitvi, približnih spremenljivk in netočnih meritev; Z brisanjem občutljivih podatkov težave ne boste rešili. Pravičnost se doseže s testiranjem rezultatov v skupinah. In nobenemu državljanu ne more biti odvzeta volilna pravica s tem, da je "tako rekel sistem": vsaka odločitev mora biti razložljiva, izpodbojna in revizijska. Odgovorna je institucija, ne algoritem.
Aplikacijska naloga
V svoji enoti izberite postopek odločanja, ki ga poganja AI ali avtomatiziran. Navedite možne pristranskosti in poiščite vsaj eno nadomestno spremenljivko tveganja s predlogo »Skeniranje vira pristranskosti«. Z "načrtom preizkusa poštenosti" določite, katere razčlenitve po skupinah si želite ogledati. Za vzorec odločitve izdelajte razlago za državljane s predlogo »Obrazložitev odločitve«.
kontrolni seznam
- [ ] Iskal sem vire pristranskosti (zgodovinski, reprezentativni, približni, meritveni).
- [ ] Nisem samo izbrisal občutljivih podatkov; Testiral sem rezultate po skupinah.
- [ ] Nadzoroval sem stopnjo napak za premalo zastopane skupine.
- [ ] Za vsako odločitev sem podal preprosto in razumljivo utemeljitev.
- [ ] Določil sem ugovor in pot človeškega pregleda.
- [ ] Revizijska sled (podatki/različica modela/odgovorni) se vzdržuje.