Sąžiningumas, diskriminacija ir algoritminė atskaitomybė

Pelnas:

• Jis atpažįsta duomenis, projektavimo ir naudojimo algoritminio šališkumo šaltinius ir tikrina išvestį grupės pagrindu.
• Paaiškina, kaip grįžtamojo ryšio kilpa ir vaizdavimo klaida padidina nelygybę ir nustato poveikio kontrolę.
• Jis užtikrina atskaitomybę, užtikrindamas kiekvieno automatizuoto sprendimo paaiškinamumą ir apskundimą.

Visuomenė turi taikyti savo galią visiems vienodai: panašus požiūris į du piliečius panašiose situacijose, proporcingas skirtumas skirtingoms situacijoms. Šis lygybės principas yra konstitucinė prievolė. Dirbtinis intelektas gali ir tobulinti, ir tyliai sutrikdyti šią sritį. Ji gali pagerėti, nes nuosekliai taikoma taisyklė gali sumažinti savivalę ir žmonių šališkumą. Tai gali būti žalinga, nes AI modeliai mokosi iš praeities duomenų, o praeities duomenys yra praeities diskriminacija. Jei sistema apmokoma duomenų, kurie istoriškai buvo nepalankioje padėtyje tam tikrai grupei, ji perkelia tą trūkumą į ateitį ir tokia forma, kurią dar sunkiau aptikti, prisidengiant „objektyviu algoritmu“. Šiame skyriuje sužinosite, kaip atpažinti algoritminį poslinkį (sisteminį modelio išvesties poslinkį prieš tam tikras grupes), kai naudojamas dirbtinis intelektas viešajame sektoriuje, kaip jį sumažinti ir, svarbiausia, kaip užtikrinti algoritminę atskaitomybę (automatinio sprendimo priežastis yra paaiškinama, audituojama ir ginčijama).

Iš kur atsiranda šališkumas?

Yra keli algoritminio šališkumo šaltiniai, ir visi jie yra rizikingi viešumoje:

• Istorinis šališkumas: mokymo duomenyse yra praeities nelygybė. Pavyzdžiui, jei praeityje vietovėje buvo teikiama mažiau paslaugų, „paklausos duomenys“ gali parodyti, kad tos srities poreikiai yra maži, nors iš tikrųjų paklausa buvo maža, nes nebuvo paslaugų.
• Atstovavimo šališkumas: kai kurios grupės yra nepakankamai atstovaujamos duomenyse (neturinčios skaitmeninės prieigos, mažumų kalbų grupės), o modelis joms netinka.
• Tarpinio serverio šališkumas: net jei modelis tiesiogiai neatsižvelgia į draudžiamą kriterijų (etninę kilmę, religiją), jis gali sukelti tokią pat diskriminaciją, kai žiūri į su juo susietą įgaliotąjį serverį (kaimynystę, pavadinimą, pašto kodą).
• Matavimo šališkumas: tai, ką mes matuojame, nėra tai, ką iš tikrųjų norime išmatuoti. „Skundų skaičius“ matuoja gebėjimą skųstis, o ne poreikį.

Atsargiai: yra klaidinantis teiginys: „Pašalinau neskelbtinus duomenis (lytį, etninę kilmę) iš modelio, dabar tai teisinga“. Diskriminacija dėl tarpinių kintamųjų gali būti tęsiama. Sąžiningumas pasiekiamas ne ištrinant įvestį, o išbandant išvestį tarp grupių.

Sąžiningumo tikrinimas: žr. išvestį

Ar sistema teisinga, ar ne, galima suprasti žiūrint į jos rezultatus, o ne į ketinimus. Pagrindinis metodas: padalinkite sprendimą į grupes ir palyginkite. Ar rezultatai, tokie kaip priėmimo / atmetimo lygis, klaidų lygis, laukimo laikas, labai skiriasi įvairiose grupėse (lytis, amžius, regionas, pajamos)? Jei yra skirtumas, ar šis skirtumas pagrįstas teisėta priežastimi, ar tai yra diskriminacija? Kadangi šiai analizei gali prireikti asmens duomenų, ji turi būti apibendrinta ir atliekama pagal KVKK.

Patarimas: prieš diegdami naują dirbtinio intelekto sprendimų sistemą, suskirstykite jos sprendimus pagal demografines grupes ir pateikite „sąžiningumo ataskaitą“. Jei radote skirtumą, „ar šį skirtumą galima paaiškinti? Pateikite klausimą žmonių komitetui.

Paaiškinamumas ir patrauklumas: atskaitomybės esmė

Viešajame sektoriuje jokiam piliečiui negali būti atimtos teisės su atsakymu „taip nusprendė sistema“. Priimant kiekvieną automatizuotą arba AI remiamą sprendimą, reikia užtikrinti tris dalykus:

1. Paaiškinamumas: kuo buvo priimtas sprendimas, kokie veiksniai buvo veiksmingi, turėtų būti paaiškinta paprasta kalba.
2. Apeliacijos pateikimo būdas: piliečiai turėtų turėti galimybę prieštarauti sprendimui ir paprašyti žmogaus jį peržiūrėti.
3. Audito seka: turi būti fiksuojama, kokie duomenys, koks modelis/versija ir su kokiu atsakingu asmeniu buvo priimtas sprendimas.

trys mini dėklai

1 atvejis – užfiksuotas surogatinis variantas. Viename pagalbos prioritetų nustatymo modelyje nebuvo naudojami neskelbtini duomenys, bet buvo atsižvelgta į „pašto kodą“. Atliekant sąžiningumo testą, nustatyta, kad tam tikriems rajonams teikiamas sistemingai žemas prioritetas, susijęs su pašto kodu, pajamomis ir etniniu tankumu. Kintamasis buvo pašalintas, o prioritetas buvo tiesiogiai susietas su poreikio rodikliais.

2 atvejis. Atstovavimo spraga. 41 % labiau tikėtina, kad pokalbių robotas suklaidins piliečių, kurių gimtoji kalba nėra turkų, klausimus; Mokymo duomenyse buvo mažai šios grupės. Pridėjus daugiakalbį palaikymą ir žmogaus perdavimo slenkstį, spraga išnyko.

3 atvejis – nepaaiškinamas atmetimas. Institucija automatiškai atmetė prašymą; pilietis "kodėl?" Paklaustas pareigūnas negalėjo paaiškinti, nes modelio priežastis buvo nesuprantama. Incidentas parodė, kad modeliai, kurių paaiškinimas prastas, negali būti naudojami priimant sprendimus dėl teisių; Sistema buvo transformuota į modelį, kuris sukuria pagrindimą ir reikalauja žmogaus pritarimo.

Keturi kopijuojami šablonai

1) Šalinio nuskaitymo šaltinis:

Jūsų vaidmuo: algoritminio teisingumo ekspertas. Peržiūrėkite toliau pateiktą dirbtinio intelekto sprendimų priėmimo procesą. Išvardykite galimus šališkumo šaltinius: (1) istorinis poslinkis, (2) reprezentacijos poslinkis (nepakankamai atstovaujama grupė), (3) tarpiniai kintamieji (stulpelis, susietas su uždraustu kriterijumi), (4) matavimo paklaida. Pateikite konkretų pavyzdį ir pasakykite man, kaip tai išbandyti. PROCESAS: [sprendimo procesas ir naudojami duomenys]

2) Sąžiningumo testo planas:

Sukurkite teisingumo testavimo planą, skirtą tokiai sprendimų išvadai: kokias grupes (amžius, lytis, regionas, pajamos) turėčiau suskirstyti, kokius rodiklius (priėmimo rodiklis, klaidų dažnis, laukimo laikas) turėčiau palyginti, kaip nuspręsti, ar skirtumas yra teisėtas, ar diskriminacinis? Pridėti KVKK įspėjimą. SPRENDIMAS: [koks sprendimas]

3) Sprendimo pareiškimas (piliečiui):

Parašykite piliečiams suprantamą tokio sprendimo paaiškinimo projektą: kokie veiksniai turėjo įtakos, paprasta kalba. Pabaigoje pridėkite teisę pateikti apeliaciją ir galimybę atlikti žmogaus peržiūrą [su laiku, kol bus patvirtinta]. Vartoti neaiškius posakius, pvz., „Sistema taip nusprendė“. SPRENDIMAS: [santrauka ir įtaką darantys veiksniai]

4) Atskaitomybės patikrinimas prieš platinimą:

Prieš diegdami dirbtinio intelekto sprendimų sistemą, sukurkite atskaitomybės kontrolinį sąrašą: ar tai paaiškinama, ar yra galimybė pateikti apeliaciją, ar išlaikoma audito seka (duomenų / modelio versija / atskaitomybė), ar buvo atliktas sąžiningumo patikrinimas, kur yra žmogaus patvirtinimo taškas. Pažymėti trūkstamus elementus kaip raudonas vėliavėles.SISTEMA: [receptas]

Silpnas raginimas / Stiprus raginimas

Silpnas: „Ar šis sprendimo modelis teisingas?

Stiprus: „Jūsų vaidmuo yra algoritminio teisingumo ekspertas. Taikant šį pagalbos prioritetų nustatymo modelį, pirmiausia nuskaitykite šališkumo šaltinius (istorinį, reprezentacinį, pakaitinį kintamąjį, matavimą) ir pateikite konkrečius kiekvieno iš jų pavyzdžius. Tada pateikite teisingumo patikrinimo planą: suskirstykite pagal grupes, kokias metrikas, kaip nuspręsti dėl skirtumo teisėtumo; galiausiai pridėkite apeliacinio kelio patikrinimo sistemą, prieš pateikiant apeliacinį patikrinimo sistemą. taku ir raudona vėliava pažymėkite trūkumus“.

Skirtumas: stiprus raginimas ieško šališkumo savo šaltinyje, išvestį tikrina grupės, todėl atskaitomybė plačiai paplitusi.

Teisingumo matmenys ir kontrolė

Dydis

Rizika

kontroliuoti

istoriniai duomenys

Praeitis neša nelygybę

Išbandykite išvestį pagal grupes

atstovavimas

Netinka kai kurioms grupėms

Grupinis klaidų lygis

surogatinis kintamasis

slapta diskriminacija

Kintamajam jautraus kriterijaus ryšys

Paaiškinamumas

nepagrįstas sprendimas

Sukurkite paprastą paaiškinimą

prieštaravimas

konfiskavimas

Žmogaus apžvalgos kelias

Grįžtamasis ryšys ir vaizdavimo klaida

Pati klastingiausia algoritminės diskriminacijos forma atsiranda ne dėl vieno klaidingo sprendimo, o per grįžtamąjį ryšį, kuris laikui bėgant sustiprėja (modelio išvestis paveikia tolesnius mokymo duomenis, sustiprindama esamą šališkumą). Pavyzdžiui, jei apžiūros modelis pažymi tam tikrą kaimynystę kaip „rizikingą“, kuo daugiau patikrinimų ten vyksta, tuo daugiau įrašų sukuriama, modelis mato, kad kaimynystė yra rizikingesnė – net jei skirtumas padidėjo žiūrint vietą, o ne pagal tikrąją riziką. Tai, kas tam atveria kelią, dažnai yra vaizdavimo klaida (mokymo duomenys, atspindintys kai kurias grupes nepilnai arba iškreiptai). Viešajame sektoriuje dėl šių ciklų nepalankioje padėtyje esančioms grupėms gali būti taikoma vis griežtesnė priežiūra ir sankcijos. Būdas apsisaugoti – stebėti modelio poveikį, o ne tik jo išvestį: reguliariai stebėti grupinį sprendimų pasiskirstymą, o ne aklai įgyvendinti modelio rekomendacijas.

Mini dėklas - save didinanti abejonė. Pagal gerovės sukčiavimo aptikimo modelį regionas, kuris anksčiau buvo labiau tikrinamas, yra didelės rizikos grupė. Kai komanda iš duomenų išskyrė vykdymo intensyvumą ir išmatavo „tikrąjį aptikimo rodiklį, palyginti su populiacija“, jie nustatė, kad skirtumai tarp regionų iš esmės išnyko; Modelis klaidingai supainiojo nelygybę su realia rizika.

Grupės poveikio valdymo šablonas:

Užduotis: Išnagrinėkite šiuos sprendimų duomenis pagal grupes (jokių asmens duomenų, kategoriška santrauka).Duomenys: [grupė | totalus sprendimas | neigiamų sprendimų procentas | patikrinimo intensyvumas] Rezultatas: 1) Ar neigiamo sprendimo rodiklis rodo reikšmingą skirtumą tarp grupių? 2) Ar skirtumas gali būti dėl faktinės rizikos arba kontrolės/atstovavimo intensyvumo? 3) Ar yra kokių nors grįžtamojo ryšio požymių? 4) Rekomendacijos žmogaus kontrolei.Taisyklė: priežastinio ryšio tvirtinimas; Išvardykite galimus paaiškinimus ir testavimo būdus.

Atsargiai: Argumentas, kad „modelis neutralus, nes visiems taiko tą pačią taisyklę“, yra klaidinantis. Ta pati taisyklė, taikoma iškreiptiems duomenims, išsaugo ir padidina nelygybę. Teisingumas matuojamas rezultato lygybe, o ne taisykle.

Dažnos klaidos

• Ištrinti neskelbtinus duomenis ir galvoti „tai teisinga“. Pakaitiniai kintamieji išlaiko diskriminaciją; išbandyti išvestį.
• Teisingumo matavimas tyčia. Teisingumas pasirodo galų gale; Suskirstykite sprendimus į grupes ir palyginkite.
• Pamiršus nepakankamai atstovaujamą grupę. Modelis gali veikti tyliai prastai mažumos grupei; Žr. grupės klaidą.
• Nepaaiškinamo modelio naudojimas priimant sprendimus dėl teisių. Sistema, kuri negali pateikti pateisinimo, negali priimti viešų sprendimų.
• Nesuteikia jokių prieštaravimo priemonių. Kiekvienas automatizuotas sprendimas turėtų būti peržiūrėtas žmogaus.
• Neišlaikyti audito sekos. Reikėtų užfiksuoti, su kokiais duomenimis/modeliu/atsakingu asmeniu buvo priimtas sprendimas.

Apibendrinant

Viešajame sektoriuje dirbtinis intelektas gali padidinti nuoseklumą, bet taip pat tyliai perkelti praeities diskriminaciją. Šališkumas atsiranda dėl istorinių duomenų, vaizdavimo spragos, tarpinių kintamųjų ir netikslaus matavimo; Skelbtinų duomenų ištrynimas to neišspręs. Sąžiningumas pasiekiamas išbandant rezultatus įvairiose grupėse. Ir nė vieno piliečio negali atimti teisės „taip pasakė sistema“: kiekvienas sprendimas turi būti paaiškinamas, ginčijamas ir patikrinamas. Atsakinga yra institucija, o ne algoritmas.

Taikymo užduotis

Savo įrenginyje pasirinkite DI arba automatizuotą sprendimų priėmimo procesą. Išvardykite galimus paklaidas ir suraskite bent vieną pakaitinį kintamąjį riziką naudodami šabloną „šališkumo nuskaitymo šaltinis“. Nustatykite, į kuriuos grupių suskirstymus reikia žiūrėti naudodami „sąžiningumo testo planą“. Norėdami gauti sprendimo pavyzdį, pateikite piliečiams skirtą paaiškinimą naudodami šabloną „Sprendimo paaiškinimas“.

kontrolinis sąrašas

• [ ] Nuskaitau šališkumo šaltinius (istorinius, reprezentacinius, įgaliotinius, matavimus).
• [ ] Aš ne tik ištryniau jautrius duomenis; Išbandžiau išvestį pagal grupes.
• [ ] Kontroliavau nepakankamai atstovaujamų grupių klaidų lygį.
• [ ] Pateikiau paprastą, paaiškinamą kiekvieno sprendimo pagrindimą.
• [ ] Aš apibrėžiau prieštaravimo ir žmogaus peržiūros kelią.
• [ ] Audito seka (duomenys / modelio versija / atsakingas) palaikoma.