Fitimet:
- Ai njeh të dhënat, dizajnin dhe burimet e përdorimit të paragjykimeve algoritmike dhe teston rezultatin në baza grupore.
- Shpjegon se si laku i reagimit dhe gabimi i paraqitjes e zmadhojnë pabarazinë dhe vendos kontrollin e ndikimit.
- Siguron llogaridhënie duke siguruar shpjegim dhe apelim në çdo vendim të automatizuar.
Publiku duhet të zbatojë fuqinë e tij në mënyrë të barabartë për të gjithë: trajtim i ngjashëm me dy qytetarë në situata të ngjashme, dallim proporcional me situata të ndryshme. Ky parim i barazisë është një detyrim kushtetues. Inteligjenca artificiale mund të përmirësojë dhe të prishë në heshtje këtë fushë. Mund të përmirësohet sepse një rregull i zbatuar vazhdimisht mund të reduktojë arbitraritetin dhe paragjykimet njerëzore. Mund të jetë korruptive sepse modelet e AI mësojnë nga të dhënat e kaluara dhe të dhënat e kaluara mbartin diskriminimin e së kaluarës. Nëse një sistem është trajnuar mbi të dhëna që historikisht kanë disavantazhuar një grup të caktuar, ai e mbart atë disavantazh në të ardhmen - dhe në një formë që është edhe më e vështirë për t'u zbuluar, nën maskën e një "algoritmi objektiv". Në këtë njësi, do të mësoni se si të njihni paragjykimet algoritmike (paragjykimi sistematik i prodhimit të modelit ndaj grupeve të caktuara) kur përdorni AI në sektorin publik, si ta reduktoni atë dhe, më e rëndësishmja, si të siguroni llogaridhënie algoritmike (arsyeja për një vendim të automatizuar të jetë i shpjegueshëm, i auditueshëm dhe i kontestueshëm).
Nga vjen paragjykimi?
Ekzistojnë disa burime të paragjykimit algoritmik, dhe të gjitha ato janë të rrezikshme në publik:
- Paragjykimi historik: Të dhënat e trajnimit përmbajnë pabarazi të së kaluarës. Për shembull, nëse një zonë ka pasur më pak shërbim në të kaluarën, "të dhënat e kërkesës" mund ta tregojnë atë zonë si me nevoja të ulëta - kur në fakt kërkesa ishte e ulët sepse nuk kishte shërbim.
- Paragjykimi i përfaqësimit: Disa grupe janë të nënpërfaqësuara në të dhëna (ata pa akses dixhital, grupet e gjuhëve të pakicave) dhe modeli funksionon keq për ta.
- Njëanshmëria e përfaqësuesit: Edhe nëse modeli nuk shikon drejtpërdrejt një kriter të ndaluar (etnia, feja), ai mund të prodhojë të njëjtin diskriminim duke parë një përfaqësues të lidhur me të (lagje, emri, kodi postar).
- Paragjykimi i matjes: Ajo që matim nuk është ajo që duam të masim në të vërtetë. "Numri i ankesave" mat aftësinë për t'u ankuar dhe jo nevojën.
Kujdes: Është mashtruese të thuash “i hoqa të dhënat sensitive (gjininë, përkatësinë etnike) nga modeli, tani është e drejtë”. Diskriminimi përmes variablave proxy mund të vazhdojë. Drejtësia nuk arrihet duke fshirë hyrjen, por duke testuar outputin midis grupeve.
Testimi i drejtësisë: shikoni rezultatin
Nëse një sistem është i drejtë apo jo, mund të kuptohet duke parë rezultatet e tij, jo qëllimet e tij. Metoda bazë: ndani vendimin në grupe dhe krahasoni. A ndryshojnë dukshëm rezultatet si shkalla e pranimit/refuzimit, shkalla e gabimit, koha e pritjes midis grupeve të ndryshme (gjinia, mosha, rajoni, të ardhurat)? Nëse ka një ndryshim, a është ky dallim i bazuar në një arsye legjitime apo është diskriminim? Meqenëse kjo analizë mund të kërkojë të dhëna personale, ato duhet të grumbullohen dhe të kryhen në përputhje me KVKK.
Këshillë: Përpara se të hapni një sistem të ri vendimesh të fuqizuar nga AI, ndani vendimet e tij sipas grupeve demografike dhe prodhoni një "raport drejtësie". Nëse gjeni një ndryshim, "a mund të shpjegohet ky ndryshim?" Çojini pyetjen një komiteti njerëzish.
Shpjegueshmëria dhe apeli: zemra e llogaridhënies
Në sektorin publik asnjë qytetari nuk mund të privohet nga e drejta e tij me përgjigjen “sistem vendosi kështu”. Për çdo vendim të automatizuar ose të ndihmuar nga AI, duhet të sigurohen tre gjëra:
- Shpjegueshmëria: Në çfarë u bazua vendimi, cilët faktorë ishin efektivë, duhet të shpjegohen me gjuhë të thjeshtë.
- Mënyra për të apeluar: Qytetarët duhet të jenë në gjendje të kundërshtojnë vendimin dhe t'i kërkojnë një njeriu ta rishikojë atë.
- Gjurma e auditimit: Duhet të regjistrohet se cilat të dhëna, cili model/version dhe me cilin person përgjegjës është marrë vendimi.
tre mini kuti
Rasti 1 - Varianti zëvendësues i kapur. Një model i prioritizimit të ndihmës nuk përdori të dhëna të ndjeshme, por shikonte "kodin postar". Në testin e drejtësisë, lagje të caktuara u zbulua se kishin prioritet sistematikisht të ulët – të lidhur me kodin postar, të ardhurat dhe dendësinë etnike. Variabli u hoq dhe prioriteti u lidh drejtpërdrejt me treguesit e nevojave.
Rasti 2 - Hendeku i përfaqësimit. Një chatbot kishte 41% më shumë gjasa për të mashtruar pyetjet e qytetarëve me një gjuhë amtare joturke; Të dhënat e trajnimit përmbanin pak nga ky grup. Kur u shtua mbështetja shumëgjuhëshe dhe pragu i dorëzimit të njerëzve, hendeku u mbyll.
Rasti 3 - Refuzim i pashpjegueshëm. Një institucion refuzoi automatikisht një aplikim; qytetari "pse?" Kur u pyet, oficeri nuk mundi të shpjegonte sepse arsyeja e modelit nuk ishte e kuptueshme. Incidenti tregoi se modelet me shpjegueshmëri të dobët nuk mund të përdoren për të marrë vendime me të drejta; Sistemi është transformuar në një model që gjeneron justifikim dhe kërkon miratim njerëzor.
Katër shabllone të kopjueshëm
1) Burimi i skanimit të paragjykimeve:
Roli juaj: ekspert i drejtësisë algoritmike. Shikoni më poshtë procesin e vendimit të fuqizuar nga AI. Rendisni burimet e mundshme të paragjykimeve: (1) paragjykimet historike, (2) paragjykimet e përfaqësimit (grupi i nënpërfaqësuar), (3) variablat proxy (kolona e lidhur me kriterin e ndaluar), (4) paragjykimi i matjes. Jepni një shembull konkret për secilën dhe më tregoni se si ta testoj atë. PROCESI: [procesi i vendimit dhe të dhënat e përdorura]
2) Plani i testit të drejtësisë:
Krijoni një plan testimi të drejtësisë për rezultatet e vendimit të mëposhtëm: cilat grupe (mosha, gjinia, rajoni, të ardhurat) duhet të ndaj, cilat metrikë (shkalla e pranimit, shkalla e gabimit, koha e pritjes) duhet të krahasoj, si mund të vendos nëse ndryshimi është legjitim apo diskriminues? Shto paralajmërimin e KVKK. VENDIM: [çfarë vendimi]
3) Deklarata e vendimit (për qytetarin):
Shkruani një projekt-shpjegim të kuptueshëm nga qytetari për vendimin e mëposhtëm: cilët faktorë ndikuan, me gjuhë të thjeshtë. Shtoni të drejtën e apelimit në fund dhe mundësinë për të pasur një rishikim njerëzor [me kohë që do të konfirmohet]. Përdorimi i shprehjeve të paqarta si "Sistemi vendosi kështu". VENDIM: [përmbledhje dhe faktorët ndikues]
4) Kontrolli i llogaridhënies përpara shpërndarjes:
Krijoni një listë kontrolli të llogaridhënies përpara se të hapni sistemin e vendimeve të fuqizuara nga AI: a është i shpjegueshëm, a ka një mënyrë për të apeluar, a mbahet një gjurmë auditimi (të dhëna/version modeli/përgjegjës), a është bërë testimi i drejtësisë, ku është pika e miratimit njerëzor. Shënoni artikujt që mungojnë si flamuj të kuq. SISTEMI: [recetë]
Prompt i dobët / Prompt i fortë
I dobët: "A është i drejtë ky model vendimi?"
Strong: "Roli juaj është eksperti i drejtësisë algoritmike. Për këtë model të prioritizimit të ndihmës, fillimisht skanoni burimet e paragjykimeve (historike, përfaqësimi, variabli zëvendësues, matje) dhe jepni shembuj konkretë për secilën. Më pas dilni me një plan testimi të drejtësisë: ndarje sipas cilat grupe, cilat metrikë, si të vendoset legjitimiteti i sistemit KV përpara, KK; një listë kontrolli për shpjegueshmërinë, shtegun e apelimit dhe gjurmën e auditimit dhe shënoni të metat."
Dallimi: një prompt i fortë kërkon paragjykim në burimin e tij, e teston produktin nga grupet dhe e bën përgjegjshmërinë të përhapur.
Dimensionet dhe kontrollet e drejtësisë
Madhësia
Rreziku
kontrollin
të dhëna historike
E kaluara mbart pabarazi
Testoni rezultatet sipas grupeve
përfaqësimi
Punon keq për disa grupe
Shkalla e gabimit të bazuar në grup
ndryshore zëvendësuese
diskriminimi i fshehtë
Marrëdhënia e kriterit variabël-sensitive
Shpjegueshmëria
vendim i pajustifikuar
Gjeni një shpjegim të thjeshtë
kundërshtimi
konfiskimi
Rruga e rishikimit njerëzor
Gabimi i ciklit të reagimit dhe përfaqësimit
Forma më tinëzare e diskriminimit algoritmik nuk ndodh në një vendim të vetëm të gabuar, por në një unazë reagimi që përforcon veten me kalimin e kohës (produkti i një modeli ndikon të dhënat pasuese të trajnimit, duke përforcuar paragjykimet ekzistuese). Për shembull, nëse një model inspektimi shënon një lagje të caktuar si "të rrezikshme", sa më shumë inspektime të shkojnë atje, aq më shumë regjistrime krijohen, modeli e sheh atë lagje si më të rrezikshme - edhe pse diferenca është rritur në vendndodhjen e parë, jo në rrezikun aktual. Ajo që i hap rrugën kësaj është shpesh një gabim përfaqësimi (të dhënat e trajnimit që pasqyrojnë disa grupe në mënyrë jo të plotë ose të shtrembëruar). Në sektorin publik, këto cikle mund t'i vendosin grupet e pafavorizuara nën mbikëqyrje dhe sanksione gjithnjë e më të rënda. Mënyra për të mbrojtur veten është të monitorosh ndikimin e modelit, jo vetëm rezultatin e tij: të monitorosh rregullisht shpërndarjen e vendimeve të bazuara në grup dhe të mos zbatosh verbërisht rekomandimet e modelit.
Mini rast - dyshim vetë-lavdërues. Një model i zbulimit të mashtrimit të mirëqenies e cilësoi një rajon që ishte inspektuar më shumë në të kaluarën si me rrezik të lartë. Kur ekipi nxori intensitetin e zbatimit nga të dhënat dhe mati "shkallën e vërtetë të zbulimit në raport me popullsinë", ata zbuluan se dallimet midis rajoneve kryesisht u zhdukën; Modeli ngatërroi pabarazinë me rrezik real.
Modeli i kontrollit të ndikimit të bazuar në grup:
Detyrë: Ekzaminoni të dhënat e mëposhtme të vendimit sipas grupeve (pa të dhëna personale, përmbledhje kategorike). Të dhënat: [grupi | vendim total | norma e vendimit negativ | intensiteti i inspektimit] Outputi: 1) A tregon norma negative e vendimit një ndryshim të rëndësishëm midis grupeve? 2) A mund të jetë ndryshimi për shkak të rrezikut aktual ose intensitetit të kontrollit/përfaqësimit? 3) A ka ndonjë shenjë të një cikli reagimi? 4) Rekomandimet për kontrollin njerëzor. Rregulla: Krijimi i një pretendimi shkakor; Listoni shpjegimet e mundshme dhe mënyrat për të testuar.
Kujdes: Argumenti se "modeli është neutral sepse zbaton të njëjtin rregull për të gjithë" është mashtrues. I njëjti rregull, kur zbatohet për të dhënat e shtrembëruara, ruan dhe zmadhon pabarazinë. Drejtësia matet me barazinë e rezultatit, jo me rregullin.
Gabimet e zakonshme
- Fshirja e të dhënave të ndjeshme dhe mendimi "është e drejtë". Variablat zëvendësues përjetësojnë diskriminimin; testoni daljen.
- Matja e drejtësisë me qëllim. Drejtësia shfaqet në fund; Renditni vendimet në grupe dhe krahasoni.
- Duke harruar grupin e nënpërfaqësuar. Modeli mund të funksionojë në heshtje të dobët për një grup pakicë; Shih gabimin e bazuar në grup.
- Përdorimi i modelit të pashpjeguar në vendimet për dhënien e të drejtave. Një sistem që nuk mund të prodhojë justifikim nuk mund të marrë vendime publike.
- Duke mos ofruar asnjë mjet kundërshtimi. Çdo vendim i automatizuar duhet t'i nënshtrohet shqyrtimit njerëzor.
- Mos mbajtja e një gjurme auditimi. Duhet të evidentohet se me cilin të dhëna/model/personi përgjegjës është marrë vendimi.
Në përmbledhje
Në sektorin publik, AI mund të rrisë konsistencën, por gjithashtu të përcjellë në heshtje diskriminimin e së kaluarës. Paragjykimi vjen nga të dhënat historike, boshllëku i përfaqësimit, variablat proxy dhe matja e pasaktë; Fshirja e të dhënave të ndjeshme nuk do ta zgjidhë atë. Drejtësia arrihet duke testuar rezultatin nëpër grupe. Dhe asnjë qytetar nuk mund të zhvlerësohet nga "sistemi tha": çdo vendim duhet të jetë i shpjegueshëm, i kontestueshëm dhe i auditueshëm. Është institucioni që mban përgjegjësi, jo algoritmi.
Detyra e aplikimit
Zgjidhni një proces vendimi të fuqizuar nga AI ose i automatizuar në njësinë tuaj. Rendisni paragjykimet e mundshme dhe gjeni të paktën një rrezik variabël zëvendësues me shabllonin "Burimi i skanimit të paragjykimit". Përcaktoni se cilat ndarje të grupeve të shikoni me "planin e testit të drejtësisë". Për një mostër të vendimit, jepni një shpjegim për qytetarët me shabllonin "Shpjegimi i vendimit".
listë kontrolli
- [ ] Kam skanuar për burime paragjykimesh (historike, përfaqësimi, proxy, matje).
- [ ] Unë nuk fshiva vetëm të dhëna të ndjeshme; Kam testuar rezultatin sipas grupeve.
- [ ] Kam kontrolluar shkallën e gabimit për grupet e nënpërfaqësuara.
- [ ] Unë kam dhënë arsyetim të thjeshtë, të shpjegueshëm për çdo vendim.
- [ ] Unë kam përcaktuar kundërshtimin dhe rrugën e shqyrtimit njerëzor.
- [ ] Gjurma e auditimit (të dhënat/versioni i modelit/përgjegjës) ruhet.