Qligħ:
- Jirrikonoxxi d-dejta, id-disinn u s-sorsi tal-użu ta 'preġudizzju algoritmiku u jittestja l-output fuq bażi ta' grupp.
- Jispjega kif il-loop ta' feedback u l-iżball ta' rappreżentazzjoni jkabbar l-inugwaljanza u jistabbilixxi l-kontroll tal-impatt.
- Jiżgura r-responsabbiltà billi jiżgura spjegazzjoni u appell f'kull deċiżjoni awtomatizzata.
Il-pubbliku jrid japplika l-poter tiegħu b’mod ugwali għal kulħadd: trattament simili għal żewġ ċittadini f’sitwazzjonijiet simili, differenza proporzjonata għal sitwazzjonijiet differenti. Dan il-prinċipju ta’ ugwaljanza huwa obbligu kostituzzjonali. L-intelliġenza artifiċjali tista' kemm ittejjeb kif ukoll tfixkel dan il-qasam bil-kwiet. Jista 'jtejjeb minħabba li regola applikata b'mod konsistenti tista' tnaqqas l-arbitrjetà u l-preġudizzju uman. Jista 'jkun korrotti minħabba li l-mudelli tal-AI jitgħallmu minn data tal-passat, u data tal-passat iġorr id-diskriminazzjoni tal-passat. Jekk sistema tiġi mħarrġa fuq data li storikament tkun żvantaġġat grupp partikolari, hija ġġorr dak l-iżvantaġġ fil-futur—u f'forma li hija saħansitra aktar diffiċli biex tinstab, taħt l-iskuża ta '"algoritmu oġġettiv." F'din l-unità, titgħallem kif tagħraf il-preġudizzju algoritmiku (preġudizzju sistematiku tal-output tal-mudell kontra ċerti gruppi) meta tuża l-AI fis-settur pubbliku, kif tnaqqasha u, l-aktar importanti, kif tiżgura responsabbiltà algoritmika (ir-raġuni għal deċiżjoni awtomatizzata tkun spjegabbli, verifikabbli u kontestabbli).
Minn fejn ġej il-preġudizzju?
Hemm diversi sorsi ta 'preġudizzju algoritmiku, u kollha kemm huma huma riskjużi fil-pubbliku:
- Preġudizzju storiku: Id-dejta tat-taħriġ fiha inugwaljanza tal-passat. Pereżempju, jekk żona kellha inqas servizz fil-passat, "data tad-domanda" tista 'turi dik iż-żona bħala li għandha bżonnijiet baxxi - meta fil-fatt id-domanda kienet baxxa minħabba li ma kienx hemm servizz.
- Preġudizzju ta' rappreżentazzjoni: Xi gruppi huma sottorappreżentati fid-dejta (dawk mingħajr aċċess diġitali, gruppi ta' lingwi minoritarji) u l-mudell jaħdem ħażin għalihom.
- Preġudizzju ta' prokura: Anke jekk il-mudell ma jħarisx direttament lejn kriterju pprojbit (etniċità, reliġjon), jista' jipproduċi l-istess diskriminazzjoni billi jħares lejn prokura assoċjat miegħu (viċinat, isem, kodiċi postali).
- Preġudizzju tal-kejl: Dak li nkejlu mhuwiex dak li fil-fatt irridu nkejlu. In-"numru ta' ilmenti" ikejjel il-kapaċità li wieħed jilmenta aktar milli l-ħtieġa.
Attenzjoni: Huwa qarrieqi li tgħid "Neħħejt data sensittiva (ġeneru, etniċità) mill-mudell, issa hija ġusta". Id-diskriminazzjoni permezz ta' varjabbli ta' prokura tista' tkompli. Il-ġustizzja tinkiseb mhux billi jitħassar l-input, iżda billi jiġi ttestjat l-output bejn il-gruppi.
Ittestjar tal-ġustizzja: ara l-output
Jekk sistema hijiex ġusta jew le jista’ jinftiehem billi tħares lejn ir-riżultati tagħha, mhux l-intenzjonijiet tagħha. Metodu bażiku: jaqsam id-deċiżjoni fi gruppi u qabbel. L-outputs bħar-rata ta' aċċettazzjoni/rifjut, ir-rata ta' żball, il-ħin ta' stennija jvarjaw b'mod sinifikanti bejn gruppi differenti (sess, età, reġjun, dħul)? Jekk hemm differenza, din id-differenza hija bbażata fuq raġuni leġittima jew hija diskriminazzjoni? Peress li din l-analiżi tista' teħtieġ dejta personali, għandha tiġi aggregata u mwettqa skont il-KVKK.
Tip: Qabel ma tniedi sistema ġdida ta’ deċiżjonijiet imħaddma mill-AI, qassam id-deċiżjonijiet tagħha skont il-gruppi demografiċi u pproduċi “rapport ta’ ġustizzja”. Jekk issib differenza, "din id-differenza tista' tiġi spjegata?" Ħu l-mistoqsija lil kumitat tan-nies.
Spjegabbiltà u appell: il-qalba tar-responsabbiltà
Fis-settur pubbliku, l-ebda ċittadin ma jista' jiġi mċaħħad mid-drittijiet tiegħu bir-risposta "is-sistema ddeċidiet hekk." Għal kull deċiżjoni awtomatizzata jew assistita mill-AI, iridu jiġu żgurati tliet affarijiet:
- Spjegabbiltà: Fuq xiex kienet ibbażata d-deċiżjoni, liema fatturi kienu effettivi, għandhom jiġu spjegati b'lingwaġġ sempliċi.
- Mod ta' appell: Iċ-ċittadini għandhom ikunu jistgħu joġġezzjonaw għad-deċiżjoni u jitolbu bniedem biex jirrevediha.
- Traċċa tal-verifika: Għandu jiġi rreġistrat liema data, liema mudell/verżjoni u ma' liema persuna responsabbli ttieħdet id-deċiżjoni.
tliet każijiet żgħar
Każ 1 — Varjant surrogat maqbud. Mudell wieħed ta' prijoritizzazzjoni tal-għajnuna ma użax dejta sensittiva iżda ħares lejn "kodiċi zip." Fit-test tal-ġustizzja, ċerti distretti nstabu li jirċievu prijorità sistematikament baxxa - korrelatati ma 'kodiċi zip, dħul u densità etnika. Il-varjabbli tneħħiet u l-prijorità ġiet marbuta direttament mal-indikaturi tal-ħtieġa.
Każ 2 — Lakuna fir-rappreżentazzjoni. Chatbot kien 41% aktar probabbli li jiżgwida mistoqsijiet minn ċittadini b'lingwa nattiva mhux Torka; Id-dejta tat-taħriġ kien fiha ftit minn dan il-grupp. Meta ġew miżjuda appoġġ multilingwi u limitu ta' trasferiment uman, id-distakk ingħalaq.
Każ 3 — Ċaħda mhux spjegata. Istituzzjoni awtomatikament irrifjutat applikazzjoni; ċittadin "għaliex?" Meta mistoqsi, l-uffiċjal ma setax jispjega għaliex ir-raġuni għall-mudell ma kinitx tinftiehem. L-inċident wera li mudelli bi spjegazzjoni fqira ma jistgħux jintużaw biex jittieħdu deċiżjonijiet li jġorru d-drittijiet; Is-sistema ġiet trasformata f'mudell li jiġġenera ġustifikazzjoni u jeħtieġ approvazzjoni umana.
Erba' mudelli li jistgħu jiġu kkupjati
1) Sors ta' bias scanning:
Ir-rwol tiegħek: espert tal-ġustizzja algoritmika. Iċċekkja l-proċess tad-deċiżjoni mħaddem mill-AI hawn taħt. Elenka sorsi possibbli ta 'preġudizzju: (1) preġudizzju storiku, (2) preġudizzju ta' rappreżentazzjoni (grupp sottorappreżentat), (3) varjabbli prokura (kolonna assoċjata ma 'kriterju projbit), (4) preġudizzju tal-kejl. Agħti eżempju konkret għal kull wieħed u għidli kif nittestjah. PROĊESS: [proċess ta' deċiżjoni u data użata]
2) Pjan tat-test tal-ġustizzja:
Iġġenera pjan ta’ ttestjar ta’ ġustizzja għall-output tad-deċiżjoni li ġej: liema gruppi (età, sess, reġjun, dħul) għandi nqassam, liema metriċi (rata ta’ aċċettazzjoni, rata ta’ żball, ħin ta’ stennija) għandi nqabbel, kif niddeċiedi jekk id-differenza hijiex leġittima jew diskriminatorja? Żid twissija KVKK. DEĊIŻJONI: [liema deċiżjoni]
3) Dikjarazzjoni tad-deċiżjoni (liċ-ċittadin):
Ikteb abbozz ta' spjegazzjoni li tinftiehem miċ-ċittadin għad-deċiżjoni li ġejja: liema fatturi kienu influwenti, b'lingwaġġ sempliċi. Żid id-dritt ta' appell fl-aħħar u l-possibbiltà li jkun hemm reviżjoni umana [biż-żmien li jrid jiġi kkonfermat]. Uża espressjonijiet vagi bħal "Is-sistema ddeċidiet hekk." DEĊIŻJONI: [sommarju u fatturi li jinfluwenzaw]
4) Kontroll tar-responsabbiltà qabel it-tixrid:
Ipproduċi lista ta' kontroll tar-responsabbiltà qabel ma titħaddem is-sistema ta' deċiżjoni mħaddma mill-AI: hija spjegabbli, hemm mod kif tappella, tinżamm traċċa tal-awditjar (dejta/verżjoni tal-mudell/kontabbli), sar ittestjar tal-ġustizzja, fejn jinsab il-punt tal-approvazzjoni umana. Bandiera oġġetti nieqsa bħala bnadar ħomor. SISTEMA: [riċetta]
Pront dgħajjef / Pront qawwi
Dgħajjef: "Dan il-mudell tad-deċiżjoni huwa ġust?"
Qawwija: "Ir-rwol tiegħek huwa espert tal-ġustizzja algoritmika. Għal dan il-mudell ta 'prijoritizzazzjoni tal-għajnuna, l-ewwel skennja għal sorsi ta' preġudizzju (storiku, rappreżentazzjoni, varjabbli sostitut, kejl) u agħti eżempji konkreti għal kull wieħed. Imbagħad oħroġ bi pjan ta 'ttestjar tal-ġustizzja: analiżi minn liema gruppi, liema metriċi, kif tiddeċiedi l-leġittimità tad-differenza; spjegazzjoni, mogħdija tal-appell u traċċa tal-awditjar, u bandiera ħamra tan-nuqqasijiet."
Id-differenza: pront qawwi jfittex il-preġudizzju fis-sors tiegħu, ikollu l-output ittestjat mill-gruppi, u jagħmel ir-responsabbiltà mifruxa.
Dimensjonijiet u kontrolli tal-ġustizzja
Daqs
Riskju
kontroll
data storika
Il-passat iġorr inugwaljanza
Output tat-test mill-gruppi
rappreżentazzjoni
Jaħdem ħażin għal xi grupp
Rata ta' żball ibbażata fuq il-grupp
varjabbli surrogat
diskriminazzjoni moħbija
Relazzjoni ta' kriterju varjabbli-sensittiv
Spjegabbiltà
deċiżjoni mhux ġustifikata
Iġġenera spjegazzjoni sempliċi
oġġezzjoni
konfiska
Mogħdija tar-reviżjoni tal-bniedem
Loop ta' feedback u żball ta' rappreżentazzjoni
L-aktar forma insidjuża ta’ diskriminazzjoni algoritmika sseħħ mhux f’deċiżjoni ħażina waħda iżda f’ċirkwit ta’ feedback li jsaħħaħ lilha nnifisha maż-żmien (output ta’ mudell jaffettwa d-dejta ta’ taħriġ sussegwenti, u jsaħħaħ il-preġudizzju eżistenti). Pereżempju, jekk mudell ta 'spezzjoni jindika lokal partikolari bħala "riskjuż", aktar ma jsiru spezzjonijiet hemm, aktar jinħolqu rekords, il-mudell jara dak il-viċinat bħala aktar riskjuż - minkejja li d-differenza żdiedet fil-post ikkunsidrat, mhux fir-riskju attwali. Dak li jwitti t-triq għal dan huwa spiss żball ta' rappreżentazzjoni (dejta ta' taħriġ li tirrifletti xi gruppi b'mod mhux komplut jew distort). Fis-settur pubbliku, dawn iċ-ċikli jistgħu jpoġġu gruppi żvantaġġati taħt sorveljanza u sanzjonijiet dejjem aktar severi. Il-mod kif tipproteġi lilek innifsek huwa li timmonitorja l-impatt tal-mudell, mhux biss l-output tiegħu: tissorvelja regolarment id-distribuzzjoni tad-deċiżjonijiet ibbażata fuq il-grupp u mhux timplimenta bl-addoċċ ir-rakkomandazzjonijiet tal-mudell.
Kawża żgħira - dubju li jkabbar lilu nnifsu. Mudell ta' skoperta ta' frodi tal-benesseri indika reġjun li kien ġie spezzjonat b'mod aktar qawwi fil-passat bħala riskju għoli. Meta t-tim estratt l-intensità ta 'infurzar mid-dejta u kejjel ir-"rata ta' skoperta vera relattiva għall-popolazzjoni," sabu li d-differenzi bejn ir-reġjuni fil-biċċa l-kbira sparixxew; Il-mudell żbalja l-inugwaljanza għal riskju reali.
Mudell ta' kontroll tal-impatt ibbażat fuq il-grupp:
Kompitu: Eżamina d-dejta tad-deċiżjoni li ġejja skont il-gruppi (l-ebda dejta personali, sommarju kategoriku).Data: [grupp | deċiżjoni totali | rata ta' deċiżjoni negattiva | intensità ta 'spezzjoni] Riżultat: 1) Ir-rata ta' deċiżjoni negattiva turi differenza sinifikanti bejn il-gruppi? 2) Tista' d-differenza tkun minħabba riskju attwali jew intensità ta' kontroll/rappreżentazzjoni? 3) Hemm xi sinjal ta' feedback loop? 4) Rakkomandazzjonijiet għall-kontroll uman.Regola: L-istabbiliment ta' talba ta' kawżalità; Elenka spjegazzjonijiet possibbli u modi biex tittestja.
Attenzjoni: L-argument li "il-mudell huwa newtrali għax japplika l-istess regola għal kulħadd" huwa qarrieqi. L-istess regola, meta tiġi applikata għal data distorta, tippreserva u tkabbar l-inugwaljanza. Il-ġustizzja titkejjel mill-ugwaljanza tar-riżultat, mhux mir-regola.
Żbalji komuni
- Tħassar data sensittiva u taħseb "huwa ġust". Varjabbli surrogati jipperpetwaw id-diskriminazzjoni; ittestja l-output.
- Il-kejl tal-ġustizzja bl-intenzjoni. Il-ġustizzja tidher fl-aħħar; Issortja d-deċiżjonijiet fi gruppi u qabbel.
- Jinsa l-grupp sottorappreżentat. Il-mudell jista' jaħdem bil-kwiet ħażin għal grupp ta' minoranza; Ara l-iżball ibbażat fuq il-grupp.
- L-użu tal-mudell mhux spjegat fid-deċiżjonijiet li jagħtu d-drittijiet. Sistema li ma tistax tipproduċi ġustifikazzjoni ma tistax tieħu deċiżjonijiet pubbliċi.
- Ma jipprovdi ebda mezz ta' oġġezzjoni. Kull deċiżjoni awtomatizzata għandha tkun soġġetta għal reviżjoni umana.
- Mhux iżżomm traċċa tal-awditjar. Għandu jiġi rreġistrat ma' liema data/mudell/persuna responsabbli ttieħdet id-deċiżjoni.
Fil-qosor
Fis-settur pubbliku, l-IA tista' żżid il-konsistenza iżda wkoll bil-kwiet iġġorr id-diskriminazzjoni tal-passat. Il-preġudizzju ġej minn dejta storika, vojt fir-rappreżentazzjoni, varjabbli prokura, u kejl mhux preċiż; It-tħassir tad-dejta sensittiva mhux se ssolviha. Il-ġustizzja tinkiseb billi jiġi ttestjat ir-riżultat fost il-gruppi. U l-ebda ċittadin ma jista’ jitneħħa mill-vot “is-sistema qalet hekk”: kull deċiżjoni trid tkun spjegabbli, kontestabbli u verifikabbli. Hija l-istituzzjoni li tinżamm responsabbli, mhux l-algoritmu.
Kompitu ta' applikazzjoni
Agħżel proċess ta' deċiżjoni li jaħdem bl-AI jew awtomatizzat fl-unità tiegħek. Elenka preġudizzji possibbli u sib mill-inqas riskju varjabbli sostitut wieħed bil-mudell "Source of bias scan". Iddetermina liema analiżi tal-grupp għandek tħares lejha bil-"pjan tat-test tal-ġustizzja". Għal kampjun ta' deċiżjoni, ipproduċi spjegazzjoni li tiffaċċja ċ-ċittadini bil-mudell "Spjegazzjoni tad-Deċiżjoni".
lista ta' kontroll
- [ ] Skennjt għal sorsi ta' preġudizzju (storiku, rappreżentazzjoni, prokura, kejl).
- [ ] Mhux biss ħassar data sensittiva; Ittestjajt l-output minn gruppi.
- [ ] Ikkontrollajt ir-rata ta' żball għal gruppi sottorappreżentati.
- [ ] Jien ipprovdejt ġustifikazzjoni sempliċi u spjegabbli għal kull deċiżjoni.
- [ ] Iddefinijt l-oġġezzjoni u t-triq tar-reviżjoni umana.
- [ ] Inżamm rekord tal-verifika (data/verżjoni tal-mudell/responsabbli).