Kasu:
- See tuvastab algoritmilise eelarvamuse andmed, disaini ja kasutusallikad ning testib väljundit rühmapõhiselt.
- Selgitab, kuidas tagasisideahel ja esitusviga suurendavad ebavõrdsust ja kehtestavad mõju kontrolli.
- See tagab vastutuse, tagades iga automatiseeritud otsuse selgitatavuse ja edasikaebamise.
Avalikkus peab rakendama oma võimu kõigi suhtes võrdselt: samasugune kohtlemine kahe sarnases olukorras oleva kodaniku suhtes, proportsionaalne erinevus erinevates olukordades. See võrdsuse põhimõte on põhiseaduslik kohustus. Tehisintellekt võib seda valdkonda nii parandada kui ka vaikselt häirida. See võib paraneda, sest järjepidevalt rakendatav reegel võib vähendada meelevaldsust ja inimeste eelarvamusi. See võib olla rikkuv, kuna tehisintellekti mudelid õpivad varasematest andmetest ja varasemad andmed toovad kaasa mineviku diskrimineerimise. Kui süsteem on koolitatud andmete põhjal, mis on teatud rühma ajalooliselt ebasoodsasse olukorda seadnud, kannab see seda ebasoodsat olukorda ka tulevikku – ja seda veelgi raskemini tuvastatavas vormis „objektiivse algoritmi” varjus. Selles õppetükis saate teada, kuidas avalikus sektoris tehisintellekti kasutamisel ära tunda algoritmilist eelarvamust (mudeli väljundi süstemaatiline kallutatus teatud rühmade suhtes), kuidas seda vähendada ja mis kõige tähtsam, kuidas tagada algoritmiline vastutus (automaatse otsuse põhjendus on seletatav, auditeeritav ja vaidlustatav).
Kust tuleb eelarvamus?
Algoritmilise eelarvamuse allikaid on mitu ja need kõik on avalikult ohtlikud:
- Ajalooline eelarvamus: koolitusandmed sisaldavad varasemat ebavõrdsust. Näiteks kui piirkonnas on varem olnud vähem teenust, võivad "nõudluse andmed" näidata, et selle piirkonna vajadused on madalad – kuigi tegelikult oli nõudlus madal, kuna teenust polnud.
- Representation bias: Mõned rühmad on andmetes alaesindatud (need, kellel puudub digitaalne juurdepääs, vähemuskeelte rühmad) ja mudel töötab nende jaoks halvasti.
- Puhverserveri eelarvamus: isegi kui mudel ei käsitle otseselt keelatud kriteeriumi (etniline päritolu, religioon), võib see esile kutsuda samasuguse diskrimineerimise, vaadates sellega seotud puhverserverit (naabruskond, nimi, sihtnumber).
- Mõõtmise eelarvamus: see, mida me mõõdame, ei ole see, mida me tegelikult mõõta tahame. "Kaebuste arv" mõõdab pigem võimet kaevata kui vajadust.
Ettevaatust: on eksitav öelda, et "eemaldasin mudelist tundlikud andmed (sugu, etniline kuuluvus), nüüd on see õiglane". Diskrimineerimine puhverserveri muutujate kaudu võib jätkuda. Õiglust ei saavutata mitte sisendi kustutamisega, vaid väljundi testimisega rühmade vahel.
Õigluse testimine: vaadake väljundit
Seda, kas süsteem on õiglane või mitte, saab mõista selle tulemusi, mitte kavatsusi vaadates. Põhimeetod: jaga otsus rühmadesse ja võrdle. Kas väljundid, nagu vastuvõtmise/tagalükkamise määr, veamäär, ooteaeg, erinevad oluliselt erinevate rühmade vahel (sugu, vanus, piirkond, sissetulek)? Kui erinevus on olemas, kas see erinevus põhineb õigustatud põhjustel või on see diskrimineerimine? Kuna see analüüs võib nõuda isikuandmeid, tuleb see koondada ja läbi viia kooskõlas KVKK-ga.
Näpunäide. Enne uue tehisintellektil põhineva otsustussüsteemi juurutamist jagage selle otsused demograafiliste rühmade kaupa ja koostage õigluse aruanne. Kui leiate erinevuse, "kas seda erinevust saab seletada?" Viige küsimus inimeste komisjonile.
Seletatavus ja veetlus: vastutuse tuum
Avalikus sektoris ei saa üheltki kodanikult õigusi ära võtta vastusega "süsteem otsustas nii". Iga automatiseeritud või tehisintellekti abil tehtud otsuse puhul tuleb tagada kolm asja:
- Seletatavus: Millel otsus põhines, millised tegurid olid tõhusad, tuleks selgitada lihtsas keeles.
- Kaebuse esitamise viis: kodanikel peaks olema võimalik otsusele vastu vaielda ja paluda inimesel see läbi vaadata.
- Kontrolljälg: tuleks fikseerida, millised andmed, mis mudel/versioon ja millise vastutava isikuga otsus tehti.
kolm minikarpi
Juhtum 1 – jäädvustatud surrogaatvariant. Üks abi prioriteetide määramise mudel ei kasutanud tundlikke andmeid, vaid vaatas sihtnumbrit. Õigluse testis leiti, et teatud linnaosad said süstemaatiliselt madala prioriteedi – see on korrelatsioonis sihtnumbri, sissetuleku ja etnilise tihedusega. Muutuja eemaldati ja prioriteet seoti otse vajadusnäitajatega.
2. juhtum – esinduslünk. Vestlusbot eksitas 41% tõenäolisemalt mittetürgi emakeelega kodanike küsimusi; Koolitusandmed sisaldasid sellest rühmast vähe. Kui lisati mitmekeelne tugi ja inimeste üleandmise künnis, see lõhe vähenes.
Juhtum 3 – seletamatu tagasilükkamine. Asutus lükkas taotluse automaatselt tagasi; kodanik "miks?" Küsimuse peale ei osanud ametnik seletada, sest mudeli põhjus polnud arusaadav. Juhtum näitas, et halva seletatavusega mudeleid ei saa kasutada õigusi kandvate otsuste tegemiseks; Süsteem on muudetud mudeliks, mis loob õigustuse ja nõuab inimeste heakskiitu.
Neli kopeeritavat malli
1) Kallutatuse skannimise allikas:
Teie roll: algoritmilise õigluse ekspert. Tutvuge tehisintellektil põhineva otsustusprotsessiga allpool. Loetlege võimalikud kallutatuse allikad: (1) ajalooline kallutatus, (2) esituse kallutatus (alaesindatud rühm), (3) puhvermuutujad (keelatud kriteeriumiga seotud veerg), (4) mõõtmise nihe. Tooge igaühe jaoks konkreetne näide ja öelge mulle, kuidas seda testida. PROTSESS: [otsustusprotsess ja kasutatud andmed]
2) õigluse testimise plaan:
Looge õigluse testimise plaan järgmise otsuse väljundi jaoks: millised rühmad (vanus, sugu, piirkond, sissetulek) tuleks jagada, milliseid mõõdikuid (vastuvõtumäär, veamäär, ooteaeg) võrrelda, kuidas otsustada, kas erinevus on legitiimne või diskrimineeriv? Lisa KVKK hoiatus. OTSUS: [milline otsus]
3) Otsuse avaldus (kodanikule):
Kirjutage lihtsas keeles kodanikule arusaadav selgituse eelnõu järgmise otsuse kohta: millised tegurid mõjutasid. Lisage lõppu apellatsiooniõigus ja inimliku ülevaatuse võimalus [aega kinnitada]. Kasutades ebamääraseid väljendeid, nagu "Süsteem otsustas nii". OTSUS: [kokkuvõte ja mõjutegurid]
4) Vastutuse kontroll enne levitamist:
Enne tehisintellektil põhineva otsustussüsteemi kasutuselevõttu koostage vastutuse kontrollnimekiri: kas see on seletatav, kas on võimalik edasi kaevata, kas kontrolljälg (andmed/mudeliversioon/vastutav) on säilinud, kas õigluse testimine on tehtud, kus on inimeste kinnituspunkt. Märgistage puuduvad üksused punaste lippudena. SÜSTEEM: [retsept]
Nõrk viip / Tugev viip
Nõrk: "Kas see otsustusmudel on õiglane?"
Tugev: "Teie roll on algoritmilise õigluse ekspert. Selle abi prioriteetide määramise mudeli puhul otsige esmalt eelarvamuste allikaid (ajalooline, esitus, asendusmuutuja, mõõtmine) ja tooge igaühe kohta konkreetsed näited. Seejärel koostage õigluse testimise plaan: jaotus, milliste rühmade järgi, millised mõõdikud, kuidas otsustada erinevuse õiguspärasust; lõpuks lisage KVKK-i kontrollimissüsteem, selgitage enne apellatsioonikontrolli süsteemi, andke apellatsioonikontrollisüsteem. rada ja tähistage puudused punase lipuga."
Erinevus: tugev viip otsib eelarvamusi selle allikast, väljundit testivad rühmad ja see muudab vastutuse laialt levinud.
Õigluse mõõtmed ja kontrollid
Suurus
Risk
kontrolli
ajaloolised andmed
Minevik kannab endas ebavõrdsust
Testi väljundit rühmade kaupa
esindus
Mõne grupi jaoks töötab see halvasti
Grupipõhine veamäär
asendusmuutuja
varjatud diskrimineerimine
Muutuja-tundliku kriteeriumi seos
Seletatavus
põhjendamatu otsus
Looge lihtne selgitus
vastulause
konfiskeerimine
Inimese ülevaate tee
Tagasiside silmus ja esitusviga
Algoritmilise diskrimineerimise kõige salakavalam vorm ei ilmne mitte ühes vales otsuses, vaid tagasisideahelas, mis aja jooksul ennast tugevdab (mudeli väljund mõjutab järgnevaid koolitusandmeid, tugevdades olemasolevat eelarvamust). Näiteks kui kontrollimudel märgib teatud naabruskonna kui riskantse, siis mida rohkem kontrolle sinna tehakse, seda rohkem kirjeid luuakse, mudel näeb seda naabruskonda riskantsemana – kuigi erinevus on suurenenud vaadeldavas asukohas, mitte tegelikus riskis. Sellele teed sillutab sageli esitusviga (koolitusandmed, mis kajastavad mõnda rühma puudulikult või moonutatult). Avalikus sektoris võivad need tsüklid panna ebasoodsas olukorras olevad rühmad järjest karmima järelevalve ja sanktsioonide alla. Enda kaitsmise viis on jälgida mudeli mõju, mitte ainult selle väljundit: jälgida regulaarselt grupipõhist otsuste jaotust ja mitte rakendada pimesi mudeli soovitusi.
Minikohver — ennast ülistav kahtlus. Heaolupettuste tuvastamise mudel tähistas piirkonda, mida oli varem rohkem kontrollitud, kui kõrge riskiga piirkonda. Kui meeskond võttis andmetest välja jõustamise intensiivsuse ja mõõtis „tegelikku avastamise määra elanikkonna suhtes”, leidsid nad, et piirkondadevahelised erinevused kadusid suures osas; Mudel pidas ebavõrdsust reaalseks riskiks.
Grupipõhine mõjukontrolli mall:
Ülesanne: Uurige järgmisi otsuseandmeid rühmade kaupa (isikuandmed puuduvad, kategooriline kokkuvõte).Andmed: [rühm | totaalne otsus | negatiivsete otsuste määr | kontrolli intensiivsus] Väljund: 1) Kas negatiivse otsuse määr näitab olulist erinevust rühmade vahel? 2) Kas erinevus võib olla tingitud tegelikust riskist või kontrolli/esindamise intensiivsusest? 3) Kas on mingeid märke tagasisideahelast? 4) Inimkontrolli soovitused. Reegel: põhjusliku seose väite kehtestamine; Loetlege võimalikud selgitused ja testimisviisid.
Ettevaatust: väide, et "mudel on neutraalne, kuna see rakendab kõigile sama reeglit", on eksitav. Sama reegel, kui seda rakendatakse kallutatud andmetele, säilitab ja suurendab ebavõrdsust. Õiglust mõõdetakse tulemuse võrdsuse, mitte reegli järgi.
Levinud vead
- Tundlike andmete kustutamine ja "see on aus" mõtlemine. Asendusmuutujad säilitavad diskrimineerimise; testida väljundit.
- Õigluse mõõtmine kavatsuse järgi. Õiglus ilmub lõpuks; Sorteerige otsused rühmadesse ja võrrelge.
- Unustades alaesindatud rühma. Mudel võib vähemusrühma puhul vaikselt halvasti töötada; Vaadake rühmapõhist viga.
- Seletamatu mudeli kasutamine õiguste andmise otsustes. Süsteem, mis ei suuda põhjendada, ei saa teha avalikke otsuseid.
- Ei paku vastuväiteid. Iga automatiseeritud otsus peaks olema inimese poolt läbi vaadatud.
- Ei pea kontrolljälge. Tuleks fikseerida, milliste andmete/mudeli/vastutajaga otsus tehti.
Kokkuvõttes
Avalikus sektoris võib tehisintellekt suurendada järjepidevust, kuid ka vaikselt kanda edasi mineviku diskrimineerimist. Kallutatus tuleneb ajaloolistest andmetest, esituslünkadest, puhverserveri muutujatest ja ebatäpsest mõõtmisest; Tundlike andmete kustutamine seda ei lahenda. Õiglus saavutatakse tulemuste testimisega rühmade lõikes. Ja üheltki kodanikult ei saa õigust ära võtta "süsteem ütles nii": iga otsus peab olema seletatav, vaidlustatav ja auditeeritav. Vastutavaks peetakse institutsiooni, mitte algoritmi.
Rakenduse ülesanne
Valige oma seadmes tehisintellektil põhinev või automatiseeritud otsustusprotsess. Loetlege võimalikud kallutatused ja leidke malliga „Kallutatuse skannimise allikas” vähemalt üks asendusmuutuja risk. Otsustage, milliseid rühmade jaotusi vaadata õigluse testiplaani abil. Otsuse näidise jaoks esitage kodanikule suunatud selgitus malliga „Otsuse selgitus”.
kontrollnimekiri
- [ ] Otsisin eelarvamuste allikaid (ajalooline, esitus, puhverserver, mõõtmine).
- [ ] Ma ei kustutanud ainult tundlikke andmeid; Testisin väljundit rühmade kaupa.
- [ ] Kontrollisin alaesindatud rühmade veamäära.
- [ ] Olen igale otsusele esitanud lihtsa ja arusaadava põhjenduse.
- [ ] Olen määratlenud vastulause ja inimliku ülevaate tee.
- [ ] Kontrolljälg (andmed/mudeli versioon/vastutav) säilitatakse.