Voitot:
- Se tunnistaa datan, suunnittelun ja algoritmisen harhan lähteet ja testaa tulosten ryhmäkohtaisesti.
- Selittää kuinka takaisinkytkentäsilmukka ja esitysvirhe suurentavat epätasa-arvoa ja muodostavat vaikutuksen hallinnan.
- Se varmistaa vastuullisuuden varmistamalla jokaisen automaattisen päätöksen selitettävyyden ja valituksen.
Yleisön tulee soveltaa valtaansa tasapuolisesti kaikkiin: samanlainen kohtelu kahta samanlaisessa tilanteessa olevaa kansalaista, suhteellinen ero eri tilanteisiin. Tämä tasa-arvon periaate on perustuslaillinen velvoite. Tekoäly voi sekä parantaa että hiljaa häiritä tätä kenttää. Se voi parantaa, koska johdonmukaisesti sovellettu sääntö voi vähentää mielivaltaisuutta ja inhimillistä ennakkoluulottomuutta. Se voi olla turmeltuvaa, koska tekoälymallit oppivat menneistä tiedoista ja menneet tiedot sisältävät menneisyyden syrjintää. Jos järjestelmä on koulutettu dataan, joka on historiallisesti asettanut tiettyä ryhmää epäedulliseen asemaan, se kantaa tämän haitan myös tulevaisuudessa – ja vielä vaikeammin havaittavassa muodossa "objektiivisen algoritmin" varjolla. Tässä osiossa opit tunnistamaan algoritmisen harhan (mallin tulostuksen systemaattinen poikkeama tiettyjä ryhmiä vastaan) käytettäessä tekoälyä julkisella sektorilla, miten sitä vähennetään ja mikä tärkeintä, miten varmistetaan algoritminen vastuu (automaattisen päätöksen perustelut ovat selitettävissä, tarkastettavissa ja kiisteltävissä).
Mistä puolueettomuus tulee?
Algoritmisen harhan lähteitä on useita, ja ne kaikki ovat riskialttiita julkisesti:
- Historiallinen harha: Harjoittelutiedot sisältävät menneen epätasa-arvon. Esimerkiksi, jos alueella on aiemmin ollut vähemmän palvelua, "kysyntätiedot" voivat osoittaa, että alueella on vähän tarpeita – vaikka kysyntä olikin vähäistä, koska palvelua ei ollut.
- Edustusharha: Jotkut ryhmät ovat aliedustettuina tiedoissa (ne, joilla ei ole digitaalista pääsyä, vähemmistökieliryhmät) ja malli toimii heikosti niille.
- Välityspalvelimen harha: Vaikka malli ei suoraan katsoisi kiellettyä kriteeriä (etnisyys, uskonto), se voi tuottaa saman syrjinnän tarkastelemalla siihen liittyvää välityspalvelinta (naapurusto, nimi, postinumero).
- Mittausharha: Mittaamme ei ole sitä, mitä todella haluamme mitata. "Valitusten määrä" mittaa pikemminkin kykyä valittaa kuin tarvetta.
Varoitus: On harhaanjohtavaa sanoa "Poistin arkaluontoiset tiedot (sukupuoli, etnisyys) mallista, nyt se on reilua". Syrjintä välitysmuuttujien kautta voi jatkua. Reilua ei saavuteta poistamalla syötettä, vaan testaamalla tulostetta ryhmien välillä.
Oikeudenmukaisuuden testaus: katso tulos
Se, onko järjestelmä oikeudenmukainen vai ei, voidaan ymmärtää tarkastelemalla sen tuloksia, ei sen aikomuksia. Perusmenetelmä: jaa päätös ryhmiin ja vertaa. Eroavatko tuotokset, kuten hyväksymis-/hylkäämisaste, virheprosentti ja odotusaika merkittävästi eri ryhmien välillä (sukupuoli, ikä, alue, tulot)? Jos ero on, perustuuko tämä ero oikeutettuun syystä vai onko se syrjintää? Koska tämä analyysi saattaa vaatia henkilötietoja, se on koottava ja suoritettava KVKK:n mukaisesti.
Vinkki: Ennen kuin otat käyttöön uuden tekoälypohjaisen päätöksentekojärjestelmän, erittele sen päätökset väestöryhmittäin ja tee "reiluusraportti". Jos löydät eron, "voidaanko tämä ero selittää?" Vie kysymys kansankomitealle.
Selittävyys ja vetovoima: vastuullisuuden ydin
Julkisella sektorilla keneltäkään kansalaiselta ei voida riistää oikeuksiaan vastauksella "järjestelmä päätti niin". Jokaisessa automatisoidussa tai tekoälyavusteisessa päätöksessä on varmistettava kolme asiaa:
- Selitettävyys: Mihin päätös perustui, mitkä tekijät olivat tehokkaita, tulee selittää selkeästi.
- Tapa valittaa: Kansalaisten tulisi voida vastustaa päätöstä ja pyytää ihmistä tarkistamaan se.
- Jälkijälki: Kirjataan, mitkä tiedot, mikä malli/versio ja kenen vastuuhenkilön kanssa päätös tehtiin.
kolme minilaukkua
Tapaus 1 – Korvausvariantti otettu. Yhdessä avun priorisointimallissa ei käytetty arkaluonteisia tietoja, vaan tarkasteltiin postinumeroa. Oikeudenmukaisuustestissä todettiin, että tietyt kaupunginosat saivat järjestelmällisesti alhaisen prioriteetin – mikä korreloi postinumeron, tulojen ja etnisen tiheyden kanssa. Muuttuja poistettiin ja prioriteetti sidottiin suoraan tarveindikaattoreihin.
Tapaus 2 – Edustusvaje. Chatbot johti 41 % todennäköisemmin harhaan kansalaisten kysymyksiä, joiden äidinkieli ei ole turkki; Koulutusdata sisälsi vähän tätä ryhmää. Kun monikielinen tuki ja ihmisen luovutuksen kynnys lisättiin, kuilu umpeutui.
Tapaus 3 – Selittämätön hylkääminen. Toimielin hylkäsi hakemuksen automaattisesti; kansalainen "miksi?" Kysyttäessä poliisi ei osannut selittää, koska mallin syy ei ollut ymmärrettävissä. Tapaus osoitti, että huonosti selitettävillä malleilla ei voida tehdä oikeuksia koskevia päätöksiä; Järjestelmä on muutettu malliksi, joka tuottaa oikeutuksen ja vaatii ihmisen hyväksynnän.
Neljä kopioitavaa mallia
1) Bias-skannauksen lähde:
Sinun roolisi: algoritmisen oikeudenmukaisuuden asiantuntija. Tutustu tekoälyyn perustuvaan päätöksentekoprosessiin alta. Listaa mahdolliset harhan lähteet: (1) historiallinen harha, (2) esitysharha (aliedustettu ryhmä), (3) välitysmuuttujat (kiellettyyn kriteeriin liittyvä sarake), (4) mittausharha. Anna jokaisesta konkreettinen esimerkki ja kerro, kuinka se testataan. PROSESSI: [päätösprosessi ja käytetyt tiedot]
2) Kohtuullisuustestisuunnitelma:
Luo oikeudenmukaisuuden testaussuunnitelma seuraavaa päätöstulosta varten: mitkä ryhmät (ikä, sukupuoli, alue, tulot) minun tulisi jakaa, mitä mittareita (hyväksymisprosentti, virheprosentti, odotusaika) minun pitäisi vertailla, miten päätän, onko ero laillinen vai syrjivä? Lisää KVKK-varoitus. PÄÄTÖS: [mikä päätös]
3) Päätöslausunto (kansalaiselle):
Kirjoita selkeällä kielellä kansalaisten ymmärrettävä perusteluluonnos seuraavalle päätökselle: mitkä tekijät vaikuttivat. Lisää lopuksi valitusoikeus ja mahdollisuus ihmisen suorittamaan tarkastukseen [aika vahvistuu]. Käytä epämääräisiä ilmaisuja, kuten "Järjestelmä päätti niin". PÄÄTÖS: [yhteenveto ja vaikuttavat tekijät]
4) Vastuuvelvollisuuden tarkistus ennen levittämistä:
Luo tilivelvollisuuden tarkistuslista ennen tekoälypohjaisen päätöksentekojärjestelmän käyttöönottoa: onko se selitettävissä, onko mahdollista valittaa, onko kirjausketjua (data/malliversio/accountable) ylläpidetty, onko oikeudenmukaisuustestaus tehty, missä on ihmisen hyväksymispiste. Merkitse puuttuvat kohteet punaisiksi lipuiksi.JÄRJESTELMÄ: [resepti]
Heikko kehote / Vahva kehote
Heikko: "Onko tämä päätösmalli oikeudenmukainen?"
Vahva: "Teidän tehtävänne on algoritmisen oikeudenmukaisuuden asiantuntija. Tässä avun priorisointimallissa etsi ensin harhalähteitä (historiallinen, esitys, korvikemuuttuja, mittaus) ja anna kullekin konkreettisia esimerkkejä. Sen jälkeen laadi oikeudenmukaisuuden testaussuunnitelma: erittely, mitkä ryhmät, mitkä mittarit, kuinka päättää eron oikeutus; lisää lopuksi KVKK:n tarkistuslista, ennen kuin anna valituksen tarkistusjärjestelmä. polkua ja punaisella lipulla puutteet."
Ero: vahva kehote etsii harhaa lähteessään, se testaa tulosten ryhmien toimesta ja tekee vastuullisuudesta laajalle levinneen.
Oikeudenmukaisuuden mitat ja valvonta
Koko
Riski
ohjata
historiallisia tietoja
Menneisyys kantaa eriarvoisuutta
Testaa tulos ryhmittäin
edustus
Toimii huonosti jollekin ryhmälle
Ryhmäpohjainen virheprosentti
sijaismuuttuja
piilosyrjintää
Muuttuja-herkkä kriteerisuhde
Selitettävyys
perusteeton päätös
Luo yksinkertainen selitys
vastalause
menettämistä
Ihmisen tarkastelupolku
Palautesilmukka ja esitysvirhe
Algoritmisen syrjinnän kavalin muoto ei esiinny yksittäisessä väärässä päätöksessä, vaan takaisinkytkentäsilmukassa, joka vahvistuu ajan myötä (mallin tulos vaikuttaa myöhempään harjoitustietoon vahvistaen olemassa olevaa harhaa). Jos esimerkiksi tarkastusmalli merkitsee tietyn kaupunginosan riskialttiiksi, mitä enemmän tarkastuksia sinne tehdään, sitä enemmän tietueita luodaan, malli näkee kyseisen kaupunginosan riskialttiimmaksi – vaikka ero on kasvanut tarkasteltavassa paikassa, ei todellisessa riskissä. Se, mikä tasoittaa tietä tälle, on usein esitysvirhe (koulutustiedot, jotka heijastavat joitain ryhmiä epätäydellisesti tai vääristyneinä). Julkisella sektorilla nämä syklit voivat asettaa heikommassa asemassa olevat ryhmät yhä ankaramman valvonnan ja sanktioiden alle. Tapa suojella itseäsi on seurata mallin vaikutuksia, ei vain sen tuotosta: seurata säännöllisesti ryhmäkohtaista päätösten jakautumista eikä sokeasti toteuttaa mallin suosituksia.
Minikotelo - itseään ylistävä epäilys. Hyvinvointipetosten havaitsemismalli merkitsi aluetta, jota oli aiemmin tarkastettu tiukemmin, riskialttiiksi. Kun ryhmä poimi tiedoista täytäntöönpanon intensiteetin ja mittasi "todellisen havaitsemisasteen suhteessa väestöön", he havaitsivat, että alueiden väliset erot katosivat suurelta osin. Mallissa epätasa-arvo erehtyi todelliseen riskiin.
Ryhmäpohjainen vaikutustenhallintamalli:
Tehtävä: Tutki seuraavat päätöstiedot ryhmittäin (ei henkilötietoja, kategorinen yhteenveto).Tiedot: [ryhmä | kokonaispäätös | negatiivinen päätösprosentti | tarkastuksen intensiteetti]Tulos: 1) Osoittaako negatiivinen päätösprosentti merkittävää eroa ryhmien välillä? 2) Voisiko ero johtua todellisesta riskistä tai valvonnan/edustuksen intensiteetistä? 3) Onko mitään merkkejä palautesilmukasta? 4) Suositukset inhimilliseen hallintaan. Sääntö: syy-yhteyttä koskevan väitteen laatiminen; Listaa mahdolliset selitykset ja testaustavat.
Varoitus: Väite, jonka mukaan "malli on neutraali, koska se soveltaa samaa sääntöä kaikkiin", on harhaanjohtava. Sama sääntö, kun sitä sovelletaan vinoon dataan, säilyttää ja suurentaa epätasa-arvoa. Oikeudenmukaisuutta mitataan lopputuloksen tasa-arvoisuudella, ei säännöllä.
Yleisiä virheitä
- Arkaluontoisten tietojen poistaminen ja "se on reilua" ajatteleminen. Korvaavat muuttujat jatkavat syrjintää; testaa ulostuloa.
- Oikeuden mittaaminen tarkoituksella. Oikeus ilmenee lopulta; Lajittele päätökset ryhmiin ja vertaa.
- Unohdetaan aliedustettu ryhmä. Malli saattaa toimia hiljaisen huonosti vähemmistöryhmässä; Katso ryhmäpohjainen virhe.
- Selittämättömän mallin käyttö oikeuksia antavissa päätöksissä. Järjestelmä, joka ei pysty perustelemaan, ei voi tehdä julkisia päätöksiä.
- Ei tarjoa mitään keinoja vastustaa. Jokaisen automatisoidun päätöksen tulee olla ihmisen tarkastettavissa.
- Ei pidä kirjausketjua. On kirjattava, millä tiedoilla/mallilla/vastuuhenkilöllä päätös on tehty.
Yhteenvetona
Julkisella sektorilla tekoäly voi lisätä johdonmukaisuutta, mutta myös siirtää hiljaa menneisyyden syrjintää. Harha johtuu historiallisista tiedoista, esitysaukoista, välityspalvelimen muuttujista ja epätarkoista mittauksista; Arkaluonteisten tietojen poistaminen ei ratkaise sitä. Oikeudenmukaisuus saavutetaan testaamalla tuloksia eri ryhmissä. Eikä ketään kansalaista voi riistää "järjestelmä sanoi niin": jokaisen päätöksen on oltava selitettävissä, riitautettavissa ja tarkastettavissa. Vastuussa on instituutio, ei algoritmi.
Sovellustehtävä
Valitse yksikössäsi tekoälyllä toimiva tai automaattinen päätösprosessi. Luettelo mahdollisista harhoista ja löydä vähintään yksi korvikemuuttujariski ”Pohjatarkistuksen lähde” -mallin avulla. Määritä "reiluustestisuunnitelman" avulla, mitä ryhmäjakaumia tarkastellaan. Jos haluat esimerkkipäätöksen, tuo kansalaisille suunnattu selitys "Päätöksen selitys" -mallilla.
tarkistuslista
- [ ] Etsin harhalähteitä (historiallinen, esitys, välityspalvelin, mittaus).
- [ ] En vain poistanut arkaluonteisia tietoja; Testasin tulosta ryhmittäin.
- [ ] Kontrolloin aliedustettujen ryhmien virheprosenttia.
- [ ] Olen esittänyt jokaiselle päätökselle yksinkertaisen, selitettävän perustelun.
- [ ] Olen määritellyt vastalauseen ja ihmisen tarkastelun polun.
- [ ] Kirjausketju (tiedot/malliversio/vastuullinen) säilytetään.