Dobici:
- Prepoznaje podatke, dizajn i izvore upotrebe algoritamske pristranosti i testira izlaz na grupnoj osnovi.
- Objašnjava kako povratna sprega i pogreška predstavljanja povećavaju nejednakost i uspostavljaju kontrolu utjecaja.
- Osigurava odgovornost osiguravajući objašnjivost i žalbu u svakoj automatiziranoj odluci.
Javnost mora svoju moć primijeniti jednako prema svima: isti tretman prema dvojici građana u sličnim situacijama, razmjerna razlika prema različitim situacijama. Ovo načelo jednakosti je ustavna obveza. Umjetna inteligencija može i poboljšati i tiho poremetiti ovo polje. Može se poboljšati jer dosljedno primijenjeno pravilo može smanjiti proizvoljnost i ljudsku pristranost. To može biti korumpirajuće jer modeli umjetne inteligencije uče iz prošlih podataka, a prošli podaci nose diskriminaciju prošlosti. Ako je sustav obučen na podacima koji su povijesno stavili u nepovoljan položaj određenu skupinu, on taj nedostatak prenosi u budućnost - i to u obliku koji je još teže otkriti, pod krinkom "objektivnog algoritma". U ovoj ćete jedinici naučiti kako prepoznati algoritamsku pristranost (sustavnu pristranost rezultata modela prema određenim skupinama) pri korištenju umjetne inteligencije u javnom sektoru, kako je smanjiti i, što je najvažnije, kako osigurati algoritamsku odgovornost (obrazloženje da je automatizirana odluka objašnjiva, revizijska i osporiva).
Odakle dolazi pristranost?
Postoji nekoliko izvora algoritamske pristranosti, a svi su rizični u javnosti:
- Povijesna pristranost: podaci o obuci sadrže prošlu nejednakost. Na primjer, ako je područje imalo manje usluga u prošlosti, "podaci o potražnji" mogu pokazati da to područje ima niske potrebe - dok je zapravo potražnja bila niska jer nije bilo usluge.
- Pristranost u zastupljenosti: Neke su skupine podzastupljene u podacima (one bez digitalnog pristupa, manjinske jezične skupine) i model im ne odgovara.
- Zamjenska pristranost: čak i ako model izravno ne gleda na zabranjeni kriterij (etnička pripadnost, religija), može proizvesti istu diskriminaciju gledajući zamjenu povezanu s njim (susjedstvo, ime, poštanski broj).
- Pristranost mjerenja: Ono što mjerimo nije ono što zapravo želimo mjeriti. "Broj pritužbi" mjeri sposobnost prigovaranja, a ne potrebu.
Oprez: Pogrešno je reći "Uklonio sam osjetljive podatke (spol, etnička pripadnost) iz modela, sada je pošteno". Diskriminacija putem proxy varijabli može se nastaviti. Pravednost se ne postiže brisanjem ulaza, već testiranjem izlaza između grupa.
Ispitivanje pravednosti: pogledajte izlaz
Je li sustav pravedan ili ne može se razumjeti gledajući njegove rezultate, a ne njegove namjere. Osnovna metoda: podijeliti odluku u skupine i usporediti. Razlikuju li se rezultati kao što su stopa prihvaćanja/odbijanja, stopa pogreške, vrijeme čekanja značajno između različitih skupina (spol, dob, regija, prihod)? Ako postoji razlika, temelji li se ta razlika na opravdanom razlogu ili se radi o diskriminaciji? Budući da ova analiza može zahtijevati osobne podatke, ona mora biti agregirana i provedena u skladu s KVKK.
Savjet: Prije pokretanja novog sustava odlučivanja koji pokreće AI, raščlanite njegove odluke po demografskim skupinama i napravite "izvješće o pravednosti". Ako pronađete razliku, "može li se ta razlika objasniti?" Odnesite pitanje odboru ljudi.
Objašnjivost i privlačnost: srce odgovornosti
U javnom sektoru niti jedan građanin ne može biti zakinut u pravima uz odgovor "sustav je tako odlučio". Za svaku automatiziranu odluku ili odluku potpomognutu umjetnom inteligencijom moraju se osigurati tri stvari:
- Objašnjivost: Na čemu se odluka temeljila, koji su čimbenici bili učinkoviti, treba objasniti jednostavnim jezikom.
- Način žalbe: Građani bi trebali imati mogućnost prigovoriti na odluku i zatražiti od čovjeka da je pregleda.
- Revizijski trag: Treba zabilježiti koji podaci, koji model/verzija i s kojom odgovornom osobom je donesena odluka.
tri mini kućišta
Slučaj 1 — Uhvaćena surogat varijanta. Jedan model određivanja prioriteta pomoći nije koristio osjetljive podatke, već je gledao na "poštanski broj". U testu pravednosti utvrđeno je da određene četvrti dobivaju sustavno nizak prioritet - u korelaciji s poštanskim brojem, prihodom i etničkom gustoćom. Varijabla je uklonjena, a prioritet je izravno povezan s pokazateljima potreba.
Slučaj 2 — praznina u zastupljenosti. Chatbot je imao 41% veću vjerojatnost da će zavarati pitanja građana kojima turski nije materinji jezik; Podaci o obuci sadržavali su malo ove skupine. Kad su dodani višejezična podrška i prag ljudske primopredaje, praznina se zatvorila.
Slučaj 3 — Neobjašnjeno odbijanje. Institucija je automatski odbila zahtjev; građanin "zašto?" Na upit, službenik nije mogao objasniti jer razlog za model nije bio razumljiv. Incident je pokazao da se slabo objašnjivi modeli ne mogu koristiti za donošenje odluka koje donose prava; Sustav je pretvoren u model koji generira opravdanje i zahtijeva ljudsko odobrenje.
Četiri predloška za kopiranje
1) Skeniranje izvora pristranosti:
Vaša uloga: stručnjak za algoritamsku pravednost. U nastavku pogledajte postupak odlučivanja koji pokreće AI. Navedite moguće izvore pristranosti: (1) povijesna pristranost, (2) pristranost reprezentacije (podzastupljena skupina), (3) proxy varijable (stupac povezan sa zabranjenim kriterijem), (4) pristranost mjerenja. Dajte konkretan primjer za svaki i recite mi kako da ga testiram. PROCES: [proces odlučivanja i korišteni podaci]
2) Plan testa pravednosti:
Generirajte plan testiranja pravednosti za sljedeći izlaz odluke: koje grupe (dob, spol, regija, prihod) trebam raščlaniti, koje metrike (stopa prihvaćanja, stopa pogreške, vrijeme čekanja) trebam usporediti, kako mogu odlučiti je li razlika legitimna ili diskriminirajuća? Dodaj KVKK upozorenje. ODLUKA: [kakva odluka]
3) Odluka (građaninu):
Napišite građanima razumljiv nacrt obrazloženja za sljedeću odluku: koji su čimbenici bili utjecajni, jednostavnim jezikom. Dodajte pravo na žalbu na kraju i mogućnost ljudskog pregleda [vrijeme će biti potvrđeno]. Korištenje nejasnih izraza poput "Sustav je tako odlučio." ODLUKA: [sažetak i čimbenici utjecaja]
4) Provjera odgovornosti prije širenja:
Izradite popis za provjeru odgovornosti prije uvođenja sustava odlučivanja koji pokreće AI: je li to moguće objasniti, postoji li način žalbe, održava li se revizijski trag (verzija podataka/modela/odgovorno), je li obavljeno testiranje pravednosti, gdje je točka ljudskog odobrenja. Označite stavke koje nedostaju kao crvene zastavice. SUSTAV: [recept]
Slab upit / Jak upit
Slab: "Je li ovaj model odluke pravedan?"
Strong: "Vaša uloga je stručnjak za algoritamsku pravednost. Za ovaj model određivanja prioriteta pomoći, prvo skenirajte izvore pristranosti (povijesni, reprezentacija, zamjenska varijabla, mjerenje) i dajte konkretne primjere za svaki. Zatim osmislite plan testiranja pravednosti: raščlamba po grupama, koje metrike, kako odlučiti o legitimnosti razlike; dodajte KVKK upozorenje. Na kraju, prije pokretanja sustava, dajte kontrolni popis za objašnjivost, žalbeni put i revizijski trag te crvenom zastavicom označiti nedostatke."
Razlika: snažan upit traži pristranost na njezinu izvoru, rezultate testiraju grupe i čini odgovornost širokom.
Dimenzije i kontrole pravde
Veličina
Rizik
kontrola
povijesni podaci
Prošlost nosi nejednakost
Ispitajte rezultate po grupama
reprezentacija
Loše radi za neku grupu
Stopa pogreške temeljena na grupi
surogat varijabla
prikrivena diskriminacija
Odnos kriterija osjetljivog na varijable
Objašnjivost
neopravdana odluka
Generirajte jednostavno objašnjenje
prigovor
oduzimanje
Put ljudskog pregleda
Petlja povratne sprege i pogreška reprezentacije
Najpodmukliji oblik algoritamske diskriminacije ne događa se u jednoj pogrešnoj odluci, već u petlji povratne sprege koja se pojačava tijekom vremena (izlaz modela utječe na naknadne podatke obuke, pojačavajući postojeću pristranost). Na primjer, ako model inspekcije označi određeno susjedstvo kao "rizično", što više inspekcija ide tamo, to se više zapisa stvara, model to susjedstvo vidi kao rizičnije - iako se razlika povećala u promatranoj lokaciji, a ne u stvarnom riziku. Ono što utire put za to često je pogreška u predstavljanju (podaci o obuci koji odražavaju neke skupine nepotpuno ili iskrivljeno). U javnom sektoru ovi ciklusi mogu dovesti skupine u nepovoljnom položaju pod sve strožiji nadzor i sankcije. Način da se zaštitite je praćenje utjecaja modela, a ne samo njegovih rezultata: redovito nadziranje grupne distribucije odluka, a ne slijepo provođenje preporuka modela.
Mali slučaj — sumnja u samoveličanje. Model otkrivanja prijevare u socijalnoj skrbi označio je regiju koja je u prošlosti bila intenzivnije pregledana kao visokorizičnu. Kad je tim iz podataka izvukao intenzitet provedbe i izmjerio "pravu stopu otkrivanja u odnosu na populaciju", otkrili su da su razlike između regija uglavnom nestale; Model je nejednakost zamijenio za stvarni rizik.
Predložak kontrole utjecaja na temelju grupe:
Zadatak: Ispitajte sljedeće podatke o odlukama po grupama (bez osobnih podataka, kategorički sažetak). Podaci: [grupa | potpuna odluka | negativna stopa odlučivanja | Intenzitet inspekcije] Ishod: 1) Pokazuje li stopa negativnih odluka značajnu razliku između skupina? 2) Može li razlika biti posljedica stvarnog rizika ili intenziteta kontrole/zastupanja? 3) Ima li znakova povratne sprege? 4) Preporuke za ljudsku kontrolu. Pravilo: Uspostavljanje tvrdnje o kauzalnosti; Navedite moguća objašnjenja i načine testiranja.
Oprez: Argument da je "model neutralan jer primjenjuje isto pravilo na sve" je pogrešan. Isto pravilo, kada se primijeni na iskrivljene podatke, čuva i povećava nejednakost. Pravda se mjeri jednakošću ishoda, a ne pravilom.
Uobičajene greške
- Brisanje osjetljivih podataka i razmišljanje "to je pošteno". Surogat varijable održavaju diskriminaciju; testirati izlaz.
- Mjerenje pravde namjerom. Pravda se pojavljuje na kraju; Razvrstajte odluke u skupine i usporedite.
- Zaboravljajući podzastupljenu skupinu. Model može tiho loše funkcionirati za manjinsku skupinu; Pogledajte pogrešku temeljenu na grupi.
- Korištenje neobjašnjenog modela u odlukama o davanju prava. Sustav koji ne može proizvesti opravdanje ne može donositi javne odluke.
- Ne pružajući nikakav prigovor. Svaka automatizirana odluka trebala bi biti podvrgnuta ljudskom pregledu.
- Ne vođenje revizijskog traga. Treba zabilježiti s kojim podacima/modelom/odgovornom osobom je odluka donesena.
Ukratko
U javnom sektoru umjetna inteligencija može povećati dosljednost, ali i tiho prenijeti diskriminaciju iz prošlosti. Pristranost dolazi od povijesnih podataka, jaza u reprezentaciji, proxy varijabli i netočnog mjerenja; Brisanjem osjetljivih podataka to se neće riješiti. Pravednost se postiže testiranjem ishoda u grupama. I niti jedan građanin ne može biti obespravljen time što je "sustav tako rekao": svaka odluka mora biti objašnjiva, osporiva i revizijska. Institucija je ta koja se smatra odgovornom, a ne algoritam.
Zadatak aplikacije
Odaberite AI-pokretan ili automatizirani proces odlučivanja u vašoj jedinici. Navedite moguće pristranosti i pronađite barem jednu zamjensku varijablu rizika pomoću predloška "Skeniranje izvora pristranosti". Odredite koju skupinu raščlambe pogledati pomoću "plana testa pravednosti". Za primjer odluke izradite obrazloženje upućeno građanima s predloškom "Obrazloženje odluke".
popis za provjeru
- [ ] Tražio sam izvore pristranosti (povijesni, reprezentativni, proxy, mjerenje).
- [ ] Nisam samo izbrisao osjetljive podatke; Testirao sam rezultate po grupama.
- [ ] Kontrolirao sam stopu pogreške za podzastupljene skupine.
- [ ] Dao sam jednostavno, objašnjivo obrazloženje za svaku odluku.
- [ ] Definirao sam prigovor i put ljudskog pregleda.
- [ ] Kontrolni trag (podaci/verzija modela/odgovorni) se održava.