Dobici:
- Prepoznaje podatke, dizajn i izvore upotrebe algoritamskih pristrasnosti i testira izlaz na grupnoj osnovi.
- Objašnjava kako povratna sprega i greška u predstavljanju povećavaju nejednakost i uspostavljaju kontrolu utjecaja.
- Osigurava odgovornost osiguravajući objašnjivost i žalbu u svakoj automatiziranoj odluci.
Javnost mora primjenjivati svoju moć jednako na sve: sličan tretman prema dvojici građana u sličnim situacijama, proporcionalna razlika u različitim situacijama. Ovo načelo jednakosti je ustavna obaveza. Umjetna inteligencija može poboljšati i tiho poremetiti ovo polje. Može se poboljšati jer dosljedno primijenjeno pravilo može smanjiti proizvoljnost i ljudsku pristrasnost. To može biti štetno jer AI modeli uče iz prošlih podataka, a podaci iz prošlosti nose diskriminaciju prošlosti. Ako je sistem obučen na podacima koji su istorijski doveli u nepovoljniji položaj određenu grupu, on nosi taj nedostatak u budućnost – i to u obliku koji je još teže otkriti, pod maskom „objektivnog algoritma“. U ovoj cjelini naučit ćete kako prepoznati algoritamsku pristrasnost (sistematsku pristrasnost izlaznog modela prema određenim grupama) kada koristite AI u javnom sektoru, kako je smanjiti i, što je najvažnije, kako osigurati algoritamsku odgovornost (razlog za automatiziranu odluku je objašnjiv, podložan reviziji i osporiti).
Odakle dolazi pristrasnost?
Postoji nekoliko izvora algoritamske pristranosti, a svi su rizični u javnosti:
- Istorijska pristranost: Podaci o obuci sadrže nejednakost iz prošlosti. Na primjer, ako je neko područje u prošlosti imalo manje usluga, "podaci o potražnji" mogu pokazati da to područje ima male potrebe - dok je u stvari potražnja bila mala jer nije bilo usluge.
- Predrasuda o zastupljenosti: Neke grupe su nedovoljno zastupljene u podacima (one bez digitalnog pristupa, grupe na manjinskim jezicima) i model za njih loše funkcionira.
- Proxy pristrasnost: Čak i ako model direktno ne gleda na zabranjeni kriterij (etnička pripadnost, religija), može proizvesti istu diskriminaciju gledajući proxy koji je s njim povezan (komšiluk, ime, poštanski broj).
- Pristrasnost mjerenja: Ono što mjerimo nije ono što zapravo želimo mjeriti. "Broj pritužbi" mjeri sposobnost žalbe, a ne potrebu.
Oprez: Pogrešno je reći "Uklonio sam osjetljive podatke (pol, etnička pripadnost) iz modela, sada je pošteno". Diskriminacija preko proxy varijabli može se nastaviti. Pravednost se ne postiže brisanjem ulaza, već testiranjem izlaza između grupa.
Testiranje pravednosti: pogledajte rezultat
Da li je sistem pravedan ili ne može se razumjeti gledajući njegove rezultate, a ne njegove namjere. Osnovna metoda: podijelite odluku u grupe i uporedite. Da li se rezultati kao što su stopa prihvatanja/odbijanja, stopa greške, vrijeme čekanja značajno razlikuju između različitih grupa (pol, starost, region, prihod)? Ako postoji razlika, da li je ta razlika zasnovana na legitimnom razlogu ili je u pitanju diskriminacija? Budući da ova analiza može zahtijevati osobne podatke, ona mora biti agregirana i provedena u skladu sa KVKK.
Savjet: Prije nego što uvedete novi sistem odlučivanja koji pokreće umjetna inteligencija, raščlanite njegove odluke po demografskim grupama i napravite „izvještaj o pravednosti“. Ako nađete razliku, "može li se ova razlika objasniti?" Iznesite pitanje komitetu ljudi.
Objašnjivost i privlačnost: srce odgovornosti
U javnom sektoru nijedan građanin ne može biti lišen svojih prava uz odgovor „tako je odlučio sistem“. Za svaku automatiziranu odluku ili odluku uz pomoć umjetne inteligencije, tri stvari moraju biti osigurane:
- Objašnjivost: Na čemu je odluka zasnovana, koji faktori su bili efektivni, treba objasniti jednostavnim jezikom.
- Način žalbe: Građani bi trebali biti u mogućnosti da prigovore na odluku i zatraže od čovjeka da je preispita.
- Revizorski trag: Treba evidentirati koji podaci, koji model/verzija i kod koje odgovorne osobe je odluka donesena.
tri mini kofera
Slučaj 1 — Uhvaćena surogat varijanta. Jedan model određivanja prioriteta pomoći nije koristio osjetljive podatke, već je gledao "poštanski broj". U testu pravičnosti utvrđeno je da određena naselja imaju sistematski nizak prioritet – u korelaciji sa poštanskim brojem, prihodom i etničkom gustinom. Varijabla je uklonjena, a prioritet je vezan direktno za indikatore potreba.
Slučaj 2 — Jaz u zastupljenosti. Chatbot je imao 41% veću vjerovatnoću da će dovesti u zabludu pitanja građana kojima nije turski maternji jezik; Podaci o obuci sadržavali su malo od ove grupe. Kada su dodani višejezična podrška i prag ljudske primopredaje, jaz se zatvorio.
Slučaj 3 — Neobjašnjivo odbijanje. Institucija je automatski odbila zahtjev; građanin "zašto?" Na pitanje, policajac nije mogao objasniti jer razlog za model nije bio razumljiv. Incident je pokazao da se modeli sa lošom objašnjivom ne mogu koristiti za donošenje odluka koje nose prava; Sistem je transformisan u model koji generiše opravdanje i zahteva ljudsko odobrenje.
Četiri šablona za kopiranje
1) Izvor skeniranja pristranosti:
Vaša uloga: stručnjak za algoritamsku pravednost. U nastavku pogledajte proces odlučivanja koji pokreće AI. Navedite moguće izvore pristrasnosti: (1) historijska pristrasnost, (2) pristrasnost reprezentacije (podzastupljena grupa), (3) zamjenske varijable (kolona povezana sa zabranjenim kriterijem), (4) pristrasnost mjerenja. Navedite konkretan primjer za svaki i recite mi kako da ga testiram. PROCES: [proces odlučivanja i korišteni podaci]
2) Plan testiranja poštenja:
Generirajte plan testiranja pravednosti za sljedeće rezultate odluke: koje grupe (starost, pol, regija, prihod) trebam podijeliti, koje metrike (stopa prihvatanja, stopa greške, vrijeme čekanja) trebam uporediti, kako da odlučim da li je razlika legitimna ili diskriminatorna? Dodajte KVKK upozorenje. ODLUKA: [koja odluka]
3) Izjava o odluci (građaninu):
Napišite građanima razumljiv nacrt obrazloženja za sljedeću odluku: koji su faktori utjecali, jednostavnim jezikom. Dodajte pravo na žalbu na kraju i mogućnost ljudskog pregleda [sa vremenom koje će biti potvrđeno]. Koristeći nejasne izraze poput "Sistem je tako odlučio." ODLUKA: [sažetak i faktori utjecaja]
4) Provjera odgovornosti prije diseminacije:
Napravite kontrolnu listu odgovornosti prije nego što uvedete sistem odlučivanja zasnovan na umjetnoj inteligenciji: da li je to objašnjivo, postoji li način za žalbu, da li se održava revizorski trag (verzija podataka/modela/odgovornost), da li je urađeno testiranje pravednosti, gdje je ljudska tačka odobravanja. Označite stavke koje nedostaju kao crvene zastavice.SISTEM: [recept]
Slaba prompt / Jaka prompt
Slab: „Da li je ovaj model odluke pravedan?“
Snažan: "Vaša uloga je stručnjak za algoritamsku pravednost. Za ovaj model određivanja prioriteta pomoći, prvo skenirajte izvore pristrasnosti (istorijski, reprezentacijski, surogat varijabla, mjerenje) i navedite konkretne primjere za svaki. Zatim osmislite plan testiranja pravednosti: raščlambu po kojim grupama, koje metrike, kako odlučiti o legitimnosti razlike, objasniti provjeru KVKK sistema za konačan rat. put žalbe i revizijski trag, i crvenom zastavom označite nedostatke."
Razlika: snažna prompt traži pristrasnost u svom izvoru, daje rezultate testirane po grupama i čini odgovornost široko rasprostranjenom.
Dimenzije i kontrole pravde
Veličina
Rizik
kontrolu
istorijski podaci
Prošlost nosi nejednakost
Testirajte izlaz po grupama
reprezentacija
Loše funkcionira za neku grupu
Stopa grešaka zasnovana na grupi
surogat varijabla
prikrivena diskriminacija
Odnos kriterija osjetljiv na varijablu
Objašnjivost
neopravdanu odluku
Generirajte jednostavno objašnjenje
prigovor
oduzimanje
Put ljudske revizije
Povratna sprega i greška u predstavljanju
Najpodmukliji oblik algoritamske diskriminacije ne javlja se u jednoj pogrešnoj odluci, već u povratnoj sprezi koja se pojačava tokom vremena (izlaz modela utiče na naknadne podatke obuke, pojačavajući postojeću pristrasnost). Na primjer, ako inspekcijski model označi određeno susjedstvo kao „rizično“, što više inspekcija ide tamo, to se stvara više zapisa, model vidi to susjedstvo kao rizičnije — iako se razlika povećala u posmatranoj lokaciji, a ne u stvarnom riziku. Ono što otvara put ovome je često greška u predstavljanju (podaci obuke koji odražavaju neke grupe nepotpuno ili iskrivljeno). U javnom sektoru, ovi ciklusi mogu staviti grupe u nepovoljniji položaj pod sve oštriji nadzor i sankcije. Način da se zaštitite je da nadgledate uticaj modela, a ne samo njegov rezultat: da redovno pratite grupnu distribuciju odluka i da ne slepo sprovodite preporuke modela.
Mini futrola — samouveličavajuća sumnja. Model otkrivanja prijevare u socijalnoj zaštiti označio je regiju koja je u prošlosti bila više inspekcija kao visoko rizična. Kada je tim izdvojio intenzitet sprovođenja iz podataka i izmjerio “istinsku stopu otkrivanja u odnosu na populaciju”, otkrili su da su razlike između regija uglavnom nestale; Model je pomiješao nejednakost sa stvarnim rizikom.
Grupni šablon za kontrolu uticaja:
Zadatak: Ispitati sljedeće podatke o odluci po grupama (bez ličnih podataka, kategorički sažetak). Podaci: [grupa | ukupna odluka | negativna stopa odlučivanja | intenzitet inspekcije] Rezultat: 1) Da li stopa negativne odluke pokazuje značajnu razliku između grupa? 2) Može li razlika biti posljedica stvarnog rizika ili intenziteta kontrole/zastupanja? 3) Ima li znakova povratne sprege? 4) Preporuke za kontrolu ljudi. Pravilo: Utvrđivanje uzročnosti; Navedite moguća objašnjenja i načine testiranja.
Oprez: Argument da je "model neutralan jer primjenjuje isto pravilo na sve" je pogrešan. Isto pravilo, kada se primjenjuje na iskrivljene podatke, čuva i uvećava nejednakost. Pravda se mjeri jednakošću ishoda, a ne pravilom.
Uobičajene greške
- Brisanje osjetljivih podataka i razmišljanje "to je pošteno". Surogatne varijable održavaju diskriminaciju; testirati izlaz.
- Mjerenje pravde namjerom. Pravda se pojavljuje na kraju; Razvrstajte odluke u grupe i uporedite.
- Zaboravljamo nedovoljno zastupljenu grupu. Model može tiho raditi loše za manjinsku grupu; Pogledajte grešku zasnovanu na grupi.
- Korištenje neobjašnjivog modela u odlukama o davanju prava. Sistem koji ne može proizvesti opravdanje ne može donositi javne odluke.
- Ne pruža nikakva sredstva za prigovor. Svaka automatizovana odluka treba da bude predmet ljudske revizije.
- Ne vođenje revizorskog traga. Treba zabilježiti sa kojim podacima/modelom/odgovornom osobom je odluka donesena.
Ukratko
U javnom sektoru, AI može povećati dosljednost, ali i tiho prenijeti diskriminaciju iz prošlosti. Pristrasnost dolazi od istorijskih podataka, jaza u predstavljanju, proxy varijabli i netačnog mjerenja; Brisanje osjetljivih podataka to neće riješiti. Pravednost se postiže testiranjem ishoda po grupama. I nijedan građanin ne može biti obespravljen "tako je rekao sistem": svaka odluka mora biti objašnjiva, osporiva i podložna reviziji. Odgovorna je institucija, a ne algoritam.
Zadatak aplikacije
Odaberite AI-pokrenut ili automatizirani proces odlučivanja u svojoj jedinici. Navedite moguće pristranosti i pronađite barem jedan zamjenski varijabilni rizik pomoću predloška „Izvor skeniranja pristranosti“. Odredite koje grupne raščlanjenosti trebate pogledati pomoću "planom testa pravednosti". Za uzorak odluke izradite obrazloženje usmjereno prema građanima sa šablonom "Obrazloženje odluke".
kontrolna lista
- [ ] Skenirao sam izvore pristranosti (istorijski, reprezentacija, proxy, mjerenje).
- [ ] Nisam samo izbrisao osjetljive podatke; Testirao sam izlaz po grupama.
- [ ] Kontrolirao sam stopu grešaka za nedovoljno zastupljene grupe.
- [ ] Dao sam jednostavno, objašnjivo opravdanje za svaku odluku.
- [ ] Definisao sam prigovor i putanju ljudskog pregleda.
- [ ] Kontrolni trag (podaci/verzija modela/odgovorni) se održava.