Dobici:
- Sposobnost prepoznavanja rizika od diskriminacije, pristranosti i neizravne diskriminacije u cijenama i preuzimanju rizika te njihovo testiranje u izlazu umjetne inteligencije
- Sposobnost poštivanja prava na objašnjenje i prigovor u okviru propisa SEDDK, KVKK i načela automatskog odlučivanja
- Sposobnost primjene obveze ljudske kontrole i opravdanja u visokorizičnim automatiziranim odlukama
Osiguranje je posao koji grupira i cijeni rizik; ali ovo grupiranje mora biti pošteno. Davanje veće premije ili uskraćivanje pokrića osobi zbog zaštićenih karakteristika kao što su njezin spol, etnička pripadnost, uvjerenje, regija prebivališta je nepravedna diskriminacija i zabranjena je. Umjetna inteligencija (softver koji uči iz povijesnih podataka i generira cijene i preporuke za odluke) predstavlja posebnu opasnost u ovom području: može naučiti nepravedne obrasce u povijesnim podacima i nesvjesno produžiti ili čak sakriti diskriminaciju. Štoviše, to može učiniti ne izravno, već neizravno (putem proxy varijable). U ovoj jedinici naučit ćete kako prepoznati rizike pristranosti i diskriminacije u određivanju cijena i osiguravanju, kako testirati rezultate umjetne inteligencije na pravednost i kako poštivati pravo na objašnjenje i prigovor u okviru SEDDK (Agencija za regulaciju i nadzor osiguranja i privatnih mirovina), KVKK i načela automatskog donošenja odluka. Ova jedinica nije pravno savjetovanje; Objašnjava opća načela, u svakom konkretnom slučaju svakako se posavjetujte s pravnom jedinicom/jedinicom za usklađenost.
Odakle predrasude i diskriminacija?
Pristranost umjetne inteligencije proizlazi iz tri glavna izvora:
- Pristranost podataka: model uči o nepravdi u povijesnim podacima. Na primjer, ako je određena skupina sustavno dobivala visoke premije u prošlosti, model to nastavlja smatrati "normalnim".
- Surogat varijabla (proxy): čak i ako model izravno ne koristi zaštićenu značajku (spol, podrijetlo), on neizravno diskriminira upotrebom varijable koja je snažno povezana s njom (susjedstvo, ime, obrazac kupovine).
- Pristranost uzorkovanja: Budući da su neke skupine nedovoljno zastupljene u podacima, model proizvodi nepouzdane i nepravedne prosudbe o njima.
Postoje dvije vrste diskriminacije. Izravna diskriminacija: očito korištenje zaštićenog svojstva. Neizravna diskriminacija: kada naizgled neutralan kriterij nerazmjerno utječe na određenu skupinu. Drugi je podmukliji jer se javlja bez namjere i teško ga je otkriti.
Oprez: obrana da se "model temelji na statistici, dakle objektivan" je pogrešna. Statistika uključuje i nepravdu iz prošlosti; Model ga ne legitimira, on ga perpetuira. Pravednost je nešto što treba aktivno testirati.
Ispitivanje ispravnosti rezultata
Ispitajte izlaz umjetne inteligencije (preporuka cijene, razlog odbijanja, rezultat rizika) s tri pitanja za pravednost:
- Je li razlog legitiman? Temelji li se odluka na kriterijima koji su u stvarnom i opravdanom odnosu s rizikom ili na zaštićenom dobru ili njegovom zastupniku?
- Postoji li proxy? Može li jedna od korištenih varijabli (susjedstvo, ime, zanimanje, bračni status) biti snažno povezana sa zaštićenom karakteristikom?
- Može li se objasniti? Možete li klijentu i revizoru objasniti odluku na jasan i branjiv način? "Manekenka je tako rekla" nije izjava.
Ako opravdanje ne prođe ova tri testa, ono se odbacuje i odluka se temelji na legitimnim kriterijima.
Savjet: Testirajte obrazloženje za odbijanje ili visoku premiju ovom rečenicom: "Hoće li mi biti neugodno ako to objasnim klijentu i revizoru?" Ne treba koristiti sramotno ili neobranjivo opravdanje (susjedstvo, ime, podrijetlo).
Zakonodavni okvir: SEDDK, KVKK, automatska odluka
Korištenje umjetne inteligencije u osiguranju podliježe različitim propisima. Glavna načela:
- Načela SEDDK-a: Aktivnosti osiguranja trebale bi se provoditi na pošten, transparentan način koji štiti potrošače; Cijene moraju biti opravdane i ne smije postojati nepravedna diskriminacija.
- KVKK: Osobni podaci moraju se obrađivati u skladu sa zakonom, ograničeno na svrhu i sigurno. Posebni podaci, poput zdravstvenog stanja, podliježu najvišoj zaštiti.
- Načela automatiziranog donošenja odluka: U odlukama koje se temelje isključivo na automatskoj obradi i značajno utječu na osobu (na primjer, odbijanje samo od strane umjetne inteligencije), osoba; U prvi plan dolaze prava na prigovor na odluku, na traženje ljudske intervencije i na saznanje o obrazloženju odluke.
Stoga su objašnjivost, ljudska kontrola i opravdanje bitni u odlukama s velikim učinkom. Neopravdana odluka modela “crne kutije” je i nekontrolirana i u suprotnosti s tim pravima.
Korak po korak: Pravedna i skladna odluka
- Identificirajte zaštićena svojstva. Spol, porijeklo, uvjerenje, zdravlje, regija stanovanja itd.
- Izvršite proxy skeniranje. Propitajte odnos varijabli koje se koriste sa zaštićenim svojstvima.
- Stavite opravdanje na test legitimnosti. Postoji li stvarna veza s rizikom? Može li se objasniti?
- Dodajte ljudsku kontrolu. Neka ljudski pregled automatski rezultira visokom odlukom.
- Dokumentirajte obrazloženje. Zabilježite na kojim se legitimnim kriterijima odluka temeljila.
- Znati način žalbe. Omogućite korisniku pravo na prigovor, ljudski pregled i opravdanje.
tri mini kućišta
Slučaj 1 — Odbijanje proxyja. Model određivanja cijena stanovanja sugerirao je sustavno visoku premiju za određeni poštanski broj. Vještak je pregledao: poštanski broj se preklapao s područjem s određenom etničkom koncentracijom; ovo je bila proxy varijabla. Kada se stvarni rizik (starost zgrade, vrsta strukture, povijest oštećenja) razloži, većina povećanja više nije opravdana. Cijena je ponovno uspostavljena na temelju legitimnih kriterija rizika.
Slučaj 2 — Podzastupljena skupina. Za zdravstveni proizvod, model je ponudio pretjerano visoku premiju maloj dobnoj skupini. Razlog: ova je skupina bila toliko podzastupljena u podacima da je nekoliko velikih šteta učinilo da se cijela skupina čini "rizičnom". Stručnjak je izvršio korekciju vjerodostojnosti (statističke pouzdanosti) i dokumentirao da je preporuka nepouzdana; Nepošteno povećanje nije primijenjeno.
Slučaj 3 — Pravo na prigovor. Prijava je automatski odbijena rezultatom AI-ja. Kupac se usprotivio. U sklopu procesa prilagodbe odluku je ponovno pregledao vještak; Čini se da se rezultat temelji na podacima koji nedostaju (neusklađena prošla šteta). Odluka je ispravljena. Bez ljudske kontrole i prava na prigovor, nepravedno bi odbijanje bilo trajno.
Četiri upita za kopiranje
1) Proxy i diskriminacijsko skeniranje:
Provjerite pravednost sljedećeg obrazloženja cijene/odluke: [opravdanje] Potražite: koristi li se zaštićena karakteristika (spol, podrijetlo, uvjerenje, zdravlje, regija stanovanja) izravno ili neizravno (zamjena: susjedstvo, ime, profesija itd.)? Za svaku upitnu varijablu objasnite zašto bi mogla biti zamjena i predložite legitimnu alternativu.
2) Test opravdanosti:
Testirajte sljedeće obrazloženje odbijanja/visokog bonusa s tri pitanja: [opravdanje]1. Postoji li stvaran i opravdan odnos prema riziku?2. Temelji li se na zaštićenom dobru ili na njegovom zastupniku?3. Može li se to objasniti klijentu i revizoru? Odgovorite jasno na svako pitanje; Označite razlog koji ne prolazi test kao "ODBIJ".
3) Nacrt obrazloženog obrazloženja:
Nacrtajte artikulirano obrazloženje klijentu za odluku na temelju sljedećih PROVJERENIH, legitimnih kriterija rizika: [legitimni kriteriji]Ton: pun poštovanja, jasan. Korištenje zaštićenog svojstva/proxyja. Navedite pravo kupca na prigovor i zahtjev za ljudski pregled. Ovo je nacrt; potvrđuje stručnjak.
4) Kontrolni popis za ljudski pregled:
Napravite kontrolni popis za ljudsku reviziju za automatiziranu odluku visokog utjecaja: Vrsta odluke: [odbijanje/visoka premija/ograničenje kolaterala]Popis: pregled kvalificiranog stručnjaka, provjera podataka, pravednost/zastupnička kontrola, dokument opravdanja, obavijest o žalbi korisnika, evidencija traga.
Slab upit / Jak upit
Slab: "Odredite najprofitabilniju cijenu s ovim podacima i napišite obrazloženje."
Problem: Pravednost, proxy i objašnjivost se ne poštuju; model može ovjekovječiti i opravdati prošlu diskriminaciju.
Jako: "Provjerite ovo opravdanje za zamjenu i diskriminaciju; označite točke koje se oslanjaju na zaštićenu značajku ili njen zamjenu i zamijenite legitimnim kriterijem rizika. Navedite objašnjenje koje se može objasniti."
Zašto je to dobro: Diskriminacija se aktivno testira, odluka se temelji na legitimnim i objašnjivim kriterijima.
usporedna tablica
Predmet
riskantan pristup
pravi pristup
Izlaz modela
"Statistika je objektivna"
Aktivno testirajte pravdu
Izbor varijable
Koristite svaki podatak
Ekstrakt proxyja
opravdanje
"To je rekla manekenka"
Legitiman, objašnjiv kriterij
Odluka s velikim utjecajem
potpuno automatski
Ljudski nadzor je obavezan
Pravo kupca
Nije prijavljeno
Prigovor + ljudski pregled + opravdanje
Uobičajene greške
- Obrana "statistika je objektivna". Opravdavanje nepravde iz prošlosti.
- Ignoriranje proxyja. Neizravna diskriminacija na temelju susjedstva/ime/profesije.
- Nepouzdana odluka za podzastupljenu skupinu. Pod pretpostavkom da je stopa dobivena iz malog uzorka točna.
- Odluka crne kutije. Provedba automatske odluke za koju se ne može objasniti razlog.
- Ne priznajući pravo na prigovor. Ne davanje kupcu prava na ljudski pregled i opravdanje.
Ukratko
Umjetna inteligencija može naučiti diskriminaciju u povijesnim podacima i nastaviti je neizravno (preko posrednika) u cijenama i preuzimanju. Aktivno testirajte pravednost: identificirajte zaštićena svojstva i proxy, testirajte opravdanost za legitimnost i objašnjivost. SEDDK, KVKK i principi automatskog odlučivanja; Poštene cijene zahtijevaju objašnjivost, ljudski pregled i pravo na prigovor. Ljudska kontrola ključna je za odluke s velikim utjecajem. U konkretnom slučaju, obratite se pravnom odjelu/odjelu za usklađenost; Diskriminacija je crvena linija.
Zadatak aplikacije
Napišite popis od 10 varijabli koje koristi model određivanja cijena (stvarno ili primjer). Za svaki odgovorite na pitanje "može li ovo biti zamjena za zaštićeno dobro"; Označite sumnjive. Zatim stavite uzorak obrazloženja odbijanja kroz test legitimnosti #2: prolazi li test, a ako ne, kako ga zamijeniti legitimnim kriterijem?
popis za provjeru
- [ ] Naznačio sam zaštićena svojstva.
- [ ] Skenirao sam varijable za proxy.
- [ ] Stavljam opravdanje na test legitimnosti i objašnjivosti.
- [ ] Proveo sam provjere pouzdanosti za podzastupljene skupine.
- [ ] Dodao sam ljudsku kontrolu u odluci velikog utjecaja.
- [ ] Dokumentirao sam obrazloženje i kupcu dao pravo na prigovor/ljudski pregled.
- [ ] Kad sam bio u nedoumici, konzultirao sam pravni odjel/odjel za usklađenost.