Pagkiling, Pagkamakatarungan at Diskriminasyon: Mga Blind Spot ng Modelo

Mga nadagdag:

• Pag-unawa kung paano nagmumula ang bias sa mga modelo ng artificial intelligence mula sa data at disenyo at kung bakit ito lumilikha ng mga legal at etikal na panganib sa pagbabangko
• Kakayahang kilalanin ang mga protektadong feature, proxy variable at hindi direktang diskriminasyon at mga desisyon ng modelo ng tanong sa mga tuntunin ng pagiging patas
• Kakayahang maunawaan kung paano ang mga sukatan ng hustisya, mga ibinukod na grupo at ang karapatang tumutol ay pinagsama sa modelong pamamahala at nagpapanatili ng pulang linya ng diskriminasyon

Ang isang modelo ng AI ay hindi neutral; Ito ay salamin ng mga datos na natutunan. Kung ang data ay nagdadala ng mga nakaraang hindi pagkakapantay-pantay, ang modelo ay natututo sa kanila at nagdadala sa kanila sa hinaharap. Sa pagbabangko, hindi ito isang abstract na debate sa etika: kung ang isang modelo ng kredito ay sistematikong nakakapinsala sa isang partikular na grupo, ito ay parehong labag sa batas (pagbabawal ng diskriminasyon) at isang paglabag sa etika, na nagdadala ng mga panganib sa reputasyon at mga parusa sa bangko. Ang layunin ng unit na ito ay ipakita kung paano nagiging bias, direkta at hindi direktang mga anyo ng diskriminasyon ang modelo, ang proxy variable na bitag, at mga paraan upang maisama ang pagiging patas sa modelong pamamahala. Isang pulang linya ang dapat sabihin sa simula: ang diskriminasyon, gaano man ito ka "statistiko", ay hindi katanggap-tanggap.

Saan nanggagaling ang pagtatangi?

• Bias ng data: Kung ang mga nakaraang desisyon ay hindi patas (hal. ang isang partikular na grupo ay binigyan ng mas kaunting kredito sa nakaraan), ipinapalagay ng modelo na ito ay "normal" at magpapatuloy. Ito ay tinatawag na historical bias.
• Sampling bias: Kung ang ilang grupo ay kulang sa representasyon sa data, ang modelo ay hindi natututo nang hindi maganda at hindi tumpak tungkol sa mga ito.
• Bias ng label: Kung ang mismong kahulugan ng "mabuting customer" ay bias, ang modelo ay nag-o-optimize para sa bias.
• Bias sa disenyo: Ang mga pagpipilian ng tao tungkol sa kung aling mga variable ang gagamitin ay maaari ding magkaroon ng bias.

Tip: "Ang modelo ay batay sa data, kaya ito ay layunin" ay isang maling kuru-kuro. Ang data ay isang snapshot ng nakaraan; Kung ang nakaraan ay hindi makatarungan, ang "layunin" na modelo ay nagbibigay-katwiran sa kawalan ng katarungan sa matematika. Ang pagiging objectivity ay hindi isang garantiya ng walang kinikilingan.

Direkta at hindi direktang diskriminasyon

• Direktang diskriminasyon: Ang direktang paggamit ng modelo ng isang protektadong katangian (kasarian, etnisidad, relihiyon, edad). Ito ay tahasang ipinagbabawal.
• Di-tuwirang diskriminasyon (kapalit na variable / proxy): Kahit na hindi direktang ginagamit ng modelo ang protektadong feature, nagdudulot ito ng parehong resulta sa pamamagitan ng paggamit ng isa pang variable na malakas na nauugnay dito (zip code, pangalan, kategorya ng pamimili, working district). Ang zip code ay kadalasang isang proxy para sa etnisidad o antas ng kita. Ang modelo ay nagsasabing "kapitbahayan" ngunit ang resulta ay "pinagmulan" na diskriminasyon.

Variable

parang

maaaring maging proxy

Postcode / distrito

heograpiya

Etnisidad, antas ng kita

Pangalan

ID

pinagmulan, kasarian

Kategorya ng pamimili

pag-uugali

pamumuhay, paniniwala

nagtapos ng paaralan

Edukasyon

Socioeconomic na pinagmulan

Iyon ang dahilan kung bakit dapat tumunog ang alarma kapag nakakita ka ng isang pahayag tulad ng "mapanganib ang kapitbahayan" sa isang katwiran: maaaring mukhang isang lehitimong pamantayan ito ngunit nagdadala ng hindi direktang diskriminasyon.

Babala: Ang pag-alis ng protektadong feature mula sa data ay hindi magtatapos sa diskriminasyon. Maaaring ibalik ito ng mga kahalili na variable. Hindi nakakamit ang hustisya sa pamamagitan ng "Binura ko ang sensitibong column"; Nakamit ito sa pamamagitan ng pagsubok sa mga resulta ng mga desisyon ng modelo sa pagitan ng mga grupo.

Paghahabi ng katarungan sa pamamahala

1. Mga sukatan ng pagiging patas. Ihambing ang mga rate ng pag-apruba/pagtanggi ng modelo at mga rate ng error sa pagitan ng mga pangkat. Ang isang grupo ba ay sistematikong nakakaranas ng mas mataas na pagtanggi?
2. Kontrol ng proxy. Suriin ang kaugnayan ng mga variable na ginamit sa mga protektadong katangian.
3. Kakayahang maipaliwanag. Ang katwiran ay dapat gawin para sa bawat desisyon; Ang pagtanggi sa "itim na kahon" ay hindi mapapatunayan.
4. Karapatang tumutol. Dapat bigyan ang customer ng karapatang malaman ang katwiran para sa desisyon at humiling ng pagsusuri ng tao.
5. Mga ibinukod na grupo. Dapat ding suriin na ang mga pangkat na kulang sa representasyon sa data ay hindi minamaltrato.

Apat na maaaring kopyahin na mga template

1) Pagsusuri para sa diskriminasyon sa katwiran:

Suriin ang sumusunod na katwiran sa pagpapasya sa kredito: mayroon bang direktang/hindi direktang pagtukoy sa isang protektadong katangian (edad, kasarian, pinagmulan, relihiyon) o isang proxy variable (postcode, kapitbahayan, pangalan, uri ng pamimili)? I-flag ang mga mapanganib na pahayag at ipaliwanag kung bakit nagdudulot ang mga ito ng panganib ng diskriminasyon. Dahilan: [text]

2) Kontrol ng proxy ng listahan ng variable:

Suriin ang listahang ito ng mga variable na ginamit sa isang modelo ng kredito. Alin sa mga ito ang maaaring maging proxy para sa isang protektadong katangian at nagdudulot ng panganib ng hindi direktang diskriminasyon? Isulat ang iyong katwiran para sa bawat mapanganib na variant. Listahan: [mga variable]

3) Buod ng desisyon sa mga tuntunin ng pagiging patas (neutral, maipaliwanag):

Ang iyong tungkulin: katulong na bumubuo ng isang maipaliwanag na katwiran ng desisyon. Umasa lamang sa lehitimong, walang diskriminasyong pamantayan (debt-to-income ratio, history ng pagbabayad, collateral). HUWAG sumangguni sa protektadong ari-arian at kahalili na variable. Isulat ang katwiran sa simpleng wika na mauunawaan ng customer. Ibibigay ko ang pag-apruba.

4) draft ng tugon sa pagtutol:

Inapela ng isang customer ang pagtanggi sa kredito at gusto ng katwiran. Bumuo ng isang magalang at mapaglarawang tugon batay sa mga lehitimong pamantayan; Paalalahanan ang customer ng kanyang karapatan sa pagsusuri at pagwawasto ng tao. Huwag gumamit ng anumang diskriminasyong implikasyon. Na-verify na dahilan ng pagtanggi: [dahilan]

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Ang mga aplikasyon sa rehiyong ito ay lubhang mapanganib, gamitin natin ang impormasyon ng distrito nang mas mabigat sa modelo upang ang katumpakan ay mapataas.

Ang pamamaraang ito ay nagpapalakas ng hindi direktang diskriminasyon batay sa distrito; Ginagawa nitong lehitimo ang isang labag sa batas na kinalabasan sa pangalan ng "hit".

Napakahusay na prompt:

Ang iyong tungkulin: justice audit assistant. I-flag ang mga variable na ginamit na nagdudulot ng panganib ng mga kahalili na variable. Magmungkahi kung aling mga sukatan ang dapat kong sundin upang paghambingin ang mga desisyon sa pagitan ng mga pangkat sa mga tuntunin ng rate ng pag-apruba/pagtanggi. Huwag kailanman palakasin ang isang diskriminasyong pamantayan; i-redirect sa lehitimong at maipaliwanag na pamantayan.

Ang Strong ay naghahanap ng panganib sa proxy, nagpapakilala ng mga sukatan ng pagiging patas, at tinatanggihan ang diskriminasyon.

tatlong mini case

Kaso 1 — Makasaysayang bias. Ang isang modelo ay nagbibigay sa isang partikular na grupo ng trabaho ng sistematikong mababang marka dahil mas kaunting nabigyan ito ng kredito sa nakaraan. Ipinapakita ng isang patas na pag-audit na ang rate ng pagtanggi para sa pangkat na ito ay 30% na mas mataas kaysa sa iba sa mga katulad na antas ng kita. Ang modelo ay muling binalanse sa mga lehitimong pamantayan sa kita at pagbabayad.

Kaso 2 — Kapalit na variable. Ang zip code ay isang malakas na variable sa isang modelo. Ang pag-audit ay nagpapakita na ang zip code ay nag-o-overlap sa ilang partikular na ethnically concentrated na kapitbahayan, na nagbubunga ng hindi direktang diskriminasyon sa pinagmulan. Ang variable ay tinanggal at pinapalitan ng mga lehitimong benchmark sa pananalapi; ang pagganap ay nananatili sa isang katanggap-tanggap na antas, ang diskriminasyon ay inalis.

Kaso 3 — Karapatang tumutol. Humihingi ng katwiran ang isang tinanggihang kliyente. Ang bangko ay nagbibigay ng maipaliwanag na katwiran (mataas na ratio ng utang-sa-kita) at tinatanggap ang kahilingan para sa pagsusuri ng tao. Ang pagsusuri ay nagpapakita ng maling pagkabasa ng isang dokumento; Ang desisyon ay naitama. Ang kakayahang maipaliwanag at ang karapatang tumutol ay kabayaran para sa isang pagkakamali ng katarungan.

Mga sukatan ng pagiging patas: ano at paano namin sinusukat

"Patas ba ang modelo?" Walang iisang sagot sa tanong; Mayroong maraming mga kahulugan ng katarungan, at kung minsan ay nagkakasalungatan sila sa isa't isa. Narito ang ilang mga diskarte na halos sinusunod sa pagbabangko:

• Paghahambing ng rate ng pag-apruba/pagtanggi: Ang rate ba ng pag-apruba ay sistematikong naiiba sa pagitan ng iba't ibang grupo na may magkakatulad na profile sa pananalapi (hal. mga pangkat ng kasarian)? Ang isang malaki at hindi maipaliwanag na pagkakaiba ay isang tanda ng pagkiling.
• Pagkakapantay-pantay ng rate ng error: Balanse ba ang rate ng maling pagtanggi ng modelo (pagtanggi sa isang lehitimong aplikasyon) sa mga grupo? Kung ang isang grupo ay hindi patas na tinanggihan nang mas madalas kaysa sa iba, may problema.
• Pag-calibrate: Ang mga customer ba na tinatawag ng modelong "mataas na panganib" ay talagang nagde-default sa magkatulad na mga rate sa bawat pangkat? Ang kahulugan ng marka ay hindi dapat lumipat mula sa pangkat patungo sa pangkat.

Ang mga sukatan na ito kung minsan ay hindi maibibigay sa parehong oras; Aling kahulugan ng hustisya ang dapat unahin ay hindi isang teknikal ngunit isang etikal at legal na desisyon at nangangailangan ng pamamahala ng tao.

Tip: Sukatin ang sukatan ng pagiging patas sa mga regular na pagitan, hindi lang kapag ginawa mo ang modelo. Ang isang modelo ay maaaring maging live nang patas at maging bias sa paglipas ng panahon dahil sa data drift. Ang hustisya ay hindi "establishment" kundi "monitoring".

Mga karaniwang pagkakamali

• Ang "layunin ng data" na kamalian. Ipagpalagay na ang modelo ay neutral; ang data ay nagdadala ng makasaysayang bias.
• Tanggalin lang ang sensitibong column. Pag-alis ng protektadong ari-arian at tinatanaw ang mga variable ng proxy.
• Hindi sinusubaybayan ang mga sukatan ng pagiging patas. Hindi inihahambing ang rate ng pagtanggi/error sa pagitan ng mga pangkat.
• Pagtatanggol sa desisyon ng black box. Isinasaalang-alang ang isang desisyon na hindi maaaring makatwiran bilang lehitimo.
• Pag-aalis ng karapatang tumutol. Hindi pagpapagana ng pagsusuri ng tao dahil "pinabagal nito ang proseso."

Pansin: Ang diskriminasyon ay kadalasang nagmumula hindi sa malisya kundi sa kawalang-ingat. Ang isang variable na idinagdag dahil "pinapataas nito ang katumpakan" ay maaaring hindi sinasadyang magbukod ng isang pangkat. Samakatuwid, ang hustisya ay hindi nakabatay sa mabuting pananampalataya kundi sa regular na pagsubok.

Sa buod

Ang mga modelo ng AI ay nagdadala ng mga bias ng data na kanilang natutunan, at ang diskriminasyon sa pagbabangko ay isang legal, etikal at reputasyon na panganib. Ang direktang diskriminasyon ay gumagamit ng isang protektadong tampok; Ang hindi direktang diskriminasyon, sa kabilang banda, ay gumagawa ng parehong resulta sa mga variable ng proxy (zip code, pangalan). Ang hustisya ay hindi tungkol sa pagbubura sa sensitibong hanay; Tinitiyak ng mga sukatan ng pagiging patas, kontrol ng proxy, kakayahang maipaliwanag, at karapatang tumutol. Sa isang pangungusap: Inuulit ng pattern ang nakaraan; Responsibilidad ng tao na itaguyod ang katarungan at tanggihan ang diskriminasyon.

Gawain ng aplikasyon

Sumulat ng isang listahan ng 8-10 variable para sa isang modelo ng kredito (ang ilan ay may sinadyang panganib sa proxy: zip code, pangalan, kategorya ng pamimili). 2. Magsagawa ng proxy check gamit ang template at markahan ang mga mapanganib sa kanilang mga dahilan. Pagkatapos ay magsulat ng text na nagbibigay-katwiran sa diskriminasyon at i-scan ito gamit ang template 1. Panghuli, magplano sa isang talata kung aling mga sukatan ng pagiging patas ang iyong susubaybayan upang ihambing ang rate ng pagtanggi ng modelo sa pagitan ng mga grupo.

checklist

• [ ] Nasuri ko na ang modelo/ katwiran ay hindi gumagamit ng mga protektadong katangian.
• [ ] Sinuri ko rin ang panganib ng mga proxy variable.
• [ ] Pinlano kong ihambing ang pag-apruba/pagtanggi at rate ng error sa pagitan ng mga pangkat.
• [ ] Tiniyak ko na ang bawat desisyon ay may maipaliwanag na katwiran.
• [ ] Binigyan ko ang customer ng karapatang tumutol at pagsusuri ng tao.
• [ ] Hindi ko man lang nalampasan ang diskriminasyong pulang linya sa batayan ng "hit".