Qligħ:
- Nifhmu kif il-preġudizzju fil-mudelli tal-intelliġenza artifiċjali jirriżulta mid-dejta u d-disinn u għaliex joħloq riskji legali u etiċi fil-banek
- Kapaċità li tirrikonoxxi karatteristiċi protetti, varjabbli prokura u diskriminazzjoni indiretta u tiddubita deċiżjonijiet tal-mudell f'termini ta 'ġustizzja
- Kapaċità li tifhem kif il-metriċi tal-ġustizzja, il-gruppi esklużi u d-dritt tal-oġġezzjoni huma minsuġa fil-mudell ta’ governanza u jżommu l-linja ħamra tad-diskriminazzjoni
Mudell AI mhuwiex newtrali; Hija mera tad-dejta mgħallma. Jekk id-dejta ġġorr inugwaljanzi fil-passat, il-mudell jitgħallemhom u jġorrhom fil-futur. Fis-settur bankarju, dan mhuwiex dibattitu etiku astratt: jekk mudell ta’ kreditu sistematikament jiżvantaġġa grupp partikolari, dan huwa kemm illegali (projbizzjoni ta’ diskriminazzjoni) kif ukoll ksur etiku, li jġib riskji ta’ reputazzjoni u ta’ sanzjonijiet lill-bank. L-iskop ta' din l-unità huwa li turi kif il-mudell isir preġudikat, forom diretti u indiretti ta' diskriminazzjoni, in-nassa varjabbli prokura, u modi biex tinsiġ il-ġustizzja fil-mudell ta' governanza. Linja ħamra trid tingħad mill-bidu: id-diskriminazzjoni, tkun kemm tidher “statistika”, hija inaċċettabbli.
Minn fejn ġej il-preġudizzju?
- Preġudizzju tad-dejta: Jekk id-deċiżjonijiet tal-passat kienu inġusti (eż. grupp partikolari ngħata inqas kreditu fil-passat), il-mudell jassumi li dan huwa "normali" u jkompli. Dan jissejjaħ preġudizzju storiku.
- Preġudizzju tat-teħid tal-kampjuni: Jekk xi gruppi huma sottorappreżentati fid-dejta, il-mudell jitgħallem ħażin u mhux preċiż dwarhom.
- Preġudizzju tat-tikketta: Jekk id-definizzjoni ta '"klijent tajjeb" nnifisha hija preġudikata, il-mudell jottimizza għall-preġudizzju.
- Preġudizzju tad-disinn: L-għażliet tal-bniedem dwar liema varjabbli tuża jistgħu wkoll iġorru preġudizzju.
Tip: "Il-mudell huwa bbażat fuq data, għalhekk huwa oġġettiv" huwa kunċett żbaljat. Id-dejta hija stampa tal-passat; Jekk il-passat kien inġust, il-mudell “oġġettiv” jiġġustifika l-inġustizzja mal-matematika. L-oġġettività mhijiex garanzija ta’ imparzjalità.
Diskriminazzjoni diretta u indiretta
- Diskriminazzjoni diretta: L-użu dirett tal-mudell ta' karatteristika protetta (sess, etniċità, reliġjon, età). Dan huwa espressament ipprojbit.
- Diskriminazzjoni indiretta (varjabbli surrogata / prokura): Anke jekk il-mudell ma jużax il-karatteristika protetta direttament, jipproduċi l-istess riżultat billi juża varjabbli oħra li hija relatata ħafna magħha (kodiċi zip, isem, kategorija tax-xiri, distrett tax-xogħol). Il-kodiċi postali ħafna drabi huwa prokura għall-etniċità jew il-livell tad-dħul. Il-mudell jgħid "viċinat" iżda r-riżultat huwa diskriminazzjoni "oriġini".
Varjabbli
apparentement
jista' jkun prokura
Kodiċi postali / distrett
ġeografija
Etniċità, livell ta' dħul
Isem
ID
oriġini, sess
Kategorija tax-xiri
imġieba
stil ta’ ħajja, twemmin
skola gradwata
Edukazzjoni
Oriġini soċjoekonomika
Huwa għalhekk li l-allarm għandu jinstema' meta tara dikjarazzjoni bħal "neighbourhood is risky" f'ġustifikazzjoni: jista' jidher li huwa kriterju leġittimu iżda jġorr diskriminazzjoni indiretta.
Attenzjoni: It-tneħħija tal-karatteristika protetta mid-dejta ma ttemmx id-diskriminazzjoni. Varjabbli surrogati jistgħu jirritornawha. Il-ġustizzja ma tinkisebx billi "Ħassart il-kolonna sensittiva"; Dan jinkiseb billi jiġu ttestjati r-riżultati tad-deċiżjonijiet mudell bejn il-gruppi.
Insiġ il-ġustizzja fil-governanza
- Metriċi ta' ġustizzja. Qabbel ir-rati ta' approvazzjoni/rifjut tal-mudell u r-rati ta' żball bejn il-gruppi. Grupp wieħed jesperjenza sistematikament rifjuti ogħla?
- Kontroll tal-prokura. Eżamina r-relazzjoni tal-varjabbli użati mal-proprjetajiet protetti.
- Spjegabbiltà. Għandha tiġi prodotta ġustifikazzjoni għal kull deċiżjoni; Ċaħda ta' "kaxxa sewda" hija insostenibbli.
- Dritt ta' oġġezzjoni. Il-klijent għandu jingħata d-dritt li jitgħallem ir-raġuni għad-deċiżjoni u jitlob reviżjoni umana.
- Gruppi esklużi. Għandu jiġi ċċekkjat ukoll li gruppi li huma sottorappreżentati fid-dejta ma jiġux ittrattati ħażin.
Erba' mudelli li jistgħu jiġu kkupjati
1) Screening għal diskriminazzjoni fil-ġustifikazzjoni:
Iċċekkja r-raġunament tad-deċiżjoni tal-kreditu li ġej: hemm referenza diretta/indiretta għal karatteristika protetta (età, sess, oriġini, reliġjon) jew varjabbli prokura (kodiċi postali, lokal, isem, tip ta’ xiri)? Bandiera dikjarazzjonijiet riskjużi u spjega għaliex joħolqu riskju ta’ diskriminazzjoni. Raġuni: [test]
2) Kontroll tal-prokura tal-lista varjabbli:
Eżamina din il-lista ta' varjabbli użati f'mudell ta' kreditu. Liema jistgħu jkunu prokura għal karatteristika protetta u joħolqu riskju ta' diskriminazzjoni indiretta? Ikteb il-ġustifikazzjoni tiegħek għal kull varjant riskjuż. Lista: [varjabbli]
3) Sommarju tad-deċiżjoni f'termini ta' ġustizzja (newtrali, spjegabbli):
Ir-rwol tiegħek: assistent li jabbozza raġuni ta' deċiżjoni spjegabbli. Tistrieħ biss fuq kriterji leġittimi u mhux diskriminatorji (proporzjon tad-dejn mad-dħul, storja ta’ pagamenti, kollateral). MA tirreferix proprjetà protetta u varjabbli sostitut. Ikteb ir-raġunament b'lingwaġġ sempliċi li l-klijent jifhem. Jien se nagħti l-approvazzjoni.
4) Abbozz ta' tweġiba għall-oġġezzjoni:
Klijent appella ċ-ċaħda tal-kreditu u jrid ġustifikazzjoni. Abbozza rispons rispettuż u deskrittiv ibbażat fuq kriterji leġittimi; Fakkar lill-klijent dwar id-dritt tiegħu jew tagħha għal reviżjoni umana u korrezzjoni. Tużax xi implikazzjonijiet diskriminatorji. Raġuni verifikata ta' rifjut: [raġuni]
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
L-applikazzjonijiet f'dan ir-reġjun huma riskjużi ħafna, ejja nużaw l-informazzjoni tad-distrett b'mod aktar qawwi fil-mudell sabiex l-eżattezza tkun tista 'tiżdied.
Dan l-approċċ isaħħaħ id-diskriminazzjoni indiretta bbażata fuq id-distrett; Jilleġittimizza riżultat illegali f'isem "hit".
Pront qawwi:
Ir-rwol tiegħek: assistent tal-awditjar tal-ġustizzja. Immarka l-varjabbli użati li joħolqu riskju ta' varjabbli surrogati. Issuġġerixxi liema metriċi għandi nsegwi biex inqabbel id-deċiżjonijiet bejn il-gruppi f'termini ta' rata ta' approvazzjoni/ċaħda. Qatt issaħħaħ kriterju diskriminatorju; direzzjoni mill-ġdid lejn kriterji leġittimi u spjegabbli.
Ir-rieda qawwija tfittex riskju ta' prokura, tintroduċi metriċi ta' ġustizzja, u tirrifjuta d-diskriminazzjoni.
tliet każijiet żgħar
Każ 1 — Preġudizzju storiku. Mudell wieħed jagħti grupp okkupazzjonali partikolari punteġġ sistematikament baxx minħabba li ngħata inqas kreditu fil-passat. Verifika tal-ġustizzja turi li r-rata ta' rifjut għal dan il-grupp hija 30% ogħla minn oħrajn f'livelli ta' dħul simili. Il-mudell huwa bilanċjat mill-ġdid bi dħul leġittimu u kriterji ta 'ħlas.
Każ 2 — Varjabbli surrogat. Zip code huwa varjabbli b'saħħtu f'mudell. Il-verifika turi li l-kodiċi zip jikkoinċidi ma 'ċerti distretti etnikament ikkonċentrati, li jipproduċu diskriminazzjoni ta' oriġini indiretta. Il-varjabbli titneħħa u tinbidel b'benchmarks finanzjarji leġittimi; il-prestazzjoni tibqa' f'livell aċċettabbli, id-diskriminazzjoni tiġi eliminata.
Każ 3 — Dritt ta' oġġezzjoni. Klijent miċħud jitlob ġustifikazzjoni. Il-bank jipprovdi l-ġustifikazzjoni spjegabbli (proporzjon għoli tad-dejn għad-dħul) u jaċċetta t-talba għal reviżjoni umana. Ir-reviżjoni tikxef qari ħażin ta' dokument; Id-deċiżjoni hija kkoreġuta. Spjegabbiltà u d-dritt ta’ oġġezzjoni jikkumpensaw għal żball bil-ġustizzja.
Metriċi ta' ġustizzja: x'nkejlu u kif
"Il-mudell huwa ġust?" M'hemm l-ebda tweġiba waħda għall-mistoqsija; Hemm diversi definizzjonijiet tal-ġustizzja, u xi drabi huma f’kunflitt ma’ xulxin. Hawn huma ftit approċċi li huma prattikament segwiti fil-banek:
- Tqabbil tar-rata ta’ approvazzjoni/ċaħda: Ir-rata ta’ approvazzjoni hija sistematikament differenti bejn gruppi differenti bi profili finanzjarji simili (eż. gruppi tas-sessi)? Differenza kbira u mhux spjegata hija sinjal ta 'preġudizzju.
- Ugwaljanza tar-rata ta' żball: Ir-rata ta' rifjut falz tal-mudell (ir-rifjut ta' applikazzjoni leġittima) hija bilanċjata bejn il-gruppi? Jekk grupp wieħed jiġi miċħud b'mod inġust aktar spiss minn ieħor, hemm problema.
- Kalibrazzjoni: Il-klijenti li l-mudell isejjaħ "riskju għoli" verament inadempjenti b'rati simili f'kull grupp? It-tifsira tal-punteġġ m'għandhiex tinbidel minn grupp għal grupp.
Dawn il-metriċi kultant ma jistgħux jiġu pprovduti fl-istess ħin; Liema definizzjoni ta’ ġustizzja għandha tingħata prijorità mhix deċiżjoni teknika iżda etika u legali u teħtieġ governanza umana.
Tip: Kejjel il-metrika tal-ġustizzja f'intervalli regolari, mhux biss meta tibni l-mudell. Mudell jista 'jgħix b'mod ġust u jsir preġudikat maż-żmien minħabba drift tad-dejta. Il-ġustizzja mhix kwistjoni ta’ “stabbiliment” iżda kwistjoni ta’ “monitoraġġ”.
Żbalji komuni
- Il-fallacy "data oġġettiva". Jekk wieħed jassumi li l-mudell huwa newtrali; data ġġorr preġudizzju storiku.
- Ħassar biss il-kolonna sensittiva. Tneħħija tal-proprjetà protetta u tinjora l-varjabbli tal-prokura.
- Mhux tracking metriċi ta 'ġustizzja. Ma tqabbel xejn ir-rata ta' rifjut/iżball bejn il-gruppi.
- Jiddefendu d-deċiżjoni tal-kaxxa s-sewda. Meta wieħed iqis deċiżjoni li ma tistax tiġi ġġustifikata bħala leġittima.
- Tneħħi d-dritt ta' oġġezzjoni. Id-diżattivazzjoni tar-reviżjoni umana minħabba li "tnaqqas il-proċess."
Attenzjoni: Id-diskriminazzjoni ta’ spiss tqum mhux mill-malizzja imma minn traskuraġni. Varjabbli miżjuda għax "iżżid l-eżattezza" tista' bla ma tkun taf teskludi grupp. Għalhekk il-ġustizzja mhix ibbażata fuq il-bona fede imma fuq testijiet regolari.
Fil-qosor
Il-mudelli tal-IA jġorru l-preġudizzji tad-dejta li jitgħallmu minnha, u d-diskriminazzjoni fil-banek hija riskju legali, etiku u għar-reputazzjoni. Diskriminazzjoni diretta qed tuża karatteristika protetta; Id-diskriminazzjoni indiretta, min-naħa l-oħra, qed tipproduċi l-istess riżultat b'varjabbli ta' prokura (kodiċi postali, isem). Il-ġustizzja mhix dwar it-tħassir tal-kolonna sensittiva; Żgurat minn metriċi ta 'ġustizzja, kontroll ta' prokura, spjegabilità, u dritt ta 'oġġezzjoni. F'sentenza waħda: Il-mudell jirrepeti l-passat; Hija r-responsabbiltà tal-bniedem li jħares il-ġustizzja u jirrifjuta d-diskriminazzjoni.
Kompitu ta' applikazzjoni
Ikteb lista ta’ 8-10 varjabbli għal mudell ta’ kreditu (uħud b’riskju ta’ prokura intenzjonali: kodiċi zip, isem, kategorija tax-xiri). 2. Wettaq proxy check mal-mudell u mmarka dawk riskjużi bir-raġunijiet tagħhom. Imbagħad ikteb test ta 'ġustifikazzjoni diskriminatorja u skennjah bil-mudell 1. Fl-aħħarnett, ippjana f'paragrafu liema metriċi ta' ġustizzja int ser issegwi biex tqabbel ir-rata ta 'rifjut tal-mudell bejn il-gruppi.
lista ta' kontroll
- [ ] Iċċekkjt li l-mudell/raġunament ma jużax proprjetajiet protetti.
- [ ] Skrinjejt ukoll ir-riskju ta' varjabbli ta' prokura.
- [ ] Ippjanajt li nqabbel ir-rata ta' approvazzjoni/rifjut u żball bejn il-gruppi.
- [ ] Żgurajt li kull deċiżjoni kellha raġuni spjegabbli.
- [ ] Jien tajt lill-klijent id-dritt li joġġezzjona u reviżjoni umana.
- [ ] Lanqas qasmet il-linja ħamra tad-diskriminazzjoni fuq il-bażi ta' "hit".