Paragjykimi, Drejtësia dhe Diskriminimi: Pikat e Verbërta të Modelit

Fitimet:

• Të kuptuarit sesi paragjykimi në modelet e inteligjencës artificiale lind nga të dhënat dhe dizajni dhe pse krijon rreziqe ligjore dhe etike në banka
• Aftësia për të njohur veçoritë e mbrojtura, variablat proxy dhe diskriminimin indirekt dhe për të pyetur vendimet e modelit për sa i përket drejtësisë
• Aftësia për të kuptuar se si metrikat e drejtësisë, grupet e përjashtuara dhe e drejta për të kundërshtuar janë të ndërthurura në modelin e qeverisjes dhe ruajtja e vijës së kuqe të diskriminimit

Një model i AI nuk është neutral; Është një pasqyrë e të dhënave të mësuara. Nëse të dhënat mbartin pabarazi të së shkuarës, modeli i mëson ato dhe i bart në të ardhmen. Në sektorin bankar, ky nuk është një debat abstrakt etik: nëse një model kredie sistematikisht në disavantazh një grupi të caktuar, kjo është njëkohësisht e paligjshme (ndalimi i diskriminimit) dhe një shkelje etike, duke sjellë rreziqe reputacioni dhe sanksione për bankën. Qëllimi i kësaj njësie është të tregojë se si modeli bëhet i njëanshëm, forma të drejtpërdrejta dhe të tërthorta të diskriminimit, kurthi i variablave të përafërt dhe mënyrat për të endur drejtësinë në qeverisjen e modelit. Një vijë e kuqe duhet thënë që në fillim: diskriminimi, sado “statistikor” të duket, është i papranueshëm.

Nga vjen paragjykimi?

• Paragjykimi i të dhënave: Nëse vendimet e kaluara ishin të padrejta (p.sh. një grupi të caktuar iu dha më pak kredi në të kaluarën), modeli supozon se kjo është "normale" dhe vazhdon. Kjo quhet paragjykim historik.
• Paragjykimi i kampionimit: Nëse disa grupe janë të nënpërfaqësuara në të dhëna, modeli mëson dobët dhe në mënyrë të pasaktë rreth tyre.
• Paragjykimi i etiketës: Nëse vetë përkufizimi i "klientit të mirë" është i njëanshëm, modeli optimizohet për paragjykimet.
• Paragjykimi i projektimit: Zgjedhjet e njeriut se cilat variabla duhet të përdoren gjithashtu mund të kenë paragjykime.

Këshillë: "Modeli bazohet në të dhëna, pra është objektiv" është një keqkuptim. Të dhënat janë një pamje e së kaluarës; Nëse e kaluara ishte e padrejtë, modeli “objektiv” e justifikon padrejtësinë me matematikën. Objektiviteti nuk është një garanci e paanshmërisë.

Diskriminimi direkt dhe indirekt

• Diskriminimi i drejtpërdrejtë: Përdorimi i drejtpërdrejtë nga modeli i një karakteristike të mbrojtur (gjinia, etnia, feja, mosha). Kjo është e ndaluar shprehimisht.
• Diskriminimi indirekt (ndryshorja zëvendësuese / përfaqësuesi): Edhe nëse modeli nuk përdor drejtpërdrejt veçorinë e mbrojtur, ai prodhon të njëjtin rezultat duke përdorur një variabël tjetër që lidhet fort me të (kodi postar, emri, kategoria e blerjeve, zona e punës). Kodi postar është shpesh një përfaqësues për përkatësinë etnike ose nivelin e të ardhurave. Modeli thotë "lagje" por rezultati është diskriminimi "origjina".

E ndryshueshme

me sa duket

mund të jetë një përfaqësues

Kodi postar / rrethi

gjeografia

Përkatësia etnike, niveli i të ardhurave

Emri

ID

origjina, gjinia

Kategoria e blerjeve

sjellje

stili i jetesës, besimi

mbaruar shkollën

Arsimi

Origjina socio-ekonomike

Kjo është arsyeja pse alarmi duhet të bjerë kur shihni një deklaratë si "lagjja është e rrezikshme" në një justifikim: mund të duket se është një kriter legjitim, por mbart diskriminim indirekt.

Kujdes: Heqja e veçorisë së mbrojtur nga të dhënat nuk i jep fund diskriminimit. Variablat zëvendësues mund ta kthejnë atë. Drejtësia nuk arrihet me “Fshiva rubrikën sensitive”; Kjo arrihet duke testuar rezultatet e vendimeve model midis grupeve.

Thurja e drejtësisë në qeverisje

1. Metrika e drejtësisë. Krahasoni shkallët e miratimit/refuzimit të modelit dhe shkallët e gabimeve ndërmjet grupeve. A përjeton një grup sistematikisht refuzime më të larta?
2. Kontrolli i përfaqësuesit. Shqyrtoni lidhjen e variablave të përdorur me vetitë e mbrojtura.
3. Shpjegueshmëria. Për çdo vendim duhet të jepet arsyetim; Një mohim i "kutisë së zezë" është i paqëndrueshëm.
4. E drejta për të kundërshtuar. Klientit duhet t'i jepet e drejta të mësojë arsyetimin e vendimit dhe të kërkojë një rishikim njerëzor.
5. Grupet e përjashtuara. Gjithashtu duhet të kontrollohet që grupet që janë të nënpërfaqësuara në të dhëna të mos keqtrajtohen.

Katër shabllone të kopjueshëm

1) Ekzaminimi për diskriminim në arsyetim:

Kontrolloni arsyetimin e mëposhtëm të vendimit të kredisë: a ka një referencë direkte/indirekte për një karakteristikë të mbrojtur (mosha, gjinia, origjina, feja) ose një variabli përfaqësues (kodi postar, lagjja, emri, lloji i blerjes)? Shënoni deklaratat e rrezikshme dhe shpjegoni pse ato paraqesin rrezik diskriminimi. Arsyeja: [tekst]

2) Kontrolli i përfaqësuesit të listës së ndryshueshme:

Shqyrtoni këtë listë të variablave të përdorur në një model krediti. Cilat prej tyre mund të jenë një tregues për një karakteristikë të mbrojtur dhe të paraqesin rrezik për diskriminim indirekt? Shkruani arsyetimin tuaj për çdo variant të rrezikshëm. Lista: [variablat]

3) Përmbledhja e vendimit për sa i përket drejtësisë (neutrale, e shpjegueshme):

Roli juaj: asistent që harton një arsyetim të shpjegueshëm vendimi. Mbështetuni vetëm në kritere legjitime, jodiskriminuese (raporti borxh ndaj të ardhurave, historiku i pagesave, kolaterali). MOS referoni pronën e mbrojtur dhe variablin zëvendësues. Shkruani arsyetimin në një gjuhë të thjeshtë që klienti do ta kuptojë. Unë do të jap miratimin.

4) Drafti i përgjigjes së kundërshtimit:

Një klient apeloi refuzimin e kredisë dhe kërkon justifikim. Hartoni një përgjigje respektuese dhe përshkruese bazuar në kritere legjitime; Kujtojini klientit të drejtën e tij/saj për rishikim dhe korrigjim njerëzor. Mos përdorni asnjë implikim diskriminues. Arsyeja e verifikuar e refuzimit: [arsyeja]

Prompt i dobët / Prompt i fortë

Njoftim i dobët:

Aplikimet në këtë rajon janë shumë të rrezikshme, le të përdorim më shumë informacionin e rrethit në model në mënyrë që të rritet saktësia.

Kjo qasje forcon diskriminimin indirekt bazuar në distrikt; Ai legjitimon një përfundim të paligjshëm në emër të "goditjes".

Njoftim i fuqishëm:

Roli juaj: asistent i auditimit të drejtësisë. Shënoni variablat e përdorur që paraqesin rrezikun e variablave zëvendësues. Sugjeroni cilat metrika duhet të ndjek për të krahasuar vendimet midis grupeve për sa i përket shkallës së miratimit/refuzimit. Asnjëherë mos përforconi një kriter diskriminues; ridrejtimi në kritere legjitime dhe të shpjegueshme.

Vullneti i fortë kërkon rrezikun e përfaqësuesit, prezanton metrika të drejta dhe refuzon diskriminimin.

tre mini kuti

Rasti 1 - Paragjykimi historik. Një model i jep një grupi të caktuar profesional një rezultat sistematikisht të ulët, sepse atij i është dhënë më pak kredi në të kaluarën. Një auditim i drejtësisë tregon se shkalla e refuzimit për këtë grup është 30% më e lartë se të tjerët në nivele të ngjashme të ardhurash. Modeli është ribalancuar me të ardhura legjitime dhe kritere pagese.

Rasti 2 - Variabli zëvendësues. Kodi postar është një variabël i fuqishëm në një model. Auditimi tregon se kodi postar mbivendoset me lagje të caktuara të përqendruara etnikisht, duke prodhuar diskriminim indirekt të origjinës. Variabla hiqet dhe zëvendësohet me standarde legjitime financiare; performanca mbetet në një nivel të pranueshëm, diskriminimi eliminohet.

Rasti 3 — E drejta për kundërshtim. Një klient i refuzuar kërkon justifikim. Banka jep arsyetimin e shpjegueshëm (raporti i lartë borxh ndaj të ardhurave) dhe pranon kërkesën për rishikim njerëzor. Rishikimi zbulon një lexim të gabuar të një dokumenti; Vendimi korrigjohet. Shpjegueshmëria dhe e drejta e kundërshtimit kompensojnë një gabim me drejtësinë.

Metrikat e drejtësisë: çfarë dhe si matim

"A është modeli i drejtë?" Nuk ka asnjë përgjigje të vetme për pyetjen; Ka shumë përkufizime të drejtësisë, dhe ato ndonjëherë bien ndesh me njëra-tjetrën. Këtu janë disa qasje që praktikisht ndiqen në banka:

• Krahasimi i shkallës së miratimit/refuzimit: A është shkalla e miratimit sistematikisht e ndryshme midis grupeve të ndryshme me profile të ngjashme financiare (p.sh. grupet gjinore)? Një ndryshim i madh dhe i pashpjegueshëm është një shenjë e njëanshmërisë.
• Barazia e shkallës së gabimit: A është e balancuar shkalla e refuzimit të rremë të modelit (refuzimi i një aplikacioni legjitim) midis grupeve? Nëse një grup refuzohet në mënyrë të padrejtë më shpesh se një tjetër, ka një problem.
• Kalibrimi: A janë klientët që modeli i quan "rrezik të lartë" me të vërtetë të mospaguara me norma të ngjashme në secilin grup? Kuptimi i rezultatit nuk duhet të zhvendoset nga grupi në grup.

Këto metrikë ndonjëherë nuk mund të sigurohen në të njëjtën kohë; Cili përkufizim i drejtësisë duhet të ketë prioritet nuk është një vendim teknik, por një vendim etik dhe ligjor dhe kërkon qeverisje njerëzore.

Këshillë: Matni metrikën e drejtësisë në intervale të rregullta, jo vetëm kur ndërtoni modelin. Një model mund të funksionojë në mënyrë të drejtë dhe të bëhet i njëanshëm me kalimin e kohës për shkak të zhvendosjes së të dhënave. Drejtësia nuk është çështje “ngritjeje” por çështje “monitorimi”.

Gabimet e zakonshme

• Gabimi i "të dhënave objektive". Duke supozuar se modeli është neutral; të dhënat mbartin njëanshmëri historike.
• Thjesht fshini kolonën e ndjeshme. Heqja e pronës së mbrojtur dhe vështrimi i variablave proxy.
• Mos ndjekja e matjeve të drejtësisë. Duke mos krahasuar fare shkallën e refuzimit/gabimit ndërmjet grupeve.
• Mbrojtja e vendimit të kutisë së zezë. Duke e konsideruar një vendim që nuk mund të justifikohet si legjitim.
• Heqja e të drejtës së kundërshtimit. Çaktivizimi i rishikimit njerëzor sepse "ngadalëson procesin".

Kujdes: Diskriminimi shpesh nuk lind nga keqdashja por nga pakujdesia. Një variabël i shtuar sepse "rrit saktësinë" mund të përjashtojë pa e ditur një grup. Prandaj drejtësia nuk bazohet në mirëbesim, por në testime të rregullta.

Në përmbledhje

Modelet e AI mbartin paragjykimet e të dhënave prej të cilave mësojnë dhe diskriminimi në banka është një rrezik ligjor, etik dhe i reputacionit. Diskriminimi i drejtpërdrejtë është përdorimi i një veçorie të mbrojtur; Diskriminimi indirekt, nga ana tjetër, po prodhon të njëjtin rezultat me variablat proxy (kodi postar, emri). Drejtësia nuk ka të bëjë me fshirjen e rubrikës së ndjeshme; Sigurohet nga metrikat e drejtësisë, kontrolli i përfaqësuesit, shpjegueshmëria dhe e drejta për të kundërshtuar. Me një fjali: Modeli përsërit të shkuarën; Është përgjegjësi e njeriut të mbajë drejtësinë dhe të refuzojë diskriminimin.

Detyra e aplikimit

Shkruani një listë me 8-10 variabla për një model krediti (disa me rrezik të qëllimshëm përfaqësues: kodi postar, emri, kategoria e blerjeve). 2. Kryeni një kontroll proxy me shabllonin dhe shënoni ato të rrezikshme me arsyet e tyre. Më pas shkruani një tekst justifikues diskriminues dhe skanoni atë me shabllonin 1. Së fundi, planifikoni në një paragraf se cilat metrika të drejtësisë do të gjurmoni për të krahasuar shkallën e refuzimit të modelit midis grupeve.

listë kontrolli

• [ ] Kam kontrolluar që modeli/arsyeja nuk përdor veçori të mbrojtura.
• [ ] Unë gjithashtu kontrollova rrezikun e variablave proxy.
• [ ] Kam planifikuar të krahasoj shkallën e miratimit/refuzimit dhe gabimit ndërmjet grupeve.
• [ ] Sigurova që çdo vendim të kishte një arsye të shpjegueshme.
• [ ] I dhashë klientit të drejtën për të kundërshtuar dhe rishikuar njerëzor.
• [ ] Nuk e kalova as vijën e kuqe të diskriminimit për shkak të “goditjes”.