Predsudky, spravodlivosť a diskriminácia: slepé uhly modelky

zisky:

• Pochopenie toho, ako zaujatosť v modeloch umelej inteligencie vzniká z údajov a dizajnu a prečo vytvára právne a etické riziká v bankovníctve
• Schopnosť rozpoznať chránené prvky, proxy premenné a nepriamu diskrimináciu a spochybňovať modelové rozhodnutia z hľadiska spravodlivosti
• Schopnosť pochopiť, ako sú metriky spravodlivosti, vylúčené skupiny a právo namietať votkané do modelového riadenia a udržiavať červenú líniu diskriminácie

Model AI nie je neutrálny; Je zrkadlom získaných údajov. Ak dáta nesú minulé nerovnosti, model sa ich naučí a prenesie do budúcnosti. V bankovníctve nejde o abstraktnú etickú diskusiu: ak úverový model systematicky znevýhodňuje určitú skupinu, je to nezákonné (zákaz diskriminácie) a zároveň etické porušenie, ktoré banke prináša reputačné a sankčné riziká. Účelom tejto jednotky je ukázať, ako sa model stáva neobjektívnym, priamymi a nepriamymi formami diskriminácie, zástupnou premennou pascou a spôsobmi, ako zakomponovať spravodlivosť do riadenia modelu. Hneď na začiatku treba povedať jednu červenú čiaru: diskriminácia, bez ohľadu na to, aká „štatistická“ sa môže zdať, je neprijateľná.

Odkiaľ pochádzajú predsudky?

• Skreslenie údajov: Ak boli minulé rozhodnutia nespravodlivé (napr. konkrétnej skupine sa v minulosti pripisoval menší kredit), model predpokladá, že je to „normálne“ a pokračuje. Tomu sa hovorí historická zaujatosť.
• Skreslenie vzorky: Ak sú niektoré skupiny v údajoch nedostatočne zastúpené, model sa o nich učí zle a nepresne.
• Skreslenie označenia: Ak je samotná definícia „dobrého zákazníka“ neobjektívna, model sa optimalizuje pre zaujatosť.
• Zaujatosť dizajnu: Ľudské rozhodnutia o tom, ktoré premenné použiť, môžu tiež obsahovať zaujatosť.

Tip: „Model je založený na údajoch, takže je objektívny“ je mylná predstava. Údaje sú snímkou ​​minulosti; Ak bola minulosť nespravodlivá, „objektívny“ model ospravedlňuje nespravodlivosť matematikou. Objektivita nie je zárukou nestrannosti.

Priama a nepriama diskriminácia

• Priama diskriminácia: Modelovo priame použitie chránenej charakteristiky (pohlavie, etnická príslušnosť, náboženstvo, vek). Toto je výslovne zakázané.
• Nepriama diskriminácia (náhradná premenná / proxy): Aj keď model nepoužíva chránenú funkciu priamo, vytvára rovnaký výsledok pomocou inej premennej, ktorá s ním silne súvisí (PSČ, názov, nákupná kategória, pracovná štvrť). PSČ je často zástupcom etnickej príslušnosti alebo úrovne príjmu. Model hovorí „susedstvo“, ale výsledkom je diskriminácia „pôvodu“.

Variabilné

zrejme

môže byť zástupcom

PSČ / okres

geografia

Etnická príslušnosť, úroveň príjmu

Meno

ID

pôvod, pohlavie

Kategória Nákupy

správanie

životný štýl, viera

vyštudovanú školu

Vzdelávanie

Socioekonomický pôvod

Preto by mal zaznieť poplach, keď v odôvodnení uvidíte vyhlásenie ako „susedstvo je riskantné“: môže sa zdať, že je to legitímne kritérium, ale prináša nepriamu diskrimináciu.

Upozornenie: Odstránením chráneného prvku z údajov sa diskriminácia nekončí. Náhradné premenné ho môžu vrátiť. Spravodlivosť sa nedosiahne „vymazal som citlivú kolónku“; Dosahuje sa to testovaním výsledkov modelových rozhodnutí medzi skupinami.

Pretavenie spravodlivosti do vládnutia

1. Metriky spravodlivosti. Porovnajte mieru schválenia/odmietnutia modelu a chybovosť medzi skupinami. Zažíva niektorá skupina systematicky vyššie odmietnutia?
2. Kontrola proxy. Preskúmajte vzťah použitých premenných k chráneným vlastnostiam.
3. Vysvetliteľnosť. Každé rozhodnutie musí byť odôvodnené; Popieranie „čiernej skrinky“ je neudržateľné.
4. Právo namietať. Zákazník by mal mať právo dozvedieť sa zdôvodnenie rozhodnutia a požiadať o preskúmanie človekom.
5. Vylúčené skupiny. Malo by sa tiež skontrolovať, či sa so skupinami, ktoré sú v údajoch nedostatočne zastúpené, nesprávne zaobchádza.

Štyri kopírovateľné šablóny

1) Skríning diskriminácie v odôvodnení:

Skontrolujte nasledujúce zdôvodnenie rozhodnutia o úvere: existuje priamy/nepriamy odkaz na chránenú charakteristiku (vek, pohlavie, pôvod, náboženstvo) alebo proxy premennú (PSČ, štvrť, meno, typ nakupovania)? Označte rizikové vyhlásenia a vysvetlite, prečo predstavujú riziko diskriminácie. Dôvod: [text]

2) Kontrola proxy zoznamu premenných:

Preskúmajte tento zoznam premenných používaných v úverovom modeli. Ktoré by mohli byť zástupcom chránených znakov a predstavovať riziko nepriamej diskriminácie? Napíšte svoje odôvodnenie pre každý rizikový variant. Zoznam: [premenné]

3) Zhrnutie rozhodnutia z hľadiska spravodlivosti (neutrálne, vysvetliteľné):

Vaša úloha: asistent, ktorý navrhne vysvetliteľné zdôvodnenie rozhodnutia. Spoľahnite sa len na legitímne, nediskriminačné kritériá (pomer dlhu k príjmu, história platieb, kolaterál). NEODKAZUJTE na chránenú vlastnosť a náhradnú premennú. Zdôvodnenie napíšte zrozumiteľným jazykom, ktorému bude zákazník rozumieť. Dám súhlas.

4) Návrh odpovede na námietku:

Zákazník sa odvolal proti zamietnutiu úveru a chce odôvodnenie. Navrhnite zdvorilú a popisnú odpoveď založenú na legitímnych kritériách; Pripomeňte zákazníkovi jeho právo na kontrolu a opravu človekom. Nepoužívajte žiadne diskriminačné dôsledky. Overený dôvod odmietnutia: [dôvod]

Slabá výzva / Silná výzva

Slabá výzva:

Aplikácie v tomto regióne sú veľmi rizikové, využívajme v modeli výraznejšie okresné informácie, aby sa zvýšila presnosť.

Tento prístup posilňuje nepriamu diskrimináciu na základe okresu; Legitimizuje nezákonný výsledok v mene „zásahu“.

Výkonná výzva:

Vaša úloha: asistent auditu spravodlivosti. Označte použité premenné, ktoré predstavujú riziko náhradných premenných. Navrhnite, ktoré metriky by som mal dodržiavať pri porovnávaní rozhodnutí medzi skupinami z hľadiska miery schválenia/odmietnutia. Nikdy neposilňujte diskriminačné kritérium; presmerovanie na legitímne a vysvetliteľné kritériá.

Silná vôľa hľadá proxy riziko, zavádza metriky spravodlivosti a odmieta diskrimináciu.

tri mini prípady

Prípad 1 – Historická zaujatosť. Jeden model dáva určitej skupine povolaní systematicky nízke skóre, pretože v minulosti sa jej pripisoval menší kredit. Audit férovosti ukazuje, že miera odmietnutia v tejto skupine je o 30 % vyššia ako u ostatných s podobnými príjmami. Model je vyvážený legitímnymi kritériami príjmu a platby.

Prípad 2 – Náhradná premenná. PSČ je výkonná premenná v modeli. Audit ukazuje, že PSČ sa prekrýva s niektorými etnicky koncentrovanými štvrťami, čo spôsobuje nepriamu diskrimináciu pôvodu. Premenná je odstránená a nahradená legitímnymi finančnými referenčnými hodnotami; výkon zostáva na prijateľnej úrovni, diskriminácia je odstránená.

Prípad 3 – Právo namietať. Odmietnutý klient žiada zdôvodnenie. Banka poskytne vysvetliteľné odôvodnenie (vysoký pomer dlhu k príjmu) a akceptuje žiadosť o preskúmanie človekom. Kontrola odhalí nesprávne prečítanie dokumentu; Rozhodnutie je opravené. Vysvetliteľnosť a právo na námietky kompenzujú chybu so spravodlivosťou.

Metriky spravodlivosti: čo a ako meriame

"Je model spravodlivý?" Na otázku neexistuje jediná odpoveď; Existuje viacero definícií spravodlivosti a niekedy si navzájom odporujú. Tu je niekoľko prístupov, ktoré sa v bankovníctve prakticky používajú:

• Porovnanie miery schválenia/zamietnutia: Je miera schválenia systematicky odlišná medzi rôznymi skupinami s podobnými finančnými profilmi (napr. rodové skupiny)? Veľký a nevysvetliteľný rozdiel je znakom zaujatosti.
• Rovnosť chybovosti: Je miera falošného odmietnutia modelu (odmietnutia legitímnej aplikácie) vyvážená medzi skupinami? Ak je jedna skupina nespravodlivo odmietaná častejšie ako iná, nastáva problém.
• Kalibrácia: Naozaj zákazníci, ktorých model nazýva „vysokorizikový“, majú podobné sadzby v každej skupine? Význam skóre by sa nemal presúvať zo skupiny na skupinu.

Tieto metriky niekedy nemožno poskytnúť súčasne; Ktorá definícia spravodlivosti uprednostniť nie je technické, ale etické a právne rozhodnutie a vyžaduje si ľudskú správu.

Tip: Metriku spravodlivosti merajte v pravidelných intervaloch, nielen pri zostavovaní modelu. Model môže fungovať spravodlivo a časom sa môže stať skresleným v dôsledku posunu údajov. Spravodlivosť nie je vecou „establišmentu“, ale vecou „monitorovania“.

Časté chyby

• Klam „objektívnych údajov“. Za predpokladu, že model je neutrálny; údaje nesú historické skreslenie.
• Stačí odstrániť citlivý stĺpec. Odstránenie chránenej vlastnosti a prehliadanie proxy premenných.
• Nesleduje metriky spravodlivosti. Vôbec neporovnávať mieru odmietnutia/chybovosti medzi skupinami.
• Obhajoba rozhodnutia čiernej skrinky. Rozhodnutie, ktoré nemožno odôvodniť, považuje za legitímne.
• Odstránenie práva namietať. Zakázanie kontroly človekom, pretože „spomalí proces“.

Pozor: Diskriminácia často nevzniká zo zlomyseľnosti, ale z nepozornosti. Premenná pridaná, pretože „zvyšuje presnosť“, môže nevedomky vylúčiť skupinu. Preto spravodlivosť nie je založená na dobrej viere, ale na pravidelnom skúšaní.

V súhrne

Modely AI nesú zaujatosť údajov, z ktorých sa učia, a diskriminácia v bankovníctve je právnym, etickým a reputačným rizikom. Priama diskriminácia je použitie chráneného prvku; Nepriama diskriminácia na druhej strane prináša rovnaký výsledok s proxy premennými (PSČ, meno). Spravodlivosť nie je o vymazaní citlivého stĺpca; Zabezpečené metrikami spravodlivosti, kontrolou proxy, vysvetliteľnosťou a právom namietať. Jednou vetou: Vzor opakuje minulosť; Je zodpovednosťou človeka presadzovať spravodlivosť a odmietať diskrimináciu.

Aplikačná úloha

Napíšte zoznam 8-10 premenných pre úverový model (niektoré s úmyselným proxy rizikom: PSČ, meno, nákupná kategória). 2. Vykonajte proxy kontrolu so šablónou a označte rizikové s ich dôvodmi. Potom napíšte diskriminačný text odôvodnenia a naskenujte ho pomocou šablóny 1. Nakoniec si v odseku naplánujte, ktoré metriky spravodlivosti budete sledovať, aby ste porovnali mieru odmietnutia modelu medzi skupinami.

kontrolný zoznam

• [ ] Skontroloval som, že model/zdôvodnenie nepoužíva chránené vlastnosti.
• [ ] Tiež som skrínoval riziko proxy premenných.
• [ ] Plánoval som porovnať schválenie/zamietnutie a chybovosť medzi skupinami.
• [ ] Zabezpečil som, aby každé rozhodnutie malo vysvetliteľné odôvodnenie.
• [ ] Zákazníkovi som dal právo na námietku a kontrolu človekom.
• [ ] Neprekročil som ani diskriminačnú červenú čiaru z dôvodu „trafe“.