zisky:
- Pochopení toho, jak zkreslení v modelech umělé inteligence vzniká z dat a designu a proč vytváří právní a etická rizika v bankovnictví
- Schopnost rozpoznat chráněné prvky, proxy proměnné a nepřímou diskriminaci a zpochybnit rozhodnutí modelu z hlediska spravedlnosti
- Schopnost porozumět tomu, jak jsou metriky spravedlnosti, vyloučené skupiny a právo vznést námitku vetkány do řízení modelu a udržovat červenou linii diskriminace
Model umělé inteligence není neutrální; Je to zrcadlo naučených dat. Pokud data nesou minulé nerovnosti, model se je naučí a přenese je do budoucnosti. V bankovnictví nejde o abstraktní etickou debatu: pokud úvěrový model systematicky znevýhodňuje určitou skupinu, je to jak nezákonné (zákaz diskriminace), tak i etické porušení, které bance přináší reputační a sankční rizika. Účelem této jednotky je ukázat, jak se model stává neobjektivním, přímými a nepřímými formami diskriminace, zástupnou proměnnou pastí a způsoby, jak do řízení modelu začlenit spravedlnost. Hned na začátku je třeba říci jednu červenou linii: diskriminace, bez ohledu na to, jak „statistická“ se může zdát, je nepřijatelná.
Odkud se berou předsudky?
- Zkreslení dat: Pokud byla minulá rozhodnutí nespravedlivá (např. určité skupině byl v minulosti přisouzen menší kredit), model předpokládá, že je to „normální“ a pokračuje. Tomu se říká historická zaujatost.
- Vzorkování: Pokud jsou některé skupiny v datech nedostatečně zastoupeny, model se o nich učí špatně a nepřesně.
- Zkreslení štítků: Pokud je samotná definice „dobrého zákazníka“ zkreslená, model se optimalizuje pro zkreslení.
- Předpojatost designu: Lidská rozhodnutí o tom, které proměnné použít, mohou také obsahovat zaujatost.
Tip: „Model je založen na datech, takže je objektivní“ je mylná představa. Data jsou snímek minulosti; Pokud byla minulost nespravedlivá, „objektivní“ model ospravedlňuje nespravedlnost matematikou. Objektivita není zárukou nestrannosti.
Přímá a nepřímá diskriminace
- Přímá diskriminace: Model přímo používá chráněnou charakteristiku (pohlaví, etnický původ, náboženství, věk). To je výslovně zakázáno.
- Nepřímá diskriminace (náhradní proměnná / proxy): I když model nepoužívá chráněný prvek přímo, vytváří stejný výsledek použitím jiné proměnné, která s ním úzce souvisí (PSČ, jméno, nákupní kategorie, pracovní čtvrť). PSČ je často zástupcem etnického původu nebo úrovně příjmu. Model říká „sousedství“, ale výsledkem je diskriminace „původu“.
Variabilní
zřejmě
může být proxy
PSČ / okres
zeměpis
Etnická příslušnost, úroveň příjmů
Jméno
ID
původ, pohlaví
Kategorie nakupování
chování
životní styl, přesvědčení
vystudovanou školu
Vzdělávání
Socioekonomický původ
To je důvod, proč by měl zaznít poplach, když v odůvodnění uvidíte prohlášení jako „sousedství je riskantní“: může se zdát, že je to legitimní kritérium, ale přináší nepřímou diskriminaci.
Upozornění: Odstraněním chráněného prvku z dat diskriminace nekončí. Náhradní proměnné to mohou vrátit. Spravedlnosti se nedosáhne „smazal jsem citlivou rubriku“; Toho je dosaženo testováním výsledků modelových rozhodnutí mezi skupinami.
Vetkaní spravedlnosti do vládnutí
- Metriky spravedlnosti. Porovnejte míru schválení/zamítnutí modelu a míru chyb mezi skupinami. Zažívá jedna skupina systematicky vyšší odmítnutí?
- Proxy ovládání. Prozkoumejte vztah použitých proměnných k chráněným vlastnostem.
- Vysvětlitelnost. Každé rozhodnutí musí být zdůvodněno; Popírání „černé skříňky“ je neudržitelné.
- Právo vznést námitku. Zákazník by měl mít právo dozvědět se zdůvodnění rozhodnutí a požádat o přezkoumání člověkem.
- Vyloučené skupiny. Mělo by se také zkontrolovat, zda nedochází ke špatnému zacházení se skupinami, které jsou v datech nedostatečně zastoupeny.
Čtyři kopírovatelné šablony
1) Screening diskriminace v odůvodnění:
Zkontrolujte následující zdůvodnění úvěrového rozhodnutí: existuje přímý/nepřímý odkaz na chráněnou charakteristiku (věk, pohlaví, původ, náboženství) nebo proxy proměnnou (PSČ, čtvrť, jméno, typ nakupování)? Označte riziková prohlášení a vysvětlete, proč představují riziko diskriminace. Důvod: [text]
2) Ovládání proxy seznamu proměnných:
Prozkoumejte tento seznam proměnných používaných v úvěrovém modelu. Které by mohly být zástupným znakem chráněné charakteristiky a představovat riziko nepřímé diskriminace? U každé rizikové varianty napište své zdůvodnění. Seznam: [proměnné]
3) Shrnutí rozhodnutí z hlediska spravedlnosti (neutrální, vysvětlitelné):
Vaše role: asistent, který navrhuje vysvětlitelné zdůvodnění rozhodnutí. Spolehněte se pouze na legitimní, nediskriminační kritéria (poměr dluhu k příjmu, platební historie, zajištění). NEODKAZUJTE na chráněnou vlastnost a náhradní proměnnou. Napište zdůvodnění srozumitelným jazykem, kterému bude zákazník rozumět. Dám souhlas.
4) Návrh odpovědi na námitku:
Zákazník se odvolal proti zamítnutí úvěru a požaduje odůvodnění. Navrhněte uctivou a popisnou odpověď založenou na legitimních kritériích; Připomeňte zákazníkovi jeho právo na kontrolu a opravu člověkem. Nepoužívejte žádné diskriminační důsledky. Ověřený důvod odmítnutí: [důvod]
Slabá výzva / Silná výzva
Slabá výzva:
Aplikace v tomto regionu jsou velmi rizikové, využívejme v modelu více okresních informací, aby se zvýšila přesnost.
Tento přístup posiluje nepřímou diskriminaci na základě okresu; Legitimuje nezákonný výsledek ve jménu „zásahu“.
Výkonná výzva:
Vaše role: asistent auditu justice. Označte použité proměnné, které představují riziko náhradních proměnných. Navrhněte, které metriky bych měl dodržovat, abych porovnal rozhodnutí mezi skupinami z hlediska míry schválení/zamítnutí. Nikdy neposilujte diskriminační kritérium; přesměrování na legitimní a vysvětlitelná kritéria.
Silná vůle hledá zástupné riziko, zavádí metriky férovosti a odmítá diskriminaci.
tři mini pouzdra
Případ 1 – Historická zaujatost. Jeden model dává určité skupině povolání systematicky nízké skóre, protože jí bylo v minulosti připisováno méně kreditů. Audit spravedlnosti ukazuje, že míra odmítnutí u této skupiny je o 30 % vyšší než u ostatních s podobnou úrovní příjmů. Model je znovu vyvážen s legitimními příjmovými a platebními kritérii.
Případ 2 — Náhradní proměnná. PSČ je mocná proměnná v modelu. Audit ukazuje, že se PSČ překrývá s určitými etnicky koncentrovanými čtvrtěmi, což vede k nepřímé diskriminaci původu. Proměnná je odstraněna a nahrazena legitimními finančními měřítky; výkon zůstává na přijatelné úrovni, diskriminace je eliminována.
Případ 3 – Právo vznést námitku. Odmítnutý klient žádá zdůvodnění. Banka poskytne vysvětlitelné odůvodnění (vysoký poměr dluhu k příjmu) a akceptuje žádost o přezkoumání člověkem. Kontrola odhalí nesprávné čtení dokumentu; Rozhodnutí je opraveno. Vysvětlitelnost a právo na námitku kompenzují chybu se spravedlností.
Metriky spravedlnosti: co a jak měříme
"Je model spravedlivý?" Na otázku neexistuje jediná odpověď; Existuje více definic spravedlnosti a někdy jsou ve vzájemném rozporu. Zde je několik přístupů, které se v bankovnictví prakticky používají:
- Porovnání míry schválení/zamítnutí: Liší se systematicky míra schválení mezi různými skupinami s podobnými finančními profily (např. skupiny pohlaví)? Velký a nevysvětlitelný rozdíl je známkou zaujatosti.
- Rovnost chybovosti: Je míra falešného odmítnutí modelu (odmítnutí legitimní aplikace) vyvážená napříč skupinami? Pokud je jedna skupina nespravedlivě odmítána častěji než jiná, nastává problém.
- Kalibrace: Opravdu zákazníci, které model nazývá „vysokorizikové“, nesplácejí v každé skupině podobné sazby? Význam skóre by se neměl posouvat od skupiny ke skupině.
Tyto metriky někdy nelze poskytnout současně; Která definice spravedlnosti upřednostnit není technické, ale etické a právní rozhodnutí a vyžaduje lidskou správu.
Tip: Měřte metriku spravedlivosti v pravidelných intervalech, nejen při sestavování modelu. Model může fungovat spravedlivě a časem se může stát zaujatým kvůli posunu dat. Spravedlnost není věcí „usazení“, ale věcí „monitorování“.
Časté chyby
- Omyl "objektivních údajů". Za předpokladu, že model je neutrální; data nesou historické zkreslení.
- Stačí odstranit citlivý sloupec. Odstranění chráněné vlastnosti a přehlédnutí proxy proměnných.
- Nesleduje metriky spravedlnosti. Vůbec neporovnávám míru odmítnutí/chybovosti mezi skupinami.
- Obhajoba rozhodnutí černé skříňky. Považovat rozhodnutí, které nelze ospravedlnit, za legitimní.
- Odebrání práva vznést námitku. Zakázání kontroly člověkem, protože „zpomaluje proces“.
Pozor: Diskriminace často nevzniká ze zloby, ale z nedbalosti. Proměnná přidaná, protože „zvyšuje přesnost“, může nevědomky vyloučit skupinu. Spravedlnost tedy není založena na dobré víře, ale na pravidelném zkoušení.
V souhrnu
Modely umělé inteligence nesou zaujatost dat, ze kterých se učí, a diskriminace v bankovnictví je právním, etickým a reputačním rizikem. Přímá diskriminace je použití chráněného prvku; Nepřímá diskriminace na druhé straně vede ke stejnému výsledku s proxy proměnnými (PSČ, jméno). Spravedlnost není o vymazání citlivého sloupce; Zajištěno metrikami spravedlnosti, kontrolou proxy, vysvětlitelností a právem vznést námitku. Jednou větou: Vzor opakuje minulost; Je odpovědností člověka prosazovat spravedlnost a odmítat diskriminaci.
Aplikační úkol
Napište seznam 8–10 proměnných pro kreditní model (některé s úmyslným proxy rizikem: PSČ, jméno, nákupní kategorie). 2. Proveďte proxy kontrolu se šablonou a označte rizikové s jejich důvody. Poté napište diskriminační text odůvodnění a naskenujte jej pomocí šablony 1. Nakonec si v odstavci naplánujte, které metriky spravedlnosti budete sledovat, abyste porovnali míru odmítnutí modelu mezi skupinami.
kontrolní seznam
- [ ] Zkontroloval jsem, že model/důvod nepoužívá chráněné vlastnosti.
- [ ] Prověřoval jsem také riziko proxy proměnných.
- [ ] Plánoval jsem porovnat schválení/zamítnutí a chybovost mezi skupinami.
- [ ] Zajistil jsem, aby každé rozhodnutí mělo vysvětlitelné odůvodnění.
- [ ] Dal jsem zákazníkovi právo vznést námitku a kontrolu člověkem.
- [ ] Dokonce jsem ani nepřekročil diskriminační červenou čáru z důvodu „zásahu“.