Előítélet, méltányosság és diszkrimináció: A modell vakfoltjai

Nyereség:

• Annak megértése, hogy a mesterséges intelligencia modellekben az elfogultság hogyan fakad az adatokból és a tervezésből, és miért jelent jogi és etikai kockázatokat a banki tevékenységben
• Képes felismerni a védett funkciókat, a proxy változókat és a közvetett diszkriminációt, és megkérdőjelezni a modell döntéseit a méltányosság szempontjából
• Képes megérteni, hogy az igazságossági mérőszámok, a kizárt csoportok és a tiltakozás joga hogyan épül be a modellirányításba, és fenntartja a diszkrimináció vörös vonalát

Az AI modell nem semleges; Ez a tanult adatok tükre. Ha az adatok múltbeli egyenlőtlenségeket hordoznak, a modell megtanulja azokat, és átviszi a jövőbe. A bankszektorban ez nem elvont etikai vita: ha egy hitelmodell szisztematikusan hátrányos helyzetbe hoz egy bizonyos csoportot, az egyszerre jogsértő (a diszkrimináció tilalma), és etikai vétség is, ami hírnév- és szankciókockázatot jelent a bank számára. Ennek az egységnek az a célja, hogy bemutassa, hogyan válik a modell elfogulttá, a diszkrimináció közvetlen és közvetett formáivá, a proxyváltozók csapdájává, és hogyan lehet a méltányosságot a modellirányításba beszőni. Egy piros vonalat már az elején le kell szögezni: a diszkrimináció, bármilyen "statisztikainak" tűnik is, elfogadhatatlan.

Honnan ered az előítélet?

• Adatok torzítása: Ha a múltbeli döntések igazságtalanok voltak (például egy adott csoport kevesebb hitelt kapott a múltban), a modell azt feltételezi, hogy ez „normális”, és folytatódik. Ezt nevezik történelmi elfogultságnak.
• Mintavételi torzítás: Ha egyes csoportok alulreprezentáltak az adatokban, a modell rosszul és pontatlanul tanul róluk.
• Címke torzítás: Ha maga a „jó ügyfél” definíciója elfogult, a modell a torzításra optimalizál.
• Tervezési elfogultság: A használandó változók emberi döntései szintén torzítást hordozhatnak.

Tipp: "A modell adatokon alapul, tehát objektív" tévhit. Az adatok a múlt pillanatképei; Ha a múlt igazságtalan volt, az „objektív” modell matematikával igazolja az igazságtalanságot. Az objektivitás nem garancia a pártatlanságra.

Közvetlen és közvetett diszkrimináció

• Közvetlen diszkrimináció: Egy védett tulajdonság (nem, etnikai hovatartozás, vallás, életkor) közvetlen használata a modellben. Ez kifejezetten tilos.
• Közvetett diszkrimináció (helyettesítő változó / proxy): Még ha a modell nem is használja közvetlenül a védett tulajdonságot, ugyanazt az eredményt produkálja egy másik változó használatával, amely erősen kapcsolódik hozzá (irányítószám, név, vásárlási kategória, munkakörzet). Az irányítószám gyakran helyettesíti az etnikai hovatartozást vagy a jövedelmi szintet. A modell azt mondja, hogy „szomszédság”, de az eredmény „származási” diszkrimináció.

Változó

látszólag

lehet proxy

Irányítószám / kerület

földrajz

Etnikai hovatartozás, jövedelmi szint

Név

ID

származás, nem

Vásárlás kategória

viselkedés

életmód, hit

iskolát végzett

Oktatás

Társadalmi-gazdasági eredet

Éppen ezért riasztani kell, ha egy indoklásban olyan kijelentést lát, mint „a szomszédság kockázatos”: ez legitim kritériumnak tűnhet, de közvetett diszkriminációt hordoz magában.

Figyelem: A védett tulajdonság eltávolítása az adatokból nem vet véget a megkülönböztetésnek. A helyettesítő változók visszaadhatják. Az igazságosságot nem lehet elérni azzal, hogy "kitöröltem az érzékeny rovatot"; Ezt a modelldöntések eredményeinek csoportok közötti tesztelésével érik el.

Az igazságosságot beleszőni a kormányzásba

1. Méltányossági mutatók. Hasonlítsa össze a modell jóváhagyási/elutasítási arányát és hibaarányát a csoportok között. Szisztematikusan tapasztal egy csoport nagyobb elutasítást?
2. Proxy vezérlés. Vizsgálja meg a használt változók kapcsolatát a védett tulajdonságokkal!
3. Magyarázatosság. Minden döntéshez indokolni kell; A "fekete doboz" tagadása tarthatatlan.
4. Tiltakozás joga. Az ügyfélnek jogot kell adni arra, hogy megismerje döntésének indokait, és emberi felülvizsgálatot kérjen.
5. Kizárt csoportok. Azt is ellenőrizni kell, hogy az adatokban alulreprezentált csoportokkal ne bánjanak rosszul.

Négy másolható sablon

1) Indoklás szerinti diszkrimináció szűrése:

Ellenőrizze a következő hiteldöntési indoklást: van-e közvetlen/közvetett hivatkozás védett tulajdonságra (életkor, nem, származás, vallás) vagy proxy változó (irányítószám, környék, név, vásárlás típusa)? Jelölje meg a kockázatos kijelentéseket, és indokolja meg, miért jelentenek diszkrimináció kockázatát. Ok: [szöveg]

2) Változólista proxyvezérlés:

Vizsgálja meg a hitelmodellben használt változók listáját. Melyek lehetnek a védett tulajdonságok helyettesítői, és melyek jelenthetik a közvetett diszkrimináció kockázatát? Minden kockázatos változathoz írja le az indoklását! Lista: [változók]

3) A döntés összefoglalása a méltányosság szempontjából (semleges, magyarázható):

Az Ön szerepe: asszisztens, aki megmagyarázható döntési indoklást készít. Csak legitim, diszkriminációmentes kritériumokra hagyatkozzon (adósság/jövedelem arány, fizetési előzmények, fedezet). NE hivatkozzon védett tulajdonságra és helyettesítő változóra. Írja le az indoklást olyan közérthető nyelven, amelyet az ügyfél megért. megadom a jóváhagyást.

4) Kifogási választervezet:

Egy ügyfél fellebbezett a hitel elutasítása ellen, és indoklást kér. Írjon tiszteletteljes és leíró választ legitim kritériumok alapján; Emlékeztesd az ügyfelet az emberi felülvizsgálathoz és javításhoz való jogára. Ne használjon diszkriminatív vonzatokat. Ellenőrzött elutasítási ok: [ok]

Gyenge felszólítás / Erős felszólítás

Gyenge felszólítás:

Az alkalmazások ebben a régióban nagyon kockázatosak, a pontosság növelése érdekében használjuk fel jobban a kerületi információkat a modellben.

Ez a megközelítés erősíti a körzeten alapuló közvetett diszkriminációt; A "találat" nevében legitimálja a jogsértő eredményt.

Erőteljes felszólítás:

Az Ön szerepe: igazságügyi ellenőrzési asszisztens. Jelölje meg azokat a használt változókat, amelyek a helyettesítő változók kockázatát jelentik. Javasolja, hogy milyen mérőszámokat kell követnem a csoportok közötti döntések jóváhagyási/elutasítási arányának összehasonlításához. Soha ne erősítsen meg egy diszkriminatív kritériumot; átirányítani a legitim és megmagyarázható kritériumokra.

Az erős akarat a proxykockázatot keresi, méltányossági mutatókat vezet be, és elutasítja a diszkriminációt.

három mini tok

1. eset – Történelmi elfogultság. Az egyik modell szisztematikusan alacsony pontszámot ad egy adott foglalkozási csoportnak, mivel korábban kevesebb kreditet kapott. A méltányossági vizsgálat azt mutatja, hogy ennek a csoportnak az elutasítási aránya 30%-kal magasabb, mint a többi hasonló jövedelmi szinten. A modell egyensúlyba kerül a legitim bevételi és fizetési kritériumokkal.

2. eset – Helyettesítő változó. Az irányítószám egy erőteljes változó a modellben. Az ellenőrzés azt mutatja, hogy az irányítószám átfedésben van bizonyos etnikailag koncentrált városrészekkel, ami közvetett származási diszkriminációt eredményez. A változó eltávolításra kerül, és helyébe legitim pénzügyi referenciaértékek lépnek; a teljesítmény elfogadható szinten marad, a diszkrimináció megszűnik.

3. eset – Tiltakozáshoz való jog. Az elutasított ügyfél indoklást kér. A bank az indokolható indoklást (magas adósság/jövedelem arány) megadja, és elfogadja a humán felülvizsgálati kérelmet. Az áttekintés egy dokumentum félreolvasását fedi fel; A döntést helyesbítik. A megmagyarázhatóság és a kifogásolás joga az igazságszolgáltatással kompenzálja a hibát.

Méltányossági mérőszámok: mit és hogyan mérünk

– Tisztességes a modell? A kérdésre nincs egységes válasz; Az igazságosságnak többféle definíciója létezik, és ezek néha ütköznek egymással. Íme néhány megközelítés, amelyet gyakorlatilag követnek a banki szolgáltatásokban:

• Jóváhagyási/elutasítási arány összehasonlítása: A jóváhagyási arány szisztematikusan eltér a hasonló pénzügyi profillal rendelkező különböző csoportok között (pl. nemi csoportok)? A nagy és megmagyarázhatatlan különbség az elfogultság jele.
• Hibaarány-egyenlőség: A modell téves elutasítási aránya (jogos alkalmazás elutasítása) kiegyensúlyozott a csoportok között? Ha egy csoportot gyakrabban utasítanak el igazságtalanul, mint egy másikat, akkor probléma van.
• Kalibráció: A modell által „magas kockázatúnak” nevezett ügyfelek valóban hasonló arányban mulasztanak el minden csoportban? A pontszám jelentése nem változhat csoportról csoportra.

Ezeket a mutatókat néha nem lehet egyszerre megadni; Az, hogy az igazságosság melyik definícióját helyezzük előtérbe, nem technikai, hanem etikai és jogi döntés, és emberi kormányzást igényel.

Tipp: Mérje meg a méltányossági mutatót rendszeres időközönként, ne csak a modell felépítésekor. Egy modell tisztességesen életbe léphet, és idővel elfogulttá válhat az adatsodródás miatt. Az igazságszolgáltatás nem „létesítés”, hanem „ellenőrzés” kérdése.

Gyakori hibák

• Az "objektív adatok" tévedése. Feltételezve, hogy a modell semleges; az adatok történelmi torzítást hordoznak.
• Csak törölje az érzékeny oszlopot. A védett tulajdonság eltávolítása és a proxyváltozók figyelmen kívül hagyása.
• Nem követi a méltányossági mutatókat. Egyáltalán nem hasonlítjuk össze a csoportok közötti elutasítási/hibaarányt.
• A fekete doboz döntésének védelme. Nem igazolható döntés jogosnak tekintése.
• A tiltakozás jogának megvonása. Az emberi ellenőrzés letiltása, mert "lassítja a folyamatot".

Figyelem: A diszkrimináció gyakran nem rosszindulatból, hanem figyelmetlenségből fakad. A „pontosság növelése” miatt hozzáadott változó tudtukon kívül kizárhat egy csoportot. Ezért az igazságszolgáltatás nem a jóhiszeműségen, hanem a rendszeres tesztelésen alapul.

Összefoglalva

Az AI-modellek magukban hordozzák az általuk tanult adatok torzítását, és a banki diszkrimináció jogi, etikai és reputációs kockázatot jelent. A közvetlen diszkrimináció egy védett funkció használata; A közvetett diszkrimináció viszont ugyanazt az eredményt hozza a proxy változókkal (irányítószám, név). Az igazságszolgáltatás nem az érzékeny oszlop törléséről szól; A méltányossági mérőszámok, a proxy vezérlés, a magyarázhatóság és a tiltakozási jog biztosítják. Egy mondatban: A minta megismétli a múltat; Az ember felelőssége az igazságosság fenntartása és a diszkrimináció elutasítása.

Pályázati feladat

Írjon egy 8-10 változóból álló listát egy hitelmodellhez (néhány szándékos proxykockázattal jár: irányítószám, név, vásárlási kategória). 2. Végezzen proxy ellenőrzést a sablonnal, és jelölje meg a kockázatosakat indokaikkal együtt. Ezután írjon egy diszkriminatív indoklást, és szkennelje be az 1. sablonnal. Végül egy bekezdésben tervezze meg, hogy mely méltányossági mutatókat fogja követni, hogy összehasonlítsa a modell elutasítási arányát a csoportok között.

ellenőrző lista

• [ ] Ellenőriztem, hogy a modell/indoklás nem használ védett tulajdonságokat.
• [ ] Szűrtem a proxy változók kockázatát is.
• [ ] Terveztem a jóváhagyás/elutasítás és a hibaarány összehasonlítását a csoportok között.
• [ ] Biztosítottam, hogy minden döntésnek megmagyarázható indoka legyen.
• [ ] Tiltakozási és emberi felülvizsgálati jogot adtam az ügyfélnek.
• [ ] Még a diszkrimináció piros vonalát sem léptem át "találat" alapján.