Aizspriedumi, godīgums un diskriminācija: modeļa aklās vietas

Ieguvumi:

• Izpratne par to, kā neobjektivitāte mākslīgā intelekta modeļos rodas no datiem un dizaina un kāpēc tas rada juridiskus un ētiskus riskus banku darbībā
• Spēja atpazīt aizsargātās funkcijas, starpniekservera mainīgos un netiešo diskrimināciju un apšaubīt modeļu lēmumus godīguma ziņā
• Spēja saprast, kā taisnīguma rādītāji, izslēgtās grupas un tiesības iebilst tiek ieausti pārvaldības paraugā un saglabāt diskriminācijas sarkano līniju

AI modelis nav neitrāls; Tas ir iegūto datu spogulis. Ja dati satur pagātnes nevienlīdzības, modelis tās apgūst un pārnes nākotnē. Banku jomā tās nav abstraktas ētiskas debates: ja kredīta modelis sistemātiski rada neizdevīgus apstākļus konkrētai grupai, tas ir gan nelikumīgs (diskriminācijas aizliegums), gan ētisks pārkāpums, kas rada bankai reputācijas un sankciju riskus. Šīs nodaļas mērķis ir parādīt, kā modelis kļūst neobjektīvs, tiešas un netiešas diskriminācijas formas, aizstājēja mainīgā lamatas un veidus, kā modeļa pārvaldībā iekļaut godīgumu. No paša sākuma jāsaka viena sarkanā līnija: diskriminācija, lai cik "statistiska" tā šķistu, nav pieļaujama.

No kurienes rodas aizspriedumi?

• Datu novirze: ja pagātnes lēmumi bija negodīgi (piemēram, kādai konkrētai grupai agrāk tika piešķirts mazāk kredītu), modelis pieņem, ka tas ir “normāli” un turpinās. To sauc par vēsturisko neobjektivitāti.
• Izlases novirze: ja dažas grupas datos ir nepietiekami pārstāvētas, modelis par tām mācās slikti un neprecīzi.
• Iezīmes novirze: ja pati “laba klienta” definīcija ir neobjektīva, modelis tiek optimizēts novirzei.
• Dizaina novirze: cilvēka izvēle attiecībā uz to, kurus mainīgos lielumus izmantot, var būt neobjektīva.

Padoms: "Modelis ir balstīts uz datiem, tāpēc tas ir objektīvs" ir maldīgs priekšstats. Dati ir pagātnes momentuzņēmums; Ja pagātne bija netaisnīga, "objektīvais" modelis netaisnību attaisno ar matemātiku. Objektivitāte nav objektivitātes garantija.

Tieša un netieša diskriminācija

• Tieša diskriminācija: modeļa tieša aizsargātas pazīmes (dzimums, etniskā piederība, reliģija, vecums) izmantošana. Tas ir nepārprotami aizliegts.
• Netiešā diskriminācija (surogātmainīgais / starpniekserveris): pat ja modelis tieši neizmanto aizsargāto līdzekli, tas rada tādu pašu rezultātu, izmantojot citu mainīgo, kas ir cieši saistīts ar to (pasta indekss, nosaukums, iepirkšanās kategorija, darba rajons). Pasta indekss bieži vien ir etniskās piederības vai ienākumu līmeņa aizstājējs. Modelis saka "kaimiņvieta", bet rezultāts ir "izcelsmes" diskriminācija.

Mainīgs

acīmredzot

var būt starpniekserveris

Pasta indekss / rajons

ģeogrāfija

Etniskā piederība, ienākumu līmenis

Vārds

ID

izcelsme, dzimums

Iepirkšanās kategorija

uzvedība

dzīvesveids, pārliecība

beidzis skolu

Izglītība

Sociāli ekonomiskā izcelsme

Tāpēc ir jāatskan trauksmes signāls, kad pamatojumā redzat apgalvojumu, piemēram, "kaimiņos ir riskanti": tas var šķist likumīgs kritērijs, taču tajā ir ietverta netieša diskriminācija.

Uzmanību! Aizsargātā līdzekļa noņemšana no datiem neizbeidz diskrimināciju. Aizstājēji mainīgie var to atgriezt. Taisnīgums netiek panākts ar "izdzēsu sensitīvo sleju"; Tas tiek panākts, pārbaudot modeļu lēmumu rezultātus starp grupām.

Taisnīguma ieausšana pārvaldībā

1. Godīguma rādītāji. Salīdziniet modeļa apstiprināšanas/noraidīšanas rādītājus un kļūdu īpatsvarus starp grupām. Vai viena grupa sistemātiski piedzīvo lielāku noraidījumu?
2. Starpniekservera vadība. Pārbaudiet izmantoto mainīgo saistību ar aizsargātajiem īpašumiem.
3. Izskaidrojamība. Katram lēmumam ir jāiesniedz pamatojums; "Melnās kastes" noliegums ir nepieņemams.
4. Tiesības iebilst. Klientam ir jādod tiesības uzzināt lēmuma pamatojumu un pieprasīt cilvēka pārskatīšanu.
5. Izslēgtās grupas. Ir arī jāpārbauda, ​​vai grupas, kas datos ir nepietiekami pārstāvētas, netiek slikti izturētas.

Četras kopējamas veidnes

1) Diskriminācijas pārbaude attaisnojuma dēļ:

Pārbaudiet šādu kredīta lēmuma pamatojumu: vai ir tieša/netieša atsauce uz aizsargājamu raksturlielumu (vecums, dzimums, izcelsme, reliģija) vai aizstājējs mainīgais (pasta indekss, apkaime, vārds, iepirkšanās veids)? Atzīmējiet riskantos paziņojumus un paskaidrojiet, kāpēc tie rada diskriminācijas risku. Iemesls: [teksts]

2) Mainīgo saraksta starpniekservera vadība:

Pārbaudiet šo kredīta modelī izmantoto mainīgo lielumu sarakstu. Kuras no tām varētu būt aizsargātas īpašības aizstājējs un radīt netiešas diskriminācijas risku? Uzrakstiet savu pamatojumu katram riskantajam variantam. Saraksts: [mainīgie]

3) Lēmuma kopsavilkums taisnīguma ziņā (neitrāls, izskaidrojams):

Jūsu loma: palīgs, kurš izstrādā izskaidrojama lēmuma pamatojumu. Paļaujieties tikai uz leģitīmiem, nediskriminējošiem kritērijiem (parāda un ienākumu attiecība, maksājumu vēsture, ķīla). NEATSAUC uz aizsargāto īpašumu un surogātmainīgo. Uzrakstiet pamatojumu vienkāršā valodā, ko klients sapratīs. Es došu apstiprinājumu.

4) Iebildumu atbildes projekts:

Klients pārsūdzēja kredīta atteikumu un vēlas pamatojumu. Uzstādiet cieņpilnu un aprakstošu atbildi, pamatojoties uz likumīgiem kritērijiem; Atgādiniet klientam par viņa tiesībām uz cilvēka pārbaudi un labošanu. Neizmantojiet nekādas diskriminējošas sekas. Pārbaudīts noraidījuma iemesls: [iemesls]

Vāja uzvedne / spēcīga uzvedne

Vāja uzvedne:

Lietojumprogrammas šajā reģionā ir ļoti riskanti, modelī vairāk izmantosim rajona informāciju, lai varētu palielināt precizitāti.

Šī pieeja stiprina netiešo diskrimināciju rajona dēļ; Tas leģitimizē prettiesisku iznākumu "sitiena" vārdā.

Spēcīga uzvedne:

Jūsu loma: tieslietu revīzijas palīgs. Atzīmējiet izmantotos mainīgos, kas rada surogātmaino lielumu risku. Iesakiet, kādi rādītāji man būtu jāievēro, lai salīdzinātu lēmumus starp grupām apstiprināšanas/noraidīšanas līmeņa ziņā. Nekad nepastipriniet diskriminējošu kritēriju; novirzīt uz likumīgiem un izskaidrojamiem kritērijiem.

Spēcīga griba meklē starpnieka risku, ievieš godīguma rādītājus un noraida diskrimināciju.

trīs mini futrāļi

1. gadījums — vēsturiska novirze. Viens modelis konkrētai profesiju grupai piešķir sistemātiski zemu punktu skaitu, jo agrāk tai ir piešķirts mazāk kredītpunktu. Taisnīguma audits liecina, ka noraidījumu rādītājs šai grupai ir par 30% augstāks nekā citām ar līdzīgu ienākumu līmeni. Modelis ir līdzsvarots ar likumīgiem ienākumu un maksājumu kritērijiem.

2. gadījums — aizstājējs mainīgais. Pasta indekss ir spēcīgs modeļa mainīgais. Revīzija liecina, ka pasta indekss pārklājas ar noteiktiem etniski koncentrētiem rajoniem, radot netiešu diskrimināciju izcelsmes dēļ. Mainīgais lielums tiek noņemts un aizstāts ar likumīgiem finanšu etaloniem; sniegums paliek pieņemamā līmenī, diskriminācija tiek novērsta.

3. gadījums — tiesības iebilst. Noraidītais klients lūdz pamatojumu. Banka sniedz izskaidrojamo pamatojumu (augsta parāda attiecība pret ienākumiem) un pieņem lūgumu pārskatīt cilvēkus. Pārskatīšana atklāj nepareizu dokumenta lasīšanu; Lēmums tiek labots. Izskaidrojamība un tiesības iebilst kļūdu kompensē ar taisnīgumu.

Godīguma rādītāji: ko un kā mēs mērām

"Vai modelis ir godīgs?" Uz jautājumu nav vienas atbildes; Ir vairākas taisnīguma definīcijas, un tās dažkārt ir pretrunā viena ar otru. Šeit ir dažas pieejas, kas praktiski tiek izmantotas banku jomā:

• Apstiprināšanas/noraidīšanas līmeņa salīdzinājums: vai apstiprināšanas līmenis sistemātiski atšķiras dažādās grupās ar līdzīgiem finanšu profiliem (piemēram, dzimumu grupām)? Liela un neizskaidrojama atšķirība ir neobjektivitātes pazīme.
• Kļūdu līmeņa vienlīdzība: vai modeļa viltus noraidīšanas (likumīga pieteikuma noraidīšanas) līmenis ir līdzsvarots starp grupām? Ja viena grupa tiek negodīgi noraidīta biežāk nekā cita, pastāv problēma.
• Kalibrēšana: vai klienti, kurus modelis sauc par “augstu risku”, tiešām nepilda saistības ar līdzīgām likmēm katrā grupā? Rezultātu nozīmei nevajadzētu mainīties no grupas uz grupu.

Šos rādītājus dažkārt nevar nodrošināt vienlaikus; Kurai taisnīguma definīcijai piešķirt prioritāti, ir nevis tehnisks, bet gan ētisks un juridisks lēmums, un tam ir nepieciešama cilvēku pārvaldība.

Padoms. Mēriet godīguma metriku regulāri, nevis tikai tad, kad veidojat modeli. Modelis var darboties godīgi un laika gaitā kļūt neobjektīvs datu novirzes dēļ. Taisnīgums nav "izveides", bet gan "uzraudzības" jautājums.

Biežas kļūdas

• "Objektīvo datu" kļūda. Pieņemot, ka modelis ir neitrāls; datiem ir vēsturiska novirze.
• Vienkārši izdzēsiet jutīgo kolonnu. Aizsargātā īpašuma noņemšana un starpniekservera mainīgo ignorēšana.
• Netiek izsekoti godīguma rādītāji. Nesalīdzinot noraidījumu/kļūdu biežumu starp grupām vispār.
• Aizstāvot melnās kastes lēmumu. Uzskatot par leģitīmu lēmumu, kuru nevar pamatot.
• Atņemt tiesības iebilst. Cilvēka veiktās pārskatīšanas atspējošana, jo "tas palēnina procesu".

Uzmanību: diskriminācija bieži rodas nevis ļaunprātības, bet gan neuzmanības dēļ. Mainīgais, kas pievienots, jo tas "palielina precizitāti", var neapzināti izslēgt grupu. Tāpēc taisnīgums nav balstīts uz labticību, bet gan uz regulāru pārbaudi.

Rezumējot

AI modeļi ietver neobjektivitāti attiecībā uz datiem, no kuriem tie mācās, un diskriminācija banku jomā ir juridisks, ētisks un reputācijas risks. Tieša diskriminācija ir aizsargātas funkcijas izmantošana; No otras puses, netiešā diskriminācija rada tādu pašu rezultātu ar starpniekservera mainīgajiem (pasta indekss, nosaukums). Taisnīgums nav saistīts ar jutīgās kolonnas dzēšanu; To nodrošina godīguma rādītāji, starpniekservera kontrole, izskaidrojamība un tiesības iebilst. Vienā teikumā: modelis atkārto pagātni; Cilvēka pienākums ir ievērot taisnīgumu un noraidīt diskrimināciju.

Lietojumprogrammas uzdevums

Uzrakstiet sarakstu ar 8–10 mainīgajiem kredīta modelim (daži ar tīšu starpnieka risku: pasta indekss, nosaukums, iepirkšanās kategorija). 2. Veiciet starpniekservera pārbaudi ar veidni un atzīmējiet riskantos, norādot iemeslus. Pēc tam uzrakstiet diskriminējošu pamatojuma tekstu un skenējiet to, izmantojot 1. veidni. Visbeidzot, rindkopā ieplānojiet, kuras godīguma metrikas izsekosit, lai salīdzinātu modeļa noraidīšanas līmeni starp grupām.

kontrolsaraksts

• [ ] Esmu pārbaudījis, vai modelī/pamatojumā nav izmantotas aizsargātas īpašības.
• [ ] Es arī pārbaudīju starpniekservera mainīgo risku.
• [ ] Es plānoju salīdzināt apstiprinājuma/noraidīšanas un kļūdu īpatsvaru starp grupām.
• [ ] Es nodrošināju, ka katram lēmumam ir izskaidrojams pamatojums.
• [ ] Es piešķīru klientam tiesības iebilst un cilvēka pārskatīšanu.
• [ ] Es pat nepārkāpju diskriminācijas sarkano līniju, pamatojoties uz "trāpījumu".