Hagnaður:
- Að skilja hvernig hlutdrægni í gervigreindarlíkönum stafar af gögnum og hönnun og hvers vegna það skapar lagalega og siðferðilega áhættu í bankastarfsemi
- Hæfni til að viðurkenna verndaða eiginleika, umboðsbreytur og óbeina mismunun og efast um fyrirmyndarákvarðanir með tilliti til sanngirni
- Hæfni til að skilja hvernig réttlætismælikvarðar, útilokaðir hópar og andmælaréttur fléttast inn í stjórnarfyrirmyndina og viðhalda rauðu mismununarlínunni
AI líkan er ekki hlutlaust; Það er spegill af gögnunum sem lærð eru. Ef gögnin bera fortíðarmisrétti, lærir líkanið það og flytur það inn í framtíðina. Í bankastarfsemi er þetta ekki óhlutbundin siðferðileg umræða: ef lánamódel kerfisbundið óhagræðir tilteknum hópi er það bæði ólöglegt (bann við mismunun) og siðferðilegt brot, sem veldur orðspori og refsiáhættu fyrir bankann. Tilgangur þessarar einingar er að sýna hvernig líkanið verður hlutdrægt, bein og óbein form mismununar, umboðsbreytugildru og leiðir til að flétta sanngirni inn í líkanstjórn. Ein rauð lína verður að segja frá upphafi: mismunun, hversu "tölfræðileg" sem hún kann að virðast, er óviðunandi.
Hvaðan koma fordómar?
- Gagnahlutdrægni: Ef fyrri ákvarðanir voru ósanngjarnar (t.d. tilteknum hópi var gefið minna lán áður), gerir líkanið ráð fyrir að þetta sé „eðlilegt“ og heldur áfram. Þetta er kallað söguleg hlutdrægni.
- Hlutdrægni í úrtak: Ef einhverjir hópar eru vanfulltrúar í gögnunum lærir líkanið illa og ónákvæmt um þá.
- Hlutdrægni í merkimiða: Ef skilgreiningin á „góður viðskiptavinur“ sjálf er hlutdræg, fínstillir líkanið fyrir hlutdrægni.
- Hönnunarhlutdrægni: Mannleg val um hvaða breytur á að nota geta einnig haft hlutdrægni.
Ábending: "Líkanið er byggt á gögnum, svo það er hlutlægt" er misskilningur. Gögn eru skyndimynd af fortíðinni; Ef fortíðin var óréttlát réttlætir „hlutlæga“ líkanið óréttlætið með stærðfræði. Hlutlægni er ekki trygging fyrir hlutleysi.
Bein og óbein mismunun
- Bein mismunun: Bein notkun líkansins á vernduðum eiginleikum (kyn, þjóðerni, trú, aldur). Þetta er beinlínis bannað.
- Óbein mismunun (staðgöngubreyta / umboð): Jafnvel þótt líkanið noti ekki verndaða eiginleikann beint, gefur það sömu niðurstöðu með því að nota aðra breytu sem er sterklega tengd henni (póstnúmer, nafn, verslunarflokkur, vinnusvæði). Póstnúmer er oft umboð fyrir þjóðerni eða tekjustig. Líkanið segir „hverfi“ en niðurstaðan er „uppruni“ mismunun.
Breytilegt
að því er virðist
getur verið umboð
Póstnúmer / hverfi
landafræði
Þjóðerni, tekjustig
Nafn
auðkenni
uppruna, kyn
Innkaupaflokkur
hegðun
lífsstíll, trú
útskrifaður skóli
Menntun
Félagshagfræðilegur uppruna
Þess vegna ætti viðvörun að hljóma þegar þú sérð fullyrðingu eins og "hverfið er áhættusamt" í rökstuðningi: það kann að virðast vera lögmæt viðmiðun en fela í sér óbeina mismunun.
Varúð: Að fjarlægja verndaðan eiginleika úr gögnunum bindur ekki enda á mismununina. Staðgöngubreytur geta skilað því. Réttlæti næst ekki með því að „ég eyddi viðkvæma dálknum“; Þetta er náð með því að prófa niðurstöður fyrirmyndarákvarðana milli hópa.
Flétta réttlæti inn í stjórnarhætti
- Sanngirnismælingar. Berðu saman samþykki/höfnunarhlutfall líkansins og villuhlutfall milli hópa. Upplifir einn hópur kerfisbundið hærri höfnun?
- Umboðsstýring. Skoðaðu tengsl breytanna sem notaðar eru við vernduðu eiginleikana.
- Skýringarhæfni. Rökstuðningur verður að liggja fyrir fyrir hverja ákvörðun; „Black box“ afneitun er óviðunandi.
- Réttur til andmæla. Viðskiptavinurinn ætti að fá rétt til að kynna sér rökin fyrir ákvörðuninni og óska eftir endurskoðun manna.
- Útilokaðir hópar. Einnig skal athuga að hópar sem eru undirfulltrúar í gögnunum fái ekki rangt mál.
Fjögur afritanleg sniðmát
1) Skimun fyrir mismunun í réttlætingu:
Athugaðu eftirfarandi rökstuðning fyrir lánsfjárákvörðun: er bein/óbein tilvísun í verndað einkenni (aldur, kyn, uppruna, trú) eða umboðsbreytu (póstnúmer, hverfi, nafn, innkaupategund)? Merktu áhættusamar yfirlýsingar og útskýrðu hvers vegna hætta stafar af mismunun. Ástæða: [texti]
2) Umboðsstýring breytilegra lista:
Skoðaðu þennan lista yfir breytur sem notaðar eru í lánslíkani. Hverjir gætu verið umboð fyrir verndaðan eiginleika og skapað hættu á óbeinni mismunun? Skrifaðu rökstuðning þinn fyrir hvert áhættusamt afbrigði. Listi: [breytur]
3) Samantekt ákvörðunar með tilliti til sanngirni (hlutlaus, skýranleg):
Hlutverk þitt: Aðstoðarmaður sem semur útskýranlega ákvörðunarrök. Treystu aðeins á lögmæt skilyrði án mismununar (skuldahlutfall, greiðslusaga, tryggingar). EKKI vísa til varinnar eignar og staðgengilsbreytu. Skrifaðu rökin á einföldu máli sem viðskiptavinurinn mun skilja. Ég mun veita samþykkið.
4) Drög að andmælum:
Viðskiptavinur áfrýjaði lánveitingunni og vill fá rökstuðning. semja virðingarvert og lýsandi svar byggt á lögmætum forsendum; Minnið viðskiptavininn á rétt hans til mannlegrar endurskoðunar og leiðréttingar. Ekki nota neina mismununaráhrif. Staðfest ástæða höfnunar: [ástæða]
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Forrit á þessu svæði eru mjög áhættusöm, við skulum nota héraðsupplýsingar meira í líkaninu svo hægt sé að auka nákvæmni.
Þessi nálgun styrkir óbeina mismunun eftir héruðum; Það lögmætir ólögmæta niðurstöðu í nafni „höggs“.
Öflug tilvitnun:
Hlutverk þitt: aðstoðarmaður dómsmálaeftirlits. Merktu við þær breytur sem notaðar eru sem valda hættu á staðgöngubreytum. Stingdu upp á hvaða mælikvarða ég ætti að fylgja til að bera saman ákvarðanir milli hópa hvað varðar samþykki/höfnunarhlutfall. Aldrei styrkja mismununarviðmiðun; beina til lögmætra og skýranlegra viðmiða.
Sterkur vilji leitar að umboðsáhættu, kynnir sanngirnismælingar og hafnar mismunun.
þrjú smámál
Mál 1 - Söguleg hlutdrægni. Eitt líkan gefur tilteknum starfshópi kerfisbundið lága einkunn vegna þess að honum hefur verið gefið minna lán áður. Sanngirnisúttekt sýnir að höfnunarhlutfall þessa hóps er 30% hærra en annarra á svipuðum tekjum. Líkanið er endurjafnað með lögmætum tekju- og greiðsluviðmiðum.
Mál 2 - Staðgengill breyta. Póstnúmer er öflug breyta í líkani. Úttektin sýnir að póstnúmerið skarast við ákveðin þjóðernissamþjöppuð hverfi, sem veldur óbeinni uppruna mismunun. Breytan er fjarlægð og í stað hennar koma lögmæt fjárhagsleg viðmið; árangur helst á viðunandi stigi, mismunun er eytt.
Mál 3 — Andmælaréttur. Skjólstæðingur sem hafnað er biður um rökstuðning. Bankinn leggur fram skýran rökstuðning (hátt skuldahlutfall) og samþykkir beiðni um endurskoðun manna. Yfirferð leiðir í ljós rangt lesið á skjali; Ákvörðunin er leiðrétt. Skýringarhæfni og andmælaréttur bætir mistök með réttlæti.
Sanngirnismælingar: hvað og hvernig við mælum
"Er módelið sanngjarnt?" Það er ekkert eitt svar við spurningunni; Það eru margar skilgreiningar á réttlæti og þær stangast stundum á. Hér eru nokkrar aðferðir sem eru nánast fylgt í bankastarfsemi:
- Samanburður á samþykki/höfnunarhlutfalli: Er samþykkishlutfall kerfisbundið mismunandi milli ólíkra hópa með svipaðar fjárhagslegar upplýsingar (t.d. kynjahópa)? Stór og óútskýrður munur er merki um hlutdrægni.
- Jafnrétti á villuhlutfalli: Er hlutfall rangrar höfnunar líkansins (hafna lögmætri umsókn) í jafnvægi milli hópa? Ef einum hópi er oftar hafnað á ósanngjarnan hátt en öðrum er vandamál.
- Kvörðun: Eru viðskiptavinirnir sem líkanið kallar „há áhættu“ raunverulega vanskil á svipuðum hraða í hverjum hópi? Merking stigsins ætti ekki að breytast milli hópa.
Stundum er ekki hægt að veita þessar mælingar á sama tíma; Hvaða skilgreiningu á réttlæti að forgangsraða er ekki tæknileg heldur siðferðileg og lagaleg ákvörðun og krefst mannlegrar stjórnunar.
Ábending: Mældu sanngirnismælinguna með reglulegu millibili, ekki bara þegar þú smíðar líkanið. Líkan gæti farið sæmilega í notkun og orðið hlutdrægt með tímanum vegna gagnastreymis. Réttlæti er ekki spurning um "stofnun" heldur spurning um "eftirlit".
Algeng mistök
- "hlutlæg gögn" rökvillan. Að því gefnu að líkanið sé hlutlaust; gögn bera sögulega hlutdrægni.
- Eyddu bara viðkvæma dálknum. Að fjarlægja verndaða eign og horfa framhjá umboðsbreytum.
- Ekki rekja sanngirnismælingar. Er alls ekki að bera saman höfnunar/villuhlutfall milli hópa.
- Að verja svarta kassann. Íhuga ákvörðun sem ekki er hægt að réttlæta sem lögmæta.
- Afnám andmælaréttar. Slökkva á mannlegri endurskoðun vegna þess að „það hægir á ferlinu“.
Athygli: Mismunun stafar oft ekki af illsku heldur kæruleysi. Breyta sem bætt er við vegna þess að hún „eykur nákvæmni“ getur óafvitandi útilokað hóp. Þess vegna byggist réttlæti ekki á góðri trú heldur reglulegum prófunum.
Í stuttu máli
Gervigreind líkön bera hlutdrægni gagna sem þau læra af og mismunun í bankastarfsemi er lagaleg, siðferðileg og orðsporsáhætta. Bein mismunun er að nota verndaðan eiginleika; Óbein mismunun er aftur á móti að framleiða sömu niðurstöðu með umboðsbreytum (póstnúmer, nafn). Réttlæti snýst ekki um að þurrka út viðkvæma dálkinn; Tryggt með sanngirnismælingum, umboðsstýringu, útskýranleika og andmælarétti. Í einni setningu: Mynstrið endurtekur fortíðina; Það er á ábyrgð mannsins að halda uppi réttlæti og hafna mismunun.
Umsóknarverkefni
Skrifaðu lista yfir 8-10 breytur fyrir kreditlíkan (sumar með viljandi umboðsáhættu: póstnúmer, nafn, innkaupaflokkur). 2. Framkvæmdu umboðsskoðun með sniðmátinu og merktu áhættusama með ástæðum þeirra. Skrifaðu síðan mismunandi rökstuðningstexta og skannaðu hann með sniðmáti 1. Að lokum skaltu skipuleggja í málsgrein hvaða sanngirnismælikvarða þú munt fylgjast með til að bera saman höfnunarhlutfall líkansins milli hópa.
gátlisti
- [ ] Ég hef athugað að líkanið/rökstuðningurinn notar ekki verndaða eiginleika.
- [ ] Ég skimaði líka hættuna á umboðsbreytum.
- [ ] Ég ætlaði að bera saman samþykki/höfnun og villuhlutfall milli hópa.
- [ ] Ég tryggði að sérhver ákvörðun hefði skýran rökstuðning.
- [ ] Ég veitti viðskiptavininum andmælarétt og mannlega endurskoðun.
- [ ] Ég fór ekki einu sinni yfir rauðu mismununina á grundvelli „högg“.