Zyski:
- Zrozumienie, w jaki sposób stronniczość w modelach sztucznej inteligencji wynika z danych i projektu oraz dlaczego stwarza ryzyko prawne i etyczne w bankowości
- Umiejętność rozpoznawania cech chronionych, zmiennych zastępczych i dyskryminacji pośredniej oraz kwestionowania decyzji modelowych pod kątem uczciwości
- Umiejętność zrozumienia, w jaki sposób wskaźniki sprawiedliwości, grupy wykluczone i prawo do sprzeciwu są wplecione w model zarządzania i utrzymania czerwonej linii dyskryminacji
Model sztucznej inteligencji nie jest neutralny; Jest to odzwierciedlenie zdobytych danych. Jeśli dane niosą ze sobą nierówności z przeszłości, model uczy się ich i przenosi w przyszłość. W bankowości nie jest to abstrakcyjna debata etyczna: jeśli model kredytowy systematycznie stawia w niekorzystnej sytuacji konkretną grupę, jest to zarówno niezgodne z prawem (zakaz dyskryminacji), jak i naruszenie etyczne, stwarzające ryzyko dla reputacji i sankcji dla banku. Celem tej części jest pokazanie, w jaki sposób model staje się stronniczy, bezpośrednie i pośrednie formy dyskryminacji, pułapka zmiennej zastępczej oraz sposoby wplatania sprawiedliwości w modelowe zarządzanie. Od początku należy powiedzieć jedną czerwoną linię: dyskryminacja, niezależnie od tego, jak „statystyczna” może się wydawać, jest niedopuszczalna.
Skąd biorą się uprzedzenia?
- Stronniczość danych: jeśli wcześniejsze decyzje były niesprawiedliwe (np. w przeszłości określonej grupie przyznano mniej punktów), w modelu zakłada się, że jest to „normalne” i kontynuuje się. Nazywa się to uprzedzeniami historycznymi.
- Błąd próbkowania: jeśli niektóre grupy są niedostatecznie reprezentowane w danych, model uczy się o nich słabo i niedokładnie.
- Błąd etykiety: jeśli sama definicja „dobrego klienta” jest stronnicza, model optymalizuje się pod kątem tego błędu.
- Stronniczość projektu: ludzkie wybory dotyczące tego, których zmiennych użyć, mogą również nieść ze sobą stronniczość.
Wskazówka: „Model opiera się na danych, więc jest obiektywny” to błędne przekonanie. Dane to migawka przeszłości; Jeśli przeszłość była niesprawiedliwa, model „obiektywny” usprawiedliwia niesprawiedliwość za pomocą matematyki. Obiektywizm nie jest gwarancją bezstronności.
Dyskryminacja bezpośrednia i pośrednia
- Dyskryminacja bezpośrednia: bezpośrednie wykorzystanie przez modela chronionej cechy (płeć, pochodzenie etniczne, religia, wiek). Jest to wyraźnie zabronione.
- Dyskryminacja pośrednia (zmienna zastępcza/zastępcza): Nawet jeśli model nie wykorzystuje bezpośrednio chronionej cechy, daje ten sam rezultat, używając innej zmiennej, która jest z nią silnie powiązana (kod pocztowy, nazwa, kategoria zakupów, dzielnica pracy). Kod pocztowy jest często wskaźnikiem pochodzenia etnicznego lub poziomu dochodów. Model mówi o „sąsiedztwie”, ale rezultatem jest dyskryminacja ze względu na „pochodzenie”.
Zmienna
najwyraźniej
może być pełnomocnikiem
Kod pocztowy / dzielnica
geografia
Pochodzenie etniczne, poziom dochodów
Imię
Identyfikator
pochodzenie, płeć
Kategoria zakupów
zachowanie
styl życia, wiara
ukończył szkołę
Edukacja
Pochodzenie społeczno-ekonomiczne
Dlatego też powinien zabrzmieć alarm, gdy w uzasadnieniu pojawi się stwierdzenie „sąsiedztwo jest ryzykowne”: może się to wydawać uzasadnione kryterium, ale niesie ze sobą pośrednią dyskryminację.
Uwaga: Usunięcie chronionej funkcji z danych nie kończy dyskryminacji. Zmienne zastępcze mogą to zwrócić. Sprawiedliwości nie można osiągnąć poprzez „usunięcie wrażliwej kolumny”; Osiąga się to poprzez testowanie wyników decyzji modelowych pomiędzy grupami.
Wplatanie sprawiedliwości w zarządzanie
- Metryki uczciwości. Porównaj współczynniki zatwierdzeń/odrzuceń modelu i poziomy błędów pomiędzy grupami. Czy w jednej grupie systematycznie występuje większa liczba odrzuceń?
- Kontrola proxy. Zbadaj związek używanych zmiennych z chronionymi właściwościami.
- Wyjaśnialność. Każda decyzja musi zostać uzasadniona; Odmowa „czarnej skrzynki” jest nie do utrzymania.
- Prawo do sprzeciwu. Klient powinien mieć prawo do poznania uzasadnienia swojej decyzji i zażądania weryfikacji przez człowieka.
- Grupy wykluczone. Należy także sprawdzić, czy grupy niedostatecznie reprezentowane w danych nie są źle traktowane.
Cztery szablony do kopiowania
1) Badanie pod kątem dyskryminacji w uzasadnieniu:
Sprawdź następujące uzasadnienie decyzji kredytowej: czy istnieje bezpośrednie/pośrednie odniesienie do chronionej cechy (wiek, płeć, pochodzenie, religia) lub zmiennej zastępczej (kod pocztowy, dzielnica, imię i nazwisko, rodzaj zakupów)? Oznacz ryzykowne stwierdzenia i wyjaśnij, dlaczego stwarzają ryzyko dyskryminacji. Powód: [tekst]
2) Kontrola proxy listy zmiennych:
Przeanalizuj tę listę zmiennych używanych w modelu kredytowym. Które z nich mogą zastępować cechę chronioną i stwarzać ryzyko pośredniej dyskryminacji? Napisz uzasadnienie każdego ryzykownego wariantu. Lista: [zmienne]
3) Podsumowanie decyzji pod kątem słuszności (neutralne, możliwe do wyjaśnienia):
Twoja rola: asystent, który opracowuje zrozumiałe uzasadnienie decyzji. Polegaj wyłącznie na uzasadnionych i niedyskryminujących kryteriach (stosunek zadłużenia do dochodów, historia płatności, zabezpieczenie). NIE odwołuj się do chronionej właściwości i zmiennej zastępczej. Napisz uzasadnienie prostym językiem zrozumiałym dla klienta. Udzielę zgody.
4) Projekt odpowiedzi na sprzeciw:
Klient odwołał się od odmowy przyznania kredytu i domaga się uzasadnienia. Przygotuj pełną szacunku i opisową odpowiedź w oparciu o uzasadnione kryteria; Przypomnij klientowi o jego prawie do ręcznej weryfikacji i poprawiania. Nie używaj żadnych dyskryminujących implikacji. Zweryfikowany powód odrzucenia: [powód]
Słaba zachęta/silna zachęta
Słaba zachęta:
Zastosowania w tym regionie są bardzo ryzykowne, wykorzystajmy w modelu w większym stopniu informacje o dzielnicach, aby zwiększyć dokładność.
Takie podejście wzmacnia dyskryminację pośrednią ze względu na dzielnicę; Legitymizuje niezgodny z prawem wynik w imię „trafienia”.
Potężny monit:
Twoja rola: asystent audytu wymiaru sprawiedliwości. Oznacz używane zmienne, które stwarzają ryzyko wystąpienia zmiennych zastępczych. Zasugeruj, jakimi wskaźnikami powinienem się kierować, aby porównać decyzje między grupami pod względem współczynnika akceptacji/odrzucenia. Nigdy nie wzmacniaj kryterium dyskryminującego; przekierowanie do uzasadnionych i możliwych do wyjaśnienia kryteriów.
Silna wola szuka zastępczego ryzyka, wprowadza wskaźniki uczciwości i odrzuca dyskryminację.
trzy mini etui
Przypadek 1 – Stronniczość historyczna. Jeden z modeli przyznaje określonej grupie zawodowej systematycznie niski wynik, ponieważ w przeszłości przypisywano jej mniej punktów. Audyt uczciwości pokazuje, że wskaźnik odrzuceń w tej grupie jest o 30% wyższy niż w innych grupach o podobnym poziomie dochodów. Model został ponownie zrównoważony w oparciu o uzasadnione kryteria dochodu i płatności.
Przypadek 2 — Zmienna zastępcza. Kod pocztowy to potężna zmienna w modelu. Kontrola wykazała, że kod pocztowy pokrywa się z niektórymi dzielnicami o dużej koncentracji etnicznej, co powoduje pośrednią dyskryminację ze względu na pochodzenie. Zmienną tę usunięto i zastąpiono uzasadnionymi wskaźnikami finansowymi; wydajność pozostaje na akceptowalnym poziomie, dyskryminacja jest wyeliminowana.
Przypadek 3 – Prawo do sprzeciwu. Klient odrzucony prosi o uzasadnienie. Bank przedstawia zrozumiałe uzasadnienie (wysoki stosunek zadłużenia do dochodów) i przyjmuje wniosek o weryfikację ludzką. Przegląd ujawnia błędne odczytanie dokumentu; Decyzja zostaje skorygowana. Wyjaśnialność i prawo do sprzeciwu rekompensują błąd sprawiedliwością.
Metryki uczciwości: co i jak mierzymy
„Czy model jest sprawiedliwy?” Nie ma jednej odpowiedzi na to pytanie; Istnieje wiele definicji sprawiedliwości i czasami są one ze sobą sprzeczne. Oto kilka podejść, które są praktycznie stosowane w bankowości:
- Porównanie wskaźnika zatwierdzeń/odrzuceń: Czy wskaźnik zatwierdzeń systematycznie różni się w przypadku różnych grup o podobnych profilach finansowych (np. w przypadku grup płci)? Duża i niewyjaśniona różnica jest oznaką uprzedzeń.
- Równość poziomu błędów: czy odsetek fałszywych odrzuceń (odrzucenia uzasadnionego wniosku) w modelu jest zrównoważony we wszystkich grupach? Jeśli jedna grupa jest niesprawiedliwie odrzucana częściej niż inna, pojawia się problem.
- Kalibracja: Czy klienci, których model określa mianem „wysokiego ryzyka”, rzeczywiście nie wywiązują się z zobowiązań w podobny sposób w każdej grupie? Znaczenie wyniku nie powinno zmieniać się z grupy na grupę.
Czasami nie można podać tych wskaźników jednocześnie; Która definicja sprawiedliwości ma być priorytetem, nie jest decyzją techniczną, ale etyczną i prawną i wymaga ludzkiego zarządzania.
Wskazówka: Mierz metrykę uczciwości w regularnych odstępach czasu, a nie tylko podczas budowania modelu. Model może zostać wprowadzony w życie uczciwie i z czasem stać się stronniczy ze względu na dryf danych. Sprawiedliwość nie jest kwestią „ustanowienia”, ale kwestią „monitorowania”.
Typowe błędy
- Błąd „obiektywnych danych”. Zakładając, że model jest neutralny; dane mają charakter historyczny.
- Po prostu usuń wrażliwą kolumnę. Usuwanie chronionej właściwości i pomijanie zmiennych proxy.
- Brak śledzenia wskaźników uczciwości. W ogóle nie porównuje się współczynnika odrzuceń/błędów pomiędzy grupami.
- Obrona decyzji w sprawie czarnej skrzynki. Uznanie decyzji, której nie da się uzasadnić, za słuszną.
- Usunięcie prawa sprzeciwu. Wyłączenie weryfikacji ręcznej, ponieważ „spowalnia proces”.
Uwaga: Dyskryminacja często nie wynika ze złośliwości, ale z nieostrożności. Zmienna dodana, ponieważ „zwiększa dokładność”, może nieświadomie wykluczyć grupę. Dlatego sprawiedliwość nie opiera się na dobrej wierze, ale na regularnych testach.
Podsumowując
Modele sztucznej inteligencji niosą ze sobą stronniczość danych, z których się uczą, a dyskryminacja w bankowości stanowi ryzyko prawne, etyczne i ryzyko dla reputacji. Dyskryminacja bezpośrednia polega na użyciu chronionej funkcji; Z drugiej strony dyskryminacja pośrednia daje ten sam wynik w przypadku zmiennych zastępczych (kod pocztowy, imię i nazwisko). Sprawiedliwość nie polega na wymazaniu wrażliwej kolumny; Zapewnione poprzez uczciwe wskaźniki, kontrolę proxy, możliwość wyjaśnienia i prawo do sprzeciwu. W jednym zdaniu: wzór powtarza przeszłość; Obowiązkiem człowieka jest stać na straży sprawiedliwości i odrzucać dyskryminację.
Zadanie aplikacji
Napisz listę 8–10 zmiennych dla modelu kredytowego (niektóre z celowym ryzykiem zastępczym: kod pocztowy, nazwa, kategoria zakupów). 2. Wykonaj sprawdzenie proxy za pomocą szablonu i zaznacz ryzykowne z ich powodami. Następnie napisz dyskryminujący tekst uzasadnienia i zeskanuj go za pomocą szablonu 1. Na koniec zaplanuj w akapicie, które wskaźniki uczciwości będziesz śledzić, aby porównać współczynnik odrzuceń modelu pomiędzy grupami.
lista kontrolna
- [ ] Sprawdziłem, czy model/uzasadnienie nie korzysta z chronionych właściwości.
- [ ] Sprawdziłem także ryzyko zmiennych zastępczych.
- [ ] Planowałem porównać stopień zatwierdzenia/odrzucenia i poziom błędów pomiędzy grupami.
- [ ] Zadbałem o to, aby każda decyzja miała wytłumaczalne uzasadnienie.
- [ ] Dałem klientowi prawo do sprzeciwu i weryfikacji przez człowieka.
- [ ] Nawet nie przekroczyłem czerwonej linii dyskryminacji ze względu na „trafienie”.