Lợi nhuận:
- Hiểu sự thiên vị trong các mô hình trí tuệ nhân tạo phát sinh từ dữ liệu và thiết kế như thế nào cũng như lý do tại sao nó tạo ra rủi ro pháp lý và đạo đức trong ngân hàng
- Khả năng nhận biết các tính năng được bảo vệ, các biến proxy và các quyết định phân biệt đối xử gián tiếp và mô hình câu hỏi về mặt công bằng
- Khả năng hiểu cách các thước đo công lý, các nhóm bị loại trừ và quyền phản đối được lồng ghép vào mô hình quản trị và duy trì ranh giới phân biệt đối xử
Một mô hình AI không trung tính; Nó là sự phản ánh của dữ liệu đã học. Nếu dữ liệu mang những bất bình đẳng trong quá khứ, mô hình sẽ tìm hiểu chúng và đưa chúng vào tương lai. Trong ngân hàng, đây không phải là một cuộc tranh luận trừu tượng về đạo đức: nếu một mô hình tín dụng gây bất lợi một cách có hệ thống cho một nhóm cụ thể, thì điều này vừa trái pháp luật (cấm phân biệt đối xử) vừa vi phạm đạo đức, mang lại rủi ro về uy tín và trừng phạt cho ngân hàng. Mục đích của đơn vị này là chỉ ra cách mô hình trở thành các hình thức phân biệt đối xử thiên vị, trực tiếp và gián tiếp, bẫy biến đại diện và cách đưa sự công bằng vào quản trị mô hình. Một ranh giới đỏ phải được nói ngay từ đầu: sự phân biệt đối xử, cho dù nó có vẻ "thống kê" đến mức nào, là không thể chấp nhận được.
Thành kiến đến từ đâu?
- Sai lệch dữ liệu: Nếu các quyết định trong quá khứ không công bằng (ví dụ: trước đây một nhóm cụ thể được cấp ít tín nhiệm hơn), mô hình sẽ giả định điều này là “bình thường” và tiếp tục. Điều này được gọi là sự thiên vị lịch sử.
- Sai lệch lấy mẫu: Nếu một số nhóm được thể hiện không đúng mức trong dữ liệu, mô hình sẽ tìm hiểu kém và không chính xác về chúng.
- Độ lệch nhãn: Nếu bản thân định nghĩa về “khách hàng tốt” đã bị sai lệch thì mô hình sẽ tối ưu hóa độ lệch đó.
- Sai lệch thiết kế: Sự lựa chọn của con người về việc sử dụng biến nào cũng có thể dẫn đến sai lệch.
Mẹo: “Mô hình dựa trên dữ liệu nên mang tính khách quan” là một quan niệm sai lầm. Dữ liệu là ảnh chụp nhanh của quá khứ; Nếu quá khứ là bất công thì mô hình “khách quan” sẽ biện minh cho sự bất công đó bằng toán học. Tính khách quan không phải là sự đảm bảo cho tính khách quan.
Phân biệt đối xử trực tiếp và gián tiếp
- Phân biệt đối xử trực tiếp: Mô hình sử dụng trực tiếp một đặc điểm được bảo vệ (giới tính, dân tộc, tôn giáo, tuổi tác). Điều này bị nghiêm cấm.
- Phân biệt đối xử gián tiếp (biến thay thế / proxy): Ngay cả khi mô hình không sử dụng trực tiếp tính năng được bảo vệ, nó vẫn tạo ra kết quả tương tự bằng cách sử dụng một biến khác có liên quan chặt chẽ với nó (mã zip, tên, danh mục mua sắm, khu vực làm việc). Mã zip thường đại diện cho dân tộc hoặc mức thu nhập. Mô hình nói "khu phố" nhưng kết quả là sự phân biệt đối xử "nguồn gốc".
Biến
rõ ràng
có thể là một proxy
Mã bưu điện/quận
địa lý
Dân tộc, mức thu nhập
Tên
ID
nguồn gốc, giới tính
Danh mục mua sắm
hành vi
lối sống, niềm tin
tốt nghiệp trường
giáo dục
Nguồn gốc kinh tế xã hội
Đó là lý do tại sao cảnh báo sẽ vang lên khi bạn nhìn thấy một tuyên bố như "khu vực lân cận có rủi ro" trong lời biện minh: nó có thể có vẻ là một tiêu chí hợp pháp nhưng lại mang tính phân biệt đối xử gián tiếp.
Thận trọng: Việc xóa tính năng được bảo vệ khỏi dữ liệu không chấm dứt sự phân biệt đối xử. Các biến thay thế có thể trả về nó. Công lý không đạt được bằng việc “Tôi đã xóa cột nhạy cảm”; Điều này đạt được bằng cách kiểm tra kết quả của các quyết định mẫu giữa các nhóm.
Đưa công lý vào quản lý
- Các thước đo về sự công bằng So sánh tỷ lệ chấp thuận/từ chối của mô hình và tỷ lệ lỗi giữa các nhóm. Liệu một nhóm có bị từ chối nhiều hơn một cách có hệ thống không?
- Kiểm soát ủy quyền. Kiểm tra mối quan hệ của các biến được sử dụng với các thuộc tính được bảo vệ.
- Khả năng giải thích. Sự biện minh phải được đưa ra cho mọi quyết định; Việc từ chối "hộp đen" là không thể chấp nhận được.
- Quyền phản đối. Khách hàng phải được quyền tìm hiểu lý do đưa ra quyết định và yêu cầu đánh giá của con người.
- Các nhóm bị loại trừ Cũng cần kiểm tra xem các nhóm được trình bày thiếu trong dữ liệu có bị ngược đãi hay không.
Bốn mẫu có thể sao chép
1) Sàng lọc sự phân biệt đối xử trong biện minh:
Kiểm tra cơ sở lý luận quyết định tín dụng sau: có tham chiếu trực tiếp/gián tiếp đến đặc điểm được bảo vệ (tuổi, giới tính, nguồn gốc, tôn giáo) hoặc biến số đại diện (mã bưu điện, khu phố, tên, loại hình mua sắm) không? Gắn cờ các tuyên bố rủi ro và giải thích lý do tại sao chúng có nguy cơ bị phân biệt đối xử. Lý do: [văn bản]
2) Kiểm soát proxy danh sách biến:
Kiểm tra danh sách các biến được sử dụng trong mô hình tín dụng. Những đặc điểm nào có thể đại diện cho một đặc điểm được bảo vệ và có nguy cơ bị phân biệt đối xử gián tiếp? Viết lời biện minh của bạn cho từng biến thể rủi ro. Danh sách: [biến]
3) Tóm tắt quyết định về tính công bằng (trung lập, có thể giải thích):
Vai trò của bạn: trợ lý soạn thảo cơ sở đưa ra quyết định có thể giải thích được. Chỉ dựa vào các tiêu chí hợp pháp, không phân biệt đối xử (tỷ lệ nợ trên thu nhập, lịch sử thanh toán, tài sản thế chấp). KHÔNG tham chiếu thuộc tính được bảo vệ và biến thay thế. Viết lý do bằng ngôn ngữ đơn giản mà khách hàng sẽ hiểu. Tôi sẽ đưa ra sự chấp thuận.
4) Dự thảo trả lời phản đối:
Một khách hàng khiếu nại việc từ chối cấp tín dụng và muốn có sự biện minh. Soạn thảo một phản hồi mang tính tôn trọng và mang tính mô tả dựa trên các tiêu chí hợp pháp; Nhắc nhở khách hàng về quyền được con người xem xét và sửa chữa. Không sử dụng bất kỳ hàm ý phân biệt đối xử nào. Lý do từ chối đã được xác minh: [lý do]
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Các ứng dụng trong khu vực này rất rủi ro, hãy sử dụng thông tin quận nhiều hơn trong mô hình để có thể tăng độ chính xác.
Cách tiếp cận này tăng cường sự phân biệt đối xử gián tiếp dựa trên quận; Nó hợp pháp hóa một kết quả trái pháp luật dưới danh nghĩa "đánh".
Lời nhắc mạnh mẽ:
Vai trò của bạn: trợ lý kiểm toán tư pháp. Gắn cờ các biến được sử dụng có nguy cơ xảy ra biến thay thế. Đề xuất những số liệu nào tôi nên tuân theo để so sánh các quyết định giữa các nhóm về tỷ lệ chấp thuận/từ chối. Đừng bao giờ củng cố một tiêu chí phân biệt đối xử; chuyển hướng đến các tiêu chí hợp pháp và có thể giải thích được.
Ý chí mạnh mẽ sẽ tìm kiếm rủi ro ủy nhiệm, đưa ra các thước đo về tính công bằng và bác bỏ sự phân biệt đối xử.
ba trường hợp nhỏ
Trường hợp 1 - Thành kiến lịch sử. Một mô hình cho một nhóm nghề cụ thể điểm thấp một cách có hệ thống vì trước đây nhóm đó được cấp ít tín chỉ hơn. Kiểm toán công bằng cho thấy tỷ lệ từ chối của nhóm này cao hơn 30% so với những nhóm khác có cùng mức thu nhập. Mô hình được cân bằng lại với các tiêu chí thu nhập và thanh toán hợp pháp.
Trường hợp 2 - Biến thay thế. Mã zip là một biến số mạnh mẽ trong một mô hình. Quá trình kiểm tra cho thấy mã zip trùng lặp với một số khu dân cư tập trung về mặt dân tộc, tạo ra sự phân biệt đối xử về nguồn gốc gián tiếp. Biến số này bị loại bỏ và thay thế bằng các tiêu chuẩn tài chính hợp pháp; hiệu suất vẫn ở mức chấp nhận được, sự phân biệt đối xử được loại bỏ.
Trường hợp 3 - Quyền phản đối. Một khách hàng bị từ chối yêu cầu biện minh. Ngân hàng đưa ra lý do giải thích có thể giải thích được (tỷ lệ nợ trên thu nhập cao) và chấp nhận yêu cầu xem xét con người. Việc xem xét cho thấy tài liệu đã được đọc sai; Quyết định được sửa chữa. Khả năng giải thích và quyền phản đối đền bù sai lầm bằng công lý.
Số liệu công bằng: chúng tôi đo lường cái gì và như thế nào
“Mô hình này có công bằng không?” Không có câu trả lời duy nhất cho câu hỏi; Có nhiều định nghĩa về công lý và đôi khi chúng xung đột với nhau. Dưới đây là một số cách tiếp cận được áp dụng thực tế trong ngân hàng:
- So sánh tỷ lệ chấp thuận/từ chối: Tỷ lệ chấp thuận có khác nhau một cách có hệ thống giữa các nhóm khác nhau có hồ sơ tài chính tương tự (ví dụ: nhóm giới tính) không? Sự khác biệt lớn và không giải thích được là dấu hiệu của sự thiên vị.
- Tỷ lệ lỗi bằng nhau: Tỷ lệ từ chối sai (từ chối ứng dụng hợp pháp) của mô hình có cân bằng giữa các nhóm không? Nếu một nhóm bị từ chối một cách bất công thường xuyên hơn nhóm khác thì có vấn đề.
- Hiệu chỉnh: Những khách hàng mà mô hình gọi là “rủi ro cao” có thực sự vỡ nợ với tỷ lệ tương tự trong mỗi nhóm không? Ý nghĩa của điểm số không nên thay đổi từ nhóm này sang nhóm khác.
Những số liệu này đôi khi không thể được cung cấp cùng một lúc; Định nghĩa nào về công lý cần ưu tiên không phải là một quyết định mang tính kỹ thuật mà là một quyết định mang tính đạo đức, pháp lý và đòi hỏi sự quản lý của con người.
Mẹo: Đo lường số liệu công bằng theo định kỳ, không chỉ khi bạn xây dựng mô hình. Một mô hình có thể hoạt động khá tốt và trở nên sai lệch theo thời gian do dữ liệu trôi dạt. Công lý không phải là vấn đề “thành lập” mà là vấn đề “giám sát”.
Những lỗi thường gặp
- Ngụy biện "dữ liệu khách quan". Giả sử mô hình là trung lập; dữ liệu mang sự thiên vị lịch sử.
- Chỉ cần xóa cột nhạy cảm. Loại bỏ thuộc tính được bảo vệ và xem xét các biến proxy.
- Không theo dõi các số liệu công bằng. Không so sánh tỷ lệ từ chối/lỗi giữa các nhóm.
- Bảo vệ quyết định hộp đen. Xem xét một quyết định không thể biện minh là hợp pháp.
- Loại bỏ quyền phản đối. Vô hiệu hóa quá trình đánh giá của con người vì "nó làm chậm quá trình".
Chú ý: Sự phân biệt đối xử thường phát sinh không phải từ ác ý mà từ sự bất cẩn. Một biến được thêm vào vì nó "tăng độ chính xác" có thể vô tình loại trừ một nhóm. Vì vậy công lý không dựa trên thiện chí mà dựa trên sự kiểm tra thường xuyên.
Tóm lại
Các mô hình AI mang theo những thành kiến về dữ liệu mà chúng học được và sự phân biệt đối xử trong ngân hàng là một rủi ro pháp lý, đạo đức và danh tiếng. Phân biệt đối xử trực tiếp là sử dụng một tính năng được bảo vệ; Mặt khác, sự phân biệt gián tiếp đang tạo ra kết quả tương tự với các biến proxy (mã zip, tên). Công lý không phải là xóa cột nhạy cảm; Được đảm bảo bằng các số liệu công bằng, kiểm soát proxy, khả năng giải thích và quyền phản đối. Trong một câu: Mô hình lặp lại quá khứ; Trách nhiệm của con người là duy trì công lý và bác bỏ sự phân biệt đối xử.
Nhiệm vụ ứng dụng
Viết danh sách 8-10 biến cho mô hình tín dụng (một số có rủi ro ủy quyền có chủ ý: mã zip, tên, danh mục mua sắm). 2. Thực hiện kiểm tra proxy với mẫu và đánh dấu những mẫu có rủi ro cùng với lý do của chúng. Sau đó, viết văn bản biện minh mang tính phân biệt đối xử và quét nó bằng mẫu 1. Cuối cùng, lập kế hoạch trong một đoạn văn về các số liệu công bằng mà bạn sẽ theo dõi để so sánh tỷ lệ từ chối của mô hình giữa các nhóm.
danh sách kiểm tra
- [ ] Tôi đã kiểm tra rằng mô hình/lý do không sử dụng các thuộc tính được bảo vệ.
- [ ] Tôi cũng đã sàng lọc rủi ro của các biến proxy.
- [ ] Tôi dự định so sánh tỷ lệ chấp thuận/từ chối và lỗi giữa các nhóm.
- [ ] Tôi đảm bảo rằng mọi quyết định đều có lý do giải thích được.
- [ ] Tôi đã cho khách hàng quyền phản đối và đánh giá của con người.
- [ ] Tôi thậm chí còn không vượt qua ranh giới phân biệt đối xử với lý do "đánh".