Lợi nhuận:
- Nó nhận ra các nguồn dữ liệu, thiết kế và sử dụng sai lệch thuật toán và kiểm tra kết quả đầu ra trên cơ sở nhóm.
- Giải thích cách vòng phản hồi và lỗi biểu diễn phóng đại sự bất bình đẳng và thiết lập khả năng kiểm soát tác động.
- Nó đảm bảo trách nhiệm giải trình bằng cách đảm bảo khả năng giải thích và kháng cáo trong mọi quyết định tự động.
Công chúng phải áp dụng quyền lực của mình một cách bình đẳng cho tất cả mọi người: đối xử tương tự với hai công dân trong những tình huống tương tự, sự khác biệt tương xứng với những tình huống khác nhau. Nguyên tắc bình đẳng này là một nghĩa vụ hiến pháp. Trí tuệ nhân tạo có thể vừa cải thiện vừa âm thầm phá vỡ lĩnh vực này. Nó có thể cải thiện vì một quy tắc được áp dụng nhất quán có thể làm giảm sự tùy tiện và thành kiến của con người. Nó có thể bị hỏng vì các mô hình AI học từ dữ liệu trong quá khứ và dữ liệu trong quá khứ mang sự phân biệt đối xử trong quá khứ. Nếu một hệ thống được đào tạo dựa trên dữ liệu trước đây đã gây bất lợi cho một nhóm cụ thể, thì nó sẽ mang lại bất lợi đó trong tương lai — và ở dạng thậm chí còn khó phát hiện hơn, dưới vỏ bọc của một “thuật toán khách quan”. Trong phần này, bạn sẽ tìm hiểu cách nhận biết sai lệch thuật toán (sai lệch hệ thống của đầu ra mô hình so với các nhóm nhất định) khi sử dụng AI trong khu vực công, cách giảm thiểu nó và quan trọng nhất là cách đảm bảo trách nhiệm giải trình về thuật toán (lý do cho một quyết định tự động có thể giải thích, kiểm tra được và có thể tranh cãi).
Sự thiên vị đến từ đâu?
Có một số nguồn sai lệch thuật toán và tất cả chúng đều có rủi ro trước công chúng:
- Xu hướng lịch sử: Dữ liệu đào tạo chứa đựng sự bất bình đẳng trong quá khứ. Ví dụ: nếu trước đây một khu vực có ít dịch vụ hơn thì “dữ liệu về nhu cầu” có thể cho thấy khu vực đó có nhu cầu thấp - trong khi trên thực tế, nhu cầu thấp vì không có dịch vụ.
- Xu hướng đại diện: Một số nhóm được thể hiện không đúng mức trong dữ liệu (những nhóm không có quyền truy cập kỹ thuật số, nhóm ngôn ngữ thiểu số) và mô hình hoạt động kém đối với họ.
- Thành kiến ủy quyền: Ngay cả khi mô hình không xem xét trực tiếp một tiêu chí bị cấm (dân tộc, tôn giáo), nó vẫn có thể tạo ra sự phân biệt đối xử tương tự bằng cách xem xét một proxy được liên kết với nó (khu phố, tên, mã zip).
- Thiên kiến đo lường: Những gì chúng ta đo lường không phải là những gì chúng ta thực sự muốn đo lường. “Số lượng khiếu nại” đo lường khả năng khiếu nại hơn là nhu cầu.
Thận trọng: Sẽ là sai lầm khi nói "Tôi đã xóa dữ liệu nhạy cảm (giới tính, dân tộc) khỏi mô hình, bây giờ thì công bằng rồi". Sự phân biệt đối xử thông qua các biến proxy có thể tiếp tục. Sự công bằng đạt được không phải bằng cách xóa đầu vào mà bằng cách kiểm tra đầu ra giữa các nhóm.
Kiểm tra tính công bằng: xem kết quả
Việc một hệ thống có công bằng hay không có thể được hiểu bằng cách nhìn vào kết quả của nó chứ không phải mục đích của nó. Phương pháp cơ bản: chia quyết định thành các nhóm và so sánh. Các kết quả đầu ra như tỷ lệ chấp nhận/từ chối, tỷ lệ lỗi, thời gian chờ đợi có khác biệt đáng kể giữa các nhóm khác nhau (giới tính, độ tuổi, khu vực, thu nhập) không? Nếu có sự khác biệt thì sự khác biệt này là có lý do chính đáng hay là sự phân biệt đối xử? Vì việc phân tích này có thể yêu cầu dữ liệu cá nhân nên nó phải được tổng hợp và thực hiện theo KVKK.
Mẹo: Trước khi triển khai hệ thống quyết định mới do AI hỗ trợ, hãy chia nhỏ các quyết định của hệ thống theo nhóm nhân khẩu học và tạo “báo cáo công bằng”. Nếu bạn tìm thấy sự khác biệt, "sự khác biệt này có thể được giải thích không?" Đưa câu hỏi đến một ủy ban nhân dân.
Khả năng giải thích và kháng cáo: cốt lõi của trách nhiệm giải trình
Trong khu vực công, không một công dân nào có thể bị tước bỏ quyền lợi của mình nếu câu trả lời là “hệ thống đã quyết định như vậy”. Đối với mọi quyết định tự động hoặc có sự hỗ trợ của AI, phải đảm bảo ba điều:
- Khả năng giải thích: Quyết định dựa trên điều gì, yếu tố nào có hiệu quả, cần được giải thích bằng ngôn ngữ dễ hiểu.
- Cách kháng cáo: Công dân có thể phản đối quyết định và yêu cầu người xem xét quyết định đó.
- Quá trình kiểm tra: Cần ghi lại dữ liệu nào, mô hình/phiên bản nào và quyết định được đưa ra với người chịu trách nhiệm nào.
ba trường hợp nhỏ
Trường hợp 1 - Biến thể thay thế bị bắt. Một mô hình ưu tiên viện trợ không sử dụng dữ liệu nhạy cảm mà xem xét “mã zip”. Trong thử nghiệm công bằng, một số khu dân cư nhất định được nhận thấy có mức độ ưu tiên thấp một cách có hệ thống - tương quan với mã zip, thu nhập và mật độ dân tộc. Biến số đã bị loại bỏ và mức độ ưu tiên được gắn trực tiếp với các chỉ số nhu cầu.
Trường hợp 2 - Khoảng cách đại diện. Một chatbot có khả năng đánh lừa các câu hỏi của công dân bằng ngôn ngữ mẹ đẻ không phải tiếng Thổ Nhĩ Kỳ cao hơn 41%; Dữ liệu huấn luyện chứa rất ít về nhóm này. Khi hỗ trợ đa ngôn ngữ và ngưỡng chuyển giao con người được thêm vào, khoảng cách đã được thu hẹp lại.
Trường hợp 3 - Bị từ chối không giải thích được. Một tổ chức tự động từ chối đơn đăng ký; công dân "tại sao?" Khi được hỏi thì cán bộ này không giải thích được vì lý do đưa ra mô hình không rõ ràng. Vụ việc cho thấy không thể sử dụng các mô hình có khả năng giải thích kém để đưa ra các quyết định liên quan đến quyền; Hệ thống đã được chuyển đổi thành một mô hình tạo ra sự biện minh và cần có sự chấp thuận của con người.
Bốn mẫu có thể sao chép
1) Nguồn quét thiên vị:
Vai trò của bạn: chuyên gia về công bằng thuật toán. Hãy xem quy trình ra quyết định được hỗ trợ bởi AI bên dưới. Liệt kê các nguồn sai lệch có thể có: (1) sai lệch lịch sử, (2) sai lệch đại diện (nhóm ít được đại diện), (3) biến đại diện (cột liên kết với tiêu chí bị cấm), (4) sai lệch đo lường. Đưa ra một ví dụ cụ thể cho từng trường hợp và cho tôi biết cách kiểm tra nó. QUY TRÌNH: [quy trình ra quyết định và dữ liệu được sử dụng]
2) Kế hoạch kiểm tra tính công bằng:
Tạo kế hoạch kiểm tra tính công bằng cho kết quả đưa ra quyết định sau: tôi nên chia nhỏ nhóm nào (độ tuổi, giới tính, khu vực, thu nhập), số liệu nào (tỷ lệ chấp nhận, tỷ lệ lỗi, thời gian chờ) nên so sánh, làm cách nào để quyết định xem sự khác biệt là hợp pháp hay phân biệt đối xử? Thêm cảnh báo KVKK. QUYẾT ĐỊNH: [quyết định gì]
3) Tuyên bố quyết định (đối với công dân):
Viết một bản dự thảo giải thích dễ hiểu cho người dân cho quyết định sau: yếu tố nào có ảnh hưởng, bằng ngôn ngữ đơn giản. Thêm quyền kháng cáo vào cuối và khả năng được con người xem xét [có thời gian để xác nhận]. Sử dụng những cách diễn đạt mơ hồ như "Hệ thống đã quyết định như vậy." QUYẾT ĐỊNH: [Tóm tắt và các yếu tố ảnh hưởng]
4) Kiểm tra trách nhiệm trước khi phổ biến:
Tạo một danh sách kiểm tra trách nhiệm giải trình trước khi triển khai hệ thống quyết định do AI cung cấp: hệ thống này có thể giải thích được không, có cách nào để khiếu nại không, có duy trì quy trình kiểm toán (dữ liệu/phiên bản mô hình/có trách nhiệm giải trình), đã thực hiện kiểm tra tính công bằng hay chưa, điểm phê duyệt của con người ở đâu. Gắn cờ các mục bị thiếu dưới dạng cờ đỏ.HỆ THỐNG: [công thức]
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: “Mô hình quyết định này có công bằng không?”
Strong: "Vai trò của bạn là chuyên gia về tính công bằng trong thuật toán. Đối với mô hình ưu tiên hỗ trợ này, trước tiên hãy quét tìm các nguồn sai lệch (lịch sử, biểu diễn, biến thay thế, phép đo) và đưa ra ví dụ cụ thể cho từng nguồn. Sau đó đưa ra kế hoạch kiểm tra tính công bằng: phân tích theo nhóm nào, số liệu nào, cách quyết định tính hợp pháp của sự khác biệt; thêm cảnh báo KVKK. Cuối cùng, trước khi triển khai hệ thống, hãy đưa ra danh sách kiểm tra về khả năng giải thích, lộ trình khiếu nại và lộ trình kiểm tra cũng như gắn cờ đỏ cho những thiếu sót."
Sự khác biệt: một lời nhắc mạnh mẽ tìm kiếm sự thiên vị ngay từ gốc, đầu ra được các nhóm kiểm tra và khiến trách nhiệm giải trình được phổ biến rộng rãi.
Các khía cạnh và biện pháp kiểm soát công lý
Kích thước
Rủi ro
kiểm soát
dữ liệu lịch sử
Quá khứ mang theo sự bất bình đẳng
Kiểm tra đầu ra theo nhóm
đại diện
Hoạt động kém đối với một số nhóm
Tỷ lệ lỗi dựa trên nhóm
biến thay thế
sự phân biệt đối xử bí mật
Mối quan hệ tiêu chí nhạy cảm với biến
Khả năng giải thích
quyết định không chính đáng
Tạo lời giải thích đơn giản
phản đối
tịch thu
Lộ trình đánh giá con người
Vòng phản hồi và lỗi biểu diễn
Hình thức phân biệt thuật toán xảo quyệt nhất xảy ra không phải ở một quyết định sai lầm mà trong một vòng phản hồi tự củng cố theo thời gian (đầu ra của mô hình ảnh hưởng đến dữ liệu huấn luyện tiếp theo, củng cố thành kiến hiện có). Ví dụ: nếu một mô hình kiểm tra đánh dấu một khu vực lân cận cụ thể là "rủi ro", thì càng có nhiều cuộc kiểm tra đến đó, càng có nhiều hồ sơ được tạo ra, mô hình sẽ coi khu vực lân cận đó có nhiều rủi ro hơn - mặc dù sự khác biệt đã tăng lên ở vị trí được xem xét chứ không phải ở rủi ro thực tế. Điều mở đường cho điều này thường là lỗi biểu diễn (dữ liệu huấn luyện phản ánh một số nhóm không đầy đủ hoặc bị bóp méo). Trong khu vực công, những chu kỳ này có thể đặt các nhóm thiệt thòi vào tình trạng bị giám sát và trừng phạt ngày càng nghiêm khắc. Cách để bảo vệ bản thân là giám sát tác động của mô hình, không chỉ đầu ra của nó: thường xuyên giám sát việc phân bổ quyết định theo nhóm và không thực hiện một cách mù quáng các khuyến nghị của mô hình.
Trường hợp nhỏ - nghi ngờ tự làm nặng thêm. Một mô hình phát hiện gian lận phúc lợi đã đánh dấu một khu vực trước đây được kiểm tra chặt chẽ hơn là có nguy cơ cao. Khi nhóm trích xuất cường độ thực thi từ dữ liệu và đo lường “tỷ lệ phát hiện thực sự so với dân số”, họ nhận thấy rằng sự khác biệt giữa các khu vực phần lớn đã biến mất; Mô hình đã nhầm lẫn sự bất bình đẳng với rủi ro thực sự.
Mẫu kiểm soát tác động dựa trên nhóm:
Nhiệm vụ: Kiểm tra dữ liệu quyết định sau theo nhóm (không có dữ liệu cá nhân, tóm tắt theo phân loại). Dữ liệu: [group | quyết định tổng thể | tỷ lệ quyết định tiêu cực | cường độ kiểm tra]Đầu ra: 1) Tỷ lệ quyết định tiêu cực có cho thấy sự khác biệt đáng kể giữa các nhóm không? 2) Sự khác biệt có thể là do rủi ro thực tế hoặc cường độ kiểm soát/đại diện? 3) Có dấu hiệu nào của vòng phản hồi không? 4) Khuyến nghị về kiểm soát của con người. Quy tắc: Đưa ra tuyên bố về quan hệ nhân quả; Liệt kê các giải thích có thể và cách kiểm tra.
Thận trọng: Lập luận rằng "mô hình này mang tính trung lập vì nó áp dụng cùng một quy tắc cho mọi người" là sai lầm. Quy tắc tương tự, khi áp dụng cho dữ liệu bị sai lệch, sẽ duy trì và phóng đại sự bất bình đẳng. Công lý được đo bằng sự bình đẳng của kết quả chứ không phải quy tắc.
Những lỗi thường gặp
- Xóa dữ liệu nhạy cảm và nghĩ "thật công bằng". Các biến thay thế duy trì sự phân biệt đối xử; kiểm tra đầu ra.
- Đo lường công lý bằng ý định. Công lý cuối cùng cũng xuất hiện; Sắp xếp các quyết định thành các nhóm và so sánh.
- Quên nhóm ít đại diện. Mô hình này có thể hoạt động kém hiệu quả đối với một nhóm thiểu số; Xem lỗi dựa trên nhóm.
- Sử dụng mô hình không giải thích được trong các quyết định trao quyền. Một hệ thống không thể tạo ra sự biện minh thì không thể đưa ra quyết định công khai.
- Không cung cấp bất kỳ phương tiện phản đối. Mọi quyết định tự động phải được con người xem xét.
- Không lưu giữ dấu vết kiểm toán. Cần ghi lại dữ liệu/mô hình/người chịu trách nhiệm đưa ra quyết định.
Tóm lại
Trong khu vực công, AI có thể tăng tính nhất quán nhưng cũng âm thầm xóa bỏ sự phân biệt đối xử trong quá khứ. Xu hướng xuất phát từ dữ liệu lịch sử, khoảng cách biểu diễn, các biến đại diện và phép đo không chính xác; Xóa dữ liệu nhạy cảm sẽ không giải quyết được. Sự công bằng đạt được bằng cách kiểm tra kết quả giữa các nhóm. Và không một công dân nào có thể bị tước quyền bầu cử bởi "hệ thống đã nói như vậy": mọi quyết định đều phải có thể giải thích được, có thể tranh cãi và có thể kiểm toán được. Chính tổ chức phải chịu trách nhiệm chứ không phải thuật toán.
Nhiệm vụ ứng dụng
Chọn quy trình quyết định tự động hoặc được hỗ trợ bởi AI trong đơn vị của bạn. Liệt kê những sai lệch có thể xảy ra và tìm ra ít nhất một biến rủi ro thay thế bằng mẫu “Nguồn quét sai lệch”. Xác định các phân tích nhóm cần xem xét bằng "kế hoạch kiểm tra tính công bằng". Đối với quyết định mẫu, hãy tạo lời giải thích trực tiếp cho công dân bằng mẫu "Giải thích về quyết định".
danh sách kiểm tra
- [ ] Tôi đã quét các nguồn sai lệch (lịch sử, sự trình bày, sự ủy quyền, phép đo).
- [ ] Tôi không chỉ xóa dữ liệu nhạy cảm; Tôi đã kiểm tra đầu ra theo nhóm.
- [ ] Tôi đã kiểm soát tỷ lệ lỗi đối với các nhóm ít được đại diện.
- [ ] Tôi đã đưa ra lời biện minh đơn giản, có thể giải thích được cho mỗi quyết định.
- [ ] Tôi đã xác định lộ trình phản đối và đánh giá của con người.
- [ ] Quá trình kiểm tra (dữ liệu/phiên bản mô hình/người chịu trách nhiệm) được duy trì.