Lợi nhuận:
- Khả năng phát hiện sự phân biệt đối xử tiềm ẩn bằng cách hiểu rằng sự thiên vị đến từ dữ liệu (lịch sử, biểu diễn, đo lường, tổng hợp) và đánh giá mô hình trên cơ sở các nhóm con
- Khả năng cung cấp khả năng giải thích, giám sát của con người và trách nhiệm giải trình trong các quyết định có tác động lớn và tính minh bạch của tài liệu bằng thẻ mẫu
- Khả năng quản lý chi phí tài chính và môi trường mà không ảnh hưởng đến chất lượng với mô hình phù hợp nhỏ nhất, rút ngắn nhanh chóng, bộ nhớ đệm và lô
Một mô hình có thể hoạt động hoàn hảo về mặt kỹ thuật nhưng vẫn sai - nếu nó không công bằng đối với một số người, không thể giải thích được hoặc tạo ra chi phí không bền vững. Trong phần này, chúng tôi đề cập đến ba khía cạnh "vô hình" nhưng mang tính quyết định của kỹ thuật ML: thiên vị và công bằng, đạo đức và tính minh bạch, chi phí và tính bền vững. Đây không phải là những đồ trang trí được thêm vào sau này mà là những phần không thể thiếu của chất lượng kỹ thuật.
Thành kiến đến từ đâu?
Sự thiên vị của mô hình (cách xử lý có hệ thống của mô hình đối với một số nhóm nhất định một cách khác biệt/không công bằng) thường xuất phát từ dữ liệu chứ không phải từ mô hình. Nguồn:
- Thành kiến lịch sử: Dữ liệu phản ánh sự bất công trong quá khứ. Nếu trước đây một nhóm cụ thể được cấp ít tín chỉ hơn, thì mô hình được đào tạo dựa trên dữ liệu đó sẽ tìm hiểu và duy trì sự phân biệt đối xử này.
- Thành kiến về tính đại diện: Một số nhóm được thể hiện không đúng mức trong dữ liệu; mô hình hoạt động kém đối với họ (ví dụ: độ chính xác thấp trong nhân khẩu học mẫu nhỏ).
- Độ lệch đo lường: Bản thân các nhãn hiệu đã bị sai lệch (ví dụ: nếu định nghĩa về “nhân viên giỏi” dựa trên các quyết định thăng chức trong quá khứ).
- Xu hướng tổng hợp: Vì dữ liệu đến từ một kênh cụ thể nên nó không đại diện cho toàn bộ.
Mô hình không chỉ tìm hiểu những thành kiến này; mở rộng quy mô bằng cách tự động hóa nó. Quyết định thiên vị của một người ảnh hưởng đến người khác; Phán quyết của một mô hình thiên vị là hàng triệu.
Thận trọng: Đừng mắc sai lầm khi nói “mô hình là trung lập vì nó chỉ là toán học”. Mô hình này tìm hiểu và tự động hóa sự thiên vị của con người trong dữ liệu. Tính trung lập không phải là một mặc định mà là một kết quả phải được đo lường và đảm bảo.
đo lường công lý
Để quản lý công lý trước tiên cần phải đo lường nó. Để làm điều này, hãy đánh giá mô hình trên cơ sở phân nhóm: các số liệu như độ chính xác, khả năng thu hồi, tỷ lệ dương tính giả có bằng nhau giữa các nhóm nhân khẩu học khác nhau không? Một số khái niệm về công bằng:
- Tính công bằng của nhóm: Mô hình có đối xử đúng/sai với các nhóm khác nhau ở mức độ tương tự nhau không?
- Bình đẳng về cơ hội: Mô hình có nắm bắt được những điều thực sự tích cực như nhau trong tất cả các nhóm không (khả năng ghi nhớ như nhau)?
Sự thật quan trọng: các định nghĩa khác nhau về công lý có thể không được thỏa mãn cùng một lúc (đây là một hệ quả toán học). Định nghĩa nào về công lý được ưu tiên trong bối cảnh này là một quyết định mang tính đạo đức và kinh doanh, không phải là một quyết định mang tính kỹ thuật và được đưa ra cùng với các bên liên quan.
Cách tiếp cận yếu/Cách tiếp cận mạnh mẽ
Kém: "Độ chính xác tổng thể của mô hình là 88%, điều này là công bằng."
Güçlü: "Độ chính xác tổng thể là 88%, nhưng khi chúng tôi chia thành các nhóm nhỏ, tỷ lệ thu hồi là 91% ở một nhóm và 67% ở nhóm khác — mô hình đã thiếu nhóm đó một cách có hệ thống. Chúng tôi đã ghi lại lý do (thiếu tính đại diện), thu thập dữ liệu cho nhóm đó và đánh giá lại nó với mục tiêu thu hồi như nhau. Chúng tôi đã quyết định với các bên liên quan về định nghĩa về sự công bằng mà chúng tôi sẽ ưu tiên."
Sự khác biệt: cách tiếp cận mạnh mẽ không ẩn sau thước đo chung, nó tách biệt các nhóm nhỏ và coi sự công bằng là một quyết định mở.
Đạo đức và tính minh bạch
Các nguyên tắc cốt lõi của AI có trách nhiệm là:
- Khả năng giải thích: Có thể giải thích tại sao mô hình lại đưa ra quyết định này không? Trong các quyết định có tác động lớn (tín dụng, tuyển dụng, chăm sóc sức khỏe), người ta có quyền được giải thích. Không nên sử dụng mô hình không giải thích được trong các lĩnh vực này hoặc phải được hỗ trợ bằng một phương pháp có thể giải thích được.
- Giám sát của con người: Các quyết định có tác động lớn không nên được đưa ra một cách tự động; Mô hình gợi ý, con người xác nhận.
- Trách nhiệm giải trình: Cần làm rõ ai là người chịu trách nhiệm khi mô hình mắc lỗi. “Mô hình đã quyết định” không phải là một cái cớ.
- Tính minh bạch: Người dùng nên biết rằng họ đang tương tác với AI và cách sử dụng dữ liệu của họ.
Ở nhiều quốc gia và lĩnh vực, những nguyên tắc này cũng được đưa vào luật pháp (nghĩa vụ minh bạch, kiểm toán và giám sát con người đối với các hệ thống AI có rủi ro cao). Người kỹ sư có trách nhiệm phải biết các quy định trong lĩnh vực của mình.
Mẹo: Giữ một "thẻ mô hình" cho từng mô hình có tác động cao: mô hình làm gì, dữ liệu nào được đào tạo, nó hoạt động tốt/kém như thế nào trong nhóm nào, giới hạn đã biết của nó là gì. Tài liệu này vừa là công cụ minh bạch vừa có trách nhiệm giải trình.
Chi phí và tính bền vững
AI không hề rẻ. Chi phí được quản lý theo hai khía cạnh:
Chi phí tài chính:
- Chi phí mã thông báo (LLM): Mỗi yêu cầu và phản hồi đều tiêu tốn mã thông báo; Khi khối lượng tăng lên, hóa đơn tăng lên. Lời nhắc dài không cần thiết, lựa chọn mô hình quá lớn và vòng lặp tác nhân không được kiểm soát (đơn vị 5) làm tăng chi phí.
- Đào tạo và lưu trữ: Tinh chỉnh và trình bày mô hình phát sinh chi phí phần cứng.
- Tối ưu hóa: Không sử dụng mô hình lớn nếu mô hình nhỏ là đủ; lưu trữ các câu hỏi thường gặp; rút ngắn lời nhắc; Hàng loạt những gì có thể được xử lý.
Chi phí môi trường: Đào tạo và suy luận mô hình lớn tiêu tốn năng lượng đáng kể. Tính bền vững khiến việc tránh những tính toán không cần thiết (mô hình kích thước chính xác, kiến trúc hiệu quả) trở thành trách nhiệm nghề nghiệp.
Mẹo: Quy tắc đầu tiên để tối ưu hóa chi phí: "Mô hình phù hợp nhỏ nhất cho công việc này là gì?" Việc đưa mô hình mạnh mẽ nhất vào mọi nơi cũng giống như đóng đinh bằng búa tạ — tốn kém và không cần thiết.
ba trường hợp nhỏ
Trường hợp 1 - Sự phân biệt đối xử ẩn giấu. Một mô hình sàng lọc tuyển dụng nhìn chung có vẻ tốt. Phân tích phân nhóm cho thấy mô hình này nhấn mạnh các ứng cử viên nữ một cách có hệ thống vì dữ liệu lịch sử chủ yếu là nam giới - nó đã học được thành kiến lịch sử. Mô hình đã bị dừng, dữ liệu được cân bằng và các chỉ số công bằng được theo dõi. Chính nghĩa chung đã che đậy sự kỳ thị ẩn giấu.
Trường hợp 2 - Bị từ chối không rõ nguyên nhân. Một mô hình tín dụng đã từ chối đơn đăng ký nhưng không ai có thể giải thích tại sao. Khi một khách hàng yêu cầu làm rõ pháp lý, nhóm không thể trả lời. Mô hình này đã bị rút khỏi sử dụng trong các quyết định có tác động lớn cho đến khi một phương pháp có thể giải thích được được thêm vào và đưa ra lý do biện minh cho mỗi lần từ chối. Bài học: khả năng giải thích là điều cần thiết trong việc đưa ra quyết định có tác động lớn.
Trường hợp 3 - Hóa đơn sốc. Một nhóm đang sử dụng LLM lớn nhất và lời nhắc rất dài cho mỗi yêu cầu. Hóa đơn hàng tháng tăng đột biến. Phân tích bài đăng: hầu hết các yêu cầu có thể được giải quyết bằng một mô hình nhỏ, một nửa số lời nhắc là dư thừa và các câu hỏi thường gặp có thể được lưu vào bộ nhớ đệm. Ba cách tối ưu hóa này giúp giảm chi phí đáng kể mà không ảnh hưởng đến chất lượng. Bài học: mô hình mạnh mẽ nhất không phải lúc nào cũng cần thiết.
Mẫu có thể sao chép
Hãy giúp tôi đánh giá mô hình này về độ thiên vị/công bằng. Tôi nên phân chia và đo lường những nhóm con nào (nhân khẩu học/phân khúc)? Tôi nên so sánh những số liệu nào (độ chính xác, thu hồi, tỷ lệ dương tính giả theo nhóm)? Các định nghĩa khác nhau về sự công bằng có thể xung đột với nhau không, tôi nên ưu tiên điều gì trong bối cảnh này và tại sao? Bối cảnh mô hình/quyết định: [giải thích]
Tạo thẻ mô hình dự thảo cho mô hình có tác động cao này. Nên bao gồm: mục đích, dữ liệu và ngày đào tạo, hiệu suất trong các nhóm nhỏ, các giới hạn đã biết, cách sử dụng phù hợp/không phù hợp, trạng thái có thể giải thích được, quan điểm giám sát của con người. Mô hình: [mô tả]
Giúp tôi giảm chi phí triển khai LLM này mà không ảnh hưởng đến chất lượng. Có sẵn: kích thước mô hình, độ dài lời nhắc trung bình, khối lượng yêu cầu, có bộ nhớ đệm không? Đánh giá: 1) Mô hình nhỏ hơn có đủ không (cho nhiệm vụ nào)?2) Lời nhắc có thể được rút ngắn không?3) Các yêu cầu thường xuyên có thể được lưu vào bộ nhớ đệm không?4) Có công việc nào có sẵn cho hàng loạt không? Viết ra tác động ước tính của từng đề xuất.
Tạo danh sách kiểm tra về đạo đức/trách nhiệm cho hệ thống ra quyết định có tác động cao này.- Khả năng giải thích: có thể đưa ra biện minh cho quyết định không?- Sự giám sát của con người: quyết định có tác động lớn có được phê duyệt không?- Trách nhiệm giải trình: ai chịu trách nhiệm trong trường hợp có sai sót?- Tính minh bạch: người dùng có biết rằng AI đang được sử dụng không?- Quy định: các nghĩa vụ pháp lý liên quan là gì? Hệ thống: [mô tả]
Bảng nguồn thiên vị
Nguồn
triệu chứng
đề phòng
thiên kiến lịch sử
Sự phân biệt đối xử trong quá khứ vẫn tiếp tục
Kiểm tra dữ liệu + thước đo công bằng
thiên vị đại diện
Độ chính xác thấp trong nhóm mẫu nhỏ
Phân tích nhóm nhỏ + cân bằng
sai lệch đo lường
nhãn thiên vị
Đánh giá quy trình dán nhãn
Xu hướng tổng hợp
Vũ trụ không được đại diện
Đa dạng hóa nguồn lực
Những lỗi thường gặp
- Dựa vào số liệu tổng thể. Sự phân biệt đối xử ẩn giấu không thể được nhìn thấy nếu không phân tích nhóm con.
- Giả sử "mô hình trung lập". Mô hình tìm hiểu và khuếch đại độ lệch trong dữ liệu.
- Để lại quyết định có tác động lớn cho mô hình không giải thích được. Rủi ro pháp lý và đạo đức.
- Vượt qua sự giám sát của con người. "Mô hình đã quyết định" không phải là lý do.
- Đưa mô hình lớn nhất ở khắp mọi nơi. Chi phí và năng lượng không cần thiết.
- Không theo dõi chi phí. Hóa đơn phồng lên một cách âm thầm.
Tóm lại
Một mô hình đúng về mặt kỹ thuật vẫn là thất bại nếu nó không công bằng, không thể giải thích được và bền vững. Xu hướng chủ yếu xuất phát từ dữ liệu và mô hình phóng đại nó trên quy mô lớn; Đo lường sự công bằng theo các nhóm nhỏ và thống nhất với các bên liên quan về định nghĩa về sự công bằng cần ưu tiên. Khả năng giải thích, sự giám sát của con người và trách nhiệm giải trình là rất cần thiết trong các quyết định có tác động lớn; Minh bạch tài liệu bằng thẻ mẫu. Quản lý chi phí và năng lượng: chọn mô hình phù hợp nhỏ nhất, rút ngắn lời nhắc, sử dụng bộ nhớ đệm và hàng loạt. Những kích thước này là những phần không thể thiếu của chất lượng kỹ thuật, không phải những chi tiết rườm rà được thêm vào sau này.
Nhiệm vụ ứng dụng
Chia mô hình thành ít nhất hai nhóm nhỏ và so sánh tỷ lệ thu hồi và dương tính giả trên cơ sở nhóm; Nếu có sự khác biệt đáng kể, hãy viết lý do và biện pháp phòng ngừa. Soạn thảo một thẻ mô hình ngắn gọn cho một mô hình có tác động cao (mục đích, dữ liệu, hiệu suất của nhóm con, ranh giới, khả năng giải thích). Xác định ít nhất hai cách tối ưu hóa cụ thể (cắt ngắn/cắt ngắn nhanh chóng/bộ nhớ đệm/lô) để giảm chi phí triển khai LLM và ghi lại tác động ước tính của chúng.
danh sách kiểm tra
- [ ] Tôi đánh giá mô hình dựa trên các nhóm con, tôi không dựa vào số liệu chung.
- [ ] Tôi đã quyết định với các bên liên quan về định nghĩa công lý mà tôi sẽ ưu tiên.
- [ ] Quyết định có tác động lớn có thể giải thích được và phải được sự chấp thuận của con người.
- [ ] Tôi đã ghi lại tính minh bạch và ranh giới bằng thẻ mẫu.
- [ ] Tôi đã chọn mô hình phù hợp nhỏ nhất; Tôi đã tối ưu hóa dấu nhắc/bộ đệm/đợt.
- [ ] Tôi giám sát tác động của chi phí và năng lượng.