Tổ chức MLOps, Đạo đức, Quyền riêng tư và Phân tích có trách nhiệm

Lợi nhuận:

• Khả năng hiểu các giai đoạn MLOps (phát hành, triển khai, giám sát, đào tạo lại, khôi phục) và trôi dạt mô hình cũng như lập kế hoạch triển khai được giám sát
• Khả năng áp dụng các nguyên tắc công bằng, minh bạch và trách nhiệm giải trình của mô hình và phân biệt độ chính xác thống kê với khả năng chấp nhận về mặt đạo đức
• Khả năng bảo vệ dữ liệu cá nhân theo nguyên tắc KVKK/GDPR và giao trách nhiệm cuối cùng cho con người trong các quyết định có tác động lớn

Đào tạo một người mẫu và đạt điểm cao không phải là kết thúc mà là giữa. Giá trị thực sự đến khi mô hình được đưa vào sản xuất và hoạt động đáng tin cậy, được giám sát theo thời gian mà không bị suy giảm và toàn bộ quá trình được thực hiện trong giới hạn đạo đức và pháp lý. Phần kết thúc này kết hợp ba chủ đề: MLOps (kỷ luật đi vào hoạt động, giám sát và duy trì các mô hình), đạo đức (công bằng, minh bạch, không ác ý) và quyền riêng tư (bảo vệ dữ liệu cá nhân). AI tạo ra mã, danh sách kiểm tra và bản thiết kế trong các lĩnh vực này; Nhưng con người quyết định liệu một mô hình có hoạt động hay không, ai sẽ bị ảnh hưởng và dữ liệu nào có thể được sử dụng. Những quyết định này không phải là những quyết định mang tính kỹ thuật mà là những quyết định mang tính trách nhiệm.

MLOps: mô hình sống động như một sản phẩm

MLOps (Machine Learning Operations - thực hành chạy, giám sát và cập nhật các mô hình machine learning trong sản xuất) là sự chuyển thể của DevOps trong phát triển phần mềm sang khoa học dữ liệu. Ý tưởng cơ bản: một mô hình không phải là một tập tin được đào tạo một lần rồi bị lãng quên, mà là một sản phẩm sống cần được bảo trì liên tục. Các giai đoạn chính:

1. Lập phiên bản: Mã (Git), dữ liệu và mô hình được phiên bản cùng nhau; Nó được ghi lại mô hình nào được tạo ra với dữ liệu và mã nào.

2. Triển khai: Mô hình được đưa vào hoạt động dưới dạng API hoặc công việc hàng loạt. Nó thường được trao cho một lượng nhỏ khán giả trước tiên (phân phối bóng râm/chim hoàng yến).

3. Giám sát: Hiệu suất của mô hình và dữ liệu đầu vào được theo dõi liên tục.

4. Đào tạo lại: Khi hiệu suất giảm, mô hình sẽ được đào tạo lại với dữ liệu cập nhật.

Dịch chuyển mẫu: biến dạng im lặng

Mối nguy hiểm lớn nhất trong quá trình sản xuất là model drift (model drift/data drift). Thế giới thay đổi; Các điều kiện mà bạn đào tạo mô hình của mình (hành vi khách hàng, giá cả, mùa vụ, luật pháp) thay đổi theo thời gian và mô hình bắt đầu trở nên lỗi thời. Ví dụ, mô hình nhu cầu được đào tạo trước đại dịch là hoàn toàn sai trong thời kỳ đại dịch. Trôi dạt xảy ra dưới hai hình thức: trôi dạt dữ liệu (sự phân bổ các thay đổi của dữ liệu đầu vào) và trôi dạt khái niệm (mối quan hệ giữa thay đổi đầu vào và mục tiêu). Cách để nắm bắt những điều này là giám sát: liên tục theo dõi phân phối đầu vào, phân phối dự đoán và (nếu có thể) hiệu suất so với kết quả thực tế.

Lưu ý: Model được đưa vào sản xuất sẽ tự xuống cấp; Vấn đề không phải là “nếu” mà là “khi nào”. Triển khai các mô hình mà không thiết lập giám sát cũng giống như lái một chiếc ô tô mà không hề điều khiển động cơ; Một ngày nào đó nó chỉ lặng lẽ ngồi đó và bạn không để ý.

Phần tử MLOps

Mục đích

Nếu lơ là

Phiên bản

Biết những gì được sản xuất

Không thể tái tạo, không thể truy nguyên

Giám sát

Thấy trượt sớm

Mô hình âm thầm sụp đổ

đào tạo lại

luôn cập nhật

Lời tiên đoán đã cũ

Khôi phục

quay lại mô hình xấu

Mô hình bị lỗi vẫn tồn tại

Tài liệu

minh bạch, doanh thu

Thông tin bị mắc kẹt trong một người

Đạo đức: các quyết định kiểu mẫu ảnh hưởng đến mọi người

Các mô hình dữ liệu ngày càng được sử dụng nhiều trong các quyết định ảnh hưởng đến cuộc sống của con người: tín dụng, tuyển dụng, bảo hiểm, công lý. Với sức mạnh này đi kèm với trách nhiệm. Rủi ro đạo đức chính:

Thành kiến và phân biệt đối xử: Mô hình có thể tìm hiểu và duy trì những bất công trong dữ liệu lịch sử. Nếu một nhóm nhất định trước đây được cấp ít tín nhiệm hơn, mô hình sẽ giả định đây là một "quy tắc" và tự động hóa sự phân biệt đối xử. Đó là lý do tại sao phân tích công bằng - kiểm tra xem mô hình có hoạt động tương tự đối với các nhóm khác nhau (giới tính, độ tuổi, khu vực) hay không - là điều cần thiết.

Tính minh bạch và khả năng giải thích: Bạn có thể giải thích lý do tại sao người mẫu từ chối một người. “Hộp đen nói như vậy” là không thể chấp nhận được về mặt đạo đức và pháp lý. Đó là lý do tại sao các công cụ giải thích (tầm quan trọng của tính năng, giá trị SHAP) lại có giá trị.

Trách nhiệm giải trình: Ai chịu trách nhiệm nếu người mẫu đưa ra quyết định sai? Câu trả lời luôn là một cá nhân/tổ chức chứ không phải một hình mẫu. Sự giám sát của con người (con người trong vòng lặp - con người phê duyệt quyết định cuối cùng) cần được duy trì trong các quyết định có tác động lớn.

Thận trọng: Một mô hình có thể "đúng" về mặt thống kê nhưng không thể chấp nhận được về mặt đạo đức. Một mô hình có độ chính xác cao nhưng lại gây bất lợi cho một nhóm một cách có hệ thống thì không phải là một mô hình tốt. Sự trung thực không thể thay thế cho công lý.

Quyền riêng tư: dữ liệu cá nhân được bảo vệ cẩn thận

Nguyên liệu thô của khoa học dữ liệu thường là dữ liệu cá nhân và dữ liệu này được pháp luật bảo vệ: KVKK ở Türkiye, GDPR ở Châu Âu. Các nguyên tắc cơ bản là: giới hạn mục đích (dữ liệu không được sử dụng cho các mục đích khác với mục đích thu thập dữ liệu), giảm thiểu dữ liệu (không thu thập/lưu giữ nhiều dữ liệu hơn mức cần thiết), ẩn danh (xóa thông tin nhận dạng) và bảo mật (dữ liệu được mã hóa và hạn chế truy cập). Nguyên tắc quan trọng khi làm việc với các công cụ AI: không bao giờ dán dữ liệu cá nhân thực vào công cụ AI công khai. Trong hầu hết các trường hợp, một sơ đồ và một mẫu ẩn danh/tổng ​​hợp là đủ để phân tích.

Một điểm nhấn nữa trong bối cảnh bảo mật thông tin: chỉ sử dụng các công cụ và kỹ thuật khoa học dữ liệu trên dữ liệu và hệ thống mà bạn có thẩm quyền, cho mục đích phân tích phòng thủ và hợp pháp. Truy cập trái phép vào dữ liệu của người khác, nhận dạng lại các cá nhân (trích xuất danh tính từ dữ liệu ẩn danh) hoặc lập hồ sơ trái phép đều là bất hợp pháp và phi đạo đức.

ba trường hợp nhỏ

Trường hợp 1 - Sụp đổ không được theo dõi. Một công ty thương mại điện tử đã triển khai mô hình đề xuất của mình và không thiết lập tính năng theo dõi. Sau 4 tháng danh mục sản phẩm đã thay đổi rất nhiều; mô hình tiếp tục đề xuất các sản phẩm lỗi thời và tỷ lệ chuyển đổi lặng lẽ giảm 30%. Không ai để ý trong nhiều tháng. Bài học: việc triển khai mà không giám sát sẽ trở nên mù quáng.

Trường hợp 2 - Sự phân biệt đối xử ẩn giấu. Một mô hình sàng lọc tuyển dụng đã tìm hiểu về sự mất cân bằng giới tính trong dữ liệu lịch sử và việc đánh giá thấp các ứng viên nữ một cách có hệ thống. Nó không được chú ý vì không có sự phân tích công bằng; Nó đã được tiết lộ trong một cuộc kiểm toán và tổ chức này phải đối mặt với rủi ro pháp lý/danh tiếng nghiêm trọng. Bài học: kiểm soát tính công bằng dựa trên nhóm là điều cần thiết trong các mô hình có tác động cao.

Trường hợp 3 - Vi phạm bí mật. Một nhà phân tích đã tải một tệp chứa email thực của khách hàng và lịch sử mua hàng vào một công cụ AI công khai và cho biết, “tóm tắt các phân đoạn”. Dữ liệu cá nhân đã rời khỏi tổ chức; Quá trình KVKK đã bắt đầu. Cách chính xác là xóa các trường nhận dạng và chỉ chia sẻ các thuộc tính ẩn danh. Bài học: dữ liệu cá nhân thực không được đưa vào công cụ mở.

Bốn mẫu có thể sao chép

1) Danh sách kiểm tra trước khi triển khai:

Vai trò của bạn: Nhà tư vấn MLOps. Liệt kê những điều tôi cần kiểm tra trước khi đưa mô hình vào sản xuất: phiên bản, số liệu giám sát, kế hoạch khôi phục, ngưỡng hiệu suất, cảnh báo trôi dạt dữ liệu, người chịu trách nhiệm. Thêm một câu giải thích "tại sao nó quan trọng" cho mỗi mục. Tôi sẽ quyết định.

2) Thiết kế theo dõi chuyển đổi mô hình:

Đề xuất kế hoạch giám sát độ lệch cho mô hình phân loại trong sản xuất: (1) tôi nên giám sát những phân phối đầu vào nào, (2) cảnh báo nào cho phân phối dự đoán, (3) cách so sánh hiệu suất khi có kết quả thực, (4) nên kích hoạt đào tạo lại ở ngưỡng nào. Cũng cung cấp một bộ xương mã.

3) Kiểm soát công bằng:

Viết mã so sánh hiệu suất mô hình của tôi cho các nhóm khác nhau (ví dụ: nhóm tuổi, khu vực): tỷ lệ thu hồi/độ chính xác và tỷ lệ quyết định tích cực cho mỗi nhóm. Cảnh báo nếu có sự khác biệt đáng kể giữa các nhóm. Đưa ra những diễn giải mang tính nhân quả/chính trị; Chỉ cần cho tôi thấy sự khác biệt và tôi sẽ xem xét quyết định.

4) Kiểm tra trước quyền riêng tư:

Trước khi cung cấp dữ liệu cho công cụ AI, hãy kiểm tra: có dữ liệu cá nhân/danh tính (tên, email, ID, điện thoại, địa chỉ, IP) trong danh sách cột bên dưới không? Nếu vậy, hãy liệt kê những cái nào cần được loại bỏ hoặc ẩn danh. Cột: [danh sách]. Mục đích: chỉ chia sẻ lược đồ ẩn danh.

Dấu nhắc yếu / Dấu nhắc mạnh

Dấu nhắc yếu:

Mô hình của tôi đã sẵn sàng, đi vào hoạt động.

Triển khai không phải là một bước duy nhất; Phát trực tiếp mà không có sự giám sát, khôi phục, công bằng và kiểm soát quyền riêng tư là lời mời thầm lặng dẫn đến thảm họa.

Lời nhắc mạnh mẽ:

Vai trò của bạn: nhà tư vấn MLOps có trách nhiệm. Mô hình của tôi đã được đào tạo, tôi muốn chuẩn bị đầy đủ trước khi đi vào hoạt động. Tạo: (1) danh sách kiểm tra trước khi triển khai, (2) kế hoạch giám sát sai lệch, (3) mã kiểm tra tính công bằng dựa trên nhóm, (4) kiểm tra quyền riêng tư (có dữ liệu cá nhân không). Đồng thời đề xuất cách bảo vệ sự đồng ý của con người trong các quyết định có tác động lớn. Những quyết định cuối cùng là của tôi.

Ở đây việc phân phối, giám sát, công bằng và quyền riêng tư được coi là một quy trình chịu trách nhiệm duy nhất.

Những lỗi thường gặp

• Triển khai mô hình mà không cần thiết lập giám sát. Mô hình âm thầm trượt đi và biến dạng; Có thể mất vài tháng để nhận thấy.
• Bỏ qua sự kiểm tra công lý. Một mô hình có độ chính xác cao có thể gây bất lợi cho một nhóm một cách có hệ thống.
• Đưa ra quyết định hộp đen không giải thích được. Các quyết định có tác động lớn phải có thể giải thích được; “Người mẫu nói vậy” thôi là chưa đủ.
• Đưa dữ liệu cá nhân thật để mở công cụ AI. vi phạm KVKK/GDPR; Sơ đồ và ví dụ ẩn danh là đủ.
• Giao quyền quyết định cho người mẫu. Trách nhiệm luôn thuộc về một người; Giám sát con người có tác động cao được duy trì.

Mẹo: Trước khi phát hành trực tiếp từng mô hình, hãy hỏi to một câu hỏi: “Nếu mô hình này âm thầm phá vỡ vào ngày mai hoặc trừng phạt một cách không công bằng một nhóm, tôi sẽ nhận ra và thu hồi nó như thế nào?” Nếu bạn không có câu trả lời rõ ràng cho câu hỏi này thì mô hình đó vẫn chưa sẵn sàng để sản xuất.

Tóm lại

Công việc của người mẫu không kết thúc với điểm số cao mà bằng cách làm việc đáng tin cậy và có trách nhiệm trong sản xuất. MLOps là nguyên tắc đưa vào hoạt động, theo dõi sự trôi dạt, đào tạo lại và khôi phục mô hình; Triển khai mà không theo dõi là sự sụp đổ thầm lặng. Đạo đức đòi hỏi sự công bằng, minh bạch và trách nhiệm giải trình của mô hình; độ chính xác thống kê không thể thay thế cho sự chấp nhận về mặt đạo đức. Quyền riêng tư có nghĩa là bảo vệ dữ liệu cá nhân theo nguyên tắc KVKK/GDPR và giữ dữ liệu thực tránh xa các công cụ mở. Tất cả những quyết định này không phải là quyết định mang tính kỹ thuật mà là quyết định mang tính trách nhiệm và luôn thuộc về con người.

Nhiệm vụ ứng dụng

Hãy nghĩ về điều đó như thể bạn định đưa một mô hình mà bạn đã xây dựng (hoặc giả định) vào sản xuất và điền vào bốn danh sách: (1) danh sách kiểm tra trước khi triển khai, (2) các chỉ số trôi dạt mà bạn sẽ theo dõi, (3) kế hoạch kiểm soát công bằng dựa trên nhóm, (4) kiểm soát quyền riêng tư. Sau đó viết câu trả lời cụ thể cho câu hỏi “Làm sao tôi nhận ra nếu ngày mai nó âm thầm phá vỡ và lấy lại được?”

danh sách kiểm tra

• [ ] Tôi có đang triển khai mô hình với kế hoạch giám sát (cảnh báo trượt) và khôi phục không?
• [ ] Tôi đã kiểm tra sự công bằng/khoảng cách hiệu suất giữa các nhóm khác nhau chưa?
• [ ] Tôi có duy trì sự tham gia của con người đối với các quyết định có tác động lớn không?
• [ ] Tôi đã bảo vệ dữ liệu cá nhân theo nguyên tắc KVKK/GDPR và tránh xa các công cụ mở chưa?
• [ ] Tôi đã đặt trách nhiệm cuối cùng lên con người chứ không phải người mẫu chưa?

Thi học phần

1. Một nhà khoa học dữ liệu hỏi trí tuệ nhân tạo: "Rừng ngẫu nhiên trên dữ liệu này chính xác đến mức nào?" hoàn toàn không đào tạo người mẫu và trực tiếp đưa câu trả lời "89%" vào bài thuyết trình. Sai lầm cơ bản trong cách tiếp cận này là gì?

• A) Chờ số liệu mà không đưa dữ liệu, mô hình cho trí tuệ nhân tạo; Bỏ qua rằng con số nó tạo ra là giả và chỉ có thể tìm thấy số liệu thực thông qua đào tạo và kiểm tra ✔
• B) Phải sử dụng hồi quy logistic thay vì rừng ngẫu nhiên
• C) Tỷ lệ chính xác phải luôn trên 90%.
• D) Nghiêm cấm đưa số liệu vào bài thuyết trình

Giải thích: Trí tuệ nhân tạo không thể tạo ra số liệu nếu không truy cập vào mô hình và dữ liệu; Con số anh đưa ra chỉ là ảo giác (bịa đặt). Số liệu này chỉ có được bằng tính toán của chính nhà khoa học dữ liệu sau khi mô hình đã thực sự được đào tạo và thử nghiệm. Đầu ra chưa được xác minh giống như một báo cáo chưa được ký.

2. Cột 'lý do đóng tài khoản' được đưa vào khi thu thập dữ liệu cho dự báo tỷ lệ rời bỏ tài khoản; Cột này chỉ được điền sau khi khách hàng rời đi. Mô hình cho kết quả 97% trên bộ thử nghiệm nhưng không hoạt động trong sản xuất. Tên và nguyên nhân của tình trạng này là gì?

• A) Học tập quá mức; Mô hình quá phức tạp
• B) Rò rỉ dữ liệu; ✔ Sử dụng thông tin sẽ không có sẵn tại thời điểm dự đoán nhưng là kết quả của mục tiêu, như một tính năng
• C) Học tập không đầy đủ; Mô hình quá đơn giản
• D) Sai lệch lựa chọn; cỡ mẫu nhỏ

Giải thích: Đây là một vụ rò rỉ dữ liệu cổ điển: 'lý do kết thúc' là kết quả của mục tiêu và vẫn trống tại thời điểm dự đoán. Mô hình thực hiện thủ thuật với kiến ​​thức tương lai này, nó trông rất đẹp trên tập thử nghiệm nhưng lại gặp sự cố trong quá trình sản xuất vì cột đó trống. Câu hỏi 'tôi có nó vào thời điểm dự đoán không' nên được đặt cho mỗi cột.

3. Nhà phân tích điền giá trị trung bình vào cột doanh thu; nhưng những người mất tích thực chất thuộc tầng lớp thu nhập thấp chưa từng kê khai thu nhập (thiếu tích có hệ thống). Tại sao điền này không chính xác?

• A) Số trung bình luôn lớn hơn số trung vị nên sai
• B) Các giá trị còn thiếu không bao giờ được điền vào, chúng phải luôn bị xóa
• C) Việc lấp đầy khoảng trống hệ thống bằng giá trị trung bình sẽ làm sai lệch dữ liệu bằng cách biểu diễn nhóm đó một cách giả tạo; Việc đổ đầy được thực hiện mà không đặt câu hỏi 'tại sao nó trống rỗng?' ✔
• D) Việc tính giá trị trung bình tạo ra vấn đề về hiệu suất vì nó quá chậm

Giải thích: Nguyên nhân của sự thiếu hụt quyết định giải pháp. Khi phần còn thiếu mang tính hệ thống (khoảng cách tập trung ở một nhóm nhất định) được lấp đầy bằng mức trung bình, nhóm đó sẽ trở thành 'thu nhập trung bình' một cách giả tạo và dữ liệu bị bóp méo. Trước khi điền nó, nên đặt câu hỏi 'tại sao nó trống'; không nên điền giá trị trung bình thiếu hệ thống/đáng kể.

4. Một nhóm tìm thấy mối tương quan 0,78 giữa 'chi tiêu quảng cáo' và 'doanh số bán hàng' và nhân đôi ngân sách; Tuy nhiên, những gì thực sự kích hoạt cả hai đều là các chiến dịch theo mùa. Nguyên tắc thống kê nào giải thích được lỗi này?

• A) Tương quan không phải là nhân quả; Biến thứ ba ẩn có thể ảnh hưởng đến cả hai biến ✔
• B) Vì hệ số tương quan 0,78 quá thấp nên nên bỏ qua mối quan hệ
• C) Mối tương quan luôn chứng minh quan hệ nhân quả, nhóm đã làm đúng
• D) Mối tương quan giữa quảng cáo và bán hàng không thể tính toán được bằng toán học.

Giải thích: Tương quan không phải là nhân quả. Hai biến này có thể hoạt động cùng nhau vì biến thứ ba ẩn (ở đây là các chiến dịch theo mùa) ảnh hưởng đến cả hai. Kết luận rằng cái này gây ra cái kia chỉ có thể được xác lập thông qua thực nghiệm và kiến ​​thức thực địa; Chỉ riêng số lượng mối tương quan không phải là bằng chứng về quan hệ nhân quả.

5. Mô hình phát hiện gian lận cho thấy độ chính xác 99,2% và nhóm ăn mừng; Tuy nhiên, tỷ lệ giao dịch giả trong dữ liệu chỉ là 0,8% và tỷ lệ thu hồi của mô hình là 6%. Bảng này cho thấy gì?

• A) Mô hình hoàn hảo vì độ chính xác trên 99%
• B) Độ chính xác bị sai lệch do dữ liệu không cân bằng; Mô hình bỏ sót hầu hết hàng giả (độ thu hồi thấp), cần xem xét số liệu thích hợp ✔
• C) Không có vấn đề gì vì tỷ lệ thu hồi của mô hình cao
• D) Không cần xây dựng mô hình vì tỷ lệ giả thấp

Giải thích: 'Độ chính xác' gây hiểu nhầm trong dữ liệu không cân bằng. Khi mô hình gọi hầu hết mọi giao dịch là 'sạch', nó có độ chính xác cao vì rất ít hàng giả, nhưng không bắt được hàng giả, đó là mục đích chính của nó (thu hồi 6%). Do đó, trong các bài toán không cân bằng, trọng tâm không phải là độ chính xác mà là ma trận nhầm lẫn và các số liệu phù hợp với mục đích của công việc, chẳng hạn như thu hồi/độ chính xác.

6. Trong dự án dự báo nhu cầu, dữ liệu phụ thuộc vào thời gian được chia ngẫu nhiên thành đào tạo/kiểm tra. Mô hình này cho độ chính xác 93% nhưng gặp sự cố trong quá trình sản xuất. Cách tiếp cận phân chia chính xác nên là gì?

• A) Mở rộng tập kiểm tra, ví dụ: chia 50%/50%
• B) Sử dụng một mô hình phức tạp hơn
• C) Xóa hoàn toàn phân vùng và huấn luyện tất cả dữ liệu
• D) Phân chia theo thời gian: đào tạo với giai đoạn cũ và thử nghiệm với giai đoạn mới, do đó ngăn cản mô hình nhìn thấy tương lai ✔

Giải thích: Nếu thực hiện phân chia ngẫu nhiên trong dữ liệu chuỗi thời gian, mô hình sẽ nhìn thấy tương lai và dự đoán quá khứ trong quá trình huấn luyện; đó là một sự rò rỉ và tạo ra thành công không thực sự tồn tại. Cách làm đúng là chia theo trình tự thời gian: đào tạo với thời kỳ cũ và thử nghiệm với thời kỳ mới, bắt chước tình hình thực tế trong sản xuất (dự đoán từ quá khứ đến tương lai).

7. Các tham số chia tỷ lệ (StandardScaler) nên được tính toán từ dữ liệu nào trong kỹ thuật tính năng và chúng nên được áp dụng như thế nào?

• A) Nên tính toán từ tất cả dữ liệu (đào tạo + kiểm tra cùng nhau) để chính xác hơn
• B) Nó phải được tính riêng cho từng hàng, từ giá trị riêng của hàng đó
• C) Chỉ nên tính toán từ dữ liệu thử nghiệm
• D) Chỉ được tính toán từ dữ liệu huấn luyện, sau đó áp dụng các tham số tương tự cho dữ liệu thử nghiệm; nếu không nó sẽ bị rò rỉ ✔

Giải thích: Chỉ nên học các tham số của tất cả các phép biến đổi (giá trị trung bình, độ lệch chuẩn, v.v.) như chia tỷ lệ, mã hóa và phần đệm từ dữ liệu huấn luyện, sau đó áp dụng điều tương tự cho dữ liệu thử nghiệm. Việc tính đến dữ liệu kiểm tra cũng khiến thông tin kiểm tra cản trở việc đào tạo, tức là rò rỉ và làm cho mô hình trông đẹp hơn thực tế. Sử dụng Pipeline đảm bảo điều này.

8. Một mô hình cho độ chính xác 98% trên tập huấn luyện và 72% trên tập kiểm tra. Triệu chứng này báo hiệu điều gì và nên làm gì?

• A) Học tập không đầy đủ; mô hình nên được thực hiện phức tạp hơn
• B) Rò rỉ dữ liệu; bộ kiểm tra phải được thay đổi
• C) Trang bị quá mức; mô hình cần được đơn giản hóa, nên áp dụng chính quy hóa và xác thực chéo ✔
• D) Tình trạng bình thường; Dù sao thì điểm học vấn luôn cao hơn, đề phòng là không cần thiết

Giải thích: Điểm rất cao trong quá trình huấn luyện và điểm thấp đáng kể trong quá trình kiểm tra là một triệu chứng kinh điển của việc trang bị quá mức: mô hình đã ghi nhớ tiếng ồn của dữ liệu huấn luyện hơn là mẫu thực. Các giải pháp bao gồm đơn giản hóa mô hình, nhiều dữ liệu hơn, chính quy hóa và xác minh trạng thái bằng xác thực chéo. Chỉ dựa vào điểm số giáo dục sẽ che giấu được cạm bẫy này.

9. Trong bản trình bày về quản lý, trục y của biểu đồ thanh trong đó doanh số bán hàng tăng từ 1.000 lên 1.020 được bắt đầu tại 980 để làm cho mức tăng có vẻ rất lớn. Mức tăng thực tế là 2%. Tại sao đây là một vấn đề đạo đức?

• A) Trục y bị cắt cụt sẽ phóng đại một sự khác biệt nhỏ về mặt trực quan và đánh lừa người xem; Để công bằng, trục trong các thanh so sánh phải bắt đầu từ 0 ✔
• B) Biểu đồ thanh không bao giờ được sử dụng cho dữ liệu bán hàng
• C) Không có vấn đề gì; Việc làm cho biểu đồ trông thật ấn tượng luôn là điều tốt
• D) Trục Y phải luôn bắt đầu từ giá trị lớn nhất của dữ liệu

Giải thích: Trong biểu đồ thanh nhằm mục đích so sánh, trục y thường phải bắt đầu từ 0. Việc cắt trục và bắt đầu từ 980 sẽ khiến chênh lệch nhỏ 2% có vẻ rất lớn về mặt thị giác và đánh lừa người xem. Trách nhiệm đạo đức của chuyên gia dữ liệu là vẽ các biểu đồ trung thực, không phóng đại hoặc đánh giá thấp dữ liệu.

10. Một nhà phân tích tìm thấy tổng doanh thu 3 lần sau khi THAM GIA các đơn hàng với bảng sản phẩm; Số lượng dòng tăng từ 240 nghìn lên 690 nghìn. Cần phải làm gì để ngăn chặn lỗi thầm lặng này?

• A) Chia tổng doanh thu cho 3
• B) Luôn sử dụng các truy vấn riêng biệt thay vì THAM GIA
• C) Xóa hoàn toàn bảng sản phẩm
• D) Kiểm tra số lượng hàng sau khi hợp nhất/THAM GIA và xác minh rằng chúng được nối thông qua khóa chính xác; Bắt kịp sự sao chép sớm ✔

Giải thích: Khi có nhiều hàng cho mỗi sản phẩm (ví dụ: màu khác nhau) trong bảng sản phẩm, THAM GIA bằng phím sai sẽ sao chép từng đơn hàng và làm tăng tổng số. Code chạy không có lỗi nhưng kết quả lại sai. Cách để tránh điều này là kiểm tra số lượng hàng sau mỗi lần hợp nhất/THAM GIA và hợp nhất bằng khóa chính xác.

11. Mô hình sàng lọc tuyển dụng tìm hiểu về sự mất cân bằng giới tính trong dữ liệu lịch sử và điểm số của các ứng viên nữ một cách có hệ thống, nhưng độ chính xác tổng thể của nó rất cao. Điều này có nghĩa là gì?

• A) Không có vấn đề gì vì mô hình có độ chính xác cao
• B) Độ chính xác thống kê không thể thay thế cho sự chấp nhận về mặt đạo đức; mô hình đã tìm hiểu về sự phân biệt đối xử trong quá khứ, cần phải kiểm tra tính công bằng theo nhóm ✔
• C) Tăng thêm độ chính xác của mô hình sẽ giải quyết được vấn đề
• D) Sự công bằng nằm ngoài phạm vi của khoa học dữ liệu

Giải thích: Ngay cả khi một mô hình đúng về mặt thống kê, nó có thể không được chấp nhận về mặt đạo đức. Mô hình tìm hiểu sự bất công trong dữ liệu trong quá khứ và tự động hóa sự phân biệt đối xử. Tính chính trực cao không thể thay thế cho công lý; Trong các mô hình có tác động cao, việc kiểm soát tính công bằng, đo lường sự khác biệt về hiệu suất/quyết định giữa các nhóm khác nhau, là điều cần thiết và trách nhiệm cuối cùng thuộc về con người.

12. Một nhân viên tải tệp chứa email khách hàng thực và lịch sử mua hàng lên công cụ AI công khai và nói 'tóm tắt các phân đoạn'. Tại sao đây là một sai lầm nghiêm trọng và đâu là cách đúng đắn?

• A) Không có vấn đề gì; Công cụ AI không bao giờ lưu trữ dữ liệu
• B) Lỗi là tệp quá lớn; đáng lẽ phải giảm
• C) Cung cấp dữ liệu cá nhân thực cho một công cụ mở là vi phạm KVKK/GDPR; các trường nhận dạng đáng lẽ phải bị xóa và chỉ chia sẻ lược đồ/thuộc tính ẩn danh ✔
• D) Đáng lẽ phải sử dụng CSV thay vì chỉ Excel

Giải thích: Khi dữ liệu cá nhân thực (chẳng hạn như e-mail, tên, v.v.) được trao cho một công cụ trí tuệ nhân tạo có sẵn công khai, sẽ xảy ra hành vi vi phạm quyền riêng tư trong phạm vi KVKK / GDPR; dữ liệu rời khỏi tổ chức. Trong hầu hết các trường hợp, một sơ đồ và một mẫu ẩn danh/tổng ​​hợp là đủ để phân tích. Cách chính xác là xóa các trường nhận dạng và chỉ chia sẻ các thuộc tính ẩn danh.

13. Đưa vào sản xuất mô hình khuyến nghị nhưng chưa theo dõi; Khi danh mục sản phẩm thay đổi sau 4 tháng, mô hình tiếp tục đề xuất sản phẩm cũ và tỷ lệ chuyển đổi âm thầm giảm 30%. Tên của hiện tượng này là gì?

• A) Học tập quá mức; Mô hình ghi nhớ tập huấn luyện
• B) Độ lệch mô hình; Khi thế giới thay đổi, mô hình này trở nên lỗi thời một cách âm thầm, không được chú ý vì không thiết lập được cơ chế giám sát ✔
• C) Sai lệch lựa chọn; sai lệch mẫu
• D) Vi phạm giảm thiểu dữ liệu

Giải thích: Đây là hiện tượng trôi dạt mô hình (trôi dạt mô hình/dữ liệu): khi thế giới thay đổi (danh mục, hành vi, mùa), các điều kiện mà mô hình được đào tạo sẽ thay đổi và mô hình âm thầm bị phá vỡ. Một mô hình được đưa vào sản xuất sẽ tự xuống cấp; Đó là vấn đề 'khi nào'. Việc triển khai mà không giám sát (theo dõi đầu vào và hiệu suất) khiến không thể phát hiện được sự xuống cấp.

14. Một mô hình đạt độ chính xác 88% trong một lần phân tách đào tạo/kiểm tra duy nhất có điểm xác thực chéo gấp 5 lần là 88%, 71%, 83%, 64%, 79%. Điều này cho thấy điều gì và tại sao việc xác thực chéo lại quan trọng?

• A) Mô hình ổn định; 88% là hiệu suất thực tế
• B) Xác thực chéo là không cần thiết; Một ngăn là đủ
• C) Sự biến động lớn của điểm số cho thấy mô hình không ổn định; hiệu suất dựa trên xác thực chéo ở mức trung bình và phân bổ của nhiều thùng chứ không phải một thùng may mắn duy nhất ✔
• D) Tốt nhất là báo cáo điểm cao nhất (88%)

Giải thích: Một ngăn có thể may mắn hoặc không may mắn; 88% chỉ là kết quả của phép chia dễ dàng đó. Xác thực chéo sẽ chia tách dữ liệu nhiều lần, dựa trên hiệu suất dựa trên giá trị trung bình (ở đây là ~77%) và hiển thị mức độ biến động của điểm số. Độ biến động cao ở đây cho thấy mô hình không ổn định; Dựa vào một ngăn duy nhất là sai lầm.