Lợi nhuận:
- Có thể phân biệt trí tuệ nhân tạo ở đâu trong quy trình làm việc ML (mã, dữ liệu, tài liệu) giúp tiết kiệm thời gian với rủi ro thấp và nơi nào các quyết định như số liệu/dữ liệu/đưa vào sản xuất được giao cho con người, tùy theo mức độ rủi ro của nhiệm vụ.
- Khả năng áp dụng quy tắc xác minh từng đầu ra AI bằng cách kết nối nó với nguồn, chạy lại, đo lường và chuyển nó qua bộ lọc kỹ thuật.
- Khả năng hình thành thói quen không gửi dữ liệu cá nhân và bí mật thô tới các công cụ bên ngoài, sử dụng các công cụ được công ty phê duyệt và chỉ xử lý các vấn đề bảo mật cho mục đích phòng thủ.
Trí tuệ nhân tạo trong Kỹ thuật học máy: Vai trò, ranh giới, xác thực và trách nhiệm
Một kỹ sư máy học (kỹ sư ML: một chuyên gia phần mềm thiết kế, đào tạo và đưa các mô hình học từ dữ liệu vào sản xuất) ngày nay làm việc với một công cụ trí tuệ nhân tạo khác ở mỗi bước công việc của mình. Trợ lý mã hóa có hiệu lực khi viết mã, mô hình hội thoại khi khám phá dữ liệu và mô hình ngôn ngữ lớn (LLM: mạng thần kinh với hàng tỷ tham số hiểu và tạo văn bản) khi tạo tài liệu. Mô-đun này coi trí tuệ nhân tạo vừa là sản phẩm được phát triển vừa là công cụ làm việc hàng ngày của kỹ sư ML. Nó hoạt động bằng cách phân định rõ ràng ranh giới trách nhiệm mà không trộn lẫn hai vai trò.
Trong phần đầu tiên này, chúng ta trả lời câu hỏi cơ bản: Trí tuệ nhân tạo tiết kiệm thời gian thực ở đâu trong kỹ thuật ML và chúng ta phải giao quyền quyết định cho con người ở đâu? Câu trả lời nằm ở trọng tâm của ngành kỹ thuật: người làm nhanh, người xác minh chịu trách nhiệm.
Trí tuệ nhân tạo có ích ở đâu trong kỹ thuật ML?
Một dự án ML trải qua các giai đoạn sau: thu thập dữ liệu, làm sạch dữ liệu, kỹ thuật tính năng (dịch dữ liệu thô thành tín hiệu số mà mô hình có thể hiểu được), đào tạo mô hình, đánh giá, triển khai (triển khai: mở mô hình cho người dùng thực) và giám sát. AI trợ giúp ở mọi điểm dừng trên tuyến này, nhưng mức độ quyền hạn của nó khác nhau.
Các lĩnh vực có phần thưởng cao, rủi ro thấp: tạo khung mã, soạn thảo chức năng chuyển đổi dữ liệu, diễn giải thông điệp nhật ký, mô tả dấu vết ngăn xếp, tóm tắt ghi chú thử nghiệm, viết tài liệu và README, đề xuất trường hợp thử nghiệm. Ở đây, những sai lầm của trí tuệ nhân tạo là rẻ mạt; bởi vì đầu ra đã trải qua quá trình thử nghiệm và đánh giá.
Các lĩnh vực có rủi ro cao: quyết định dữ liệu nào sẽ được đưa vào đào tạo, xác nhận xem một mô hình có nên đưa vào sản xuất hay không, đánh giá số liệu là "đủ tốt", quyết định xử lý dữ liệu cá nhân, đóng lỗ hổng bảo mật là "rác". Những điều này ảnh hưởng đến tiền bạc, quyền riêng tư, trách nhiệm pháp lý và niềm tin của người dùng. Trí tuệ nhân tạo đưa ra gợi ý ở đây; Quyết định được đưa ra bởi kỹ sư có thẩm quyền và đội ngũ chịu trách nhiệm.
Mẹo: Trước khi giao một nhiệm vụ cho AI, hãy hỏi: “Chi phí là bao nhiêu nếu kết quả đầu ra này sai và mọi người sẽ dễ mắc lỗi như thế nào?” Nếu giá thấp và dễ dàng nắm bắt, hãy chuyển nó đi. Nếu giá cao hoặc khó nắm bắt thì chỉ sử dụng AI cho bản nháp và bạn quyết định.
Kỷ luật xác minh: ba bước
Trong kỹ thuật ML, đầu ra AI không bao giờ là “tác phẩm đã hoàn thành”; Đó là một bản dự thảo. Chạy từng đầu ra thông qua ba bước sau:
- Kết nối nó với nguồn. Nếu mô hình cho biết một con số, một ngưỡng hoặc "phương pháp hay nhất", thì mô hình đó sẽ dựa trên tài liệu chính thức, giá trị thực tế trong cơ sở mã hoặc số liệu đo được. “Sự phù hợp của mô hình” (ảo giác: việc tạo ra thông tin không có thật một cách tự tin bằng mô hình ngôn ngữ) thường được bắt gặp nhiều nhất ở đây.
- Khởi động lại và đo lường. Chạy mã đã tạo, tính toán lại số liệu mà nó tạo ra trên bộ thử nghiệm của riêng bạn, xác thực truy vấn SQL được đề xuất trên một mẫu nhỏ. Mã không hoạt động sẽ vô giá trị, ngay cả khi nó trông đẹp mắt.
- Đưa nó qua bộ lọc kỹ thuật. Sản lượng có giữ ở quy mô không? Các trường hợp đặc biệt (dữ liệu trống, đầu vào rất lớn, trường bị thiếu) đã được xem xét chưa? Có vi phạm an ninh và quyền riêng tư không? Chỉ người am hiểu lĩnh vực này mới có thể thực hiện bước này.
Dấu nhắc yếu / Dấu nhắc mạnh
Lời nhắc yếu: "Viết cho tôi một số mã đào tạo mô hình."
Lời nhắc mạnh mẽ: "Viết tập lệnh huấn luyện để phân loại nhị phân bằng scikit-learn. Đầu vào: data/train.parquet, cột mục tiêu is_churn. Có sự mất cân bằng lớp (tỷ lệ dương ~8%), xử lý nó bằng class_weight. Sử dụng PR-AUC (vùng dưới đường cong thu hồi độ chính xác) làm thước đo đánh giá, vì độ chính xác gây hiểu nhầm đối với dữ liệu không cân bằng. Chỉnh hạt giống ngẫu nhiên thành 42. Kiểm tra ở cuối bộ in mã PR-AUC."
Sự khác biệt: nhiệm vụ nhắc thứ hai chứa thông tin đúng về dữ liệu, số liệu chính xác, thông tin mất cân bằng và yêu cầu về độ lặp lại. Chính từ bối cảnh này mà đầu ra có thể được kiểm chứng và sử dụng được.
Quyền riêng tư và bảo mật dữ liệu: trách nhiệm đầu tiên của kỹ sư
Kỹ sư ML thường chạm vào những dữ liệu nhạy cảm nhất của công ty: hồ sơ khách hàng, lịch sử giao dịch, dữ liệu sức khỏe hoặc tài chính, nhật ký của hệ thống sản xuất. Ba quy tắc khi đưa dữ liệu cho các công cụ trí tuệ nhân tạo:
- Không gửi dữ liệu cá nhân và bí mật thô tới các công cụ bên ngoài. Ví dụ: thay vì dán email của khách hàng vào lời nhắc, hãy gửi lược đồ và mẫu giả (tổng hợp). Sử dụng ví dụ ẩn như "ví dụ: ahmet@example.com" thay vì dữ liệu thực.
- Sử dụng các phương tiện được công ty phê duyệt. Chọn các công cụ có hợp đồng rõ ràng về nơi xử lý dữ liệu, dữ liệu đó có được lưu trữ hay không, dữ liệu đó có được sử dụng cho mục đích giáo dục hay không. Xử lý dữ liệu công ty bằng tài khoản cá nhân là hành vi vi phạm ở hầu hết các công ty.
- Chính sách dữ liệu tối thiểu Đưa ra bối cảnh tối thiểu cần thiết để giải quyết nhiệm vụ. Không phải toàn bộ bảng mà là 5 cột và lược đồ có liên quan.
Thận trọng: Giả sử rằng văn bản bạn đưa vào mô hình ngôn ngữ không thể hoàn tác được. Đừng gửi dữ liệu cá nhân thô với suy nghĩ "Tôi sẽ xóa nó sau"; Rủi ro xảy ra vào thời điểm nó được gửi đi.
Sử dụng phòng thủ trong lĩnh vực an ninh
Các kỹ sư ML thường cài đặt các hệ thống bảo mật: phát hiện gian lận, phân loại lưu lượng truy cập độc hại, xác thực. Trong suốt mô-đun này, chúng tôi đề cập đến các vấn đề bảo mật chỉ nhằm mục đích phòng thủ: phát hiện cuộc tấn công, củng cố hệ thống, đóng lỗ hổng. Sử dụng trí tuệ nhân tạo để truy cập trái phép, rò rỉ dữ liệu hoặc can thiệp trái phép vào hệ thống của người khác là vi phạm pháp luật và trái đạo đức nghề nghiệp. Khi bạn tìm thấy một lỗ hổng, cách đúng đắn là báo cáo nó một cách có trách nhiệm và khắc phục nó; không khai thác.
ba trường hợp nhỏ
Trường hợp 1 - Tiết kiệm thời gian. Một kỹ sư ML thường dành nửa ngày để thực hiện phân tích dữ liệu khám phá (EDA) của tập dữ liệu 40 cột. Anh ta đưa lược đồ và đầu ra df.describe() cho trí tuệ nhân tạo và hỏi: "Cột nào có tỷ lệ ngoại lệ và tỷ lệ thiếu cao, bạn đề xuất những phép biến đổi nào?" Trong 20 phút, anh nhận được danh sách ưu tiên, xác minh từng mặt hàng bằng mã riêng. Tiết kiệm: ~3 giờ, rủi ro sai sót thấp vì đã đo lường mọi xác nhận quyền sở hữu.
Trường hợp 2 - Bắt lỗi. Trợ lý trò chuyện của người mẫu cho biết: “Độ chính xác của quá trình đào tạo là 99%, thật tuyệt vời”. Kỹ sư đã áp dụng bước thứ ba (bộ lọc kỹ thuật) và nhận ra: cột mục tiêu đã vô tình bị rò rỉ các thuộc tính (rò rỉ dữ liệu: mô hình nhìn thấy thông tin mà lẽ ra nó không nên thấy trong quá trình đào tạo). Hiệu suất thực tế thấp hơn nhiều. Sự hoài nghi của người kỹ sư chứ không phải cách diễn giải "tuyệt vời" của AI đã cứu được công việc.
Trường hợp 3 - Ngăn chặn vi phạm quyền riêng tư. Một nhóm đang dán nhật ký lỗi sản xuất vào một mô hình bên ngoài và nói "sửa lỗi này". Có số nhận dạng khách hàng trong nhật ký. Nhóm đã đưa ra quy tắc là viết một đoạn script nhỏ che giấu nhật ký trước tiên (tạo số ID ***) và gửi chúng theo cách đó. Nguy cơ vi phạm đã biến mất, tốc độ hỗ trợ không thay đổi.
Mẫu có thể sao chép
Nhiệm vụ: [việc cần làm, một câu đơn] Ngữ cảnh: [lược đồ dữ liệu, kích thước, các ràng buộc; KHÔNG CÓ dữ liệu cá nhân THỰC TẾ]Ràng buộc: [ngôn ngữ/thư viện, hiệu suất, khả năng tái tạo]Số liệu: [cách đo lường thành công]Đầu ra mong muốn: [mã/mô tả/danh sách] và lý do ở định dạng này
Kiểm tra mã này. Đánh giá không chỉ khả năng hoạt động mà còn về mặt:1) Các trường hợp khó khăn (đầu vào trống, cột bị thiếu, dữ liệu rất lớn)2) Nguy cơ rò rỉ dữ liệu3) Khả năng tái tạo (hạt giống, phiên bản)Đề xuất cách khắc phục cho từng vấn đề bạn tìm thấy. Đánh dấu "xác minh" ở chỗ bạn không chắc chắn. Mã số: [mã]
Giải thích kết quả của số liệu này, nhưng trước tiên hãy hỏi: số liệu này có đúng cho vấn đề này không? Vấn đề: [phân loại cân bằng/không cân bằng, hồi quy, xếp hạng...]Số liệu và giá trị được báo cáo: [ví dụ: độ chính xác 0,99]Bạn muốn đề xuất số liệu nào và tại sao, cũng như những dấu hiệu nào tôi nên tìm kiếm để khiến tôi nghi ngờ về kết quả hiện tại?
Kiểm tra xem có thông tin cá nhân/bí mật trong dữ liệu mà tôi sẽ cung cấp cho lời nhắc sau hay không. Liệt kê các trường (tên, e-mail, số ID, điện thoại, địa chỉ) cần được ẩn trong văn bản bên dưới. Văn bản: [văn bản]
Bảng vai trò và quyền hạn
Nhiệm vụ
Vai trò của trí tuệ nhân tạo
Chủ sở hữu quyết định
Bộ xương mã/chức năng chuyển đổi
máy phát điện dự thảo
Kỹ sư (đánh giá)
EDA / tóm tắt dữ liệu
máy gia tốc
Kỹ sư (kiểm tra bằng đo lường)
Giải thích số liệu
Đề xuất
kỹ sư
Dữ liệu nào sẽ được đưa vào đào tạo?
Đề xuất
Nhóm + chủ sở hữu dữ liệu
Đưa mô hình vào sản xuất
Lời nhắc danh sách kiểm tra
Kỹ sư + đội chịu trách nhiệm
Xử lý dữ liệu cá nhân
Không có (không được sử dụng)
Bộ điều khiển pháp lý + dữ liệu
Những lỗi thường gặp
- Sử dụng đầu ra mà không xác nhận nó. Sai lầm phổ biến nhất và tốn kém nhất. Mã hoặc số liệu trông đẹp mắt không có nghĩa là nó đúng.
- Dán dữ liệu bí mật thô vào công cụ. Một khi đã gửi đi thì không thể lấy lại được.
- Dựa vào số liệu sai. Các số liệu không tương thích như độ chính xác của dữ liệu không cân bằng và RMSE trong các vấn đề xếp hạng là sai lệch.
- Nhầm trí tuệ nhân tạo là người ra quyết định Anh ấy đưa ra gợi ý; Trách nhiệm thuộc về người ký.
- Lời nhắc không ngữ cảnh. Những yêu cầu mơ hồ như “viết mô hình” tạo ra kết quả không thể kiểm chứng được.
Tóm lại
Trí tuệ nhân tạo vừa là sản phẩm được phát triển bởi kỹ sư ML vừa là người sao chép hàng ngày của nó. Giá trị của nó cao nhất trong các nhiệm vụ có rủi ro thấp, dễ xác minh như mã-dữ liệu-tài liệu; Các quyết định ảnh hưởng đến tiền bạc, quyền riêng tư và bảo mật vẫn thuộc về người đó. Kết nối từng đầu ra với nguồn, đo lại, đưa qua bộ lọc kỹ thuật. Bảo vệ dữ liệu bí mật, sử dụng các phương tiện đã được phê duyệt, làm việc trong lĩnh vực bảo mật chỉ nhằm mục đích phòng thủ. Kỷ luật này là nền tảng cho tất cả các đơn vị tiếp theo.
Nhiệm vụ ứng dụng
Chọn một nhiệm vụ từ dự án của riêng bạn (ví dụ: viết chức năng dọn dẹp dữ liệu). Đầu tiên hãy viết lời nhắc yếu, sau đó viết lời nhắc mạnh bằng cách sử dụng mẫu trong bài này. Lấy cả hai đầu ra, áp dụng xác minh ba bước (liên kết tới nguồn, chạy lại, bộ lọc kỹ thuật). Lưu ý lời nhắc nào lưu bao nhiêu phút và bao nhiêu lần sửa.
danh sách kiểm tra
- [ ] Tôi đã xác định mức độ rủi ro (thấp/cao) cho nhiệm vụ của mình.
- [ ] Tôi không đưa bất kỳ dữ liệu cá nhân/bí mật thực tế nào vào lời nhắc; Tôi đã che giấu nó hoặc sử dụng một mẫu tổng hợp.
- [ ] Tôi đã kết nối đầu ra với nguồn, chạy lại, lọc nó từ góc độ kỹ thuật.
- [ ] Tôi đã kiểm tra xem mình đã chọn đúng số liệu chưa.
- [ ] Tôi/với nhóm đã đưa ra quyết định quan trọng (đưa nó vào sản xuất, xử lý dữ liệu), tôi không giao việc đó cho trí tuệ nhân tạo.
- [ ] Tôi đã sử dụng một chiếc xe được công ty phê duyệt.