Khả năng tái tạo và dự án đầu cuối: Kết hợp mọi thứ — Trí tuệ nhân tạo trong trí tuệ nhân tạo và kỹ thuật học máy

Lợi nhuận:

Khả năng đảm bảo khả năng tái lập với bốn trụ cột (cố định hạt giống, lập phiên bản dữ liệu, đóng băng phương tiện, giám sát thử nghiệm) và tạo ra kết quả tương tự khi lặp lại cùng một lần chạy
Khả năng kết hợp tất cả các điểm dừng của mô-đun (số liệu, dữ liệu, mô hình, thành phần LLM, đánh giá, công bằng, bảo mật, phân phối, giám sát) trong chuỗi từ đầu đến cuối
Khả năng xác minh rằng quyết định quan trọng vẫn thuộc về con người tại mỗi điểm dừng và ghi lại dự án theo cách có thể kiểm tra được

Thất bại ngấm ngầm nhất của một dự án ML không phải là sự cố; "Không nhận được kết quả tương tự một lần nữa." Nếu bạn không thể tái tạo lại điểm số ngày hôm nay của mô hình bạn đã đưa vào sản xuất ba tháng trước, thì bạn chưa thực sự kiểm soát được mô hình đó. Trong đơn vị kết thúc này, chúng tôi tăng cường khả năng tái tạo: khả năng thu được cùng một kết quả một cách đáng tin cậy với cùng một đầu vào và kết hợp toàn bộ mô-đun trong một dự án từ đầu đến cuối.

Tại sao khả năng tái sản xuất lại khó khăn

Trong phần mềm thông thường, cùng một mã cho cùng một kết quả. Trong ML còn có nhiều biến số khác quyết định kết quả:

Tính ngẫu nhiên: Xáo trộn dữ liệu, khởi tạo trọng số, phân tách dữ liệu - tất cả đều dựa vào tính ngẫu nhiên.
Dữ liệu: Cùng một mã tạo ra mô hình khác nhau với phiên bản dữ liệu khác nhau.
Môi trường: Phiên bản thư viện, phần cứng (CPU/GPU), thậm chí cả hệ điều hành cũng có thể thay đổi kết quả.
Trường hợp ẩn: Siêu tham số chưa được lưu, bước tiền xử lý thủ công, lựa chọn không được chú thích.

Khả năng tái tạo không phải là điều "có thì tốt" mà là một mệnh lệnh khoa học và kỹ thuật. Một kết quả không thể được sao chép là một tuyên bố không thể được chứng minh.

Bốn trụ cột của khả năng tái sản xuất

1. Khắc phục tính ngẫu nhiên. Đặt tất cả các hạt giống ngẫu nhiên ở một nơi: phân tách dữ liệu, khởi tạo mô hình, xáo trộn dữ liệu. Hạt giống cố định là cơ sở của sự đảm bảo "kết quả tương tự khi bạn lặp lại cùng một lần chạy".

2. Phiên bản dữ liệu. Ghi lại phiên bản dữ liệu mà mỗi thử nghiệm được thực hiện (phiên bản dữ liệu ở bài 2). “Dữ liệu mới nhất” rất mơ hồ; "phiên bản dữ liệu v3, hàm băm abc123" là chính xác.

3. Làm đông lạnh môi trường. Ghim tất cả các phần phụ thuộc vào phiên bản chính xác của chúng (ví dụ: các phiên bản chính xác như numpy==1.26.4 trong require.txt hoặc hình ảnh vùng chứa). "Phiên bản mới nhất" một ngày nào đó sẽ phá vỡ mọi thứ.

4. Theo dõi mọi thứ (theo dõi thử nghiệm). Tự động lưu cho từng thử nghiệm: phiên bản mã (git commit), phiên bản dữ liệu, tất cả các siêu tham số, số liệu và cấu trúc đầu ra. Các công cụ theo dõi thử nghiệm như MLflow, Weights & Biases thực hiện việc này một cách có hệ thống. Nếu không đăng ký, câu hỏi "cài đặt nào là tốt nhất" vẫn chưa được trả lời.

Thận trọng: “Tôi sẽ nhớ sau” là sai lầm đắt giá nhất. Hai tuần sau, bạn sẽ không nhớ hạt giống nào, dữ liệu nào, siêu tham số nào bạn đã sử dụng. Theo dõi tự động loại bỏ sự phụ thuộc vào bộ nhớ.

Cách tiếp cận yếu/Cách tiếp cận mạnh mẽ

Yếu: “Tôi đã tìm được mẫu tốt nhất, nó ở trên máy tính xách tay, tôi nghĩ điểm của nó là 89%.”

Strong: "Chạy #147 trong công cụ theo dõi thử nghiệm: git commit a3f9c, phiên bản dữ liệu v3 (băm abc123), hạt giống 42, tất cả các siêu tham số đã đăng ký, kiểm tra PR-AUC 0,887. Khi tôi chạy lại lệnh tương tự, tôi nhận được kết quả tương tự từng chút một. Mô hình phụ thuộc vào lần chạy này trong sổ đăng ký."

Sự khác biệt: trong cách tiếp cận mạnh mẽ, kết quả không dựa trên bộ nhớ mà dựa trên chuỗi cố định và được giám sát. Mọi người đều có thể tạo ra kết quả tương tự mọi lúc.

Dự án end-to-end: sự kết hợp của mô-đun

Bây giờ hãy kết hợp toàn bộ mô-đun thành một luồng dự án duy nhất. Một hệ thống ML thực sự sẽ đi qua các điểm dừng này và mỗi điểm dừng được xây dựng dựa trên điểm dừng trước đó:

Định nghĩa vấn đề: Chúng ta đang giải quyết điều gì, cách đo lường thành công (đơn vị 3: thước đo phù hợp, bối cảnh kinh doanh). Số liệu và ngưỡng rõ ràng ngay từ đầu.
Đường dẫn dữ liệu: Thu thập, xác thực, làm sạch, phân vùng không rò rỉ, lập phiên bản (đơn vị 2).
Phát triển mô hình: Đào tạo, so sánh cơ bản, xác nhận chéo, hạt giống cứng (đơn vị 3 + đơn vị này).
Các thành phần LLM (nếu có): RAG (đơn vị 4) và/hoặc đại lý (đơn vị 5); tinh chỉnh nếu cần thiết (đơn vị 6).
Đánh giá: cụm eval với các trường hợp biên và bảo mật, eval nhiều lớp trong hệ thống LLM (đơn vị 8).
Kiểm toán tư pháp và đạo đức: Phân tích phân nhóm, thẻ mô hình, khả năng giải thích (đơn vị 10).
Kiểm tra bảo mật: Đưa vào nhanh chóng, quyền riêng tư, chuỗi cung ứng (đơn vị 9).
Phân phối: Đóng gói, phân phối dần dần, khôi phục, đăng ký mô hình (đơn vị 7).
Giám sát: Giám sát ba lớp, cảnh báo trôi dạt (đơn vị 8).
Khả năng tái tạo: Hạt giống, phiên bản dữ liệu, phương tiện và theo dõi thử nghiệm trong toàn bộ chuỗi (đơn vị này).

Trong quy trình này, AI là máy tăng tốc và tạo kế hoạch chi tiết ở mọi điểm dừng; nhưng việc lựa chọn số liệu, quyết định dữ liệu, ưu tiên công bằng, ngưỡng triển khai và phê duyệt phát hành — những quyết định quan trọng vẫn thuộc về con người. Đây là bản chất của mô-đun.

Tài liệu: tương lai sẽ cảm ơn bạn

Một dự án ML tốt sẽ tự ghi lại tài liệu. Tối thiểu phải viết những nội dung sau: vấn đề và tiêu chí thành công, nguồn dữ liệu và phiên bản, lựa chọn và biện minh mô hình, kết quả đánh giá (bao gồm các nhóm con), các giới hạn và rủi ro đã biết, quy trình triển khai và truy xuất, kế hoạch giám sát. Tài liệu này là người bạn tốt nhất của người (có thể là bạn) quay lại dự án sau sáu tháng.

ba trường hợp nhỏ

Trường hợp 1 - Kết quả bị mất. Một kỹ sư đã đào tạo một mô hình tuyệt vời nhưng anh ta không sửa được hạt giống và không lưu phiên bản dữ liệu. Khi anh rời bỏ công việc, không ai có thể tái hiện được kết quả đó; mô hình đã trở thành "huyền thoại hộp đen" và cuối cùng được chế tạo lại từ đầu. Nhiều tuần đã bị lãng phí. Bài học: kết quả không thể tái tạo là kết quả không tồn tại.

Trường hợp 2 - Môi trường sụp đổ. Một nhóm chưa sửa được phần phụ thuộc. Khi thư viện được cập nhật tự động, kết quả đầu ra của mô hình sẽ âm thầm thay đổi và quá trình sản xuất bị gián đoạn. Phải mất nhiều ngày để tìm ra vấn đề. Khi các phần phụ thuộc bị đóng băng và được chứa trong các phiên bản chính thức, sự cố đã không xảy ra nữa. Bài học: đóng băng môi trường.

Trường hợp 3 - Sức mạnh của việc giám sát. Một nhóm tự động theo dõi từng thí nghiệm. Ba tháng sau, trong một cuộc kiểm tra theo quy định, họ đã trả lời câu hỏi "với dữ liệu nào, với cài đặt nào, hiệu suất đạt được trong nhóm nào?" với một bản ghi đầy đủ trong vòng vài phút. Cuộc kiểm tra diễn ra suôn sẻ. Bài học: giám sát là một công cụ tuân thủ, không chỉ là công cụ kỹ thuật.

Mẫu có thể sao chép

Thực hiện kiểm tra khả năng tái lập cho dự án ML này.- Tất cả các hạt giống ngẫu nhiên có được sửa (tách, khởi tạo, xáo trộn) không?- Dữ liệu có được phiên bản không?- Các phần phụ thuộc có được cố định thành các phiên bản chính xác không?- Mọi thử nghiệm (cam kết mã, dữ liệu, siêu tham số, số liệu) có được theo dõi không? Viết các bước cụ thể cách khắc phục cho từng cột bị thiếu.Cấu trúc dự án: [mô tả]

Tạo khung kế hoạch cho dự án ML toàn diện này. Vấn đề: [mô tả] Bao gồm các điểm dừng sau và đánh dấu vị trí đưa ra quyết định của CON NGƯỜI tại mỗi điểm dừng: vấn đề/số liệu, quy trình, mô hình, (RAG/tác nhân/tinh chỉnh?), eval, công bằng, bảo mật, phân phối, giám sát, khả năng tái tạo. Viết rủi ro chính và bước xác minh cho mỗi điểm dừng.

Tạo một mẫu tài liệu kỹ thuật cho dự án này. Các phần: vấn đề+tiêu chí thành công, dữ liệu (nguồn+phiên bản), lựa chọn mô hình+giải thích, đánh giá (bao gồm các nhóm con), các giới hạn đã biết+rủi ro, triển khai+khôi phục, kế hoạch giám sát. Cung cấp các trường cần điền cho mỗi phần dưới dạng câu hỏi.

Kiểm tra thiết lập giám sát thử nghiệm của tôi: Nó có được lưu tự động trong mỗi lần chạy không: git commit, phiên bản dữ liệu/băm, tất cả siêu tham số, tất cả số liệu, môi trường (phiên bản thư viện)? Tôi có nhận được kết quả tương tự khi chạy lại cùng một lần không? Cài đặt: [mô tả]. Liệt kê những sai sót và sửa chữa.

Bảng cột khả năng tái tạo

cột

Cái gì đã được sửa

Ví dụ về xe

sự ngẫu nhiên

tất cả hạt giống

thiết lập hạt giống

dữ liệu

Phiên bản dữ liệu/băm

DVC

môi trường

Phiên bản thư viện

pin yêu cầu, Docker

Giám sát

Mã+dữ liệu+cài đặt+số liệu

MLflow, W&B

Những lỗi thường gặp

Không cố định hạt giống. Kết quả không thể được lặp lại.
Không lưu phiên bản dữ liệu. “Với dữ liệu gì?” vẫn chưa được trả lời.
Không đóng băng cơn nghiện. Một bản cập nhật sẽ âm thầm phá vỡ mọi thứ.
Để lại các thí nghiệm vào bộ nhớ. Hai tuần sau không có gì được ghi nhớ.
Để lại những quyết định quan trọng cho trí tuệ nhân tạo. Các quyết định về số liệu, sự công bằng và phân phối phải thuộc về mọi người.
Trì hoãn tài liệu. Nhóm tương lai (và bạn) phải trả giá.

Tóm lại

Khả năng tái tạo là dấu hiệu của kỹ thuật ML nghiêm túc: kết quả không thể tái tạo là tuyên bố không thể chứng minh được. Nó đi kèm với bốn cột - sửa lỗi ngẫu nhiên, dữ liệu phiên bản, đóng băng môi trường, theo dõi từng thử nghiệm. Một dự án toàn diện kết hợp tất cả các điểm dừng của mô-đun này (số liệu, dữ liệu, mô hình, thành phần LLM, đánh giá, công bằng, bảo mật, phân phối, giám sát) trong một chuỗi liên kết với nhau; Trí tuệ nhân tạo là máy gia tốc ở mọi điểm dừng, nhưng những quyết định quan trọng vẫn thuộc về con người. Ghi lại mọi thứ - cho nhóm và kiểm tra trong tương lai. Kỷ luật này là khuôn khổ duy trì mọi thứ bạn học trong suốt học phần.

Nhiệm vụ ứng dụng

Kiểm tra một dự án ML dựa trên bốn trụ cột về khả năng tái tạo: hạt giống có bất biến không, dữ liệu có được phiên bản không, môi trường có bị đóng băng không, các thí nghiệm có được theo dõi không? Sửa mọi cột bị thiếu và chứng minh rằng bạn có thể chạy cùng một lần hai lần và nhận được kết quả tương tự. Sau đó xuất quy trình từ đầu đến cuối của dự án (10 điểm dừng) trên một trang và đánh dấu "quyết định của con người ở đâu" tại mỗi điểm dừng. Cuối cùng, viết một bản thảo tài liệu kỹ thuật ngắn.

danh sách kiểm tra

[ ] Tất cả các hạt giống ngẫu nhiên đã được sửa.
[ ] Phiên bản dữ liệu/băm được ghi lại với mỗi thử nghiệm.
[ ] Các phần phụ thuộc được cố định thành phiên bản chắc chắn (pin/container).
[ ] Mỗi thử nghiệm được theo dõi tự động (mã+dữ liệu+cài đặt+số liệu).
[ ] Khi tôi lặp lại lần chạy tương tự, tôi nhận được kết quả tương tự.
[ ] Tôi đã xác minh và ghi lại rằng các quyết định quan trọng trong quy trình từ đầu đến cuối đều do con người đưa ra.

Thi học phần

1. Là một kỹ sư ML, cách tiếp cận tốt nhất khi định vị trí tuệ nhân tạo trong quy trình làm việc là gì?

A) AI là công cụ tăng tốc trong các doanh nghiệp có rủi ro thấp; Các quyết định quan trọng như số liệu, dữ liệu và quá trình sản xuất luôn được xác thực và giao cho con người thực hiện ✔
B) Miễn là kết quả đầu ra AI trông ổn thì không cần xác minh
C) Để trí tuệ nhân tạo quyết định đưa mô hình vào sản xuất giúp tiết kiệm thời gian.
D) Trí tuệ nhân tạo chỉ hữu ích cho việc viết văn bản, nó không liên quan gì đến dữ liệu và công việc mô hình

Mô tả: AI là một công cụ tăng tốc mạnh mẽ cho các tác vụ có rủi ro thấp, dễ dàng xác minh như mã, tóm tắt dữ liệu và tài liệu; Tuy nhiên, trách nhiệm đối với các quyết định ảnh hưởng đến tiền bạc, tính bảo mật và trách nhiệm pháp lý, chẳng hạn như lựa chọn số liệu, dữ liệu nào được đưa vào đào tạo và đưa mô hình vào sản xuất, thuộc về đội ngũ và kỹ sư có trình độ. Mỗi đầu ra không nên được sử dụng mà không cần xác minh.

2. Tại sao xác thực lược đồ được đặt ở đầu đường dẫn dữ liệu?

A) Bởi vì nó trực tiếp làm tăng độ chính xác của mô hình
B) Bởi vì nó làm cho việc lập phiên bản dữ liệu trở nên không cần thiết
C) Bởi vì nó bắt được dữ liệu bị hỏng ở thời điểm sớm nhất và rẻ nhất và ngăn không cho dữ liệu bị rò rỉ sang các bước tiếp theo ✔
D) Bởi vì nó loại bỏ sự cần thiết phải ghi nhãn

Giải thích: Dữ liệu bị hỏng càng được phát hiện sớm thì chi phí sửa chữa càng rẻ. Xác thực lược đồ ngăn dữ liệu bị hỏng âm thầm rò rỉ vào quá trình đào tạo hoặc sản xuất bằng cách từ chối dữ liệu nằm ngoài loại và phạm vi dự kiến ở đầu dòng (ví dụ: giá thay đổi 100 lần khi thay đổi đơn vị); Cùng một lỗi mắc phải trong quá trình sản xuất thì đắt hơn gấp nhiều lần.

3. Cách tiếp cận đúng khi chia dữ liệu thành huấn luyện và kiểm tra trong một bài toán liên quan đến thời gian (chuỗi thời gian) là gì?

A) Sử dụng phương pháp chia ngẫu nhiên vì đây luôn là phương pháp công bằng nhất
B) Sử dụng phương pháp phân tách theo thời gian: ngăn chặn rò rỉ bằng cách rèn luyện quá khứ và thử nghiệm trong tương lai ✔
C) Sử dụng tất cả dữ liệu làm cả đào tạo và kiểm tra
D) Kết hợp dữ liệu kiểm tra vào các tham số tỷ lệ trước khi đào tạo

Giải thích: Việc phân chia ngẫu nhiên theo chuỗi thời gian mang lại cho mô hình lợi thế 'nhìn thấy tương lai', điều này sẽ không bao giờ xảy ra trong quá trình sản xuất và làm tăng các chỉ số một cách giả tạo (rò rỉ tạm thời). Cách đúng là phân chia theo thời gian: rèn luyện quá khứ, kiểm tra tương lai. Điều này đo lường hiệu suất thực tế giúp duy trì hoạt động sản xuất.

4. Tại sao độ chính xác bị sai lệch trong mô hình phát hiện gian lận với tỷ lệ loại tích cực là 1,5%?

A) Bởi vì Độ chính xác luôn thấp đối với dữ liệu không cân bằng
B) Bởi vì Độ chính xác chỉ có thể được sử dụng cho các bài toán hồi quy
C) Bởi vì tính toán chính xác đòi hỏi nhiều sức mạnh xử lý
D) Ngay cả một mô hình nhỏ dự đoán tầng lớp đa số cũng có thể rất chính xác, do đó che giấu thành công thực sự ✔

Giải thích: Trên dữ liệu không cân bằng, ngay cả một mô hình cơ bản cho biết 'gọi mọi thứ là tiêu cực' cũng đạt độ chính xác khoảng 98,5% nhưng sẽ không phát hiện được một gian lận nào. Do đó, trong phân loại không cân bằng, độ chính xác, thu hồi, F1 hoặc PR-AUC được sử dụng thay vì độ chính xác và mỗi số liệu được diễn giải theo một mô hình cơ sở.

5. Tại sao so sánh cơ sở lại cần thiết khi nói về thước đo của mô hình?

A) Bởi vì mô hình cơ sở luôn tốt hơn mô hình thật
B) Bởi vì rõ ràng liệu một số liệu có ý nghĩa hay không chỉ khi so sánh với mô hình cơ sở đơn giản ✔
C) Bởi vì mô hình cơ sở khiến việc xác thực chéo trở nên không cần thiết
D) Bởi vì mô hình cơ bản được yêu cầu về mặt pháp lý trong mọi báo cáo

Giải thích: Bản thân một thước đo không tốt hay xấu; Nó tốt hay xấu tùy theo một mô hình cơ bản. Câu 'đúng 85%' có nghĩa là gần như vô giá trị nếu mô hình cơ sở đã đạt được 84% và hoàn hảo nếu nó đạt được 50%. Nếu không có neo so sánh, số liệu sẽ vô nghĩa.

6. Yếu tố bảo mật quan trọng nhất cần được đưa vào lời nhắc sản xuất của hệ thống RAG (Thế hệ tăng cường truy xuất) là gì?

A) Hướng dẫn chỉ dựa vào nguồn đã cho, nói 'Tôi không biết' nếu nguồn không tồn tại và trích dẫn nguồn ✔
B) Yêu cầu người mẫu đưa ra câu trả lời dài và sáng tạo nhất có thể
C) Mô hình ưu tiên kiến thức giáo dục của chính mình hơn các nguồn lực
D) Thực hiện tất cả các hướng dẫn trong văn bản mang theo dưới dạng mệnh lệnh

Giải thích: Hướng dẫn quan trọng nhất của RAG là yêu cầu mô hình chỉ dựa vào nguồn đã cho và nếu thông tin không có trong nguồn, hãy nói 'Tôi không biết' và trích dẫn nguồn mà không bịa đặt. Nếu không có bộ ba này, mô hình có thể bỏ qua bối cảnh và tạo ra ảo giác, và câu trả lời sẽ trở nên không thể kiểm chứng được.

7. Hệ thống RAG đưa ra câu trả lời sai. Đâu là nơi tốt nhất để bắt đầu chẩn đoán?

A) Đo lần tìm nạp trước (Recall@K): mảnh chính xác có đến được không? ✔
B) Thay thế ngay mô hình bằng mô hình lớn hơn
C) Thay đổi lời nhắc một cách ngẫu nhiên và tiếp tục thử
D) Nhúng tất cả tài liệu vào mô hình với tinh chỉnh

Giải thích: Liên kết yếu nhất của RAG thường là tìm nạp chứ không phải sản xuất. Nếu phần chính xác không bao giờ được đưa vào, mô hình không thể tạo ra thông tin đó, cho dù lời nhắc có được cải thiện đến mức nào. Do đó, Recall@K đầu tiên được đo để xem liệu phần chính xác đã đến hay chưa; Nếu quá trình tìm nạp tốt thì quá trình sản xuất và lời nhắc sẽ được kiểm tra.

8. Những hành động nào cần được thực hiện sau sự chấp thuận của con người khi đưa công cụ cho đại lý?

A) Không có; Tác nhân phải có khả năng thực hiện mọi hành động một cách tự động
B) Chỉ các hành động có thể đảo ngược như đọc và tìm kiếm dữ liệu
C) Các hành động không thể đảo ngược hoặc có tác động lớn như chuyển tiền, xóa, gửi ✔
D) Các hành động chỉ liên quan đến tính toán

Mô tả: Các hành động được phân tách theo mức độ rủi ro. Các tác vụ có thể truy xuất như đọc, tìm kiếm, tính toán và tạo bản nháp có thể được thực hiện một cách tự động; Tuy nhiên, những hành động không thể đảo ngược hoặc có tác động lớn như chuyển tiền, gửi email, xóa dữ liệu, đặt hàng, v.v. đều cần có sự chấp thuận của con người. Mọi hành động không thể hủy ngang đều phải được sự đồng ý.

9. Phương pháp thiết kế tốt nhất chống lại nguy cơ bị tiêm nhắc gián tiếp là gì?

A) Chỉ cần thêm một câu 'bỏ qua các hướng dẫn xấu' vào lời nhắc hệ thống là đủ
B) Trao thêm quyền cho mô hình bằng cách dựa vào hướng dẫn trong nội dung bên ngoài
C) Không thực hiện bất kỳ biện pháp phòng ngừa nào vì tiêm thuốc là không thể phòng ngừa được
D) Cô lập nội dung bên ngoài dưới dạng dữ liệu không đáng tin cậy và thiết lập các biện pháp bảo vệ theo lớp với sự ủy quyền, phê duyệt và kiểm soát đầu ra ở mức tối thiểu ✔

Mô tả: Nội dung bên ngoài được đại lý hoặc RAG xử lý, chẳng hạn như trang web, tài liệu, email, v.v., là dữ liệu không đáng tin cậy và có thể chứa các hướng dẫn bí mật. Cách tiếp cận đúng là bảo vệ theo lớp: cô lập nội dung bên ngoài dưới dạng 'dữ liệu, không phải lệnh' bằng các dấu phân cách rõ ràng, áp dụng ủy quyền tối thiểu, ràng buộc các hành động không thể đảo ngược với sự phê duyệt của con người và kiểm tra đầu ra. Một dòng hướng dẫn là không đủ.

10. Điểm khác biệt chính khi quyết định liệu một vấn đề có nên được giải quyết bằng tinh chỉnh hay RAG là gì?

A) Các vấn đề về thông tin được giải quyết tốt hơn với RAG, các vấn đề về hành vi/định dạng được giải quyết tốt hơn nhờ tinh chỉnh ✔
B) Mọi vấn đề phải luôn được giải quyết bằng cách tinh chỉnh
C) RAG chỉ được sử dụng để tạo mã, tinh chỉnh chỉ được sử dụng để dịch
D) Tinh chỉnh luôn có thể được cập nhật rẻ hơn và nhanh hơn RAG

Giải thích: Việc tinh chỉnh còn yếu và rủi ro trong việc dạy thông tin mới cho mô hình; nhưng có tác dụng mạnh mẽ trong hành vi, hình thức, giọng điệu và phong cách giảng dạy. 'Công ty kiểu mẫu không biết dữ liệu của chúng tôi' là vấn đề thông tin và thuộc về RAG. 'Hãy để mô hình luôn xuất ra ở định dạng nghiêm ngặt của chúng tôi' là một vấn đề về hành vi và là ứng cử viên để tinh chỉnh. Ngoài ra, nên sử dụng nhắc nhở và vài lần chụp trước khi tinh chỉnh.

11. Điều gì bắt buộc phải làm để triển khai an toàn khi đưa mẫu mới vào sản xuất?

A) Nếu mô hình thử nghiệm tốt, hãy mở trực tiếp để có 100% lưu lượng truy cập
B) Hoàn toàn không thiết lập giám sát sau khi triển khai
C) Triển khai theo từng giai đoạn (bóng tối/hoàng yến) và kế hoạch khôi phục được thử nghiệm trước ✔
D) Xuất bản mô hình ngay cả khi không đáp ứng ngưỡng đánh giá

Giải thích: Việc mở trực tiếp mô hình mới cho tất cả lưu lượng truy cập là rủi ro; Nếu sai thì mọi người đều bị ảnh hưởng. Điều chính xác là nó là một bản phân phối dần dần (bóng tối, hoàng yến) và mọi bản phân phối đều có kế hoạch khôi phục đã được thử nghiệm. Việc phân phối sẽ không hoàn tất nếu không có kế hoạch thu hồi vốn; Khả năng hoàn nguyên về phiên bản trước trong vòng vài phút sẽ bảo vệ người dùng khi mô hình hoạt động không mong muốn trong quá trình sản xuất.

12. Làm thế nào một mô hình ML có thể thất bại “âm thầm” trong quá trình sản xuất và cách nắm bắt điều này là gì?

A) Mô hình sụp đổ; nhật ký máy chủ hiển thị điều này
B) Bằng cách đưa ra những dự đoán sai mà không phạm sai lầm; ✔ Nó ghi lại hoạt động giám sát theo lớp hoạt động, đầu vào và đầu ra
C) Mô hình không bao giờ có thể thất bại một cách âm thầm, luôn báo động
D) Chỉ cần theo dõi độ trễ là đủ để phát hiện bất kỳ sự xuống cấp nào

Giải thích: Mô hình có thể thất bại chỉ bằng cách đưa ra những dự đoán không chính xác mà không gặp sự cố hoặc đưa ra lỗi; Lý do chính cho điều này là sự trôi dạt dữ liệu và trôi dạt khái niệm. Chỉ theo dõi các số liệu vận hành (độ trễ, tỷ lệ lỗi) là chưa đủ; phân phối đầu vào và phân phối đầu ra/dự đoán cũng cần được giám sát. Độ lệch đầu vào đưa ra cảnh báo sớm nếu kết quả thực tế bị trễ.

13. Nguyên tắc nào là cần thiết khi sử dụng LLM với tư cách là thẩm phán để đánh giá hệ thống LLM?

A) Trọng tài LLM luôn đúng, việc xác minh con người là không cần thiết
B) Trọng tài phải đưa ra quyết định chỉ dựa trên độ dài câu trả lời.
C) Cần loại bỏ hoàn toàn các biện pháp kiểm soát dựa trên quy tắc và đánh giá con người khi sử dụng trọng tài
D) Điểm của giám khảo phải được hiệu chỉnh bằng mẫu do con người dán nhãn và đo lường độ lệch của chúng trước khi có thể tin cậy được ✔

Mô tả: Trọng tài LLM cũng là một hình mẫu; Nó có thể gây ảo giác, thiên vị (thích những câu trả lời dài, tự tin) và không nhất quán. Do đó, điểm trọng tài phải được hiệu chỉnh bằng mẫu có nhãn con người và phải đo lường độ lệch hệ thống của chúng trước khi đưa ra quyết định sản xuất. Một trọng tài chưa được xác minh đưa ra sự tự tin sai lầm.

14. Tại sao việc xem xét độ chính xác tổng thể lại không đầy đủ khi đánh giá độ lệch của mô hình?

A) Độ chính xác tổng thể là đủ vì nó luôn phản ánh hiệu suất của nhóm kém nhất
B) Chỉ riêng độ chính xác tổng thể là không đủ vì nó có thể che khuất sự khác biệt mang tính hệ thống (sự phân biệt ẩn) giữa các nhóm nhỏ ✔
C) Bởi vì độ chính xác là một thước đo không liên quan gì đến độ lệch
D) Độ lệch chỉ xuất phát từ mô hình và không liên quan gì đến dữ liệu.

Giải thích: Độ chính xác tổng thể có thể che khuất sự khác biệt mang tính hệ thống giữa các nhóm nhỏ. Ví dụ: trong khi độ chính xác tổng thể là 88%, khả năng thu hồi có thể là 91% ở một nhóm và 67% ở nhóm khác; Mô hình đã bỏ sót nhóm đó một cách có hệ thống. Do đó, mô hình cần được đánh giá trên cơ sở các phân nhóm (nhân khẩu học/phân khúc) và định nghĩa nào về công lý cần được ưu tiên nên được quyết định cùng với các bên liên quan.

15. Bốn điều gì phải được cố định cùng nhau để có thể tái tạo kết quả ML?

A) Chỉ tên model, kích thước, giá cả và ngày phát hành
B) Chỉ có thương hiệu GPU và tốc độ internet
C) Chỉ điểm chính xác cuối cùng của mô hình; phần còn lại có thể được lưu giữ trong bộ nhớ
D) Hạt giống ngẫu nhiên, phiên bản dữ liệu, môi trường (phiên bản phụ thuộc) và theo dõi thử nghiệm ✔

Mô tả: Khả năng tái tạo đạt được thông qua bốn trụ cột: sửa lỗi hạt giống ngẫu nhiên, dữ liệu phiên bản (phiên bản/băm), đóng băng môi trường (phiên bản/vùng chứa thư viện chính xác) và theo dõi từng thử nghiệm (cam kết mã, dữ liệu, siêu tham số, số liệu). Nếu không có chuỗi này thì không thể tạo ra kết quả tương tự; Một kết quả không thể lặp lại là một tuyên bố không thể được chứng minh.