Lợi nhuận:
- Khả năng chọn số liệu phù hợp với loại vấn đề và bối cảnh kinh doanh (PR-AUC/thu hồi trong dữ liệu không cân bằng, MAE/RMSE trong hồi quy) và nhận biết việc học quá/thiếu
- Khả năng diễn giải từng số liệu dựa trên đường cơ sở và đo lường độ lệch cũng như tách tiếng ồn khỏi tiến trình bằng xác thực chéo
- Khả năng báo cáo kết quả không lạc quan bằng cách điều chỉnh các siêu tham số với bộ xác thực và chỉ sử dụng bộ kiểm tra ở cuối
Đào tạo mô hình (đào tạo: quá trình học các mẫu từ dữ liệu) là bước dễ thấy nhất nhưng dễ gây hiểu lầm nhất của kỹ thuật ML. Nó xuất hiện vì nó tạo ra một con số thỏa đáng như "độ chính xác 95%". Gây hiểu lầm vì con số đó thường là câu trả lời đúng cho câu hỏi sai. Trong đơn vị này, giáo dục và đánh giá được thảo luận cùng với chuyên ngành kỹ thuật; Chúng tôi sử dụng trí tuệ nhân tạo làm đối tác trong thiết kế thử nghiệm và đưa ra quyết định dựa trên đo lường.
Logic của chu trình đào tạo
Một mô hình tìm hiểu mẫu trong dữ liệu bằng cách giảm thiểu hàm mất mát: một hàm đo lường lỗi của mô hình bằng số. Thuật toán tối ưu hóa (ví dụ: giảm độ dốc) giảm tổn thất bằng cách điều chỉnh các tham số theo từng bước. Mục đích không phải là để ghi nhớ dữ liệu huấn luyện mà là khái quát hóa nó thành dữ liệu chưa từng có.
Hai mối nguy hiểm chính:
- Overfitting: Mô hình ghi nhớ dữ liệu huấn luyện và thất bại với dữ liệu mới. Đào tạo thành công cao, xác minh thành công thấp.
- Underfitting: Mô hình không thể nắm bắt được mẫu; Cả đào tạo và xác nhận thành công đều thấp.
Tìm sự cân bằng là nghệ thuật giáo dục. Bộ xác thực ở đó để theo dõi sự cân bằng này: nếu thành công xác thực bắt đầu giảm trong khi thành công đào tạo tăng lên thì việc học quá mức đã bắt đầu.
Mẹo: Vẽ biểu đồ tổn thất đào tạo và xác nhận cùng nhau ở mỗi bước. Điểm mà tại đó hai đường cong bắt đầu phân kỳ là nơi bắt đầu quá trình học tập quá mức và là thời điểm thích hợp để "dừng sớm".
Lựa chọn số liệu: quyết định quan trọng nhất
Số liệu sai làm cho một mô hình tốt trông xấu và một mô hình xấu trông đẹp. Sự cố xác định số liệu:
- Phân loại không cân bằng (một loại rất hiếm, ví dụ: gian lận): Độ chính xác gây hiểu nhầm. Một mô hình có nội dung "gọi mọi thứ bình thường" sẽ có độ chính xác 99% nhưng sẽ không phát hiện được một gian lận nào. Thay vào đó, độ chính xác (bao nhiêu trong số những gì tôi bắt được thực sự là dương), thu hồi (bao nhiêu trong số những gì tôi bắt được là dương thực sự) và số dư F1 hoặc PR-AUC của chúng được sử dụng.
- Phân loại cân bằng: Độ chính xác và ROC-AUC có thể phù hợp.
- Hồi quy (ước tính số): MAE (lỗi tuyệt đối trung bình), RMSE (phạt các lỗi lớn), MAPE (lỗi phần trăm).
- Xếp hạng/đề xuất: NDCG, MRR, Recall@K.
Việc độ chính xác hay thu hồi là quan trọng tùy thuộc vào bối cảnh kinh doanh. Thu hồi (không bỏ sót bệnh nhân nào) là ưu tiên hàng đầu trong sàng lọc ung thư; Độ chính xác trong bộ lọc thư rác (không gửi những email quan trọng vào thư rác) là rất quan trọng. Đây là một quyết định kinh doanh, không phải là một quyết định kỹ thuật và được đưa ra bởi kỹ sư và chủ sở hữu.
Dấu nhắc yếu / Dấu nhắc mạnh
Lời nhắc yếu: "Đánh giá hiệu suất mô hình của tôi, độ chính xác 0,97."
Lời nhắc mạnh mẽ: "Tôi có một mô hình phát hiện gian lận; tỷ lệ loại tích cực là 1,5%. Độ chính xác được báo cáo là 0,97. Giải thích lý do số liệu này có thể sai lệch, cho tôi biết số liệu nào (độ chính xác, thu hồi, PR-AUC) mà tôi nên thích và tại sao. Đồng thời tính toán độ chính xác của mô hình cơ sở 'gọi mọi thứ là tiêu cực' đối với dữ liệu này để tôi có thể thấy giá trị gia tăng thực sự."
Sự khác biệt: lời nhắc mạnh mẽ đưa ra tỷ lệ lớp học và bối cảnh kinh doanh; nó cũng yêu cầu so sánh mô hình cơ sở - đây là điểm mấu chốt quan trọng nhất để xác định liệu một số liệu có ý nghĩa hay không.
Đường cơ sở: số liệu không có so sánh là vô nghĩa
Bản thân một thước đo không tốt hay xấu; Nó tốt hay xấu tùy theo một mô hình cơ bản. Mô hình cơ bản là giải pháp đơn giản nhất mà tôi nghĩ đến: "luôn nói cho lớp đa số", "lặp lại giá trị của tuần trước", "đoán giá trị trung bình". Nếu mô hình của bạn không thể vượt qua giải pháp đơn giản này một cách rõ ràng thì mọi sự phức tạp đều chẳng là gì cả.
Thận trọng: Bản thân câu “Mô hình của tôi chính xác 85%” không nói lên điều gì. Nếu mô hình cơ sở đã đạt được 84% thì mô hình của bạn gần như vô giá trị; Nếu mô hình cơ sở đạt 50% thì mô hình của bạn hoàn hảo. Luôn luôn nói về mô hình cơ bản.
Xác thực chéo và tin cậy
Một lần phân chia đào tạo/kiểm tra có thể là do ngẫu nhiên. Xác thực chéo: chia dữ liệu thành k phần và kiểm tra tuần tự từng phần cho thấy hiệu suất ổn định như thế nào. Khi xác thực chéo 5 lần, bạn nhận được năm điểm khác nhau; Giá trị trung bình và độ lệch chuẩn của chúng rất quan trọng. Nếu mức trung bình là 80% nhưng độ lệch là ±12% thì mô hình của bạn không ổn định — nó có thể hoạt động rất khác trong đợt dữ liệu tiếp theo.
Điều này cũng rất quan trọng đối với việc "so sánh hai mô hình". Nếu Mô hình A đạt 81% và Mô hình B đạt 82% thì Mô hình B có thực sự tốt hơn không? Nếu độ lệch là ±3% thì sự khác biệt này có thể là nhiễu. Hãy cân nhắc xem sự khác biệt có đáng kể hay không trước khi quyết định.
Điều chỉnh siêu tham số: có xác nhận, không kiểm tra
Siêu tham số (cài đặt được xác định thủ công trước khi đào tạo—tốc độ học tập, độ sâu của cây, v.v.) được đặt cùng với bộ xác thực. Bộ kiểm tra chỉ được sử dụng ở cuối, một lần. Nếu bạn chọn siêu tham số bằng cách xem tập kiểm tra, tập kiểm tra sẽ bị sai lệch và hiệu suất bạn báo cáo sẽ lạc quan, điều này không đúng trong thực tế.
Trí tuệ nhân tạo là công cụ trợ giúp đắc lực trong việc thiết kế không gian tìm kiếm siêu tham số và viết mã tìm kiếm (tìm kiếm dạng lưới, tìm kiếm ngẫu nhiên, tối ưu hóa Bayesian). Nhưng bạn vẫn quyết định "chúng tôi sẽ tối ưu hóa số liệu nào?"
ba trường hợp nhỏ
Trường hợp 1 - Bẫy chính xác. Đội ngũ y tế tự hào về mô hình phát hiện căn bệnh hiếm gặp: độ chính xác 98%. Khi so sánh mô hình cơ bản được thực hiện, sự thật lộ ra: vì tỷ lệ bệnh tật là 2% nên mô hình "gọi mọi người khỏe mạnh" cũng nhận được 98%. Khả năng thu hồi của mô hình chỉ là 11% - thiếu hầu hết bệnh nhân. Sau khi số liệu được chuyển đổi thành PR-AUC, hiệu suất thực tế sẽ được đo và mô hình được thiết kế lại.
Trường hợp 2 - Nhầm tiếng ồn là tiến độ. Một nhóm đã dành nhiều tháng để cải thiện mô hình từ 86,2% lên 86,9%. Xác thực chéo cho thấy độ lệch là ±1,4% - vì vậy “cải thiện” 0,7 điểm là nhiễu thống kê. Nhóm đã lãng phí ba tuần vào những khoản thu nhập không thực tế. Bài học: đừng tuyên bố chiến thắng mà không xác minh được rằng sự cải thiện lớn hơn sự sai lệch.
Trường hợp 3 - Bộ thử nghiệm bị nhiễm bẩn. Một kỹ sư liên tục xem xét bộ thử nghiệm để chọn ra các siêu tham số tốt nhất. 91% được báo cáo đã giảm xuống còn 83% trong sản xuất. Tại sao: anh ta đã vô tình chọn mô hình phù hợp bằng cách xem đi xem lại tập kiểm tra (học quá nhiều trên tập kiểm tra). Hiệu suất được báo cáo và hiệu suất thực tế bị trùng lặp khi sử dụng một bộ xác thực riêng biệt.
Mẫu có thể sao chép
Giúp tôi chọn số liệu phù hợp cho vấn đề phân loại này. Vấn đề: [điều được dự đoán] Phân bổ lớp: [tỷ lệ dương
Đánh giá so sánh giữa hai mô hình sau. Xác thực chéo mô hình A: [danh sách điểm]Xác thực chéo mô hình B: [danh sách điểm]Tính giá trị trung bình và độ lệch chuẩn. Sự khác biệt có ý nghĩa thống kê hay chỉ là nhiễu trong độ lệch? Bạn muốn giới thiệu tôi chọn cái nào và tại sao?
Kiểm tra mã đào tạo này để biết các thông tin sau:1) Các siêu tham số có được chọn bằng bộ kiểm tra hoặc bộ xác thực không?2) Việc dừng sớm có được giám sát bằng bộ chính xác không?3) Có bất kỳ dấu hiệu nào của việc học quá mức (chênh lệch mất đào tạo/xác thực) không? Mã: [code]
Tôi nên báo cáo MAE, RMSE và MAPE nào cho vấn đề hồi quy này?Tỷ lệ của biến mục tiêu: [phạm vi]Các lỗi lớn có tệ không tương xứng (RMSE) hay tất cả chúng đều bằng nhau (MAE)?Có các giá trị gần bằng 0 (chúng có làm sai lệch MAPE) không?Đề xuất kèm theo lý do giải thích ngắn gọn.
Bảng lựa chọn số liệu
Loại vấn đề
Số liệu phù hợp
Để tránh
tại sao
Phân loại không cân bằng
PR-AUC, F1, thu hồi
Độ chính xác
Tầng lớp đa số thổi phồng số liệu
Phân loại cân bằng
Độ chính xác, ROC-AUC
—
Đáng tin cậy trong dữ liệu cân bằng
Hồi quy (ngoại lệ đáng kể)
RMSE
MAPE (nếu không)
Trừng phạt những sai lầm lớn
Hồi quy (trọng số bằng nhau)
MAE
—
Dễ dàng giải thích
Xếp hạng/đề xuất
NDCG, Thu hồi@K
Độ chính xác
Thứ tự là quan trọng
Những lỗi thường gặp
- Sử dụng độ chính xác trên dữ liệu không cân bằng. Lỗi số liệu phổ biến nhất.
- Không thực hiện so sánh mô hình cơ sở. Nó làm cho số liệu mất đi ý nghĩa của nó.
- Nhìn vào bộ kiểm tra siêu tham số. Kết quả lạc quan, không thực tế.
- Dựa vào một ngăn duy nhất. Nếu không xác thực chéo, bạn sẽ không thấy sự thiên vị.
- Nhầm lẫn tiếng ồn với sự tiến bộ. Những "cải tiến" nhỏ từ sai lệch phần lớn là do may mắn.
- Bỏ qua bối cảnh kinh doanh. Số dư chính xác/thu hồi là một quyết định kinh doanh.
Tóm lại
Kỹ năng thực sự trong việc đào tạo mô hình không phải là tạo ra một con số cao mà là biết con số đó có ý nghĩa gì. Vấn đề và bối cảnh kinh doanh xác định thước đo phù hợp; giải thích từng số liệu theo mô hình cơ sở; đo lường độ lệch bằng xác thực chéo và không nhầm lẫn tiếng ồn với tiến trình; Chỉ sử dụng bộ kiểm tra ở cuối, một lần. AI là đối tác của bạn trong việc thiết kế thử nghiệm, nhưng quyết định “đủ tốt” là tùy thuộc vào bạn và bạn.
Nhiệm vụ ứng dụng
Đối với mô hình phân loại: (1) viết phân phối lớp, (2) xây dựng mô hình cơ sở phù hợp và đo điểm của nó, (3) đánh giá mô hình của bạn bằng xác thực chéo 5 lần và báo cáo giá trị trung bình và độ lệch chuẩn, (4) tính toán số liệu phù hợp với vấn đề (ví dụ PR-AUC) thay vì độ chính xác. Ghi lại xem mô hình của bạn có vượt trội hơn mô hình cơ sở một khoảng cách lớn mà không có sai lệch hay không.
danh sách kiểm tra
- [ ] Tôi đã chọn số liệu dựa trên loại vấn đề và bối cảnh kinh doanh.
- [ ] Tôi đã xây dựng một mô hình cơ sở và so sánh với nó.
- [ ] Tôi đã báo cáo giá trị trung bình và độ lệch bằng xác thực chéo.
- [ ] Tôi xác nhận rằng sự cải thiện lớn hơn sự sai lệch.
- [ ] Tôi đã chọn các siêu tham số bằng bộ xác thực.
- [ ] Tôi chỉ sử dụng bộ thử nghiệm một lần vào cuối.