Lợi nhuận:
- Khả năng lựa chọn và giải thích các số liệu phân loại và hồi quy (ma trận nhầm lẫn, độ chính xác/thu hồi/F1, MAE/RMSE/R²) theo mục đích của công việc
- Khả năng phát hiện việc học quá mức bằng cách so sánh điểm đào tạo và điểm kiểm tra, đồng thời đạt được hiệu suất đáng tin cậy với xác thực chéo
- Khả năng đánh giá xem mỗi mô hình có bổ sung giá trị thực hay không bằng cách so sánh nó với đường cơ sở
Thật dễ dàng để thiết lập một mô hình; Thật khó để đo lường một cách trung thực liệu nó có thực sự hoạt động hay không. Chủ đề của đơn vị này là kỹ năng quan trọng nhất của nhà khoa học dữ liệu: đánh giá mô hình bằng số liệu phù hợp, đạt được hiệu suất dự đoán đáng tin cậy và nắm bắt được cái bẫy nguy hiểm nhất: học quá nhiều (ghi nhớ). AI tính toán, diễn giải và so sánh các số liệu; nhưng con người có quyền quyết định số liệu nào phù hợp với doanh nghiệp của bạn và liệu mô hình có "đủ tốt" hay không. Một nhóm nhìn sai số liệu có thể nhầm một mô hình tồi trong nhiều tháng là “thành công”.
Tại sao độ chính xác là không đủ: ma trận nhầm lẫn
Số liệu đầu tiên bạn nghĩ đến khi phân loại là độ chính xác (độ chính xác - tổng tỷ lệ dự đoán đúng). Nhưng như chúng ta đã thấy ở Bài 6, độ chính xác sẽ bị sai lệch khi dữ liệu không cân bằng. Một khởi đầu tốt hơn là ma trận nhầm lẫn - một bảng chia các dự đoán thành bốn nhóm:
- Tích cực thực sự (TP): Chúng tôi gọi giả là những gì thực sự giả. (Tốt)
- Đúng tiêu cực (TN): Chúng tôi nói thực sự sạch sẽ. (Tốt)
- Dương tính giả (FP): Chúng tôi đã nhầm tưởng rằng sản phẩm sạch là giả. (Báo động giả)
- Âm tính giả (FN): Chúng tôi đã bỏ qua hàng giả và gọi nó là sạch. (Bỏ lỡ mối đe dọa)
Hai số liệu chính xuất phát từ bốn hộp này. Độ chính xác: "Có bao nhiêu thứ tôi gọi là giả thực sự là giả?" - quan trọng nếu chi phí báo động sai cao. Nhạy cảm (nhớ lại bằng tiếng Anh): "Tôi đã bắt được bao nhiêu hàng giả thật?" — quan trọng khi bỏ sót một mối đe dọa thì tốn kém. Cả hai thường xung đột với nhau: nếu bạn hạ thấp ngưỡng và nói "giả" nhiều hơn, khả năng thu hồi sẽ tăng nhưng độ chính xác sẽ giảm. Điểm F1 là điểm trung bình cân bằng (trung bình hài hòa) của hai điểm này.
Lưu ý: Câu trả lời cho câu hỏi "Số liệu nào quan trọng" là quyết định kinh doanh chứ không phải quyết định kỹ thuật. Bỏ sót một ca bệnh (tỷ lệ thu hồi thấp) trong sàng lọc ung thư là một thảm họa; Thật khó chịu khi gửi một email quan trọng vào thư rác (độ chính xác thấp) trong bộ lọc thư rác. Chi phí xác định số liệu.
Số liệu hồi quy
Nếu đầu ra là số thì các số liệu khác nhau sẽ được sử dụng. MAE (Lỗi tuyệt đối trung bình): ước tính sai lệch bao nhiêu so với mức trung bình thực tế, trong cùng một đơn vị (ví dụ: "trung bình chúng tôi sai 4.200 TL"). RMSE (Lỗi bình phương trung bình gốc): xử phạt các lỗi lớn nghiêm khắc hơn và nhạy cảm với các giá trị ngoại lệ. R² (R-bình phương - hệ số xác định): mức độ biến thiên trong mục tiêu mà mô hình giải thích (gần 1 là tốt, 0 là tệ như dự đoán giá trị trung bình, âm thậm chí còn tệ hơn).
Cái bẫy nguy hiểm nhất: học quá nhiều
Trang bị quá mức - trong đó mô hình ghi nhớ dữ liệu huấn luyện nhưng không thành công với dữ liệu mới - là lỗi phổ biến nhất trong khoa học dữ liệu. Dấu hiệu rất rõ ràng: mô hình hoạt động tốt trên tập huấn luyện (98%), kém trên tập kiểm tra (72%). Mô hình đã ghi nhớ tiếng ồn của mẫu cụ thể đó chứ không phải mẫu thực tế trong dữ liệu. Ngoài ra còn có điều ngược lại: trang bị chưa đầy đủ - mô hình kém trong cả quá trình đào tạo và kiểm tra vì quá đơn giản để nắm bắt được mẫu.
Các cách để chống lại việc học quá mức: đơn giản hóa mô hình, nhiều dữ liệu hơn, chính quy hóa — phanh toán học giúp mô hình không trở nên quá phức tạp — và quan trọng nhất là xác thực chéo.
Xác thực chéo: không tin tưởng một khung duy nhất
Một nhóm đào tạo/kiểm tra có thể may mắn hoặc không may mắn; Bạn có thể đạt điểm cao cho bài kiểm tra chỉ vì mẫu đó dễ. Xác thực chéo (viết tắt là CV) giải quyết vấn đề này. Hình thức phổ biến nhất là CV gấp k: dữ liệu được chia thành k phần (ví dụ: 5); Trong mỗi vòng thi có một phần là kiểm tra, phần còn lại là huấn luyện; cuộn này 5 lần và 5 điểm được tính trung bình. Vì vậy, bạn sẽ thấy hiệu suất dựa trên mức trung bình của nhiều lần chia tách chứ không phải một lần chia tách may mắn. Việc phân bổ điểm số cũng mang tính thông tin: điểm số rất dễ thay đổi (85% ở một tầng, 62% ở tầng kia) cho thấy mô hình không ổn định.
K-fold thông thường không được sử dụng trong chuỗi thời gian (rò rỉ tương lai); Thay vào đó, bạn thực hiện "chuỗi chuyển tiếp" (phân chia chuỗi thời gian): luôn rèn luyện về quá khứ và kiểm tra tương lai.
thước đo
Loại vấn đề
Khi nào nó quan trọng?
Độ chính xác
Phân loại
Nếu các lớp được cân bằng
Độ chính xác
Phân loại
Báo động sai là tốn kém
Độ nhạy (thu hồi)
Phân loại
Nếu bỏ lỡ thì đắt tiền
F1
Phân loại
Nếu cần sự cân bằng
MAE
hồi quy
Lỗi có thể hiểu được
RMSE
hồi quy
Nếu những sai lầm lớn là nghiêm trọng
R²
hồi quy
sức mạnh giải thích
ba trường hợp nhỏ
Trường hợp 1 - Ảo tưởng về độ chính xác cao. Một mô hình gian lận cho thấy độ chính xác 99,2% và nhóm đã ăn mừng. Nhìn vào ma trận nhầm lẫn, tỷ lệ thật: giả trong dữ liệu là 0,8%; người mẫu hầu như không bắt được hàng giả, chỉ nói "tất cả đều rõ ràng". Tỷ lệ thu hồi là 6%. Bài học: hãy nhìn vào số liệu chứ không phải độ chính xác.
Trường hợp 2 - Học tập quá mức tiềm ẩn. Một nhóm đã phân phối và tăng cường XGBoost lên 97% trên tập huấn luyện. Bộ kiểm tra là 69% nhưng chưa có ai xem. Mô hình bị sập trong quá trình sản xuất. Nếu xác thực chéo đã được thực hiện, sự khác biệt lớn giữa các lần gấp (học quá mức) sẽ được nhìn thấy ngay từ đầu. Bài học: hãy tin vào CV và điểm thi chứ không phải điểm học vấn.
Trường hợp 3 - Chia may mắn. Một nhà phân tích rất vui mừng khi nhận được 88% chỉ trong một lần chia tách. Khi đồng nghiệp của anh ấy làm CV gấp 5 lần, số điểm là 88%, 71%, 83%, 64%, 79% - mức trung bình là 77%, nhưng nó rất biến động. Mô hình không ổn định; Ngăn đơn đã gây hiểu lầm. Bài học: hãy nhìn vào giá trị trung bình và sự phân bổ của CV, chứ không phải từng thùng riêng lẻ.
Bốn mẫu có thể sao chép
1) Báo cáo phân loại đầy đủ:
Tôi đã đào tạo mô hình và bộ thử nghiệm. Tạo: ma trận nhầm lẫn, độ chính xác, thu hồi, F1 (cho mỗi lớp) và số lượng hỗ trợ. Tôi đang suy luận, nhưng điều đó tùy thuộc vào tôi: Tôi sẽ cho bạn biết số liệu nào là quan trọng. Lưu ý rằng độ chính xác có thể gây hiểu nhầm với dữ liệu không cân bằng.
2) Kiểm soát học tập quá mức:
In cạnh nhau điểm số của mô hình của tôi trong cả hai bộ ĐÀO TẠO và KIỂM TRA. Hãy tính toán sự khác biệt giữa chúng và cảnh báo vì sự khác biệt lớn là dấu hiệu của việc học quá nhiều. Nếu sự khác biệt lớn, hãy đề xuất chính quy hóa hoặc đơn giản hóa.
3) Xác thực chéo:
Thực hiện xác thực chéo 5 lần (đối với phân tầng, phân loại). In điểm, giá trị trung bình và độ lệch chuẩn của từng lần. Nếu điểm số rất biến động (tiêu chuẩn cao), hãy chỉ ra rằng mô hình không ổn định. Sử dụng quy trình để các phép biến đổi chỉ được học từ phần đào tạo ở mỗi lớp.
4) So sánh cơ bản:
Đặt số liệu của mô hình của tôi cạnh đường cơ sở DummyClassifier. Mô hình có đánh bại đáng kể đường cơ sở không? Nếu nó không vượt qua, hãy làm rõ rằng mô hình không thêm bất kỳ giá trị thực nào.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Mô hình của tôi có tốt không?
"Tốt" không được xác định; Không rõ số liệu nào, ngưỡng nào, đường cơ sở nào. AI có thể đưa ra một con số chính xác duy nhất và đánh lừa.
Lời nhắc mạnh mẽ:
Vai trò của bạn: trợ lý đánh giá. Phân loại, dữ liệu không cân bằng (12% dương). Ưu tiên: thu hồi (không thiếu mặt tích cực). Nhiệm vụ: (1) ma trận nhầm lẫn, (2) độ chính xác/thu hồi/F1, (3) trung bình CV và tiêu chuẩn phân tầng 5 lần, (4) So sánh đường cơ sở của DummyClassifier. Tập trung vào việc thu hồi và sự khác biệt cơ bản, chứ không phải độ chính xác. Bình luận, nhưng tôi đưa ra quyết định cuối cùng.
Ở đây, mức độ ưu tiên của số liệu, CV và điều kiện cơ bản đều rõ ràng.
Những lỗi thường gặp
- Tin tưởng vào độ chính xác trong dữ liệu không cân bằng. Độ chính xác 99% có thể không nắm bắt được tầng lớp thiểu số; Nhìn vào ma trận nhầm lẫn.
- Chỉ cần nhìn vào điểm học tập của bạn. Trình độ học vấn cao, điểm thi thấp là học quá nhiều; Luôn so sánh hai điểm số.
- Dựa vào một ngăn duy nhất. Phép chia may mắn là sai lầm; Nhìn vào giá trị trung bình và phân phối với xác nhận chéo.
- Không so sánh với đường cơ sở. Bạn không thể nói "tốt" nếu không biết liệu mô hình có đánh bại được một dự đoán ngu ngốc hay không.
- Sử dụng k-fold bình thường trên chuỗi thời gian. Nó rò rỉ tương lai; cần phải phân chia chuỗi thời gian.
Mẹo: Viết ba số bên cạnh mỗi mô hình: điểm đào tạo, điểm trung bình xác thực chéo và điểm cơ bản. Bộ ba này tiết lộ sơ lược về việc học quá nhiều (đào tạo >> CV) và đánh giá thấp (CV ≈ đường cơ sở).
Tóm lại
Xây dựng một mô hình thì dễ nhưng đánh giá nó một cách trung thực thì khó. Trong phân loại, ma trận nhầm lẫn, độ chính xác và thu hồi mang lại nhiều thông tin hơn độ chính xác; Chi phí của công việc quyết định cái nào là quan trọng. MAE, RMSE và R² được sử dụng trong hồi quy. Cái bẫy nguy hiểm nhất là học quá nhiều: luôn so sánh điểm tập luyện và điểm kiểm tra. Dựa vào giá trị trung bình và phân phối xác thực chéo, không phải một sự phân chia duy nhất; So sánh mọi thứ với đường cơ sở. AI tính toán tất cả những điều này, nhưng việc quyết định sử dụng số liệu nào là tùy thuộc vào con người.
Nhiệm vụ ứng dụng
Trích xuất ma trận nhầm lẫn, độ chính xác, thu hồi và F1 cho mô hình phân loại; Sau đó thực hiện xác thực chéo 5 lần và xem xét phân bổ điểm trên các lần. Cuối cùng, viết điểm đào tạo, điểm trung bình CV và điểm cơ bản cạnh nhau. Nhận xét trong một câu xem mô hình của bạn có đang học quá mức và vượt qua mức cơ bản hay không.
danh sách kiểm tra
- [ ] Tôi đã xem xét số liệu thực tế của công việc (độ chính xác/thu hồi/F1, v.v.) thay vì độ chính xác chưa?
- [ ] Tôi đã kiểm tra ma trận nhầm lẫn chưa?
- [ ] Tôi đã so sánh điểm đào tạo và điểm kiểm tra cũng như kiểm tra việc học thêm chưa?
- [ ] Tôi đã xem xét giá trị trung bình và phân phối bằng xác thực chéo chưa?
- [ ] Tôi đã so sánh mô hình với đường cơ sở chưa?