Lợi nhuận:
- Khả năng khám phá sự phân bố, tâm, độ trải và sự bất thường của các biến bằng các biểu đồ thích hợp (biểu đồ, biểu đồ hình hộp, biểu đồ phân tán).
- Khả năng diễn giải mối tương quan một cách chính xác và đọc nó cùng với biểu đồ phân tán mà không nhầm lẫn nó với quan hệ nhân quả
- Khả năng hiểu rằng số liệu thống kê tóm tắt có thể gây hiểu nhầm (bài học Anscombe) và phát triển các giả thuyết xác định hướng mô hình hóa.
Trước khi xây dựng mô hình, cần phải biết dữ liệu. Giống như bác sĩ không kê đơn thuốc mà không kiểm tra bệnh nhân, nhà khoa học dữ liệu không xây dựng mô hình mà không "kiểm tra" dữ liệu. Việc kiểm tra này được gọi là phân tích dữ liệu thăm dò (viết tắt là EDA): đó là giai đoạn khám phá sự phân bổ, các mối quan hệ, những điều bất ngờ và cạm bẫy của dữ liệu một cách trực quan và đồ họa. Mục đích của EDA là tạo ra các giả thuyết, phát hiện lỗi và xác định hướng mô hình hóa. Trí tuệ nhân tạo là một trợ thủ đắc lực trong giai đoạn này: nó gợi ý biểu đồ nào phù hợp, viết mã, diễn giải phân phối. Nhưng một người sẽ quyết định, bằng kiến thức lĩnh vực của mình, liệu mô hình mà anh ta nhìn thấy là có thật hay chỉ là sự trùng hợp ngẫu nhiên.
EDA tìm kiếm điều gì?
EDA tìm kiếm câu trả lời cho bốn câu hỏi. Phân phối: Mỗi biến được phân bổ như thế nào - nó đối xứng, lệch hay hai đỉnh? Xu hướng trung tâm và mức chênh lệch: Giá trị trung bình, trung vị, độ lệch chuẩn là gì? Mối quan hệ: Các biến có liên quan với nhau như thế nào? Bất thường: Có giá trị, khoảng trống, nhóm không mong muốn không? Bốn câu hỏi này xác định tính năng nào sẽ hoạt động và mô hình nào phù hợp.
Hãy xác định một số khái niệm cơ bản. Biểu đồ là một biểu đồ chia các giá trị của một biến số thành các khoảng và cho biết có bao nhiêu quan sát trong mỗi khoảng; Đó là cách nhanh nhất để xem sự phân phối. Độ lệch là sự dịch chuyển của phân phối theo một hướng; Các biến số như thu nhập bị lệch sang phải (đa số thấp, số ít rất cao). Biểu đồ hình hộp hiển thị nhanh trung vị, tứ phân vị và các giá trị ngoại lệ. Biểu đồ phân tán cho thấy mối quan hệ của hai biến số với một đám mây điểm.
Tương quan: có mối quan hệ nhưng hãy cẩn thận
Tương quan - thước đo cách hai biến di chuyển cùng nhau; một số từ -1 đến +1 — là công cụ được sử dụng nhiều nhất và bị hiểu lầm nhiều nhất của EDA. +1 nghĩa là đồng tăng hoàn hảo, -1 nghĩa là mối quan hệ nghịch đảo hoàn hảo, 0 nghĩa là không có mối quan hệ tuyến tính. Có hai cái bẫy lớn. Đầu tiên, quy luật nổi tiếng: mối tương quan không phải là quan hệ nhân quả. Các trường hợp nghẹt thở tăng theo doanh số bán kem; không phải vì cái này dẫn đến cái kia, mà bởi vì mùa hè (biến thứ ba ẩn) kích hoạt cả hai. Thứ hai, mối tương quan chỉ đo lường mối quan hệ tuyến tính; Nó có thể chỉ ra mối quan hệ chặt chẽ nhưng có đường cong gần bằng 0. Vì vậy, khi xem xét mối tương quan, hãy nhớ xem xét biểu đồ phân tán.
Thận trọng: Khi AI đưa ra con số tương quan, nó có thể chuyển sang ngôn ngữ nhân quả như “A tăng B”. Điều này thật nguy hiểm. Tương quan chỉ biểu thị sự chuyển động cùng nhau; Chỉ có kinh nghiệm, kiến thức về lĩnh vực và suy luận cẩn thận mới xác định được lý do.
Bộ tứ Anscombe: sao không chỉ nhìn vào con số
Có một ví dụ nổi tiếng trong thống kê: bộ tứ Anscombe. Bốn bộ dữ liệu khác nhau có giá trị trung bình gần như giống nhau, cùng phương sai và cùng mối tương quan (0,82); Nhưng khi vẽ biểu đồ, chúng trông hoàn toàn khác nhau - một đường thẳng, một đường cong, một đường như đám mây bị kéo bởi một ngoại lệ duy nhất. Bài học rất rõ ràng: số liệu thống kê tóm tắt gây hiểu lầm, việc nhìn vào biểu đồ là điều bắt buộc. AI có thể cung cấp cho bạn mức trung bình và mối tương quan, nhưng việc tin tưởng vào những con số đó mà không nhìn thấy biểu đồ sẽ rơi vào bẫy Anscombe.
Bảng dưới đây tóm tắt biểu đồ nào phù hợp với câu hỏi nào:
Câu hỏi
đồ họa phù hợp
Những gì cho thấy
Phân phối của một biến duy nhất
Biểu đồ / KDE
Hình dạng, độ lệch, số đỉnh
Trung tâm và ngoại lệ
Sơ đồ hộp
Trung vị, tứ phân vị, ngoại lệ
Mối quan hệ của hai số
biểu đồ tán xạ
Hướng, cường độ, độ cong
So sánh danh mục
biểu đồ thanh
Sự khác biệt giữa các nhóm
thay đổi theo thời gian
biểu đồ đường
Xu hướng, tính thời vụ
Mối quan hệ đa biến
Bản đồ nhiệt tương quan
Ma trận quan hệ tổng quát
Nghịch lý Simpson: dữ liệu tổng hợp có thể nói dối
Một cái bẫy lén lút trong EDA cần lưu ý là nghịch lý của Simpson: một mẫu có thể hiển thị một hướng khi tất cả dữ liệu được kiểm tra cùng nhau, nhưng ngược lại khi dữ liệu được chia thành các nhóm con có ý nghĩa. Ví dụ điển hình: tỷ lệ chấp nhận chung đối với ứng viên nữ tại một trường đại học dường như thấp hơn so với nam giới; Nhưng khi xét theo từng phòng ban, tỷ lệ chấp nhận của phụ nữ ở hầu hết các phòng ban đều cao hơn nam giới. Từ đâu? Phụ nữ nộp đơn vào các bộ phận có tính cạnh tranh cao hơn (tỷ lệ chấp nhận thấp hơn); Số kết hợp lưu trữ biến ẩn này. Bài học rất rõ ràng: khi nhìn vào tổng hoặc trung bình, hãy nhớ kiểm tra xem con số đó có kể cùng một câu chuyện hay không khi chia thành các nhóm nhỏ có ý nghĩa (phân đoạn, giai đoạn, kênh). Khi AI cung cấp cho bạn tỷ lệ tổng hợp, việc hỏi “tỷ lệ đó có còn hợp lệ khi bạn phân đoạn nó không” sẽ sớm nhận ra hầu hết các kết quả sai lệch.
ba trường hợp nhỏ
Trường hợp 1 - Hai ngọn đồi ẩn. Một nhà phân tích nhận thấy độ tuổi trung bình của khách hàng là 41 và báo cáo đó là "đám đông trung niên". Nhưng biểu đồ cho thấy hai đỉnh: nhóm tuổi 22-28 và 55-62. Con số trung bình 41 thực ra không đại diện cho ai cả. Bài học: vẽ đồ thị phân phối trước khi tin cậy giá trị trung bình.
Trường hợp 2 - Tương quan giả. Một nhóm đã tìm thấy mối tương quan 0,78 giữa “chi tiêu quảng cáo” và “doanh số bán hàng” và tăng gấp đôi ngân sách. Tuy nhiên, điều đã kích hoạt cả hai đều là các chiến dịch theo mùa; trong khoảng thời gian không có chiến dịch, mối quan hệ giảm xuống còn 0,10. Quảng cáo bổ sung 340 nghìn TL không mang lại lợi nhuận như mong đợi. Bài học: nhầm lẫn mối tương quan với quan hệ nhân quả là rất tốn kém.
Trường hợp 3 - Đường được vẽ bởi người đối lập đơn độc. Một phân tích bất động sản cho thấy mối quan hệ chặt chẽ giữa mét vuông và giá cả (r=0,80). Khi vẽ biểu đồ phân tán, gần như toàn bộ mối quan hệ được tạo ra bởi một biệt thự sang trọng trị giá 12 triệu TL; Khi điểm đó bị loại bỏ, mối tương quan giảm xuống còn 0,31. Bài học: luôn đọc mối tương quan cùng với biểu đồ phân tán.
Bốn mẫu có thể sao chép
1) Tóm tắt EDA tự động:
Tôi có gấu trúc df. Viết mã tạo ra: (1) df.info() và df.describe(), (2) biểu đồ cho mỗi cột số, (3) số đếm cho mỗi cột phân loại. Đừng bình luận, chỉ cần tạo mã khám phá; Tôi giải thích các mô hình.
2) Tương quan + trực quan (có cảnh báo về quan hệ nhân quả):
Viết mã vẽ ma trận tương quan và bản đồ nhiệt cho các cột số. Đồng thời vẽ biểu đồ phân tán của 3 cặp có mối tương quan cao nhất. Thêm một dòng nhận xét vào đầu ra nhắc nhở bạn rằng mối tương quan không hàm ý quan hệ nhân quả. Đừng đưa ra tuyên bố nhân quả.
3) Chẩn đoán phân bố:
Đối với cột "thu nhập_tl": viết mã tạo biểu đồ, biểu đồ hộp, giá trị độ lệch và so sánh trung vị/trung bình. Tôi sẽ giải thích liệu phân phối có bị sai lệch hay không; chỉ cần đưa mã.
4) So sánh phân khúc:
So sánh khách hàng theo "kênh" (web/di động): viết mã tạo biểu đồ hộp về số lượng trung bình, số lượng trung bình, số lượng đơn đặt hàng và số lượng phân bổ cho mỗi kênh. Đề xuất thử nghiệm nào phù hợp với ý nghĩa thống kê về sự khác biệt giữa hai kênh, nhưng quyết định tùy thuộc vào tôi.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Tìm điều gì đó thú vị trong dữ liệu này.
“Thú vị” là không xác định; AI không nhìn thấy dữ liệu nên nó bịa đặt hoặc đưa ra những tuyên bố chung chung. Không có phương hướng, không có biến số, không có mục đích.
Lời nhắc mạnh mẽ:
Vai trò của bạn: Trợ lý EDA. Các cột df: tuổi (int), thu nhập_tl (float), thành phố (danh mục), kênh (web/di động), số tiền (float). Mục đích: khám phá các yếu tố ảnh hưởng đến “số lượng”. Nhiệm vụ: (1) mã vẽ biểu đồ phân bổ số tiền, (2) biểu đồ phân phối giữa số tiền, độ tuổi và thu nhập_tl, (3) biểu đồ hộp số tiền trong phân tích kênh. Đưa ra yêu cầu bồi thường nhân quả; Chỉ cần tạo mã khám phá và tôi sẽ giải thích mẫu.
Ở đây, mục đích, biến số và giới hạn của việc “đòi nhân quả” đều rõ ràng.
Những lỗi thường gặp
- Chỉ dựa vào số liệu thống kê tóm tắt. Như bộ tứ Anscombe cho thấy, cùng một giá trị trung bình ẩn chứa những phân bố rất khác nhau; xem biểu đồ.
- Nhầm lẫn mối tương quan với quan hệ nhân quả. Hợp tác không có nghĩa là cái này dẫn đến cái kia; Cẩn thận với các biến ẩn.
- Nhìn vào mối tương quan mà không có biểu đồ phân tán. Một ngoại lệ hoặc đường cong duy nhất sẽ làm sai lệch con số.
- Tóm tắt phân phối hai đỉnh/lệch với giá trị trung bình. Mức trung bình có thể không đại diện cho bất cứ ai.
- Bỏ qua EDA và đi thẳng vào mô hình. Dữ liệu không được công nhận có nghĩa là mô hình mù.
Mẹo: Với mỗi tập dữ liệu mới, hãy dành 30 phút đầu tiên chỉ để vẽ biểu đồ: biểu đồ của từng số, biểu đồ phân tán của các cặp quan trọng, biểu đồ thanh của danh mục. 30 phút này sẽ ngăn ngừa các lỗi lập mô hình trong tương lai trong những ngày tới.
Tóm lại
EDA là giai đoạn tìm hiểu dữ liệu trước khi xây dựng mô hình và tìm kiếm câu trả lời cho bốn câu hỏi: phân phối, trải rộng trung tâm, mối quan hệ và sự bất thường. Số liệu thống kê tóm tắt có thể gây hiểu nhầm; nhìn vào đồ thị là phải (Bài giảng Anscombe). Mối tương quan là một công cụ mạnh mẽ, nhưng quan hệ nhân quả thì không và chắc chắn nên được đọc cùng với biểu đồ phân tán. AI là một công cụ tăng tốc tuyệt vời cho việc đề xuất đồ họa và viết mã; Nhưng mọi người giải thích bằng kiến thức lĩnh vực của mình xem mô hình họ nhìn thấy là có thật hay chỉ là sự trùng hợp ngẫu nhiên.
Nhiệm vụ ứng dụng
Chọn một tập dữ liệu và chỉ thực hiện EDA: trích xuất biểu đồ của ít nhất ba biến số, biểu đồ phân tán của hai cặp biến và bản đồ nhiệt tương quan. Tìm ít nhất một “điều bất ngờ” (chẳng hạn như phân bố có hai đỉnh, một ứng cử viên cho mối tương quan giả, một mối quan hệ bị thu hút bởi một ngoại lệ duy nhất) và giải thích nó trong một câu. Viết mà không đưa ra bất kỳ tuyên bố nhân quả nào.
danh sách kiểm tra
- [ ] Tôi đã vẽ đồ thị phân bố của từng biến số chưa?
- [ ] Tôi đã xem xét mối tương quan với biểu đồ phân tán chưa?
- [ ] Tôi đã tách biệt mối quan hệ nhân quả và mối tương quan chưa?
- [ ] Chẳng phải tôi đã nhận thấy sự phân bố bị lệch hoặc có hai đỉnh và tin tưởng một cách mù quáng vào giá trị trung bình sao?
- [ ] Tôi đã rút ra được ít nhất một khía cạnh/giả thuyết mô hình hóa từ những phát hiện EDA của mình chưa?