Lợi nhuận:
- Khả năng xác định chính xác giả thuyết khống, giá trị p, khoảng tin cậy và sức mạnh thống kê, đồng thời sử dụng trí tuệ nhân tạo trong việc lựa chọn và giải thích bài kiểm tra.
- Khả năng phân biệt đâu là giá trị p và đâu là giá trị p (không phải kích thước hiệu ứng, không phải xác suất chính xác) và hiểu tại sao cần phải hiệu chỉnh so sánh nhiều lần
- Khả năng nhận ra các nhận xét do trí tuệ nhân tạo đưa ra gây nhầm lẫn giữa ý nghĩa với tính trọng yếu và báo cáo chúng với mức độ ảnh hưởng và độ không chắc chắn
Công cụ thống kê được sử dụng nhiều nhất và bị hiểu lầm nhiều nhất là kiểm tra giả thuyết. Ý tưởng cơ bản rất đơn giản: chúng ta có một khẳng định (ví dụ: “giá trị trung bình của hai nhóm này là khác nhau”) và điều ngược lại của nó, một giả thuyết không (H0 - “thực sự không có sự khác biệt”). Bài kiểm tra đo lường mức độ phù hợp của dữ liệu với giả thuyết không. Trong phần này, chúng ta sẽ xem trí tuệ nhân tạo (AI) đang giúp việc lựa chọn và giải thích bài kiểm tra trở nên dễ dàng hơn như thế nào, nhưng tại sao những cạm bẫy xung quanh giá trị p lại phổ biến và nguy hiểm đến vậy. Hãy bắt đầu lại từ đầu: AI biết nên viết cú pháp kiểm tra nào; nhưng công việc của bạn là giải thích xem liệu giả định của bài kiểm tra có được thỏa mãn hay không và kết quả thực sự có ý nghĩa gì.
Giá trị p thực sự là gì?
Giá trị p là xác suất mà kết quả mà bạn quan sát được hoặc một kết quả cực đoan hơn sẽ xảy ra một cách tình cờ khi giả thuyết khống là đúng (tức là thực tế không có ảnh hưởng gì). Giá trị p nhỏ (0,05 là ngưỡng truyền thống) có nghĩa là "sẽ rất ngạc nhiên khi thấy dữ liệu đó nếu thực sự không có tác dụng"; Đây được coi là bằng chứng chống lại giả thuyết khống.
Bây giờ hãy làm rõ giá trị p không phải là gì - điều mà AI thường nhầm lẫn:
- Giá trị p không phải là xác suất để giả thuyết không đúng. p=0,03 không có nghĩa là "có xác suất 3% không ảnh hưởng".
- Giá trị p không cho biết quy mô của hiệu ứng. Một hiệu ứng rất nhỏ có thể mang lại giá trị p nhỏ trong một mẫu lớn.
- Giá trị p không chứng minh rằng phát hiện này là có ý nghĩa hoặc thực tế. “Đáng kể” là một thuật ngữ thống kê, “đáng kể” là một phán đoán.
- p>0,05 không có nghĩa là "không có tác dụng"; Nó có nghĩa là "chúng tôi không thể hiển thị hiệu ứng với dữ liệu này." Việc thiếu bằng chứng không phải là bằng chứng vắng mặt.
Thận trọng: Lỗi diễn giải AI phổ biến nhất là hiển thị từ “đáng kể” là “tác động đáng kể/mạnh/lớn”. Ý nghĩa thống kê và ý nghĩa thực tế là hai điều khác nhau; Luôn báo cáo hai điều này một cách riêng biệt.
Khoảng tin cậy và mức độ ảnh hưởng: thông tin phong phú hơn
Thay vì một giá trị p duy nhất, khoảng tin cậy mang lại nhiều thông tin hơn: nó đưa ra phạm vi giá trị hợp lý cho ước tính của bạn. Câu "Hiệu ứng 1.200, khoảng tin cậy 95% [300, 2.100]" thể hiện cả hướng, cường độ và độ không chắc chắn; "p<0,05" chỉ nói "còn xa số 0". Thực hành thống kê hiện đại không chỉ sử dụng giá trị p; khuyến nghị báo cáo với bộ ba kích thước hiệu ứng + khoảng tin cậy + giá trị p.
Sức mạnh thống kê và mẫu
Sức mạnh thống kê là xác suất phát hiện một hiệu ứng thực sự tồn tại (1 trừ đi xác suất mắc lỗi loại II, tức là "thiếu hiệu ứng thực tế"). Một nghiên cứu không đủ năng lực sẽ dễ gặp phải hai rủi ro: (1) bỏ sót những tác động thực sự (âm tính giả); (2) một số ít kết quả hóa ra lại có ý nghĩa quan trọng mang mức độ tăng cao—cái gọi là lời nguyền của người chiến thắng vì chỉ những dự đoán bị thổi phồng mới có thể vượt qua ngưỡng. Vì vậy, cách tốt nhất là tính toán công suất/mẫu trước khi phân tích. AI tạo mã cho tài khoản này; Bạn xác định quy mô hiệu ứng mục tiêu bằng lý thuyết.
Vấn đề so sánh nhiều
Khi thực hiện xét nghiệm, ngưỡng 0,05 có nghĩa là "5% nguy cơ dương tính giả". Nhưng nếu bạn thực hiện 20 bài kiểm tra, trung bình một bài sẽ cho kết quả p<0,05 một cách ngẫu nhiên, ngay cả khi tất cả chúng thực sự không hiệu quả. Đây được gọi là vấn đề so sánh nhiều. Xác suất dương tính giả tăng nhanh khi số lượng lớn các biến, nhóm nhỏ hoặc biến kết quả được kiểm tra. Giải pháp là sửa lại ngưỡng: Bonferroni (chia ngưỡng cho số lần kiểm tra - nghiêm ngặt), phương pháp Holm hoặc Stewamini-Hochberg kiểm soát tỷ lệ phát hiện sai (FDR). Rủi ro này càng trở nên lớn hơn trong thời đại AI, vì AI có thể thực hiện hàng chục bài kiểm tra trong vài giây - đây là chủ đề trực tiếp của đơn vị tiếp theo (p-hacking).
Bảng so sánh: giá trị p nói lên điều gì và không nói lên điều gì
biểu hiện
Có đúng không?
Mô tả
"p=0,02, xác suất không ảnh hưởng là 2%"
sai
p không phải là xác suất của H0
"p<0,05, hiệu quả lớn"
sai
p không biểu thị kích thước
"p=0,20, không có hiệu lực"
sai
Không thể hiện được không phải là vắng mặt
"p<0,05, có bằng chứng chống lại H0"
đúng
Thận trọng và đúng điểm
"Hiệu ứng 1.200 [300;2.100], p=0,01"
tốt nhất
Quy mô + sự không chắc chắn + bằng chứng
Bốn lời nhắc có thể sao chép
1. Chọn bài thi phù hợp:
Vai trò của bạn: trợ lý kiểm tra thống kê. Tôi muốn so sánh giá trị trung bình của hai nhóm độc lập (biến liên tục). Hãy cho tôi: thử nghiệm nào phù hợp (với các giả định của nó: tính quy tắc, đẳng thức của phương sai), phương án thay thế nếu giả định không được đáp ứng (ví dụ: Welch, Mann-Whitney) và mã R. Tôi sẽ chạy kết quả và kiểm tra các giả định.
2. Báo cáo chính xác giá trị p:
Báo cáo kết quả thử nghiệm bên dưới, nhưng QUY TẮC:- KHÔNG trình bày giá trị p dưới dạng "xác suất của H0" hoặc "kích thước hiệu ứng", - đảm bảo bao gồm kích thước hiệu ứng và khoảng tin cậy 95%, - viết riêng "có ý nghĩa" và "có ý nghĩa", - nếu p>0,05, KHÔNG nói "không có hiệu ứng", nói "chúng tôi không thể hiển thị". Đầu ra: [dán]
3. Tính toán công suất/mẫu:
Tôi đang lên kế hoạch cho một thử nghiệm: hai nhóm, kích thước hiệu ứng dự kiến (Cohen's d) ~ 0,4, công suất 0,80, alpha 0,05. Viết mã R tính toán cỡ mẫu cần thiết (gói pwr) và giải thích các rủi ro của một nghiên cứu năng lượng thấp (lời nguyền của người chiến thắng).
4. Hiệu chỉnh so sánh nhiều lần:
Tôi đã thực hiện 15 bài kiểm tra giả thuyết riêng biệt và tôi có giá trị p. Viết mã R áp dụng hiệu chỉnh Bonferroni và Benjamin-Hochberg (FDR), giải thích sự khác biệt giữa hai phương pháp và tóm tắt trong một câu tại sao tôi không nên tin vào p<0,05 trần.
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Kết quả của bài kiểm tra này có ý nghĩa không? Bình luận về kết quả.
Tuyên bố này bẫy AI trong hệ nhị phân “có ý nghĩa/không có ý nghĩa”; rất có thể sẽ tạo ra một câu gây nhầm lẫn giữa tầm quan trọng và tầm quan trọng, chẳng hạn như "vâng, nó rất quan trọng, tác động rất mạnh."
Lời nhắc mạnh mẽ:
Vai trò của bạn: trợ lý thống kê chu đáo. Giải thích kết quả nhưng: (1) đưa ra kích thước hiệu ứng + khoảng tin cậy 95% + giá trị p cùng nhau, (2) ý nghĩa riêng biệt với ý nghĩa, (3) p>0,05 trong "không thể hiển thị", (4) hỏi tôi đã làm bao nhiêu bài kiểm tra; Nếu có nhiều hơn một, hãy đề xuất hiệu chỉnh so sánh nhiều lần, (5) nhắc nhở rằng cần kiểm tra lại các giả định của thử nghiệm.
Sự khác biệt: lời nhắc mạnh mẽ thực thi báo cáo phong phú và bảo vệ khỏi bẫy giá trị p.
ba trường hợp nhỏ
Trường hợp 1 - “Ý nghĩa” không có ý nghĩa trong mẫu lớn. Một nhà phân tích nhận thấy sự khác biệt trung bình giữa hai nhóm là “rất có ý nghĩa” ở mức p<0,001 trong dữ liệu với 500.000 quan sát. Nhưng sự khác biệt chỉ là 0,3 điểm (trên 100) và thực tế là vô nghĩa. Mẫu khổng lồ khiến ngay cả sự khác biệt nhỏ nhất cũng trở nên "đáng kể". Khi mức độ ảnh hưởng được báo cáo, phát hiện này được cho là không đáng kể. Bài học: tầm quan trọng không phải là độ lớn; Nếu n lớn thì mọi khác biệt đều có ý nghĩa.
Trường hợp 2 - Ảo tưởng thử nghiệm nhiều lần. Một nhóm đã thử nghiệm 22 biến kết quả; Một trong số chúng hiển thị p=0,04 và được thông báo là "chúng tôi đã tìm thấy hiệu ứng". Với hiệu chỉnh Bonferroni, ngưỡng giảm xuống 0,05/22 = 0,0023; 0,04 không vượt qua ngưỡng này. Kết quả "có ý nghĩa" duy nhất có lẽ là tình cờ trong số 22 lần thử. Bài học: khi kiểm tra nhiều thì cần phải chỉnh sửa.
Trường hợp 3 - Sức mạnh kém và lời nguyền của người chiến thắng. Một nghiên cứu thí điểm nhỏ (n=15 mỗi nhóm) cho thấy tác động rất lớn (d=0,9) và đáng kể. Một nghiên cứu nhân rộng lớn đã giảm hiệu ứng xuống d = 0,2. Mẫu nhỏ chỉ cho phép đánh giá quá cao vượt qua ngưỡng. Bài học: Không thể tin cậy được với mức độ hiệu ứng đáng kể ở công suất thấp.
Những lỗi thường gặp
- Nhầm lẫn giữa ý nghĩa với tầm quan trọng/ tầm quan trọng. Hiệu ứng không lớn chỉ vì p nhỏ; Báo cáo kích thước hiệu ứng riêng biệt.
- Nhầm giá trị p với xác suất của H0. p không phải là “xác suất không ảnh hưởng”; là khác nhau về mặt khái niệm.
- Đọc p>0,05 là "không có hiệu lực". Việc không có mặt không phải là bằng chứng vắng mặt; Nêu rõ sự không chắc chắn.
- Không sửa cho nhiều thử nghiệm. Quá nhiều xét nghiệm tạo ra kết quả dương tính giả; Áp dụng Bonferroni/FDR.
- Bỏ qua sức mạnh. Tác động đáng kể trong mẫu nhỏ bị phóng đại; Tính toán công suất trước khi phân tích.
Mẹo: Trước khi viết một kết quả là “đáng kể”, hãy hỏi hai câu hỏi: “Tác động đó có thực sự đáng kể (mức độ lớn) không?” và “Tôi đã làm bao nhiêu bài kiểm tra trước khi tìm thấy kết quả này?” Câu hỏi thứ hai là phép thử lòng trung thực.
Tóm lại
Kiểm tra giả thuyết và giá trị p là những công cụ mạnh mẽ nhưng bị hiểu lầm. Giá trị p là xác suất nhìn thấy dữ liệu khi giả thuyết khống là đúng; Xác suất của H0 không phải là mức độ ảnh hưởng hay tầm quan trọng của phát hiện. Luôn báo cáo tầm quan trọng cùng với mức độ ảnh hưởng và khoảng tin cậy; Không đọc p>0,05 là "không có hiệu lực"; áp dụng hiệu chỉnh so sánh nhiều lần nếu bạn đã thực hiện nhiều bài kiểm tra; Hãy nhận biết nguy cơ tác động quá mức từ các nghiên cứu có năng suất thấp. AI tạo ra mã kiểm tra và bản thiết kế; Bạn có trách nhiệm phân biệt giữa ý nghĩa và tính trọng yếu cũng như kiểm tra các giả định.
Nhiệm vụ ứng dụng
So sánh giá trị trung bình giữa hai nhóm trong một tập dữ liệu. Yêu cầu AI thực hiện bài kiểm tra thích hợp (với các giả định của nó) và mã, chạy nó và kiểm tra các giả định. Báo cáo kết quả với ba thành phần: kích thước hiệu ứng, khoảng tin cậy 95%, giá trị p. Sau đó, hãy nghĩ xem bạn có thể thực hiện bao nhiêu so sánh khác nhau trên cùng một dữ liệu; Nếu bạn đã chạy nhiều xét nghiệm, hãy áp dụng hiệu chỉnh Bonferroni hoặc FDR và báo cáo nếu kết quả vẫn giữ nguyên. Cuối cùng, viết một bản đánh giá sức mạnh sơ bộ cho phân tích của bạn.
danh sách kiểm tra
- [ ] Tôi đã chọn bài kiểm tra với các giả định của nó và kiểm tra các giả định đó.
- [ ] Tôi đã báo cáo kết quả dưới dạng kích thước hiệu ứng + khoảng tin cậy + giá trị p.
- [ ] Tôi tách biệt “quan trọng” và “quan trọng”; Tôi không nghĩ p là xác suất của H0.
- [ ] Tôi viết p>0,05 là "chúng tôi không thể hiển thị nó" thay vì "không có hiệu lực".
- [ ] Tôi đã áp dụng hiệu chỉnh so sánh nhiều lần nếu tôi chạy nhiều thử nghiệm.
- [ ] Tôi đã đánh giá khả năng lấy mẫu; Tôi thận trọng về kích thước hiệu ứng ở công suất thấp.