Lợi nhuận:
- Khả năng chọn thử nghiệm phù hợp với loại và phân phối dữ liệu cũng như kiểm tra các giả định (tính quy phạm, phương sai)
- Khả năng hiểu ý nghĩa thực sự của giá trị p và báo cáo kết quả với mức độ ảnh hưởng và khoảng tin cậy
- Bảo vệ khỏi hack p bằng tính năng phân tách xác minh khám phá, hiệu chỉnh so sánh nhiều lần và báo cáo đầy đủ
Thử nghiệm đã kết thúc, dữ liệu đã có. Bây giờ chúng ta đang ở giai đoạn quan trọng nhất và sai lầm nhất: phân tích dữ liệu một cách chính xác và diễn giải kết quả một cách trung thực. Dữ liệu sinh học thường nhiễu, không ổn định và đa biến. Lựa chọn thử nghiệm không chính xác, vi phạm giả định tiềm ẩn và hack p vô thức (thử phân tích cho đến khi nó cho kết quả mong muốn) là những nguyên nhân chính gây ra cuộc khủng hoảng khả năng tái tạo trong tài liệu sinh học đã xuất bản. AI giúp bạn chọn bài kiểm tra phù hợp, kiểm tra các giả định và viết mã phân tích; nhưng tính toàn vẹn thống kê là trách nhiệm của bạn.
Trong phần này, chúng tôi sẽ đề cập đến các bài kiểm tra thống kê phổ biến, kiểm tra giả định và cách bảo vệ bạn khỏi hack p.
Lựa chọn bài kiểm tra phù hợp
Việc lựa chọn thử nghiệm phụ thuộc vào loại và phân phối dữ liệu. Trí tuệ nhân tạo sẽ giúp bạn đưa ra lựa chọn này, nhưng bạn không nên áp dụng nó một cách mù quáng:
- Hai nhóm, dữ liệu liên tục, phân phối chuẩn: T-test độc lập.
- Hai nhóm, không chuẩn: Mann-Whitney U (không tham số: không yêu cầu giả định phân phối).
- Nhiều hơn hai nhóm: ANOVA (phân tích phương sai) + kiểm tra hậu kiểm.
- Dữ liệu phân loại (số lượng): Kiểm tra chính xác Chi bình phương hoặc Fisher.
- Mối quan hệ: Tương quan (Pearson/Spearman) hoặc hồi quy.
Mẹo: Trực quan hóa dữ liệu trước khi chọn bài kiểm tra. Biểu đồ hoặc biểu đồ hộp ngay lập tức hiển thị tính quy phạm và các giá trị ngoại lệ mà phép thử t yêu cầu. “Biểu đồ trước, kiểm tra sau” là một thói quen tốt.
Kiểm tra các giả định
Mọi bài kiểm tra đều có những giả định ẩn. Kiểm định t giả định phân phối chuẩn và phương sai bằng nhau; Nếu những điều này bị vi phạm, kết quả sẽ bị sai lệch. AI viết mã để kiểm tra các giả định này:
Vai trò: Bạn là trợ lý thống kê sinh học. Nhiệm vụ: Viết mã kiểm tra các giả định của t-test trước khi so sánh hai nhóm dữ liệu: tính chuẩn tắc (Shapiro-Wilk), đẳng thức phương sai (Levene). Nếu giả định bị vi phạm, hãy cho tôi biết tôi nên tiếp tục thử nghiệm thay thế nào. Cung cấp mã Python kèm theo nhận xét.
Mã sẽ chuyển hướng bạn đến Mann-Whitney nếu trạng thái bình thường bị phá vỡ. Quy trình “kiểm tra trước, quyết định sau” này giúp bạn không thực hiện sai bài kiểm tra.
p-hacking và cách tự bảo vệ mình
p-hacking đang phân tích dữ liệu theo nhiều cách khác nhau cho đến khi p<0,05: thử các thử nghiệm khác nhau, loại bỏ có chọn lọc các ngoại lệ, thêm/xóa nhóm, báo cáo điều gì là "có ý nghĩa" trong số lượng lớn các biến. Đây là nguồn chính của những khám phá giả mạo. Các cách bảo vệ:
- Sửa trước kế hoạch phân tích (Bài 7).
- Báo cáo tất cả các bài kiểm tra, không chỉ những bài kiểm tra có ý nghĩa.
- Sửa nhiều so sánh (FDR/Bonferroni).
- Đưa ra kích thước hiệu ứng và khoảng tin cậy bên cạnh giá trị p.
- Khám phá và xác thực riêng biệt: Kiểm tra những gì bạn tìm thấy trong bộ khám phá trên một bộ độc lập.
Từng bước: phân tích trung thực
- Trực quan hóa dữ liệu (phân tán, ngoại lệ).
- Kiểm tra các giả định
- Thực hiện bài kiểm tra bạn đã xác định trước.
- Sửa nhiều so sánh.
- Báo cáo kích thước hiệu ứng + khoảng tin cậy.
- Viết rõ ràng những hạn chế.
Mẫu lời nhắc có thể sao chép
Trực quan hóa thông lượng: vẽ biểu đồ và sơ đồ hộp cho mỗi nhóm, gắn cờ các ngoại lệ. Sau đó diễn giải các cột normality.Data: [name]. Cung cấp mã Python kèm theo nhận xét.
Tôi muốn so sánh hai nhóm của tôi. Đặc điểm của dữ liệu: [loại, N, phân phối]. Thử nghiệm nào phù hợp? Kiểm tra các giả định, thực hiện kiểm tra, báo cáo kích thước hiệu ứng VÀ khoảng tin cậy 95% VỚI giá trị p.
Tôi đã thử nghiệm 15 gen khác nhau trong phân tích của mình. Đưa ra đoạn mã áp dụng hiệu chỉnh Bonferroni và Stewamini-Hochberg và giải thích sự khác biệt giữa hai phương pháp.
Dấu nhắc yếu / Dấu nhắc mạnh
Yếu: “Hai nhóm này có khác nhau không, làm t-test.”
Mạnh: "Tôi có hai nhóm (đối chứng n=18, điều trị n=20), biến phụ thuộc là hoạt động của enzyme (liên tục). Trước tiên, hãy hình dung sự phân bố và kiểm tra tính quy phạm với Shapiro-Wilk. Nếu bình thường, hãy áp dụng t-test, nếu không, Mann-Whitney. Báo cáo kết quả với giá trị p, kích thước hiệu ứng (Cohen's d hoặc xếp hạng-biserial) và khoảng tin cậy 95%. Giải thích bạn đã chọn xét nghiệm nào và tại sao."
Sự khác biệt: Lời nhắc mạnh mẽ có kiểu dữ liệu, số mẫu, kiểm tra giả định và yêu cầu báo cáo đầy đủ. Mô hình đi theo con đường đúng đắn thay vì áp dụng t-test một cách mù quáng.
ba trường hợp nhỏ
Trường hợp 1 - Bài kiểm tra sai: Một học sinh áp dụng bài kiểm tra t cho dữ liệu bị sai lệch đáng kể (không bình thường) và tìm thấy p=0,048. Khi trí tuệ nhân tạo thêm tính năng kiểm tra tính quy phạm, dữ liệu không xuất hiện bình thường; Với Mann-Whitney, p=0,11. Kết quả thực tế là vô nghĩa. Bài học: kiểm tra mà không kiểm tra giả định là sai lầm.
Trường hợp 2 - Loại bỏ giá trị ngoại lệ có chọn lọc: Một nhà nghiên cứu đã xóa hai điểm “ngoại lệ” để làm cho kết quả có ý nghĩa. Mô hình nhấn mạnh rằng việc loại bỏ ngoại lệ phải dựa trên quy tắc được xác định trước (ví dụ: phương pháp IQR) và được báo cáo; xóa tùy ý là p-hacking. Bài học: đặt trước quy tắc ngoại lệ.
Trường hợp 3 - Phục hồi kích thước hiệu ứng: Một nghiên cứu có p=0,001 nhưng kích thước hiệu ứng (d=0,1) gần như bằng không; mẫu lớn cho thấy sự khác biệt không đáng kể là có ý nghĩa. Khi trí tuệ nhân tạo báo cáo quy mô hiệu ứng, phát hiện này được cho là không có giá trị thực tế. Bài học: Chỉ vì p nhỏ không thành vấn đề.
biểu đồ so sánh
Trạng thái
cách tiếp cận đúng
Để tránh
dữ liệu bất thường
Kiểm tra phi tham số
Kiểm tra t bắt buộc
thử nghiệm đa
Áp dụng chỉnh sửa
P<0,05 thô
ngoại lệ
Quy tắc được xác định trước
xóa tùy ý
kết quả đáng kể
Kích thước hiệu ứng + CI
chỉ p
phát hiện tìm kiếm
Xác thực trên bộ độc lập
Hoàn thiện trong một bộ
Những lỗi thường gặp
- Kiểm tra không kiểm soát được giả thuyết: Ý nghĩa giả với việc kiểm tra sai.
- p-hacking: Thử phân tích cho đến khi cho kết quả mong muốn.
- Chỉ báo cáo giá trị p: Bỏ qua kích thước hiệu ứng và khoảng tin cậy.
- Không sửa cho nhiều so sánh: Dương tính giả.
- Nhảy nhân quả: Suy ra quan hệ nhân quả từ mối tương quan.
Thận trọng: AI sẽ không "tạo ra" kết quả như bạn mong muốn nhưng sẽ vui vẻ viết mã cho bài kiểm tra sai nếu bị đánh lừa. Bạn có tính toàn vẹn về mặt thống kê: báo cáo tất cả các thử nghiệm, lập kế hoạch phân tích trước, không bao giờ bỏ lỡ quy mô hiệu ứng. Làm việc với một nhà thống kê sinh học để phân tích trước khi xuất bản.
ý nghĩa thực sự của giá trị p
Khái niệm bị hiểu lầm nhiều nhất trong sinh học là giá trị p. Giá trị p không phải là "xác suất của giả thuyết là đúng"; Đó là "xác suất nhìn thấy sự khác biệt lớn hoặc cực đoan hơn những gì bạn quan sát được, trong khi thực tế không có sự khác biệt nào cả." Sự khác biệt tinh tế nhưng quan trọng này là chìa khóa để không phóng đại kết quả. p=0,03 không có nghĩa là "hiệu ứng thực tế là 97%". Khi nhờ AI diễn giải một kết quả, hãy kiểm tra xem nó có sử dụng đúng định nghĩa này hay không; Mô hình đôi khi có thể lặp lại cách hiểu sai thông thường.
Khoảng tin cậy (CI) thường mang lại nhiều thông tin hơn giá trị p vì nó cho thấy mức độ và độ không chắc chắn của hiệu ứng cùng nhau. “Chênh lệch 2,4 lần (KTC 95%: 1,8-3,1)” nói lên nhiều điều hơn “p<0,05”: cả hướng của hiệu ứng, cường độ của nó và cách đo lường chính xác. Làm nổi bật GA trong báo cáo của bạn.
Sử dụng định nghĩa đúng về giá trị p khi diễn giải kết quả của tôi. Tránh những tuyên bố không chính xác như "xác suất của hiệu ứng là đúng". Thay vào đó, hãy giải thích ý nghĩa thực tế về mức độ ảnh hưởng và khoảng tin cậy 95%. Kết quả: [dữ liệu]
Dữ liệu tương quan, quan hệ nhân quả và quan sát
Hầu hết dữ liệu sinh học đều mang tính quan sát: bạn thấy thứ gì đó thay đổi với thứ khác, nhưng bạn không thể thấy nguyên nhân gây ra cái gì. Câu “biểu hiện gen X tương quan với bệnh tật” không có nghĩa là X gây bệnh; Bệnh có thể làm tăng X hoặc yếu tố thứ ba có thể ảnh hưởng đến cả hai. Quan hệ nhân quả chỉ có thể được thiết lập thông qua thử nghiệm can thiệp (thay đổi X và đo lường kết quả). AI có thể vô tình sử dụng ngôn ngữ nhân quả (“nguyên nhân”, “dẫn đến”) trong văn bản của bạn; xem xét từng câu kết luận từ góc độ này, thể hiện những phát hiện quan sát bằng ngôn ngữ tương quan (“tương quan”, “khác nhau”).
Tách dữ liệu ghép nối và độc lập
Sự khác biệt thường bị bỏ qua nhất trong việc lựa chọn thử nghiệm là các mẫu độc lập hay theo cặp. Nếu bạn thực hiện các phép đo trước và sau từ cùng một cá nhân (ví dụ: giá trị máu của cùng một bệnh nhân trước và sau khi điều trị), các phép đo này sẽ không độc lập; Một bài kiểm tra cặp là cần thiết. Việc sử dụng phép thử t hai mẫu độc lập ở đây sẽ loại bỏ thông tin trùng khớp trong dữ liệu và giảm sức mạnh; Nó thậm chí có thể đảo ngược kết quả. Quy tắc rất đơn giản: "Hai phép đo này có đến từ cùng một đơn vị sinh học không?" Nếu câu trả lời là có, bài kiểm tra ghép đôi (kiểm tra t-test ghép đôi hoặc bài kiểm tra xếp hạng có chữ ký Wilcoxon) sẽ được sử dụng, nếu không, bài kiểm tra độc lập sẽ được sử dụng. Khi bạn yêu cầu trí tuệ nhân tạo thực hiện các bài kiểm tra, hãy đảm bảo chỉ định cấu trúc khớp dữ liệu của bạn; Nếu bạn không chỉ định, mô hình thường giả định tính độc lập và đề xuất thử nghiệm sai.
Tôi có hai bộ số đo. Quan trọng: các phép đo này được thực hiện trước/sau CÙNG các cá nhân (được ghép nối). Chọn thử nghiệm phù hợp có tính đến trận đấu này (thử nghiệm t ghép đôi hoặc Wilcoxon), kiểm tra các giả định của bạn và báo cáo quy mô hiệu ứng. Đừng cho rằng sự độc lập.
Tóm lại
Phân tích dữ liệu chính xác; chọn thử nghiệm thích hợp cho loại dữ liệu, kiểm tra các giả định, sửa nhiều so sánh và báo cáo mức độ ảnh hưởng và khoảng tin cậy bên cạnh giá trị p. Mối nguy hiểm lớn nhất là hack p; Thuốc giải độc là một kế hoạch phân tích trước, báo cáo đầy đủ và phân tách xác minh khám phá. Trí tuệ nhân tạo là một công cụ hỗ trợ mạnh mẽ trong việc lựa chọn bài kiểm tra và kiểm tra giả định, nhưng tính toàn vẹn thống kê thuộc về con người.
Nhiệm vụ ứng dụng
Lấy một tập dữ liệu (dữ liệu của riêng bạn hoặc mẫu) với hai nhóm. Trước tiên, hãy sử dụng mã viết AI để trực quan hóa dữ liệu và kiểm tra tính quy phạm. Tùy thuộc vào kết quả, áp dụng thử nghiệm thích hợp (t-test hoặc Mann-Whitney) và báo cáo mức độ ảnh hưởng và khoảng tin cậy cùng với giá trị p. Sau đó so sánh tác động của nhiều phép so sánh không hiệu chỉnh và có hiệu chỉnh đối với kết quả.
danh sách kiểm tra
- [ ] Tôi đã trực quan hóa dữ liệu trước khi thử nghiệm.
- [ ] Tôi đã kiểm tra các giả định kiểm tra (tính quy phạm, phương sai).
- [ ] Tôi đã chọn bài kiểm tra phù hợp, tôi không áp dụng bài kiểm tra t một cách mù quáng.
- [ ] Tôi đã sửa nhiều lỗi so sánh.
- Tôi đã báo cáo giá trị p [] cũng như kích thước hiệu ứng và khoảng tin cậy.
- [ ] Tôi đã sửa trước kế hoạch phân tích và tránh bị hack.