Viết báo cáo, giao tiếp và đạo đức: Trình bày kết quả và ranh giới giao tiếp

Lợi nhuận:

• Khả năng báo cáo kết quả thực nghiệm cho đối tượng mục tiêu (học thuật, chính sách, quản lý) với sự hỗ trợ của trí tuệ nhân tạo, bằng ngôn ngữ trung thực và rõ ràng
• Khả năng viết đầy đủ các kết luận, hạn chế và tuyên bố đạo đức (bảo mật dữ liệu, xung đột lợi ích, tiết lộ việc sử dụng trí tuệ nhân tạo) và tránh trình bày sai lệch
• Khả năng của trí tuệ nhân tạo trong việc nhận ra các bản thảo báo cáo tạo ra ngôn ngữ phóng đại, phiến diện hoặc nhân quả và duy trì trách nhiệm đối với văn bản và tuyên bố cuối cùng thuộc về nhà nghiên cứu.

Thi học phần

1. Một nhà nghiên cứu hỏi 'Hệ số tương quan giữa thất nghiệp và lạm phát ở Türkiye giữa năm 2015 và 2020 là gì?' mà không cung cấp bất kỳ dữ liệu nào cho trí tuệ nhân tạo. anh ta hỏi và viết thẳng số 0,62 vào bài viết của mình. Sai lầm cơ bản trong cách tiếp cận này là gì?

• A) Mong đợi số liệu thống kê cụ thể từ trí tuệ nhân tạo mà không đưa ra dữ liệu đã được xác minh; ✔ Sử dụng một số có thể đã được tạo ra mà không cần xác minh
• B) Hệ số tương quan không bao giờ được sử dụng trong một bài viết.
• C) Không thể tính được mối tương quan giữa thất nghiệp và lạm phát
• D) Trí tuệ nhân tạo chỉ có thể truy cập dữ liệu sau năm 2020

Giải thích: Mô hình ngôn ngữ AI không thể tạo số liệu thống kê nếu không truy cập vào tập dữ liệu; Con số anh đưa ra rất có thể là ảo giác (bịa đặt). Các hệ số, tỷ lệ và kết quả kiểm tra phải được tính toán từ dữ liệu đã được xác minh của chính nhà nghiên cứu, không được lấy từ bộ nhớ của người mẫu.

2. Việc thiếu dữ liệu “không bị thiếu ngẫu nhiên” (MNAR) có nghĩa là gì và tại sao nó lại quan trọng?

• A) Sự thiếu hụt là do bản thân giá trị không quan sát được; Đó là lý do tại sao việc phân công đơn giản có thể tạo ra sự thiên vị ✔
• B) Dữ liệu biến mất hoàn toàn ngẫu nhiên và không tạo ra bất kỳ sai lệch nào.
• C) Dữ liệu bị thiếu phải luôn được giải quyết bằng cách xóa hàng.
• D) Việc thiếu dữ liệu không ảnh hưởng đến việc phân tích dưới bất kỳ hình thức nào.

Giải thích: Trong trường hợp MNAR (Thiếu không ngẫu nhiên), bản thân việc thiếu sót phụ thuộc vào độ lớn của giá trị không được quan sát (ví dụ: những người có thu nhập cao không báo cáo thu nhập của họ). Trong trường hợp này, việc xóa đơn giản hoặc gán trung bình sẽ cho kết quả sai lệch; Cơ chế của sự thiếu hụt phải được mô hình hóa. Phương pháp gán do trí tuệ nhân tạo gợi ý không nên áp dụng một cách mù quáng nếu không biết cơ chế này.

3. Một nhà phân tích yêu cầu AI tạo biểu đồ thanh và AI bắt đầu trục y ở 40 thay vì 0. Sự khác biệt thực tế là 2% giữa hai nhóm trông rất lớn trên biểu đồ. Cách tiếp cận đúng đắn là gì?

• A) Bắt đầu trục từ đầu hoặc thay đổi loại biểu đồ; ✔ để hiển thị kích thước thực sự của sự khác biệt mà không gây hiểu lầm
• B) Sử dụng biểu đồ vì AI đưa ra lựa chọn tốt nhất
• C) Bắt đầu trục ở số 45 để tạo ra sự khác biệt lớn hơn nữa
• D) Không bao giờ sử dụng hình ảnh thay vì biểu đồ thanh

Giải thích: Trong biểu đồ thanh, trục nét đứt (trục y không bắt đầu từ 0) gây hiểu lầm bằng cách phóng đại những khác biệt nhỏ. Trong hình dung trung thực, trục của biểu đồ thanh phải bắt đầu từ số 0 hoặc sự khác biệt phải được nêu rõ ràng một cách có ý thức. Trách nhiệm của nhà phân tích là xác minh hình ảnh và sửa nó nếu cần thiết.

4. Thực tế là một hệ số 'có ý nghĩa' (p<0,05) trong hồi quy tuyến tính thường bị trình bày sai trong cách giải thích của trí tuệ nhân tạo như thế nào?

• A) Trình bày phóng đại tầm quan trọng vì tác động lớn và quan trọng hoặc quan hệ nhân quả được xác lập ✔
• B) Ý nghĩa luôn chỉ ra rằng tác động là nhỏ
• C) p<0,05 chứng tỏ hệ số đó hoàn toàn đúng
• D) Các hệ số quan trọng không bao giờ được báo cáo.

Giải thích: Ý nghĩa thống kê liên quan đến sức mạnh của bằng chứng cho thấy tác động này khác 0; Nó không có nghĩa là ảnh hưởng đó lớn, quan trọng hay có tính nhân quả. AI thường trình bày từ 'đáng kể' là 'tác động đáng kể/mạnh mẽ'. Nhà nghiên cứu cũng nên đánh giá mức độ ảnh hưởng, khoảng tin cậy và bối cảnh.

5. Thuật ngữ “p-hacking” ám chỉ điều gì và tại sao AI có thể khiến việc này trở nên dễ dàng hơn?

• A) Thử nhiều phân tích cho đến khi có ý nghĩa; AI thực hiện việc này rất nhanh, làm tăng rủi ro ✔
• B) Phân tích dữ liệu một lần và theo kế hoạch định trước
• C) mở rộng mẫu để tăng giá trị p
• D) Chỉ báo cáo số liệu thống kê mô tả

Giải thích: p-hacking đang thử các biến, mẫu con, phép biến đổi hoặc mô hình khác nhau cho đến khi xuất hiện một kết quả có ý nghĩa; điều này tạo ra những phát hiện giả mạo dựa trên cơ hội. Vì AI có thể thử hàng chục biến thể mô hình trong vài giây nên nó có thể tăng tốc độ hack mà không cần có kế hoạch trung thực. Phòng thủ; đăng ký trước, kế hoạch phân tích cố định và hiệu chỉnh nhiều so sánh.

6. Tại sao việc tìm hồi quy R bình phương cao giữa hai chuỗi thời gian không dừng (căn đơn vị) có thể gây hiểu nhầm?

• A) Hồi quy giả có thể xảy ra do xu hướng chung; ✔ Sản lượng bình phương R cao không có mối quan hệ thực sự
• B) Bình phương R cao luôn chứng tỏ mối quan hệ nhân quả chặt chẽ.
• C) Chuỗi không dừng hoàn toàn không thể đưa vào hồi quy.
• D) Bình phương R không thể tính được theo chuỗi thời gian

Giải thích: Nếu không có mối quan hệ đồng liên kết chung giữa các chuỗi không dừng, hồi quy giả có thể tạo ra bình phương R cao và hệ số có ý nghĩa chỉ do xu hướng chung; trong khi không có mối quan hệ thực sự. Do đó, việc kiểm tra tính dừng và nghiệm đơn vị nên được thực hiện trước tiên và nếu cần thiết, nên kiểm tra sự khác biệt hoặc kiểm tra sự đồng liên kết.

7. Giả định cơ bản nào dựa trên tính xác thực của thiết kế Sự khác biệt trong sự khác biệt?

• A) Giả định xu hướng song song: các nhóm sẽ đi theo cùng một hướng nếu không có sự can thiệp ✔
• B) Nhóm điều trị và nhóm đối chứng lúc đầu hoàn toàn giống nhau
• C) Phân bố chuẩn của mẫu
• D) Biến không chứa dữ liệu bị thiếu

Giải thích: DiD giả định rằng nếu không có sự can thiệp, biến số kết quả của nhóm can thiệp và nhóm đối chứng sẽ diễn ra song song theo thời gian (giả định các xu hướng song song). Nếu giả định này không được đáp ứng thì ước tính này bị sai lệch. AI có thể tạo ra mã DiD, nhưng nhiệm vụ của nhà nghiên cứu là bảo vệ và kiểm tra các xu hướng song song.

8. Điều nào sau đây là thực hành bắt buộc đối với phân tích có thể lặp lại?

• A) Sửa hạt giống theo các bước ngẫu nhiên, ghi lại phiên bản gói và mã ✔
• B) Sao chép thủ công kết quả vào bảng tính và xóa mã
• C) Việc thấy kết quả khác nhau trong mỗi lần chạy là điều bình thường.
• D) Chỉ giữ lại đồ họa cuối cùng, không chia sẻ dữ liệu và mã

Mô tả: Khả năng tái tạo; Có thể thu được kết quả tương tự với cùng dữ liệu và mã. Sửa hạt giống theo các bước ngẫu nhiên, lưu phiên bản gói và thực thi mã trong tài liệu (lập trình chữ) là nền tảng của việc này. Sao chép kết quả theo cách thủ công hoặc các bước không ghi nhật ký dựa trên nhấp chuột sẽ làm giảm khả năng tái tạo.

9. Tính không đồng nhất làm biến dạng hồi quy tuyến tính và giải pháp chung của nó là gì?

• A) Nó làm sai lệch các sai số chuẩn; giải pháp là sai số chuẩn mạnh mẽ hoặc chuyển đổi thích hợp ✔
• B) Nó làm mất hiệu lực hoàn toàn các ước lượng hệ số và không có nghiệm
• C) Luôn giảm bình phương R về 0
• D) Chỉ xảy ra nếu mẫu rất nhỏ và có thể bỏ qua

Giải thích: Phương sai thay đổi khiến cho hệ số ước tính không bị sai lệch nhưng tính toán sai số chuẩn; Điều này làm cho giá trị p và khoảng tin cậy không đáng tin cậy. Một giải pháp phổ biến là sử dụng sai số chuẩn mạnh mẽ/HC hoặc chuyển đổi thích hợp. Phải xác minh rằng giải pháp do AI đề xuất thực sự khắc phục được vấn đề chứ không phải che giấu nó.

10. Một nhà nghiên cứu tải vi dữ liệu chứa thông tin nhận dạng và thu nhập ở cấp độ bệnh nhân lên công cụ trò chuyện AI công khai và nói 'thực hiện hồi quy'. Vấn đề chính với hành vi này là gì?

• A) Tải dữ liệu cá nhân/được cấp phép lên một công cụ bên ngoài sẽ cấu thành hành vi vi phạm tính bảo mật và hợp đồng ✔
• B) Trí tuệ nhân tạo hoàn toàn không thể thực hiện hồi quy
• C) Dữ liệu vi mô hoàn toàn không phù hợp để hồi quy
• D) AI luôn tính toán sai hồi quy

Giải thích: Dữ liệu cá nhân/đặc biệt như danh tính và thu nhập được bảo vệ theo KVKK/GDPR và hầu hết các thỏa thuận sử dụng dữ liệu; Tải chúng lên một thiết bị bên ngoài có thể lưu trữ dữ liệu là vi phạm. Đúng cách; Ẩn danh dữ liệu, sử dụng các công cụ bảo mật cục bộ/tổ chức hoặc đơn giản là yêu cầu mã từ trí tuệ nhân tạo và chạy mã trong môi trường riêng của nó.

11. Điều gì xảy ra khi đa cộng tuyến cao?

• A) Các hệ số trở nên không ổn định và sai số chuẩn tăng cao; Các hệ số riêng lẻ có thể trở nên vô nghĩa ✔
• B) Bình phương R luôn giảm về 0
• C) Ước tính hệ số luôn chính xác hơn
• D) Thang đo của biến phụ thuộc thay đổi

Giải thích: Trong hiện tượng đa cộng tuyến cao, các biến độc lập có mối tương quan chặt chẽ với nhau; Các ước lượng hệ số trở nên không ổn định, sai số chuẩn tăng cao và các hệ số riêng lẻ có thể trở nên không đáng kể, trong khi mô hình tổng thể có thể có ý nghĩa quan trọng. Nó được chẩn đoán theo các tiêu chí như VIF. Trí tuệ nhân tạo có thể gợi ý loại bỏ các biến số, nhưng nhà nghiên cứu sẽ quyết định biến nào sẽ vẫn là lý thuyết.

12. Sức mạnh thống kê là gì và rủi ro của một nghiên cứu có sức mạnh thấp là gì?

• A) Khả năng phát hiện hiệu ứng hiện có; công suất thấp bỏ lỡ các hiệu ứng thực sự và khiến kết quả phát hiện không đáng tin cậy ✔
• B) xác suất giảm giá trị p; công suất thấp hơn luôn cho kết quả đáng tin cậy hơn
• C) Giá trị không đổi không phụ thuộc vào cỡ mẫu
• D) Một khái niệm chỉ có giá trị khi sử dụng trí tuệ nhân tạo

Giải thích: Sức mạnh là xác suất phát hiện một hiệu ứng thực sự tồn tại (1 trừ lỗi loại II). Các nghiên cứu năng lượng thấp có thể bỏ lỡ những tác động thực sự; Ngoài ra, một số kết quả quan trọng có thể mang mức độ hiệu ứng phóng đại ("lời nguyền của người chiến thắng") và tỷ lệ dương tính giả tăng lên. Vì vậy, việc tính toán công suất/mẫu rất quan trọng trước khi phân tích.

13. Tại sao việc tiết lộ việc sử dụng trí tuệ nhân tạo trong một bài báo là cần thiết về mặt đạo đức?

• A) Vì sự minh bạch và trách nhiệm giải trình; ✔ độc giả và người giới thiệu có thể đánh giá quá trình và trách nhiệm vẫn thuộc về tác giả
• B) Việc sử dụng trí tuệ nhân tạo sẽ tự động làm mất hiệu lực kết quả
• C) Được tạp chí yêu cầu chỉ nhằm mục đích quảng cáo
• D) Chuyển bản quyền giải thích cho trí tuệ nhân tạo

Tiết lộ: Tính minh bạch là cần thiết để người đọc và người đánh giá có thể đánh giá kết quả được tạo ra như thế nào; Nhiều tạp chí và tổ chức hiện yêu cầu tiết lộ việc sử dụng AI. Ngoài ra, vì trí tuệ nhân tạo có thể tạo ra lỗi/ảo giác nên cần phải trung thực khi tuyên bố rằng trách nhiệm thuộc về tác giả và các bước nào đã được kiểm tra.

14. 'Hạn chế loại trừ' yêu cầu gì trong phương pháp Biến công cụ (IV)?

• A) Công cụ chỉ ảnh hưởng đến kết quả thông qua biến nội bộ, không có cách trực tiếp nào khác ✔
• B) Công cụ không có mối quan hệ với biến kết quả.
• C) Công cụ không liên quan đến biến nội sinh.
• D) Phương tiện luôn là biến nhị phân (0/1)

Giải thích: Ràng buộc loại trừ yêu cầu công cụ chỉ ảnh hưởng đến biến kết quả thông qua biến giải thích nội sinh chứ không thông qua bất kỳ phương tiện trực tiếp hoặc yếu tố không được quan sát nào khác. Giả định này không thể được kiểm tra đầy đủ từ dữ liệu; Nó được bảo vệ trên cơ sở lý thuyết và thể chế. AI có thể viết mã IV, nhưng nhiệm vụ của nhà nghiên cứu là bảo vệ tính hợp lệ của công cụ.

15. Vấn đề 'Khu vườn rẽ nhánh' có ý nghĩa gì trong phân tích linh hoạt không cần đăng ký trước?

• A) Quá nhiều lựa chọn phân tích hợp lý được thực hiện dựa trên dữ liệu sẽ làm tăng tỷ lệ dương tính giả, thậm chí là vô ý ✔
• B) Phương pháp phân tích phải đơn lẻ và bắt buộc
• C) Sự cố chỉ xảy ra khi xảy ra hành vi gian lận có chủ ý.
• D) Tình huống biến mất một cách tự nhiên khi mẫu phát triển

Giải thích: Sau khi xem dữ liệu, nhà nghiên cứu có thể đưa ra nhiều lựa chọn hợp lý về việc sử dụng biến, nhóm con, phép biến đổi hoặc ngưỡng nào. Ngay cả khi không có một 'p-hack có chủ ý' nào, tính linh hoạt này sẽ làm tăng tỷ lệ dương tính giả vì tỷ lệ quan trọng được chọn một cách hiệu quả từ một số lượng lớn các phân tích. Việc đăng ký trước và kế hoạch phân tích cố định sẽ hạn chế tính linh hoạt này.