이득:
- 인공지능의 지원을 받아 대상 청중(학술, 정책, 경영)에게 실증적 결과를 정직하고 명확한 언어로 보고할 수 있는 능력
- 결론, 한계 및 윤리적 진술(데이터 기밀성, 이해 상충, 인공 지능 사용 공개)을 완전하게 작성하고 오해의 소지가 있는 표현을 피할 수 있는 능력
- 과장되거나 일방적이거나 인과적인 언어를 생성하는 보고서 초안을 인식하고 최종 텍스트 및 주장에 대한 책임을 유지하는 인공 지능의 능력은 연구원에게 있습니다.
모듈 시험
1. 한 연구원이 '2015년부터 2020년까지 투르키예의 실업률과 인플레이션 간의 상관계수는 무엇입니까?'라고 묻습니다. 인공지능에게 아무런 데이터도 주지 않고 말이죠. 그는 자신의 기사에 직접 숫자 0.62를 묻고 씁니다. 이 접근 방식의 근본적인 실수는 무엇입니까?
- A) 검증된 데이터를 제공하지 않고 인공지능으로부터 구체적인 통계를 기대하는 것 ✔ 본인 인증 없이 만들어졌을 수 있는 번호 사용
- 나) 기사에서는 상관계수를 절대 사용해서는 안 된다.
- 다) 실업률과 물가상승률의 상관관계를 계산할 수 없음
- D) 인공지능은 2020년 이후에만 데이터에 접근할 수 있다
설명: AI 언어 모델은 데이터 세트에 액세스하지 않으면 통계를 생성할 수 없습니다. 그가 제시한 숫자는 아마도 환각(조작)일 가능성이 높습니다. 계수, 비율, 테스트 결과는 모델의 메모리에서 가져오는 것이 아니라 연구자가 직접 검증한 데이터에서 계산해야 합니다.
2. 누락된 데이터가 '무작위로 누락되지 않음'(MNAR)이라는 것은 무엇을 의미하며 왜 중요한가요?
- A) 결함은 관찰되지 않은 값 자체로 인한 것입니다. 그렇기 때문에 단순한 할당은 편견을 만들 수 있습니다 ✔
- B) 데이터는 완전히 무작위로 사라지며 어떠한 편견도 생성하지 않습니다.
- C) 누락된 데이터는 항상 행을 삭제하여 해결해야 합니다.
- D) 누락된 데이터는 어떤 방식으로든 분석에 영향을 미치지 않습니다.
설명: MNAR(Missing Not At Random)의 경우 누락 자체는 관찰되지 않은 값의 크기에 따라 달라집니다(예: 고소득자는 소득을 보고하지 않습니다). 이 경우 단순 삭제 또는 평균 할당은 편향된 결과를 제공합니다. 결핍 메커니즘을 모델링해야 합니다. 인공지능이 제시하는 할당 방식은 이러한 메커니즘을 모르고 맹목적으로 적용해서는 안 된다.
3. 분석가는 AI에게 막대 차트를 만들도록 하고 AI는 0 대신 40에서 y축을 시작합니다. 두 그룹 사이의 실제 2% 차이는 그래프에서 크게 보입니다. 올바른 접근 방식은 무엇입니까?
- A) 축을 처음부터 시작하거나 차트 유형을 변경합니다. ✔ 오해의 소지 없이 차이의 실제 크기를 보여주기 위해
- 나) AI가 최선의 선택을 하므로 차트를 그대로 사용
- C) 차이를 더 크게 만들기 위해 축을 45에서 시작합니다.
- D) 막대 차트 대신 시각적 요소를 사용하지 마십시오.
설명: 막대 차트에서 점선 축(0에서 시작하지 않는 y축)은 작은 차이를 과장하여 오해를 불러일으킵니다. 정직한 시각화에서는 막대 차트의 축이 0부터 시작하거나 차이가 의식적으로 명확하게 명시되어야 합니다. 이미지를 확인하고 필요한 경우 수정하는 것은 분석가의 책임입니다.
4. 선형회귀에서 계수가 '유의하다'(p<0.05)는 사실이 인공지능 해석에서는 어떻게 잘못 표현되는 경우가 많은가요?
- 가) 효과가 크고 중요하거나 인과관계가 확립되어 중요성을 과장하여 제시 ✔
- B) 유의성은 항상 효과가 작다는 것을 나타냅니다.
- C) p<0.05는 계수가 절대적으로 정확하다는 것을 증명합니다.
- D) 유의미한 계수는 보고되어서는 안 된다.
설명: 통계적 유의성은 효과가 0과 다르다는 증거의 강도와 관련이 있습니다. 이는 그 효과가 크거나 중요하거나 인과적이라는 의미는 아닙니다. AI는 종종 '유의하다'라는 단어를 '유의하다/강한 영향'으로 표현합니다. 연구자는 또한 효과 크기, 신뢰 구간 및 맥락을 평가해야 합니다.
5. 'p-해킹'이란 용어는 무엇을 의미하며 AI가 이를 더 쉽게 만들 수 있는 이유는 무엇입니까?
- A) 타당할 때까지 여러 분석을 시도합니다. AI는 이 작업을 매우 빠르게 수행하므로 위험이 증가합니다 ✔
- 나) 한번에 데이터를 분석하고 미리 정해진 계획을 가지고
- C) 표본을 확장하여 p-값을 증가시킵니다.
- 라) 기술통계만 보고
설명: p-해킹은 의미 있는 결과가 나타날 때까지 다양한 변수, 하위 샘플, 변환 또는 모델을 시도하고 있습니다. 이것은 우연에 기초한 가짜 결과를 만들어냅니다. AI는 몇 초 만에 수십 가지 모델 변형을 시도할 수 있으므로 정직한 계획 없이도 해킹 속도를 높일 수 있습니다. 방어; 사전 등록, 고정 분석 계획 및 다중 비교 수정.
6. 두 개의 비정상(단위근) 시계열 사이에서 높은 R-제곱 회귀를 찾는 것이 오해의 소지가 있는 이유는 무엇입니까?
- A) 일반적인 추세로 인해 가짜 회귀가 발생할 수 있습니다. ✔ 실제 관계가 없는 높은 R-제곱 출력
- B) 높은 R-제곱은 항상 강한 인과 관계를 입증합니다.
- C) 비정상 계열은 회귀 분석에 전혀 입력될 수 없습니다.
- D) R-제곱은 시계열로 계산할 수 없습니다.
설명: 정상이 아닌 계열 간에 공통 공적분 관계가 없는 경우 허위 회귀는 공통 추세로 인해 높은 R-제곱 및 유의미한 계수를 생성할 수 있습니다. 반면 실제 관계는 없습니다. 따라서 정상성 검정과 단위근 검정을 먼저 하고, 필요하다면 차이를 구하거나 공적분을 검정해야 한다.
7. 차이의 차이 설계의 타당성에 기초한 기본 가정은 무엇입니까?
- A) 평행 추세 가정: 개입이 없으면 그룹은 동일한 방향을 따를 것입니다. ✔
- B) 치료군과 대조군은 처음에는 완전히 동일합니다.
- 다) 표본의 정규분포
- D) 변수에 누락된 데이터가 포함되어 있지 않습니다.
설명: DiD는 개입이 없을 경우 치료군과 대조군의 결과 변수가 시간이 지남에 따라 평행하게 진행될 것이라고 가정합니다(평행 추세 가정). 이 가정이 충족되지 않으면 추정치는 편향됩니다. AI는 DiD 코드를 생성할 수 있지만 병렬 추세를 방어하고 테스트하는 것은 연구원의 임무입니다.
8. 다음 중 재현 가능한 분석을 위한 필수 관행은 무엇입니까?
- A) 무작위 단계로 시드 수정, 패키지 버전 및 코드 기록 ✔
- B) 결과를 스프레드시트에 수동으로 복사하고 코드를 삭제합니다.
- C) 각 실행마다 다른 결과가 나타나는 것은 정상입니다.
- D) 최종 그래픽만 유지하고 데이터 및 코드를 공유하지 않음
설명: 재현성; 동일한 데이터와 코드로 다시 동일한 결과를 얻을 수 있습니다. 무작위 단계로 시드를 수정하고, 패키지 버전을 저장하고, 문서 내에서 코드를 실행하는 것(읽은 프로그래밍)이 이것의 초석입니다. 결과를 수동으로 복사하거나 클릭 기반, 비로깅 단계를 복사하면 재현성이 손상됩니다.
9. 이분산성은 선형 회귀를 왜곡하며 일반적인 해결책은 무엇입니까?
- A) 표준 오류를 왜곡합니다. 솔루션은 강력한 표준 오류 또는 적절한 변환입니다 ✔
- B) 계수 추정치를 완전히 무효화하고 해결책이 없습니다.
- C) 항상 R-제곱을 0으로 줄입니다.
- D) 표본이 매우 작아서 무시할 수 있는 경우에만 발생합니다.
설명: 이분산성은 계수 추정치를 편견 없이 유지하지만 표준 오차를 잘못 계산합니다. 이는 p-값과 신뢰구간을 신뢰할 수 없게 만듭니다. 일반적인 해결책은 강력한/HC 표준 오류 또는 적절한 변환을 사용하는 것입니다. AI가 제안한 해결책이 문제를 숨기는 것이 아니라 실제로 해결하는지 검증해야 한다.
10. 한 연구자가 환자 수준의 식별 정보와 소득이 포함된 마이크로데이터를 공개 AI 채팅 도구에 업로드하고 '회귀를 하라'고 말합니다. 이 행동의 주요 문제점은 무엇입니까?
- A) 개인/라이선스 데이터를 외부 도구에 업로드하는 것은 기밀유지 및 계약 위반에 해당합니다. ✔
- 나) 회귀는 인공지능으로는 전혀 할 수 없다.
- 다) 마이크로 데이터는 회귀 분석에 전혀 적합하지 않습니다.
- D) AI는 항상 회귀를 잘못 계산합니다.
설명: 신원 및 소득과 같은 개인/특수 데이터는 KVKK/GDPR 및 대부분의 데이터 사용 계약에 따라 보호됩니다. 데이터를 저장할 수 있는 외부 장치에 업로드하는 것은 위반입니다. 올바른 방법; 데이터를 익명화하거나, 지역/기관의 보안 도구를 사용하거나, 단순히 인공 지능에 코드를 요청하고 자체 환경에서 코드를 실행하는 것입니다.
11. 다중공선성이 높을 때 관찰되는 것은 무엇입니까?
- A) 계수가 불안정해지고 표준 오차가 부풀려집니다. 개별 계수는 의미가 없는 것으로 판명될 수 있습니다 ✔
- B) R-제곱은 항상 0으로 감소합니다.
- C) 계수 추정은 항상 더 정확해진다
- D) 종속변수의 척도가 변경됨
설명: 다중 공선성이 높으면 독립 변수는 서로 강한 상관 관계를 갖습니다. 계수 추정치는 불안정해지고, 표준 오차는 부풀려지며, 개별 계수는 중요하지 않은 것으로 판명될 수 있지만 전체 모델은 유의미할 수 있습니다. VIF 등의 기준으로 진단합니다. 인공 지능은 변수 제거를 제안할 수 있지만 어떤 변수가 이론적으로 남아 있어야 하는지 결정하는 것은 연구자의 몫입니다.
12. 통계적 검정력이란 무엇이며 저 검정력 연구의 위험은 무엇입니까?
- A) 기존 효과를 검출할 가능성 저전력은 실제 효과를 놓치고 결과를 신뢰할 수 없게 만듭니다 ✔
- B) p-값이 감소할 확률; 전력이 낮을수록 항상 더 안정적인 결과를 얻을 수 있습니다.
- C) 표본 크기와 무관한 상수 값
- 라) 인공지능을 활용한 경우에만 유효한 개념
설명: 검정력은 실제로 존재하는 효과를 탐지할 확률입니다(1 - 제2종 오류). 저전력 연구는 실제 효과를 놓칠 수 있습니다. 또한 소수의 중요한 결과는 과장된 효과 크기('승자의 저주')를 나타낼 수 있으며 위양성률이 증가합니다. 따라서 분석 전에 검정력/샘플 계산이 중요합니다.
13. 기사에서 인공지능의 사용을 공개하는 것이 윤리적으로 필요한 이유는 무엇입니까?
- A) 투명성과 책임성을 위해; ✔ 독자와 심사위원은 과정을 평가할 수 있으며, 책임은 저자에게 있습니다.
- 나) 인공지능을 사용하면 결과가 자동으로 무효화됩니다.
- C) 잡지에서 광고 목적으로만 요청한 경우
- 라) 설명의 저작권을 인공지능에게 양도
공개: 독자와 검토자가 결과가 어떻게 생성되었는지 평가할 수 있도록 투명성이 필요합니다. 이제 많은 저널과 기관에서는 AI 사용에 대한 공개를 요구합니다. 또한 인공지능은 오류/환각을 일으킬 수 있으므로 책임은 작성자에게 있고 어떤 단계를 감사했는지 명시하는 것이 정직의 문제입니다.
14. 도구변수(IV)법에서 '제외제한'이 필요한 것은 무엇입니까?
- A) 도구는 내부 변수를 통해서만 결과에 영향을 미치며, 다른 직접적인 방법은 없습니다 ✔
- B) 도구는 결과 변수와 아무런 관계가 없습니다.
- C) 도구는 내생 변수와 관련이 없습니다.
- D) 평균은 항상 이진(0/1) 변수입니다.
설명: 제외 제약 조건에서는 도구가 다른 직접적인 수단이나 관찰되지 않은 요인을 통해서가 아니라 내생적 설명 변수를 통해서만 결과 변수에 영향을 미치도록 요구합니다. 이 가정은 데이터로 완전히 테스트할 수 없습니다. 이는 이론적, 제도적 근거를 바탕으로 옹호됩니다. AI가 IV 코드를 작성할 수도 있지만 도구의 유효성을 방어하는 것은 연구원의 임무입니다.
15. 사전등록 없는 유연한 분석에서 '갈림길의 정원' 문제는 무엇을 의미하나요?
- A) 데이터를 기반으로 한 합리적인 분석 선택이 너무 많으면 의도치 않게라도 오탐률이 높아집니다 ✔
- 나) 분석방법은 단일하고 필수이어야 한다.
- 다) 고의적인 부정행위가 발생한 경우에만 발생하는 문제.
- D) 샘플이 성장함에 따라 저절로 사라지는 상황
설명: 데이터를 본 후 연구자는 사용할 변수, 하위 그룹, 변환 또는 임계값에 대해 여러 가지 합리적인 선택을 할 수 있습니다. 단 한 번의 '의도적인 p-해킹'이 없더라도 이러한 유연성은 수많은 분석 중에서 중요한 것을 효과적으로 선택하기 때문에 위양성 비율을 증가시킵니다. 사전 등록 및 고정 분석 계획은 이러한 유연성을 제한합니다.