문헌 검토 및 경제 연구 종합

이득:

• 인공 지능을 사용하여 경제학 질문에 대한 검색 전략, 개념 지도 및 종합 개요를 생성하는 능력
• 인공지능이 만들어낼 수 있는 출처, 가짜 인용, 허위 결과의 위험성을 인지하고 원본 출처의 각 참조를 검증하는 능력
• 연구 결과를 반대 견해, 방법론적 차이 및 맥락 경계가 있는 균형 잡힌 문헌 요약으로 변환하는 능력.

어떤 경제 분석도 진공 상태에서 태어나지는 않습니다. 정책 질문, 예측, 보고서를 시작하기 전에 "이 문제에 대해 알려진 내용과 논의되는 내용은 무엇입니까?"라고 질문하십시오. 질문에 답할 필요가 있습니다. 이것이 바로 문헌 검토입니다. 즉, 특정 주제에 대한 기존 지식, 연구 결과 및 토론을 체계적으로 편집한 것입니다. 인공 지능은 주제를 요약하고, 개념을 매핑하고, 반대 의견을 분류하는 등 이 비즈니스에서 눈부신 가속기처럼 보입니다. 그러나 여기에 가장 위험한 함정이 숨겨져 있습니다. 인공 지능은 존재하지 않는 소스, 가짜 작성자 및 조작된 결과를 완전한 확신을 가지고 생성할 수 있습니다. 이 장치의 불변 규칙: 모든 참조, 모든 결과, 모든 이름은 원본 소스에서 확인됩니다. 확인되지 않은 참조는 텍스트를 입력하지 않습니다.

인공지능이 문헌에서 잘하는 것은 무엇이며, 결코 하지 않는 것은 무엇입니까?

잘하는 것(도움이 됨): 주제와 부제목 매핑, 찾을 핵심 개념과 검색어 제안, 제공한 텍스트 요약 및 비교, 토론의 "측면" 구성, 텍스트의 주장 구조 추출.

절대로 신뢰할 수 없음(위험함): 실제 인용 및 크레딧을 생성합니다. 인공지능은 "Yılmaz(2019)는 인플레이션-성장 관계가 음수라는 사실을 발견했습니다."와 같이 극도로 현실적이면서도 완전히 조작된 문장을 만들 수 있습니다. 저자가 없을 수도 있고, 기사가 없을 수도 있고, 실제 기사가 그 반대라고 말할 수도 있습니다. 이를 문헌에서는 환각이라고 부르며 학문적/직업적 평판에 치명적입니다.

주의: 인공지능이 부여한 ID가 '현실적으로 보인다'고 해서 아무것도 증명되지는 않습니다. 저널 이름이 정확할 수도 있고, 연도가 적절할 수도 있으며, 저자 이름이 터키어일 수도 있고, 논문이 전혀 존재하지 않을 수도 있습니다. 실제 데이터베이스(저널 사이트, DOI, 도서관)에서 찾을 때만 그것이 존재한다는 것을 인정합니다.

올바른 워크플로: AI 지도, 확인

1. 질문을 명확히 하세요. 무엇을 찾고 계신가요? 범위, 기간, 지리, 방법?
2. 컨셉맵을 만들어 보세요. AI에게 주제 부제목, 핵심 개념, 검색어를 물어보세요. 이는 출처가 아닌 검증 가능한 포인터입니다.
3. 실제 전화를 걸어보세요. 실제 데이터베이스(학술 검색 엔진, 저널 아카이브, 기관 출판물)에서 이러한 용어를 검색하십시오.
4. 찾은 텍스트를 인공지능으로 요약합니다. 이제 실제 텍스트가 생겼습니다. AI가 요약하고 비교할 수 있다.
5. 합성하고 균형을 맞추세요. 반대되는 결과, 방법의 차이 및 맥락 경계가 함께 제시됩니다.
6. 각 속성을 확인하세요. 텍스트에 포함된 각 참고 자료가 실제로 존재합니까? 그 속성이 정확합니까? 실제로 주장된 결과가 포함되어 있습니까?

팁: AI를 '소스 찾기'가 아닌 '검색 전략가 및 요약자'로 사용하세요. 소스를 찾아서 확인합니다. AI는 찾은 소스를 이해하고 비교할 수 있도록 도와줍니다.

균형잡힌 합성: 어느 한쪽 편을 들지 않고

좋은 문헌 요약은 단일 결과를 절대적인 진실로 제시하지 않습니다. 경제학의 대부분의 질문에는 반대되는 결과가 있습니다. 한 연구에서는 긍정적인 관계가 발견되고 다른 연구에서는 그렇지 않습니다. 이는 대개 방법, 기간, 국가 또는 데이터의 차이로 인해 발생합니다. 정직한 종합은 이러한 차이점을 눈에 띄게 만듭니다. "방법 A를 사용한 연구에서는 이것을 발견하고, 방법 B를 사용한 연구에서는 다음을 발견합니다. 차이점은 아마도 이 가정에서 비롯됩니다."

세 개의 미니 케이스

사례 1 - 조작된 귀속이 적발되었습니다. AI라고 불리는 한 연구원은 “최저임금과 고용의 관계에 관한 5가지 연구를 요약한다”고 말했다. AI는 괜찮은 태그 5개를 주었다. 연구원은 학술 데이터베이스에서 각각을 검색했습니다. 세 개는 실제이고 두 개는 전혀 그렇지 않았습니다. 저자-연도-저널 조합이 완전히 구성되었습니다. 그는 진짜 3개를 사용하고 2개를 꺼냈다. 검증이 없었다면 두 명의 유령 출처가 기사에 포함되었을 것입니다.

사례 2 — 불리한 결과. AI는 정확한 작성자의 실제 기사를 인용하면서도 "이 연구에서 X를 발견했다"고 밝혔다. 연구원은 원본 논문을 열었습니다. 실제로는 반대의 내용을 발견했습니다. 인공지능은 잘못된 결과를 실제 출처로 돌렸습니다. 각인이 사실이라 하더라도 주장을 검증하지 않으면 사용할 수 없다는 교훈이 강화됐다.

사례 3 - 균형 잡힌 합성. 한 분석가는 조세 정책의 영향에 관한 문헌을 수집했습니다. 1차 초안에서 AI는 일방적인 결론('임팩트 포지티브')을 내놨다. 분석가는 또한 반대되는 연구를 추가하고 방법(단기 데이터와 장기 데이터)에서 차이가 발생함을 보여주었습니다. 그 결과는 "조건부"의 균형 잡힌 요약이었습니다. 정책평가의 신뢰성이 높아졌습니다.

검증 테이블

AI 출력

확인 단계

인용/각인

실제로 데이터베이스/DOI에 존재합니까?

"이 연구는 이것을 발견했습니다"

이것이 정말로 원문의 결과인가?

수치 결과

기사의 표/요약과 일치합니까?

"일반적인 수용은 이렇습니다"

반대 결과가 억제되었습니까?

검색어

실제 검색에서 의미 있는 결과를 제공하는가?

복사 가능한 템플릿 4개

1) 컨셉맵 및 검색 전략:

나는 다음과 같은 경제적 질문을 조사할 것입니다: [질문]. 학술 데이터베이스에서 사용할 수 있는 주제, 핵심 개념 및 검색어(터키어 + 영어)의 소제목을 알려주세요. 출처/인용 작성; 어디를 봐야 할지, 어떤 용어로 봐야 할지 알려주세요.

2) 제공된 텍스트 요약:

아래는 실제 기사의 텍스트/요약입니다. 이를 요약하십시오: 연구 질문, 방법, 데이터, 주요 결과, 한계. 텍스트에 없는 내용은 추가하지 마세요. 확실하지 않은 부분은 "본문에서 불명확함"으로 표시하세요.[text]

3) 비교합성:

제가 제공한 4가지 실제 연구의 요약을 비교해보세요. 어떤 연구는 비슷한 결과를 보이고, 어떤 연구는 모순되는 결과를 보여주며, 차이점은 무엇(방법, 기간, 국가, 데이터)을 설명할 수 있습니까? 일방적인 결론을 내리지 마십시오. 반대 결과를 동일하게 표시합니다.

4) 인용 검증 목록:

이 초안의 모든 참고문헌을 나열하십시오. 각각에 대해 확인해야 할 세 가지 사항을 명시하십시오. (1) 출처가 실제로 존재합니까? (2) 귀속이 정확합니까? (3) 출처에 귀속된 결과가 포함되어 있습니까? 내가 확인할 때까지 그 중 어떤 것도 "확실한" 것으로 간주하지 마십시오.

약한 프롬프트 / 강한 프롬프트

약한 프롬프트:

이 주제에 대한 문헌 요약을 작성하고 출처를 제공하십시오.

AI는 사실적으로 보이지만 부분적으로 만들어진 참조로 가득 찬 텍스트를 생성합니다. 확인하지 않으면 가짜 출처가 신고 내용을 입력하게 됩니다.

강력한 프롬프트:

최저임금-고용관계를 조사하겠습니다. 먼저 부제목과 검색어(출처/인용문 작성)를 알려주세요. 나는 실제 작품을 찾아서 그 텍스트를 여러분에게 가져갈 것입니다. 내가 가져온 것을 요약하고 비교하면 됩니다. 반대되는 결과를 동등하게 제시하고 그 차이가 방법에서 오는 것인지, 기간에서 오는 것인지 토론해 보세요. 본문에 없는 숫자나 결과를 추가하지 마세요.

일반적인 실수

• 인공지능에게 직접 출처/인용을 요청하고 검증 없이 사용합니다. 환각의 위험이 있습니다.
• 사실적인 각인을 진짜로 착각합니다. 외모는 증거가 아닙니다.
• 올바른 태그에 대한 잘못된 결과의 귀속을 알지 못합니다. 출처는 있지만 주장이 거짓일 수도 있습니다.
• 단방향 합성. 반대 결과를 은폐합니다.
• 방법/컨텍스트 차이를 우회합니다. 사과와 배를 비교합니다.
• 본문에 없는 초록으로 번호가 유출되는 현상입니다. 인공 지능의 "채우기".

요약하면

문헌 검토에서 AI는 강력한 검색 전략가이자 요약자이지만 신뢰할 수 없는 소스 생성기입니다. 올바른 워크플로: AI가 개념과 검색어를 매핑하고 실제 소스를 찾아서 확인한 다음 AI가 결과를 요약하고 비교합니다. 모든 참조 및 결과는 원본 소스에서 확인됩니다. 종합은 반대 견해와 방법론적 차이를 솔직하게 반영합니다.

응용과제

경제 문제를 선택하세요. 템플릿 1을 사용하여 AI로부터 개념도와 검색어를 가져옵니다(소스 요청 없음). 이 용어를 사용하는 실제 학술 데이터베이스에서 최소 3개의 실제 연구를 찾으세요. 이를 템플릿 2 및 3과 요약하고 비교합니다. 그런 다음 별도의 시도로 인공 지능에 직접 인용을 요청하고 데이터베이스에서 인용을 검색하여 얼마나 많은 것이 진짜이고 얼마나 많은 것이 조작되었는지 확인하고 기록해 둡니다.

체크리스트

• [ ] 나는 AI를 자원 생성자가 아닌 검색 전략가/요약자로 사용했습니다.
• [ ] 실제 출처를 직접 찾아 데이터베이스에서 확인했습니다.
• [ ] 각 참고문헌이 실제로 존재하며, 그 귀속이 정확함을 확인했습니다.
• [ ] 원문에서 귀속된 결과를 확인했습니다.
• [ ] 나는 반대되는 연구 결과와 방법론적 차이를 균형 있게 제시했습니다.
• [ ] 본문에 없는 수치/결과가 요약본에 유출되지 않았음을 확인하였습니다.
• [ ] 본문에 확인되지 않은 내용은 포함하지 않았습니다.