이득:
- 출처, 출처 신뢰성, 독립적인 교차 확인 단계를 통해 주장을 체계적으로 검증하는 능력
- 인공지능 자체가 환각, 훈련 데이터 편향, 아첨 등을 통해 잘못된 정보를 생산할 수 있다는 점을 이해하고 그 결과에 대해 추가적인 의혹을 제기하는 능력
- 명확한 신뢰 수준 라벨로 결과를 표시하고 동일한 이벤트를 다양한 관점에서 평가하여 편향을 테스트하는 기능
외교는 정보로 이루어지며, 정보의 가치는 정보의 정확성에 달려 있습니다. 잘못된 정보에 기초한 브리핑, 협상 입장, 공개 성명은 되돌리기 어려운 결과를 초래합니다. 그렇기 때문에 외교관의 가장 필수적인 기술 중 하나는 출처 확인입니다. 즉, 주장의 출처가 어디인지, 그것이 얼마나 신뢰할 수 있는지, 실제로 사실인지를 체계적으로 평가하는 것입니다. 이번 단원에서는 인공지능을 검증에 통합하는 방법을 배우게 됩니다. 하지만 AI 자체가 잘못된 정보와 편견의 원천이 될 수 있다는 점을 염두에 두고 사용 방법을 배우게 됩니다.
먼저 세 가지 개념을 분리해 보겠습니다. 잘못된 정보: 잘못된 정보가 의도치 않게 퍼졌습니다. 허위 정보: 의식적으로, 표적적으로 생산되고 확산되는 잘못된 정보입니다. 편견: 특정 쪽으로 정보나 평가가 체계적으로 이동하는 것입니다. 외교관은 세 가지 모두에 주의를 기울여야 하며, AI는 세 가지 모두에서 도움이 될 수도 있고 위험이 될 수도 있습니다.
단계별: 주장 확인
1. 주장을 명확하게 기술하십시오. 확인해야 할 사항은 정확히 무엇입니까? 이를 "X 국가가 Y 계약을 철회했습니다"와 같은 하나의 명확한 주장으로 요약합니다. 퍼지 주장은 확인할 수 없습니다.
2. 원산지를 찾아보세요. 이 주장은 어디서, 언제, 누구에 의해 처음 제기되었습니까? 대부분의 잘못된 정보는 의심스러운 단일 출처에서 비롯되어 증폭됩니다. 소스로 돌아갑니다.
3. 출처의 신뢰성을 평가합니다. 출처가 공식적인가요, 독립적인가요, 아니면 편향되어 있나요? 그가 과거에 정확한 정보를 제공했습니까? 그는 이것에 기득권을 가지고 있습니까? 신뢰할 수 있는 출처라도 틀릴 수 있습니다. 그러나 신뢰성이 낮은 출처에는 추가 확인이 필요합니다.
4. 교차 확인. 최소한 두 개의 독립적이고 신뢰할 수 있는 출처를 통해 주장을 확인하세요. 동일한 통신사에서 제공하는 50개 사이트는 독립적인 소스가 아닙니다.
5. 내부 일관성과 맥락을 테스트합니다. 주장이 내부적으로 일관성이 있습니까? 알려진 사실과 모순되는가? 맥락에서 벗어난 것인가요? 올바른 문장이 잘못된 문맥에서는 오해를 불러일으킬 수 있습니다.
6. 결과에 신뢰 수준을 표시합니다. "확인됨", "부분적으로 확인됨", "유일한 소스", "확인할 수 없음", "거짓"과 같은 명확한 라벨을 지정하세요. "잘 모르겠습니다"도 결론이므로 솔직하게 말해야 합니다.
팁: 주장이 더 많은 공감을 불러일으키거나 감정적 반응을 불러일으킬수록 이를 확인하는 데 더욱 세심해야 합니다. 허위 정보는 분노, 두려움 또는 "우리가 원하는 뉴스"라는 감정 자체를 표적으로 삼습니다. 신속하게 조치를 취하도록 유도하는 정보는 가장 검증이 필요한 정보인 경우가 많습니다.
AI 자체가 위험의 원천이다
본 유닛의 가장 중요한 주의 사항: AI는 검증 기관이 아닙니다. 그 자체로 잘못된 정보와 편견을 낳을 수 있습니다. AI는 세 가지 방식으로 오해를 불러일으킬 수 있습니다.
1. 환각: 존재하지 않는 출처, 인용문, 사건을 실제처럼 제시합니다. "이 주장을 확인하는 출처는 어디입니까?" 당신이 물으면 그는 당신에게 만들어진 소스 이름을 알려줄 수도 있습니다.
2. 훈련 데이터 편향: AI는 훈련된 텍스트의 지배적인 관점을 반영합니다. 특정 문제에 대한 세계 어느 한 지역의 견해가 데이터를 지배한다면 AI는 그런 식으로 흔들릴 수 있습니다. 이는 의도적인 것이 아니라 데이터를 반영한 것입니다. 하지만 결과는 여전히 편향된 출력입니다.
3. 아첨(sycophancy): AI는 귀하를 기쁘게 하는 방식으로 질문에 대답하는 경향이 있습니다. 주장을 확인하려는 경우 이를 뒷받침하는 답변을 생성하는 경향이 있습니다.
따라서 AI를 검증 도구(소스 편집, 충돌 표시, 출처 추적 지원)로 사용하되 "이것이 사실입니다"라고 말하는 AI를 최종 단어로 받아들이지 마십시오.
주의: AI가 출처를 확인하게 할 때 AI가 실제 출처를 보여주고 있는지, 그럴듯해 보이는 조작을 만들어내고 있는지 확인하세요. 그가 제공하는 모든 출처 이름, 링크 및 인용을 독립적으로 열어서 볼 때까지 "검증된" 것으로 간주하지 마십시오. AI가 만든 소스는 실제 소스보다 더 설득력 있게 보일 수 있습니다.
세 개의 미니 케이스
사례 1 — 원산지 확인이 저장되었습니다. "공식 발표" 스크린샷이 테이블 위에 떨어졌는데 그것은 실제처럼 보였습니다. 확인 결과 해당 기관의 공식 채널에는 그러한 진술이 없는 것으로 나타났습니다. 이미지는 가짜였습니다. 원산지 확인을 통해 브리핑에 허위 진술이 들어가는 것을 방지했습니다.
사례 2 — AI가 제작한 소스. 전문가는 AI에게 통계를 검증하게 했다. YZ는 "이 기관의 2023년 보고서에 따르면..."이라며 소식통을 인용해 전문가 소식통을 불렀다. 그런 보고서도, 그런 수치도 없었다. AI는 두 가지를 모두 구성했습니다. 독립적인 검사에서 조작된 "확인"이 발견되었습니다.
사례 3 - 바이어스 오프셋. 한 전문가는 논란의 여지가 있는 사건을 AI에게 요약하게 했고, 그 결과가 확실히 한쪽의 서술과 비슷하다는 점을 알아차렸습니다. “같은 사건을 상대방의 관점에서 요약해달라”고 다시 묻자 전혀 다른 그림이 나왔다. 두 가지 결과를 비교하면 보고서에 일방적인 프레임워크를 도입하는 것을 방지할 수 있습니다.
복사 가능한 템플릿 4개
1) 청구 확인 프로토콜:
귀하의 역할: 검증 분석가. 다음 주장의 경우: (1) 주장을 nettek 문장으로 줄입니다. (2) 내가 제공한 소스에서 처음 언급된 위치/언제를 찾습니다. (3) 이를 지원하는 독립 소스의 수, (4) 충돌하는 소스가 있습니까, (5) 확인됨 / 단일 소스 / 모순됨 / 확인되지 않음 태그 중 하나로 결과를 표시합니다. 소스 제작; 내가 주는 것만 사용하세요. 주장+출처: [여기]
2) AI 편견 테스트:
먼저, 다음 사건을 최대한 객관적으로 요약해보세요. 그런 다음 (a) 당사자 A의 관점, (b) 당사자 B의 관점에서 별도로 SAME 이벤트를 요약합니다. 세 가지 버전의 차이점을 나열해 보세요. 이로써 어떤 점이 당사자들의 해석이고, 어떤 점이 공통사실인지 알 수 있다. 사례/출처: [여기]
3) 소스 신뢰성 평가:
유형(공식적/독립적/편파적/익명), 문제에 대한 잠재적 관심, 과거 신뢰성에 대해 제공된 정보, 확인에 필요한 추가 단계 등 출처를 평가합니다. 또한 출처가 잘못된 이유도 적어보세요. 출처 : [여기]
4) 허위 정보 위험 신호:
허위 정보가 있는지 아래 내용을 살펴보세요. 출처가 없는 통계, 감정을 자극하는 언어, 맥락 없는 이미지, "서둘러/공유" 압력, 검증할 수 없는 권위 단어, 동시 조정 유포 등의 플래그를 찾으세요. 각 결과에 대한 근거를 표시하십시오. 최종 판단을 내리지 마십시오. 내용: [여기]
약한 프롬프트 / 강한 프롬프트
약한 프롬프트:
이 주장이 사실인가요? 온라인으로 검색해서 알려주세요.
"사실"이라고 말하는 AI는 검증이 아닙니다. 그는 잘못된 출처를 제공하거나 편파적이거나 우쭐한 답변을 내놓을 수도 있습니다.
강력한 프롬프트:
귀하의 역할: 검증 분석가. 아래는 제가 수집한 주장과 출처입니다. 나에게 "옳다/그르다"라고 말하지 마세요. 대신 주장의 출처, 독립적인 출처의 수, 모순, 신뢰 수준을 표시하세요. 내가 제공한 출처를 넘어서지 말고 출처를 만들지 마십시오. 확실하지 않은 경우 "사람의 확인 필요"로 표시하세요. 주장+출처: [여기]
차이점은 분명합니다. "참/거짓" 판단이 아닌 출처, 독립적 확인, 신뢰 수준을 요구하면 AI의 위험이 제한됩니다.
확인 상태 표
라벨
의미
보고서의 사용법
확인됨
독립적이고 신뢰할 수 있는 소스 2개 이상
케이스로 활용 가능
부분적으로 확인됨
일부 확인됨
제한적, 설명 포함
단일 소스
소스는 단 하나
"클레임"으로서 확인이 필요합니다.
모순되는
소스가 일치하지 않습니다.
불확실성으로 제시됨
확인할 수 없음
확인된 내용이 없습니다.
사실로 사용되지 않음
틀렸어
그 반대가 입증되었습니다.
보고서 수정으로
일반적인 실수
- AI가 "정확하다"고 말하는 것을 검증으로 간주합니다. AI는 조작하거나, 편견을 갖거나, 영합할 수 있습니다.
- AI가 제공한 소스를 열어 보지 않고도 받아들인다. 조작된 소스는 설득력이 있는 것으로 보입니다.
- 귀하의 요구에 맞는 작은 정보를 확인합니다. 감성/적절한 정보는 가장 확인이 필요한 정보입니다.
- 풍부한 사본을 확인으로 착각합니다. 동일한 소스에서 공급되는 수백 개의 사이트가 단일 소스입니다.
- 편견을 전혀 테스트하지 않습니다. 동일한 사건을 다양한 관점에서 요약하면 균형이 잡힙니다.
요약하면
출처 검증은 외교 지식의 기초이며, AI는 이 작업에 도움이 되는 동시에 위험이 됩니다. AI는 소스를 정리하고 출처 추적 및 충돌 표시를 지원합니다. 그러나 환각, 훈련 데이터 편향, 아첨으로 인해 잘못된 정보가 생성될 수도 있습니다. 출처 추적, 독립적인 교차 확인, 소스 정보 신뢰성 분리, 신뢰 수준 태깅 및 AI 출력에 대한 추가 의심이 이 장치의 백본입니다.
응용과제
현재 논란이 되고 있는 주장을 선택하고 다양한 장르의 출처를 수집하세요. "주장 검증 프로토콜"을 통해 출처 및 독립적 검증에 대한 주장을 평가합니다. “AI 편향 테스트”를 통해 동일한 사건을 다른 관점에서 요약하고 차이점을 나열해 보세요. AI가 리소스를 제공하면 독립적으로 열어 실제로 존재하는지 확인합니다.
체크리스트
- [ ] 주장을 명쾌한 한 문장으로 줄여서 그 유래를 찾아보았습니다.
- [ ] 나는 적어도 두 개의 독립적이고 신뢰할 수 있는 출처를 통해 대조 확인했습니다.
- [ ] AI가 제공하는 모든 소스를 제가 직접 검증했습니다.
- [ ] 동일한 사건을 다른 관점에서 요약하여 편견을 테스트했습니다.
- [ ] 결과에 명확한 신뢰 수준 라벨을 표시했습니다.