환각과 신뢰성의 한계 — AI 리터러시

이득:

환각이 무엇인지, 환각이 발생하는 이유를 설명할 수 있습니다.
AI 출력의 유효성을 검사해야 하는 시기를 결정할 수 있습니다.
신뢰성을 높이는 실용적인 기술을 적용할 수 있습니다.

아마도 AI 활용 능력의 가장 중요한 주제는 이 단원에 있을 것입니다: 모델 구성, 즉 환각입니다. 이 용어를 이해하는 것은 AI를 사용하는 모든 사람에게 가장 기본적인 안전 예방 조치입니다. 환각을 인지하지 못한 사용자는 허위 정보를 사실로 착각하여 업무상 의사결정이나 고객 커뮤니케이션, 공문서 등에 전달할 수도 있기 때문입니다. 이번 단원에서는 환각이 무엇인지, 왜 환각이 불가피한지, 환각으로부터 보호하는 방법을 배우게 됩니다.

환각이란 무엇입니까?

환각은 유창하고 자신감 있는 언어로 실제로 존재하지 않는 정보를 언어 모델이 마치 사실인 것처럼 생성하는 경우입니다. 모델은 거짓말을 하려는 것이 아닙니다. "가장 가능성 있는 연속"만을 생성함으로써 가능성 있는 것처럼 보이지만 실제로는 거짓인 텍스트를 생성합니다.

예: 모델에게 "주제에 대한 학문적 출처를 추천하세요. 모든 것이 올바른 형식으로 설득력 있게 나타납니다. 그러나 출처는 완전히 상상입니다. 이것은 환각의 전형적인 예입니다."

왜 이런 일이 발생합니까? (2단원을 기억하세요)

환각의 원인은 모델의 작동 원리에 있습니다. 모델은 "사실의 백과사전"이 아닙니다. 그것은 "확률 기계"이다. 그 임무는 귀하의 질문을 최대한 원활하게 지속시키는 것입니다. 가장 정확한 정보를 가져오는 것이 아닙니다. 모델:

그는 자신이 모르는 것을 모릅니다. 빈칸에 직면했을 때, 그는 “모르겠어요”라고 말하기보다는 가능한 대답을 채우는 경향이 있습니다.
현실을 통제하는 메커니즘이 없습니다. 생성된 텍스트가 세계와 일치하는지 여부는 확인하지 않습니다.
그에게는 유창함과 정확성이 서로 다릅니다. 유창하다고 해서 그것이 옳다는 것을 의미하지는 않습니다.

주의: 환각은 "오작동"이 아닙니다. 이는 기술의 고유한 특징입니다. 새로운 모델에서는 이 현상이 줄어들지만 완전히 제거할 수는 없습니다. 그러므로 '비환각 모델'을 기다리는 대신 환각을 안고 살아가는 법을 배우는 것이 필요하다.

환각의 위험이 높은 곳은 어디입니까?

모든 결과가 똑같이 위험한 것은 아닙니다. 다음과 같은 경우 위험이 증가합니다.

고위험

낮은 위험

정확한 수치, 날짜, 통계

일반적인 아이디어 생성, 브레인스토밍

출처, 인용문, 참고자료 요청

텍스트의 톤 변경

틈새 시장, 전문 주제

공통적이고 일반적인 주제

시사와 인물

텍스트를 요약하세요

귀하의 회사와 관련된 내부 정보

문법 교정

미니 케이스 3개

사례 1 — 프레젠테이션에 가짜 인물이 등장했습니다. 한 직원이 AI에게 업계 보고서에 대해 "2023년 전자상거래 성장률과 터키의 출처"를 질문했습니다. 모델은 설득력 있는 비율(48%)과 기관 이름을 반환했습니다. 직원이 이를 확인하지 않고 프레젠테이션에 넣었습니다. 해당 피규어가 조작된 사실이 회의에서 밝혀지면서 발표는 물론 회사의 명예까지 훼손됐다. 만약 동일한 직원이 공식 소스로부터 수치를 받았다면 문제가 되지 않았을 것입니다.

사례 2 - 존재하지 않는 법안. 보조원은 청원에 대해 AI에게 '해당 법령'을 물었다. 이 모델은 사실적으로 보이는 항목 번호와 텍스트를 생성했습니다. 하지만 그 물건은 거기에 없었어요. 다행히 법무팀에서 배송 전에 이를 알아차렸습니다. 교훈: 법적 인용은 항상 기본 소스에서 확인됩니다.

사례 3 - 올바른 방법, 안전한 결과. 같은 팀의 또 다른 직원은 단순히 AI가 보고서 초안을 작성하게 하고, 공식 데이터에서 직접 모든 숫자를 입력하고 "이 텍스트에 없는 수치는 추가하지 마세요"라고 지시했습니다. 결과는 빠르고 정확했습니다. 차이점: AI는 사람이 먹인 사실 초안을 작성했습니다.

약한 프롬프트 / 강한 프롬프트

약한 프롬프트: 이 주제에 대한 가장 중요한 학술 자료 3개를 저자와 연도와 함께 제공하세요.

결과: 모델이 존재하지 않는 소스에 안전하게 적합할 수 있습니다.

강력한 프롬프트: 아래에 붙여넣은 텍스트를 기반으로 요약을 작성하세요. 이 텍스트에 있는 정보만 사용하십시오. 본문에 없는 이름, 번호, 출처를 추가하지 마세요. 확실하지 않은 경우 "텍스트에 지정되지 않음"이라고 기재하세요.<text>[여기에 붙여넣기]</text>

결과: 모델이 소스를 직접 가져오므로 피팅 공간이 좁아집니다.

신뢰성을 높이는 실용적인 기술

답변에 검증 가능한 각 주장(번호, 날짜, 이름, 출처)을 표시하고 별도의 "반드시 확인" 목록에 추가하세요.

이 질문에 답해 보세요. 확실하지 않다면 추측하지 마세요. "잘 모르겠어요"라고 말하고 무엇을 모른다고 설명하세요. 제목: [제목]

동일한 질문에 두 가지 다른 방식으로 답하고 두 답변 사이의 모순을 표시하세요. 그럼 어떤 점이 의심스러운지 살펴보겠습니다.질문: [질문]

아래 내용을 확인하겠습니다. 확인해야 할 위험한 주장을 중요도 순으로 나열하고 각 주장을 확인할 수 있는 위치를 제안합니다.텍스트: [여기에 붙여넣기]

또한 다음 습관을 기르십시오.

당신은 소스를 제공합니다. 본문에 해당 문서를 붙여넣고 "이것만을 토대로 답변하세요."라고 말하세요.
항상 확인 가능한 사실을 확인하세요. 독립적이고 신뢰할 수 있는 출처의 숫자, 날짜, 이름, 인용문 및 출처를 확인하세요.
그에게 그 모델에 대해 확신이 없다는 것을 나타내도록 요청하십시오. 이렇게 하면 위험이 줄어들지만 완전히 제거되지는 않습니다.
위험도가 높은 작업의 경우 전문가에게 출력물 검사를 의뢰하세요. 법률, 금융 및 건강 관련 결과물은 인간 전문가의 필터를 통과해야 합니다.
AI를 '최종 단어'가 아닌 '시작점'으로 사용하세요. 초안은 그 사람이 쓴 것입니다. 확인과 결정은 귀하의 것입니다.

주의: "모델이 두 번 말했다면 사실입니다"라는 논리는 잘못되었습니다. 같은 실수를 자신 있게 반복할 수 있다. 반복은 정확성의 증거가 아닙니다.

일반적인 실수

출처를 확인하지 않고 사용합니다. 모델북, 기사, 법률 조항 및 링크를 만들 수 있습니다. 모든 참조는 확인되어야 합니다.
자신감 있는 어조를 정확성으로 착각합니다. 환각의 가장 위험한 점은 바로 환각이 자신감 있어 보인다는 것입니다.
모델이 "확인하세요"라고 말하는 것만으로도 충분합니다. 모델의 자체 검증은 독립적인 검증이 아닙니다.
위험도가 높은 출력물을 전문가에게 보여주지 않고 사용합니다. 인간의 통제는 돈, 법, 건강에 필수적입니다.

요약하면

환각은 모델이 존재하지 않는 정보를 마치 사실인 것처럼 유창하고 자신감 있게 생성하는 경우를 말합니다.
원인은 오작동이 아니라 모델의 확률 예측 특성입니다. 완전히 없앨 수는 없습니다.
정확한 수치, 출처, 최신 정보 및 틈새 문제와 관련하여 위험이 특히 높습니다.
자신을 보호하려면 출처를 밝히고, 사실을 확인하고, "확실하지 않으면 알려주세요"라고 말하고, 위험도가 높은 출력물을 전문가에게 확인받으세요.
AI를 출발점으로 사용하세요. 최종 검증과 책임은 언제나 귀하에게 있습니다.

신청업무

전문 지식이 필요한 주제에 대해 AI 도구에 "3개의 학술 소스를 제안"하고 인터넷에서 제안하는 소스를 확인하도록 지시하세요. 얼마나 많은 것이 진짜인지 주목하세요. 그런 다음 "소스 제공" 방법으로 동일한 작업을 반복하고 차이점을 관찰합니다.

체크리스트

[ ] 환각이 무엇인지, 왜 발생하는지 설명할 수 있습니다.
[ ] 나는 환각 위험이 높은 작업과 낮은 작업을 구분할 수 있습니다.
[ ] 모델에 소스를 제공함으로써 제작의 위험성을 줄일 수 있습니다.
[ ] 본인은 숫자, 날짜, 이름, 출처를 독립적으로 확인합니다.
[ ] 나는 자신감 있는 어조가 정확성의 증거라고 생각하지 않습니다.