이득:
- 환각의 원인과 접지의 역할을 설명합니다.
- 상황에 맞지 않는 경우 모델이 '모르겠어요'라고 말하게 만드는 기술 적용
- 응답에 검증 가능한 출처/인용을 추가하여 신뢰도와 감사 가능성을 보장합니다.
언어 모델의 가장 위험한 행동은 자신이 모르는 것을 자신감 있고 설득력 있는 어조로 꾸며내는 것입니다. 이것을 환각이라고 합니다. 기업 비서의 환각은 짜증스러울 뿐만 아니라 완전히 위험합니다. 잘못된 휴일, 잘못된 가격, 잘못된 법적 내용은 실제로 직원이나 고객을 위험에 빠뜨릴 수 있습니다. 이 단원에서는 환각이 발생하는 이유, RAG에서 환각을 줄이는 방법, 답변을 검증 가능하게 만드는 방법을 다룹니다.
환각의 원인은 무엇입니까?
모델은 다음으로 가능성이 가장 높은 단어를 생성하도록 훈련되었습니다. "진실을 말하는 것"이 아니라 "유창하고 합리적인 텍스트를 생성하는 것"입니다. 정보가 누락된 경우 통계적으로 그럴듯하지만 실제로는 잘못된 정보로 공백을 채울 수 있습니다. 세 가지 일반적인 트리거:
- 문맥상 답은 없지만 모델은 어쨌든 무언가 말해야 한다는 압박감을 느낍니다.
- 맥락이 상충되거나 부적절합니다. 모델은 예측과의 격차를 해소합니다.
- 질문은 맥락을 넘어서는 것입니다. 모델은 자체의 일반적인(그리고 아마도 오래된) 지식으로 돌아갑니다.
RAG는 모델에 실제 소스를 제공하기 때문에 환각을 줄이지만 재설정하지는 않습니다. 잘못된 부품을 가져오거나 모델을 "틈을 메울 수 있는 자유"를 남겨두면 RAG 시스템도 맞출 수 있습니다.
환각의 종류
증상
근본 원인
솔루션 레이어
검색에서 발생
정답은 문서에 있지만 도착하지 않았습니다.
잘못된/누락된 부품이 배송됨
청킹, 하이브리드, 순위 재지정(단위 3-4)
세대 소싱
올바른 부분이 도착했지만 답변이 잘못되었습니다/추가해야 합니다
모델은 예측과의 격차를 메웠습니다.
접지, "모른다" 허가, 창의성 저하
인용 출처
답은 맞지만 출처가 틀렸네요
잘못된 부품을 참조한 모델
인용 확인(단원 8 참조)
힌트: 환각을 두 부분으로 나누세요. 검색에서 출처: 잘못된/누락된 부품이 도착했습니다(해결책: 검색 개선). 생성 소스: 올바른 부품이 도착했지만 모델이 이를 잘못 읽거나 추가했습니다(해결책: 프롬프트 및 접지). 그것이 어느 것인지 모르면 고칠 수 없습니다.
접지: 상황에 맞는 답 찾기
접지는 모델에 "내가 제공하는 텍스트에만 의존하고 그 이상으로 넘어가지 마십시오"라고 말하는 모든 기술에 부여된 이름입니다. 그의 가장 기본적이고 효과적인 기술은 모델에게 '모르겠어요'라고 말할 수 있는 권한을 명시적으로 부여하는 것입니다. 모델은 인간과 마찬가지로 "모르겠습니다"라고 말하기를 주저합니다. 이를 수행하려면 그에게 명시적인 허가를 주어야 합니다.
아래의 CONTEXT를 토대로만 답변하세요. 문맥상 답변이 명확하지 않은 경우 정확하게 다음과 같이 작성하십시오. "문서에서 이에 대한 충분한 정보를 찾을 수 없습니다." 문맥에 없는 숫자, 날짜 또는 이름을 포함하지 마십시오. 추측하지 마십시오.
추가 접지 기술:
- 인용 요구 사항: 각 주장 앞에 문맥을 그대로 인용하십시오(“문서에 '...''라고 적혀 있음). 모델의 경우 조작된 견적을 생성하는 것이 더 어렵습니다.
- 낮은 온도: 온도(온도, 창의성/임의 설정)가 낮아야 합니다. 참고: 일부 최신 모델에서는 이 매개변수가 제거되었습니다. 그 안에서 프롬프트를 통해 접지를 제공합니다. 높은 창의성은 기업 정직성의 적입니다.
- 범위 제한: "동의 정책 문제에만 응답하고, 거부하려면 정중하게 거부하세요."
인용
환각에 대한 가장 강력한 체계적 방어는 대답을 검증 가능하게 만드는 것입니다. 답변이 어떤 문서에 근거했는지 사용자가 알 수 있다면 (1) 스스로 실수를 잡을 수 있고, (2) 감사가 가능하고, (3) 신뢰도가 높아지고, (4) "출처를 인용해야 한다"는 인식을 가지고 모델이 좀 더 신중하게 생산하게 됩니다.
두 가지 일반적인 접근 방식:
인라인 속성: 각 주장 옆에 소스 태그가 있습니다. "연차휴가는 14일입니다[1]." 다음은 [1]의 전체 문서입니다.
구조화된 출력: 모델에게 별도의 필드에 답변과 소스 목록을 생성하도록 요청합니다. 인터페이스에서 리소스를 클릭 가능한 링크로 표시합니다.
# 모델을 기반으로 구조화된 답변 생성(개념적) 다음 구조로 답변을 제공하세요.- 답변: <context-based 답변>- 소스: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # 컨텍스트가 이를 얼마나 명확하게 지원합니까? 문맥상 답변이 뒷받침되지 않는 경우, 답변란에 '정보를 찾을 수 없음'이라고 기재하고 출처는 비워두세요.
인용이 실제로 작동하려면 귀속이 올바른지 확인해야 합니다. 모델은 때때로 올바른 답을 제공하지만 잘못된 소스를 제공할 수 있습니다. 고급 시스템은 생성된 각 주장이 그것이 가리키는 부분(다음 단위의 "신뢰성" 측정)에서 실제로 뒷받침되는지 자동으로 확인합니다.
약함/강함: 환각에 대한 프롬프트
약함(빈칸을 채우라는 권유):
가지고 있는 정보를 사용하여 질문에 최대한 답변하십시오. {context} 질문: {question}# "최대한"은 모델에 대해 "모르는 경우 추측"을 의미합니다.
강력함(접근 + 권한 없음 + 출처 + 신뢰):
CONTEXT에만 의존하세요. 그렇지 않으면 "정보를 찾을 수 없습니다"라고 말합니다. 번호/날짜/이름을 구성합니다. 각 청구에 [n]개의 출처 번호를 추가합니다. 컨텍스트에서 지원하는 신뢰 수준을 지정합니다.CONTEXT: [1]... [2]... 질문: {question}
미니 케이스 3개
사례 1 — 구성된 품목 번호. 법률 보조원이 맥락에 맞지 않는 "17/B조" 진술을 작성하여 직원에게 잘못된 정보를 제공했습니다. 문맥에 맞지 않는 기사번호는 기재하지 말고, 모른다고 하라' + 인용의무를 추가하자 40건 중 조작 사례가 11건에서 0건으로 줄었다.
사례 2 — 정답, 잘못된 출처. 지원 담당자가 올바른 반품 기간을 명시했지만 잘못된 기사를 인용했습니다. 고객이 링크를 클릭했을 때 관련 없는 페이지가 열렸습니다. 인용검증(인용논문에 주장이 나타나는지 확인)을 추가하자 허위인용률이 23%에서 2%로 낮아졌다.
사례 3 — “모름” 권한이 부여되지 않았습니다. HR 보조원이 문서에 없는 질문에 대해 그럴듯하지만 잘못된 답변을 구성했습니다. 명시적인 "모르겠어요" 동의와 전문("문서에서 이에 대한 정보를 찾을 수 없습니다")이 프롬프트에 추가되면 조작이 아닌 답변이 없는 질문에 대한 정직한 거부율이 8%에서 95%로 증가했습니다.
일반적인 실수
- "모른다"는 것을 허용하지 않음: 모델은 제작으로 공백을 채웁니다.
- 높은 창의성 유지: 무작위성은 기업의 정직성에 해롭습니다.
- 검증하지 않고 출처를 신뢰함: 모델이 정답에 잘못된 출처를 첨부할 수 있습니다.
- 환각의 두 가지 유형을 구별하지 않음: 검색에 의한 것인지 생성에 의한 것인지 모르고 잘못된 위치를 수정합니다.
- 화장품에 대한 잘못된 인용: 출처 인용은 확인이자 억제 효과가 있습니다. 진지하게 받아들이십시오.
주의: "모델이 매우 자신감 있어 보입니다"는 "모델이 정확합니다"와는 다릅니다. 환각은 일반적으로 가장 유창하고 자신감 있는 문장입니다. 문장의 어조가 아니라 그것이 나타내는 출처에서 신뢰를 읽으십시오.
요약하면
- 환각은 모델이 그럴듯하지만 잘못된 텍스트로 정보 격차를 채우는 경우입니다. RAG는 감소하지만 재설정되지는 않습니다.
- 환각은 검색(잘못된 부분) 또는 생성(잘못된 읽기)으로 인해 발생할 수 있습니다. 어느 것을 먼저 결정하십시오.
- 접지의 가장 강력한 기술은 모델에 명시적인 "모름" 권한을 부여하는 것입니다. 인용요건도 낮고 창의성도 낮다.
- 인용은 답변을 검증 가능하게 만듭니다. 이는 자신감을 주고 모델이 조심스럽게 생산되도록 유도합니다.
- 인용의 정확성도 확인해야 합니다. 정답에 잘못된 출처가 첨부될 수 있습니다.
응용과제
(1) 문서에 없는 답변을 조수에게 물어볼 질문 4개를 준비합니다(트랩 질문). 약한 프롬프트와 강한 프롬프트로 각각을 테스트하고 모델이 적합한지 여부를 표시합니다. (2) 문서에 답변이 있는 4개 질문에 대해 모델이 용접 번호를 생성하고 표시된 용접이 실제로 올바른 부품인지 수동으로 확인하도록 합니다. (3) 모델이 하나 이상의 사례에서 "정답, 잘못된 소스"를 제공하는지 확인하고 이를 자동으로 포착할 수 있는 방법을 한 문장으로 작성합니다.
체크리스트
- [ ] 환각이 발생하는 이유와 RAG가 환각을 감소시키지만 재설정하지는 않는다는 것을 알 수 있습니다.
- [ ] 나는 인출환각과 생성환각을 구별하고 정확한 위치를 교정할 수 있다.
- [ ] 명시적인 "모름" 권한과 기본 규칙을 프롬프트에 추가하고 있습니다.
- [ ] 답변에 검증 가능한 출처(인용)를 추가하고 있습니다.
- [ ] 귀속의 정확성을 추가로 확인할 필요가 있음을 이해합니다.