기술 자료 및 RAG: 봇과 에이전트가 정답을 찾는 방법

이득:

• RAG(조각화, 액세스, 리소스 의존 생성)의 작동 방식과 환각을 줄이는 방법을 이해합니다.
• 최신의 명확하고 충돌이 없으며 올바른 단일 소스가 있는 지식 기반을 구축하여 답변의 품질을 높이는 능력.
• 모델에 '소스에 없으면 모른다고 말해주세요'를 지시하고 답변할 수 없는 질문을 지식 기반 개선으로 전환하는 능력

봇이나 상담원이 제공하는 답변은 그 답변의 기반이 되는 정보만큼만 중요합니다. 고객이 "캠페인은 계속되나요?"라고 물으면 정답은 모델의 메모리에 있는 것이 아니라 기관의 현재 지식 베이스에 있습니다. 그렇기 때문에 콜센터 인공 지능의 핵심은 제품, 정책, FAQ, 절차 및 규칙이 서면으로 유지되는 최신 리소스인 지식 베이스(KB)입니다. 그리고 이 지식 기반을 인공 지능에 안전하게 연결하는 방법을 RAG: Retrieval-Augmented Generation이라고 합니다. 모델은 자체 메모리에서 답변을 구성하는 대신 먼저 소스에서 관련 정보 조각을 검색(검색)한 다음 해당 조각만을 기반으로 답변을 생성(생성)합니다.

RAG는 ​​환각을 예방하는 가장 강력한 방법입니다. 모델은 "대출 이자율은 얼마입니까?"라는 질문에 대해 머리 속에 숫자를 생성하지 않습니다. 지식베이스에서 현재 관심 텍스트를 검색하고 이를 기반으로 답변합니다. 이번 단원에서는 지식 기반을 설정하는 방법, RAG의 작동 방식, 좋은 지식 기반이 답변의 품질을 결정하는 방법을 살펴보겠습니다.

RAG 작동 방식: 4단계

RAG를 사서처럼 생각해보세요. 고객이 질문합니다. 시스템은 먼저 도서관의 오른쪽 선반에서 관련 페이지를 찾은 다음 해당 페이지를 읽고 답을 작성합니다. 기술적인 단계는 다음과 같습니다.

1. 청킹: 지식 베이스의 긴 문서를 작고 의미 있는 조각으로 나눕니다(예: 각 FAQ는 청크입니다). 모델은 관련된 작은 부품으로 질문에 더 정확하게 대답하기 때문입니다.
2. 임베딩 및 인덱싱: 각 부분은 해당 의미를 나타내는 숫자 형식(임베딩 - 텍스트의 의미를 나타내는 일련의 숫자)으로 번역되어 검색 가능한 데이터베이스에 배치됩니다. 따라서 "단어 일치"가 아니라 "의미 일치"입니다. 고객이 "내 돈은 언제 입금되나요?"라고 물어도 "환불 기간" 부분이 나올 수 있습니다.
3. 검색: 의미상 고객의 질문에 가장 가까운 부분이 검색됩니다(예: 가장 가까운 3~5개 부분).
4. 생성: 모델은 그려진 부분만을 기반으로 답변을 작성하고 가능하면 소스를 표시합니다.

중요한 점은 4단계에 있습니다. 모델은 "주어진 부분에만 의존하거나 모른다고 대답"하도록 지시받습니다. 이 지침이 없으면 RAG는 모델 피팅을 방해하지 않습니다.

힌트: RAG의 황금률: "소스에 없으면 답이 없습니다." 좋은 RAG 시스템은 지식 기반에 없는 질문에 대해 "나는 이것에 대해 확실히 모른다"라고 말할 것입니다. 결코 추측으로 공백을 메우지 않습니다. "모르겠어요"라고 말하는 봇의 능력은 보안 기능이지 약점이 아닙니다.

좋은 지식 기반: 답변 품질의 실제 원천

RAG가 아무리 좋아도 지식베이스가 나쁘면 답은 나쁘다. 지식 기반 품질은 다음을 통해 측정됩니다.

특징

나쁜 지식 기반

좋은 지식 기반

현재성

몇 달 동안 업데이트되지 않음

변경되면 즉시 업데이트됨

선명도

길고 복잡한 텍스트

짧은 단일 주제 기사

구조

지저분한 PDF 더미

라벨이 붙은 분해성 물질

일관성

두 가지 상충되는 답변

단일 정보 소스

범위

빈틈이 많아

자주 묻는 질문을 다룹니다.

소유권

누구도 책임지지 않는다

모든 주제에는 소유자가 있습니다

콜센터 상황에서 가장 위험한 문제는 모순입니다. 지식 베이스에 서로 다른 두 가지 반환 기간이 기록되어 있는 경우 RAG는 어느 쪽이 필요한지 말하고 일관되지 않은 답변이 고객에게 전송됩니다. 이것이 바로 "단일 정보 소스" 원칙이 중요한 이유입니다. 정보는 한 곳에서 최신 상태로 유지됩니다. 복사본이 아닌 해당 소스에 대한 참조가 사용됩니다.

단계별: RAG 지원 응답 시스템 구축

1. 지식 기반 정리: 오래되고 충돌하는 중복 기사를 제거합니다. 각 기사를 짧고 단일 주제로 만드세요.
2. 분류하고 태그를 지정하세요. 각 기사에 주제 태그와 마지막 업데이트 날짜를 추가하세요.
3. 액세스 설정: 요청 시 관련 부분을 가져오는 메커니즘을 연결합니다(엔터프라이즈 RAG 도구가 이를 제공함).
4. 엄격한 메시지를 작성하세요. 모델에게 "제공된 부분에만 의존하거나, 출처를 인용하거나, 모른다고 말하세요"라고 말합니다.
5. 출처 인용: 답변의 기반이 되는 기사를 보여주세요. 이는 신뢰를 주고 검증을 용이하게 합니다.
6. 공백 주의: 봇이 "모르겠습니다"라고 말하는 질문을 수집합니다. 이는 지식 기반의 결함을 보여주고 거기에서 피드됩니다.

복사 가능한 템플릿 4개

1) 엄격한 RAG 응답 프롬프트:

다음 [SOURCE] 부분을 기반으로 답변하세요. 규칙: (1) 출처에 있는 정보만 사용하고, (2) 출처에 없는 경우 "확실한 정보가 없습니다. 담당자에게 연결해 드리겠습니다."라고 말하고, (3) 어떤 기사를 기반으로 했는지 [출처: 항목-번호]로 명시하고, (4) 금액/기간/조건을 출처에서 정확하게 인용하고, 반올림/가식하지 마세요. [출처]: <<당겨진 부품>>질문: "<<고객 질문>>"

2) 지식 기반 기사 작성:

다음과 같이 흩어져 있는 정책 텍스트를 RAG에 적합한 FAQ 문서로 변환하세요. 형식: 질문(고객의 언어) / 단답형(2~3문장) / 조건(절) / 최종 업데이트 날짜 / 주제 태그. 모호한 점을 "명확히 해야 함"으로 표시하십시오. 원시 텍스트: <<텍스트>>

3) 모순과 공백 검색:

다음 기술 자료 문서를 검토하세요. (1) 서로 충돌하는 품목 쌍을 표시하십시오(예: 반품 기간이 다름). (2) 자주 질문을 받지만 답변이 없는 주제를 추측해 보세요. 주어진 기사만 보세요. 새로운 정책을 생성합니다.기사: <<목록>>

4) "모르겠어요" 로그 개선:

다음은 봇이 답변할 수 없는 질문입니다(소스를 찾을 수 없음). 주제별로 그룹화하고 각 그룹의 지식베이스에 추가해야 할 기사 제목을 제안합니다. 답변 내용을 꾸며내지 말고 어떤 항목이 누락되었는지 알려주세요.질문: <<목록>>

약한 프롬프트 / 강한 프롬프트

약한 프롬프트:

고객의 반품 질문에 답변합니다.

출처 없음; 모델이 메모리에 맞을 수도 있고, 금액/기간이 잘못되어 확인할 수 없을 수도 있습니다.

강력한 프롬프트:

아래 반품 정책 조항에 따라서만 답변해 주세요. 출처에 없는 경우 "확실히 모르겠습니다"라고 말하세요. 기간과 상태를 그대로 인용하고, [출처: RETURN-03] 형식으로 참고사항을 기재합니다.[출처: RETURN-03]: "미사용 제품은 14일 이내에 반품 가능합니다. 맞춤 제작 제품은 반품 범위에 포함되지 않습니다." 질문: "20일 전에 구매한 맞춤형 제품을 반품할 수 있나요?"

차이점: 소스에 따라 다름, 참조 필수, 제작 금지 해제; 모델은 소스로부터 정답('14일 경과 및 개인화, 환불 불가')을 생성합니다.

세 개의 미니 케이스

사례 1 - 환각의 종료. 캠페인 질문에 대한 통신 봇의 답변 정확도는 RAG가 없는 설정에서 71%였습니다. 모델은 때때로 오래된 캠페인을 구성했습니다. 현재 캠페인 페이지를 RAG로 연결하고 '소스에 없으면 말하지 마세요' 규칙을 추가하자 정확도가 96%까지 올랐고 '캠페인 단어가 잘못됐다'는 불만도 거의 사라졌습니다.

사례 2 - 모순의 대가. 한 전자상거래 회사의 지식베이스에는 두 페이지(현재 페이지 하나, 잊혀진 오래된 페이지 하나)에 두 가지 다른 배송비가 적혀 있었습니다. 봇이 누군가를 무작위로 끌어와 일부 고객에게 잘못된 가격을 알려주었습니다. 단일 정확한 소스 원칙으로 이전 페이지를 보관하면 불일치가 사라졌습니다. 교훈: RAG는 모순을 해결하는 것이 아니라 모순을 있는 그대로 전파합니다.

사례 3 - "모름" 로그의 값. 한 은행에서는 봇이 한 달에 최대 4,000개의 질문에 대해 "확실히 모르겠습니다"라고 말하고 있었습니다. 이들 질문을 종합해 보면 '해외카드 이용'에 관한 질문이 40%로 나타났다. 그것에 관한 기사가 없었습니다. 관련 항목을 추가하자 이러한 질문이 해결되었고 해당 주제에 대한 인력 이직률이 55% 감소했습니다. 봇이 모른다고 말한 사실이 개선의 로드맵이 되었습니다.

일반적인 실수

• 출처를 연결하지 않고 답변드립니다. RAG가 없으면 모델은 구체적인 정보에 적합합니다. 구체적인 답변은 출처에 따라 달라집니다.
• "모름" 옵션을 끕니다. 모델이 모든 질문에 답하도록 강제하면 피팅이 보장됩니다.
• 충돌하거나 오래된 정보를 삭제하지 않습니다. RAG는 ​​모순을 퍼뜨립니다. 하나의 올바른 소스가 필수적입니다.
• 파쇄를 무시합니다. 큰 PDF를 그대로 내보내면 정확한 액세스가 방해됩니다. 짧고 단일 주제의 기사를 사용하십시오.
• 소스를 숨깁니다. 답변이 무엇에 기초한 것인지 밝히지 않으면 검증과 신뢰가 약화됩니다.

주의: RAG는 정확성을 향상시키지만 100% 보장하지는 않습니다. 모델은 때때로 캡처된 부분을 잘못 해석할 수 있습니다. 따라서 금융, 법률 및 보안 문제는 출처가 인용되더라도 사람의 승인이 필요합니다. RAG는 ​​환각을 줄여주지만 책임을 제거하지는 않습니다.

요약하면

지식베이스와 RAG는 콜센터 AI 정확도의 기반이다. RAG는 ​​모델이 기억에서 답을 맞추는 것을 방지하고 현재 소스에만 의존함으로써 환각을 크게 방지합니다. 그러나 RAG는 지식 기반만큼 우수합니다. 최신이고, 명확하고, 체계적이며, 충돌이 없고, 단일 진실 소스를 갖고 있는 지식 기반이 필수적입니다. 모델에 "소스에 없으면 모른다고 말해주세요"라고 말하고 소스를 가리키며 봇이 대답할 수 없는 질문을 사용하여 지식 기반을 개선합니다. 중대한 문제에 대한 출처에도 불구하고 인간의 동의를 유지하십시오.

응용과제

해당 업계의 실제/현실적인 고객 질문 8개와 해당하는 짧은 지식 기반 기사 8개(각 기사: 질문, 단답형, 조건, 날짜, 태그)를 작성하세요. 그런 다음 "1) Tight RAG 답변 프롬프트" 패턴을 사용하고 지식 기반에 없는 질문을 질문하여 모델이 "모르겠어요"라고 말할 수 있는지 테스트합니다. 마지막으로 "3) 모순과 공백 스캐닝"을 통해 기사를 확인하세요.

체크리스트

• [ ] 봇/도우미가 제공하는 모든 구체적인 답변은 RAG를 통한 현재 지식 기반에 따라 달라집니다.
• [ ] 모델에게 "소스에 없으면 모른다고 말해주세요"라고 지시하고 테스트해봤습니다.
• [ ] 내 지식 기반은 최신의 명확한 단일 주제 기사로 구성되어 있습니다.
• [ ] 모순되고 오래된 기사를 정리했습니다. 모든 정보에 대한 올바른 출처는 단 하나뿐입니다.
• [ ] 답변은 해당 기사가 어떤 기사를 기반으로 하는지를 보여줍니다(출처).
• [ ] 나는 "모른다"는 질문을 수집하고 지식 기반을 제공합니다.