单位 5 / 12

知识库和 RAG:机器人和代理如何找到正确答案

收益:

  • 了解 RAG(碎片、访问、资源依赖生成)的工作原理以及它如何减少幻觉
  • 通过建立最新、清晰、无冲突且具有单一正确来源的知识库,能够提高答案的质量。
  • 能够指导模型“如果源中没有,告诉我你不知道”,并将其无法回答的问题转化为知识库改进

机器人或代理助理给出的答案与它所基于的信息一样好。当客户询问“活动是否继续?”时,正确答案不在模型的内存中,而是在机构当前的知识库中。这就是为什么呼叫中心人工智能的核心是知识库(KB):一种以书面形式保存产品、政策、常见问题解答、程序和规则的最新资源。将这个知识库安全地连接到人工智能的方法称为 RAG:检索增强生成 - 该模型不是从自己的记忆中组成答案,而是首先从源中检索相关信息片段(检索),然后仅基于这些信息片段生成答案(生成)。

RAG 是预防幻觉最有效的方法。对于“贷款利率是多少?”这个问题,该模型不会在头脑中生成一个数字。它从知识库中检索当前感兴趣的文本并据此给出答案。在本单元中,我们将了解如何建立知识库、RAG 如何工作以及良好的知识库如何决定答案的质量。

RAG 的工作原理:四个步骤

将 RAG 想象为图书管理员。客户提出问题;系统首先从图书馆的右书架中找到相关页面,然后读取这些页面并写下答案。技术步骤如下:

  1. 分块:知识库中的长文档被分成小的、有意义的部分(例如,每个常见问题解答都是一个块)。因为模型通过相关的小部件可以更准确地回答问题。
  2. 嵌入和索引:每一段都被翻译成代表其含义的数字形式(嵌入——代表文本含义的数字序列)并放置在可搜索的数据库中。因此,它不是“词的匹配”而是“意义的匹配”;即使客户问“我的钱什么时候存入?”,也可能会找到“退款期限”部分。
  3. 检索:检索与客户问题含义最接近的部分(例如最接近的 3-5 个部分)。
  4. Generation: The model writes the answer based ONLY the drawn parts and indicates the source if possible.

关键点在第 4 步:指示模型“仅依赖给定的部分,或者说你不知道”。如果没有此指令,RAG 不会阻止模型拟合。

提示:RAG 的黄金法则:“如果源代码中没有,就没有答案。”一个好的 RAG 系统会对知识库中没有的问题说“我不确定”;永远不会用猜测来填补空白。机器人说“我不知道”的能力是一项安全功能,而不是弱点。

良好的知识库:答案质量的真正来源

无论 RAG 有多好,如果知识库不好,答案就会很糟糕。知识库质量的衡量标准是:

特征

不良的知识基础

良好的知识基础

当前性

好几个月没更新了

更改后立即更新

清晰度

长而复杂的文本

简短的单一主题文章

结构

凌乱的 PDF 堆

标记可降解物质

一致性

两个相互矛盾的答案

单一事实来源

适用范围

还有很多差距

涵盖常见问题

所有权

没有人负责

每个主题都有一个所有者

呼叫中心环境中最危险的问题是矛盾:如果知识库中写入了两个不同的退货期,RAG 会说采用哪个,并且将向客户发送不一致的答案。这就是为什么“单一事实来源”原则至关重要:信息在一个地方保持最新;使用对该来源的引用,而不是副本。

一步一步:构建 RAG 支持的响应系统

  1. 清理知识库:删除过时、冲突、重复的文章。使每篇文章简短且主题单一。
  2. 分解并标记它:为每篇文章添加主题标签和上次更新日期。
  3. 建立访问:连接一个在需要时拉取相关部分的机制(企业 RAG 工具提供此功能)。
  4. 写一个严格的提示:告诉模型“只依赖提供的部分,引用来源,或者说你不知道。”
  5. 引用来源:显示答案所依据的文章;它既给人信心又便于验证。
  6. 留意差距:收集机器人说“我不知道”的问题;这些显示了知识库中的缺陷,从那里获取。

四个可复制模板

1)严格的RAG答题提示:

根据以下[来源]部分回答。规则:(1) 仅使用来源中的信息,(2) 如果来源中没有,请说“我对此没有明确的信息,让我联系您代表”,(3) 说明其基于哪篇文章[来源:项目编号],(4) 准确引用来源中的金额/持续时间/条件,不要四舍五入/弥补。 [来源]:<<拉动零件>>问题:“<<客户问题>>”

2)知识库文章写作:

将以下分散的政策文本转换为适合 RAG 的常见问题解答文章。格式:问题(以客户的语言)/简短回答(2-3 个句子)/条件(子句)/上次更新日期/主题标签。将任何模棱两可的观点标记为“有待澄清”,虚构。原始文本:<<文本>>

3)扫描矛盾和差距:

检查以下知识库文章。 (1) 标记相互冲突的文章对(例如不同的回归周期)。 (2) 猜测经常被问到但没有答案的话题。只看给定的文章;制定新政策。文章:<<列表>>

4)“我不知道”日志的改进:

以下是机器人无法回答的问题(无法找到来源)。将它们分组为主题,并建议应添加到每个组的知识库中的文章标题。不要乱编答案内容,只要告诉我缺少哪一项即可。问题:<<列表>>

弱提示/强提示

弱提示:

解答顾客的退货问题。

无来源;该模型可能是根据记忆拟合的,数量/持续时间可能是错误的,无法验证。

强力提示:

仅根据下面的退货政策条款回答。如果来源中没有提供,请说“我不确定”。逐字注明期限和条件,以[来源:RETURN-03]的形式引用。[来源:RETURN-03]:“未使用的产品可以在14天内退货。个性化产品不在退货范围内。”问:“我可以退回 20 天前购买的个性化产品吗?”

区别:来源依赖、参考强制、制造禁令明确;该模型从来源生成正确答案(“14 天过去且个性化,不可退款”)。

三个迷你箱子

案例 1——结束幻觉。在无 RAG 设置中,电信机器人对活动问题的回答准确率为 71%;该模型有时会弥补旧的活动。当当前的活动页面连接到 RAG 并添加“来源中没有的请勿说出”规则后,准确率提高到了 96%,并且关于“错误的活动用词”的投诉几乎结束了。

案例2——矛盾的代价。在一家电子商务公司的知识库中,两种不同的运输成本写在两页上(一页是当前的,一页是旧的被遗忘的页面)。该机器人随机拉某人并告诉一些顾客错误的价格。当旧页面按照单一正确来源的原则进行存档时,不一致现象就消失了。教训:RAG 并没有解决矛盾,而是按原样传播矛盾。

情况 3 — “我不知道”日志的值。在一家银行,机器人每月对大约 4,000 个问题说“我不确定”。将这些问题进行分组后发现,40% 是关于“国际卡使用”;没有关于它的文章。添加相关项目后,这些问题就得到了解决,并且该主题的人员流动率减少了 55%。机器人说它不知道这一事实成为了改进的路线图。

常见错误

  • 回答时不链接到来源。没有RAG,模型适合具体信息;任何具体答案都必须取决于来源。
  • 关闭“我不知道”选项。迫使模型回答每个问题以确保拟合。
  • 不清除冲突/旧信息。 RAG传播矛盾;单一正确的来源至关重要。
  • 忽略了撕碎。按原样导出大型 PDF 会破坏准确的访问;使用简短的单一主题文章。
  • 隐藏来源。不表明答案的依据会削弱验证和信任。
注意:RAG 可以提高准确性,但不能提供 100% 的保证。该模型有时会误解捕获的部分。因此,即使引用了来源,财务、法律和安全问题也需要人工批准; RAG 减少了幻觉,但并没有消除责任。

总之

知识库和RAG是呼叫中心AI准确性的基础。 RAG 通过阻止模型根据记忆拟合答案并仅依赖当前源来很大程度上防止幻觉。但 RAG 的好坏取决于其知识库:最新、清晰、结构化、无冲突且具有单一事实来源的知识库至关重要。告诉模型“如果源中没有,请告诉我你不知道”,指向源,并使用机器人无法回答的问题来改进其知识库。尽管消息来源涉及高风险问题,但仍要保持人类的同意。

应用任务

编写 8 个来自您所在行业的真实/现实的客户问题以及 8 篇相应的简短知识库文章(每篇文章:问题、简答、条件、日期、标签)。然后使用“1) Tight RAG 答案提示”模式测试模型是否可以说“我不知道”,并提出一个问题,其中一个问题不在知识库中。最后,用“3)矛盾和差距扫描”来检查你的文章。

清单

  • [ ] 机器人/助手给出的每个具体答案都取决于当前的知识库(通过 RAG)。
  • [ ] 我指示模型“如果源中没有,请告诉我你不知道”并对其进行了测试。
  • [ ] 我的知识库由最新、清晰、单一主题的文章组成。
  • [ ] 我清理了冲突的旧文章;所有信息只有一个正确来源。
  • [ ] 答案显示它基于哪篇文章(来源)。
  • [ ] 我收集“我不知道”的问题并提供知识库。