ナレッジベースと RAG: ボットとエージェントが正しい答えを見つける方法 — コールセンターと顧客エクスペリエンスにおける人工知能

利益:

RAG (断片化、アクセス、リソース依存の生成) がどのように機能し、幻覚をどのように軽減するかを理解する
最新かつ明確で矛盾がなく、単一の正しいソースを持つ知識ベースを確立することで、回答の質を高める能力。
モデルに「ソースにない場合は、知らないと言ってください」と指示し、答えられない質問をナレッジベースの改善に変える機能

ボットまたはエージェントアシスタントが提供する回答は、そのベースとなる情報と同程度に重要です。顧客が「キャンペーンは続いていますか?」と尋ねたとき、正しい答えはモデルの記憶の中にではなく、教育機関の現在の知識ベースの中にあります。そのため、コールセンターの人工知能の中心はナレッジベース (KB) です。ナレッジベースは、製品、ポリシー、FAQ、手順、ルールが書面で保存される最新のリソースです。そして、この知識ベースを人工知能に安全に接続する方法は、RAG: 検索拡張生成と呼ばれます。モデルは、自身の記憶から答えを作成するのではなく、まずソースから関連する情報の部分を取得し (検索)、次にそれらの部分のみに基づいて答えを生成します (生成)。

RAG は幻覚を防ぐ最も強力な方法です。このモデルは、「ローン金利はいくらですか?」という質問に対して頭の中で数値を生成しません。現在関心のあるテキストをナレッジベースから取得し、それに基づいて回答します。この単元では、ナレッジベースの設定方法、RAG の仕組み、優れたナレッジベースが回答の品質をどのように決定するかを見ていきます。

RAG の仕組み: 4 つのステップ

RAG を図書館員のように考えてください。顧客は質問をします。システムはまず図書館の右の棚から関連するページを見つけ、次にそれらのページを読んで答えを書き込みます。技術的な手順は次のとおりです。

チャンク化: ナレッジベース内の長いドキュメントは、小さく意味のある部分に分割されます (たとえば、各 FAQ はチャンクです)。モデルは関連する小さな部品を使用して質問により正確に答えるためです。
埋め込みとインデックス付け: 各部分は、その意味を表す数値形式 (埋め込み、テキストの意味を表す一連の数字) に変換され、検索可能なデータベースに配置されます。したがって、それは「単語の一致」ではなく「意味の一致」です。お客様から「いつ入金されますか？」と質問されても「返金期間」の部分が見つかる場合があります。
検索: 顧客の質問に意味的に最も近い部分が検索されます (例: 最も近い 3 ～ 5 個の部分)。
生成: モデルは描画された部分のみに基づいて回答を書き込み、可能であれば出典を示します。

重要な点はステップ 4 です。モデルは「与えられた部分にだけ依存するか、知らないと言う」ように指示されます。この指示がなくても、RAG はモデルのフィッティングを妨げません。

ヒント: RAG の黄金律: 「ソースにない場合、答えはありません。」優れた RAG システムは、ナレッジベースにない質問に対して「これについてはよくわかりません」と答えます。推測でギャップを埋めることは決してありません。ボットが「わかりません」と言える能力はセキュリティ機能であり、弱点ではありません。

優れたナレッジベース: 回答の品質の真の源

RAG がどれほど優れていても、知識ベースが悪ければ、答えも悪くなります。ナレッジベースの品質は次の方法で測定されます。

特徴

悪い知識ベース

優れた知識ベース

ステップバイステップ: RAG でサポートされる応答システムの構築

ナレッジベースをクリーンアップします。古くなった記事、競合する記事、重複した記事を削除します。各記事は短く、単一のトピックにまとめてください。
内容を細分化してタグ付けする: 各記事にトピックタグと最終更新日を追加します。
アクセスを確立する: 要求されたときに関連する部分を取得するメカニズムを接続します (エンタープライズ RAG ツールがこれを提供します)。
厳密なプロンプトを作成します。モデルに、「提供された部分のみに依存するか、出典を引用するか、知らないと言うように」と伝えます。
出典を引用する: 回答の基になっている記事を表示します。それは自信を与え、検証を容易にします。
ギャップに注意する: ボットが「わからない」と言う質問を収集します。これらは知識ベースの欠陥を示しており、そこから情報が得られます。

コピー可能な 4 つのテンプレート

1) 厳密な RAG 回答プロンプト:

次の [SOURCE] 部分に基づいて回答してください。ルール: (1) 出典にある情報のみを使用する、(2) 出典にない場合は「これについては明確な情報がありません。代表者に繋ぎます」と伝える、(3) [出典: item-no] としてどの記事に基づいているのかを明記する、(4) 金額、期間、条件を出典から正確に引用し、四捨五入したり補ったりしない。 [ソース]: <<抽出された部品>>質問: 「<<お客様からの質問>>」

2) ナレッジベース記事の作成:

以下の散在するポリシーテキストを RAG に適した FAQ 記事に変換します。形式: 質問 (顧客の言語) / 短い回答 (2 ～ 3 文) / 条件 (条項) / 最終更新日 / トピックタグ。曖昧な点は「明確にする必要がある」とマークしてください。生のテキスト: <<テキスト>>

3) 矛盾とギャップをスキャンする:

次のナレッジベースの記事を調べてください。 (1) 互いに競合する商品のペアにマークを付けます (返品期間が異なるなど)。 (2) よく聞かれるが答えがないトピックを推測します。指定された記事だけを見てください。新しい政策を生み出す。記事: <<リスト>>

4) 「わかりません」ログからの改善:

以下は、ボットが回答できなかった (ソースが見つからなかった) 質問です。それらをトピックにグループ化し、各グループのナレッジベースに追加する記事のタイトルを提案します。回答内容をでっち上げず、どの項目が不足しているのか教えてください。質問: <<リスト>>

弱いプロンプト / 強いプロンプト

弱いプロンプト:

顧客の返品の質問に答えます。

ソースはありません。モデルは記憶に基づいて適合する可能性があり、量/期間が間違っている可能性があり、検証できません。

強力なプロンプト:

以下の返品ポリシー条項のみに基づいて回答してください。ソースに記載されていない場合は、「よくわかりません」と言ってください。期間と条件をそのまま引用し、[出典: RETURN-03] の形式で参照します。[出典: RETURN-03]: 「未使用の製品は 14 日以内に返品できます。パーソナライズされた製品は返品の範囲外です。」質問: 「20 日前に購入したパーソナライズされた製品を返品できますか?」

違い: 出典に依存、参照は必須、製造禁止は明確。モデルはソースから正しい答え (「14 日経過し、パーソナライズされ、返金不可」) を生成します。

ミニケース3個

ケース 1 — 幻覚を止める。キャンペーンの質問に対する通信ボットの回答精度は、RAG なしの設定では 71% でした。このモデルは古いキャンペーンを作り上げることもありました。現在のキャンペーンページを RAG に接続し、「ソースにない場合は言わない」ルールを追加したところ、精度が 96% に向上し、「間違ったキャンペーンワード」に関する苦情はほぼなくなりました。

ケース 2 — 矛盾の代償。電子商取引会社のナレッジベースでは、2 つの異なる送料が 2 ページ (1 つは現在のページ、もう 1 つは古い忘れられたページ) に書かれていました。ボットはランダムに誰かを引っ張ってきて、一部の顧客に間違った価格を伝えていました。単一の正しいソースの原則に従って古いページをアーカイブすると、不一致は解消されました。教訓: RAG は矛盾を解決するのではなく、矛盾をそのまま伝播させます。

ケース 3 — 「わかりません」ログの値。ある銀行では、ボットは月に約 4,000 件の質問に対して「よくわかりません」と答えていました。これらの質問をグループ化すると、40% が「国際カードの使用」に関するものであることがわかりました。それに関する記事はありませんでした。関連項目を追加すると、これらの疑問は解決され、そのテーマに関する人の離職率は 55% 減少しました。ボットが「分からない」と言ったことは、改善へのロードマップとなりました。

よくある間違い

出典にリンクせずに回答します。 RAG を使用しない場合、モデルは具体的な情報に適合します。具体的な答えは情報源に依存する必要があります。
「わからない」オプションをオフにします。モデルにすべての質問に答えるように強制することで、フィッティングが保証されます。
矛盾する情報や古い情報が消去されていません。 RAG は矛盾を広めます。単一の正しい情報源が不可欠です。
細断を怠った。大きな PDF をそのままエクスポートすると、正確なアクセスが妨げられます。短い単一トピックの記事を使用します。
ソースを隠します。答えが何に基づいているかを示さないと、検証と信頼が弱まります。

注意: RAG は精度を向上させますが、100% の保証を提供するものではありません。モデルはキャプチャした部分を誤って解釈する場合があります。したがって、財務、法律、セキュリティの問題については、出典が引用されている場合でも人間の承認が必要です。 RAG は幻覚を軽減しますが、責任は取り除かれません。

要約すれば

ナレッジベースとRAGはコールセンターAIの精度の基盤です。 RAG は、モデルが記憶から答えを当てはめることを防ぎ、電流源のみに依存することにより、幻覚を大幅に防ぎます。しかし、RAG の優れているのはそのナレッジベースです。最新で、明確で、構造化され、矛盾がなく、唯一の真実の情報源を持つナレッジベースが不可欠です。モデルに「ソースにない場合は、知らないと言ってください」と伝え、ソースを示し、ボットが答えられない質問を使用して知識ベースを向上させます。一か八かの事柄に関する情報源にもかかわらず、人間の同意を維持する。

アプリケーションタスク

あなたの業界からの実際の顧客の質問 8 つと、それに対応する短いナレッジベース記事 8 つを作成します (各記事: 質問、短い回答、条件、日付、タグ)。次に、「1) タイトな RAG 回答プロンプト」パターンを使用し、ナレッジベースにない質問をすることで、モデルが「わかりません」と言えるかどうかをテストします。最後に、「3) 矛盾とギャップのスキャン」で記事をチェックします。

チェックリスト

[ ] ボット/アシスタントによって与えられる具体的な答えはすべて、現在の知識ベース (RAG 経由) に依存します。
[ ] モデルに「ソースにない場合は知らないと言ってください」と指示してテストしました。
[ ] 私の知識ベースは、最新の明確な単一トピックの記事で構成されています。
[ ] 矛盾する古い記事を削除しました。すべての情報には正しい情報源が 1 つだけあります。
[ ] 回答はどの記事に基づいているかを示します (出典)。
[ ] 「わからない」質問を集めて知識ベースに提供しています。