База знань і RAG: як бот і агент знаходять правильну відповідь

Прибуток:

• Зрозумійте, як працює RAG (фрагментація, доступ, залежне від ресурсів покоління) і як це зменшує галюцинації
• Здатність підвищити якість відповідей шляхом створення бази знань, яка є актуальною, чіткою, безконфліктною та має єдине правильне джерело.
• Можливість давати вказівки моделі «якщо її немає в джерелі, скажи мені, що ти не знаєш», і перетворювати запитання, на які вона не може відповісти, на покращення бази знань

Відповідь, яку дає бот або помічник агента, настільки ж хороша, як і інформація, на якій вона базується. Коли замовник запитує «Акція триває?», правильна відповідь знаходиться не в пам’яті моделі, а в поточній базі знань закладу. Ось чому серцем штучного інтелекту колл-центру є база знань (KB): актуальний ресурс, де продукти, політики, поширені запитання, процедури та правила зберігаються в письмовій формі. А метод, який надійно з’єднує цю базу знань із штучним інтелектом, називається RAG: Retrieval-Augmented Generation — замість того, щоб створювати відповідь із власної пам’яті, модель спочатку отримує відповідні фрагменти інформації з джерела (вилучення), а потім генерує відповідь лише на основі цих фрагментів (генерування).

RAG є найпотужнішим методом профілактики галюцинацій. Модель не генерує число в голові для запитання «яка відсоткова ставка кредиту?» Він отримує поточний цікавий текст із бази знань і дає відповіді на його основі. У цьому розділі ми побачимо, як налаштувати базу знань, як працює RAG і як хороша база знань визначає якість відповідей.

Як працює RAG: чотири кроки

Думайте про RAG як про бібліотекаря. Клієнт задає питання; Система спочатку знаходить відповідні сторінки на правій полиці бібліотеки, потім читає ці сторінки та записує відповідь. Технічні кроки такі:

1. Розбиття на фрагменти: довгі документи в базі знань розбиваються на невеликі значущі фрагменти (наприклад, кожен FAQ є фрагментом). Тому що модель точніше відповідає на запитання за допомогою відповідних дрібних деталей.
2. Вбудовування та індексування: кожен фрагмент перекладається в числову форму, що представляє його значення (вбудовування — послідовність чисел, що представляє значення тексту) і розміщується в базі даних з можливістю пошуку. Таким чином, це не «відповідність слів», а «відповідність значення»; Навіть якщо клієнт запитає «коли мої гроші будуть зараховані?», частина «термін повернення» може бути знайдена.
3. Отримання: Витягуються частини, найближчі за значенням до запитання клієнта (наприклад, найближчі 3-5 частин).
4. Генерація: модель пише відповідь на основі ЛИШЕ намальованих частин і вказує джерело, якщо це можливо.

Критичний момент знаходиться на кроці 4: модель отримує вказівку «просто покладатися на задані фрагменти або сказати, що ви не знаєте». Без цієї інструкції RAG не перешкоджає встановленню моделі.

Підказка: золоте правило RAG: «Якщо цього немає в джерелі, немає відповіді». Хороша система RAG скаже «Я точно не знаю про це» на запитання, якого немає в базі знань; ніколи не заповнює прогалину здогадками. Здатність бота говорити «Я не знаю» є функцією безпеки, а не слабкістю.

Гарна база знань: справжнє джерело якості відповідей

Незалежно від того, наскільки хороша RAG, якщо база знань погана, відповідь погана. Якість бази знань вимірюється:

функція

погана база знань

Хороша база знань

Актуальність

Не оновлювався місяцями

Оновлюється одразу після зміни

Ясність

Довгий заплутаний текст

Короткі однотематичні статті

структура

Безладна купа PDF

Марковані речовини, що розкладаються

Послідовність

Дві суперечливі відповіді

Єдине джерело правди

Область застосування

Є багато прогалин

Охоплює поширені запитання

власність

Ніхто не несе відповідальності

У кожної теми є власник

Найнебезпечнішою проблемою в контексті кол-центру є протиріччя: якщо в базі знань записані два різні періоди повернення, RAG скаже, який із них прийнятий, і клієнту буде надіслано суперечливу відповідь. Тому критично важливим є принцип «єдиного джерела правди»: інформація зберігається в актуальному стані в одному місці; Використовуються посилання на це джерело, а не копії.

Крок за кроком: створення системи реагування з підтримкою RAG

1. Очистіть базу знань: видаліть застарілі, суперечливі статті, що дублюються. Зробіть кожну статтю короткою та однотематичною.
2. Розберіть це та позначте тегами: додайте тег теми та дату останнього оновлення до кожної статті.
3. Встановіть доступ: підключіть механізм, який витягує відповідні частини за запитом (це надають корпоративні інструменти RAG).
4. Напишіть чітку підказку: скажіть моделі «покладайтеся лише на надані частини, цитуйте джерело або скажіть, що не знаєте».
5. Цитувати джерело: Показати статтю, на якій базується відповідь; Це додає впевненості та полегшує перевірку.
6. Слідкуйте за прогалинами: збирайте запитання, де бот каже «Я не знаю»; Вони показують недоліки в базі знань, живляться звідти.

Чотири шаблони, які можна копіювати

1) Строга підказка RAG:

Відповідь НА ОСНОВІ наступних частин [ДЖЕРЕЛО]. Правила: (1) використовуйте лише інформацію з джерела, (2) якщо її немає в джерелі, скажіть «У мене немає точної інформації про це, дозвольте зв’язати вас з представником», (3) вкажіть, на якій статті це ґрунтується, як [Джерело: номер елемента], (4) цитуйте суму/тривалість/умову саме з джерела, не округлюйте/не компенсуйте. [ДЖЕРЕЛО]: <<деталі>>Питання: "<<питання клієнта>>"

2) Написання статті бази знань:

Перетворіть наступний розрізнений текст політики на статтю із поширеними запитаннями, яка підходить для RAG. Формат: Питання (мовою замовника) / Коротка відповідь (2-3 речення) / Умови (пункт) / Дата останнього оновлення / Тег теми. Позначте будь-які неоднозначні моменти як "для уточнення", вигадку. Необроблений текст: <<текст>>

3) Сканування протиріч і прогалин:

Перегляньте наступні статті бази знань. (1) Позначте пари статей, які КОНФЛІКУЮТЬ одна з одною (наприклад, різний період повернення). (2) Вгадайте теми, які часто задаватимуть, але НЕ матимуть відповідей. Дивіться тільки дані статті; створення нової політики.Статті: <<список>>

4) Покращення з журналу "Я не знаю":

Нижче наведені запитання, на які бот не зміг відповісти (не знайшов джерело). Об’єднайте їх у теми та запропонуйте назву статті, яку слід додати до бази знань для кожної групи. Не вигадуйте зміст відповіді, просто скажіть, якого пункту не вистачає. Запитання: <<список>>

Слабка підказка / Сильна підказка

Слабка підказка:

Дайте відповідь на запитання клієнта про повернення.

Немає джерела; Модель може підходити з пам'яті, кількість/тривалість може бути неправильною, її неможливо перевірити.

Потужна підказка:

Відповідайте лише на основі положення про політику повернення нижче. Якщо його немає в джерелі, скажіть «я не знаю точно». Дослівно вкажіть період і стан, надайте посилання у формі [Джерело: ПОВЕРНЕННЯ-03].[ДЖЕРЕЛО: ПОВЕРНЕННЯ-03]: «Невикористаний продукт можна повернути протягом 14 днів. Персоналізовані продукти не підлягають поверненню». Запитання: "Чи можу я повернути персоналізований продукт, який я купив 20 днів тому?"

Відмінність: залежить від джерела, посилання обов’язкове, заборона на виготовлення чітка; модель генерує правильну відповідь ("14 днів минуло та персоналізовано, не підлягає поверненню") з джерела.

три міні-чохла

Випадок 1 — Припинення галюцинації. Точність відповідей телекомунікаційного бота на запитання кампанії становила 71% у налаштуваннях без RAG; Модель іноді складала старі кампанії. Коли поточні сторінки кампанії підключили до RAG і додали правило «не кажіть, якщо цього немає в джерелі», точність зросла до 96%, а скарги на «неправильні слова кампанії» майже припинилися.

Випадок 2 — Ціна протиріччя. У базі знань компанії електронної комерції дві різні витрати на доставку були записані на двох сторінках (одна поточна, одна стара забута сторінка). Бот випадково витягував когось і повідомляв деяким клієнтам неправильну ціну. Коли стару сторінку заархівували за принципом єдиного правильного джерела, невідповідність зникла. Урок: RAG не вирішує протиріччя, воно поширює протиріччя як воно є.

Випадок 3 — Значення журналу «Я не знаю». В одному банку бот відповідав «я не знаю точно» на ~4000 запитань на місяць. Коли ці запитання згрупували, виявилося, що 40% стосуються «використання міжнародної картки»; Статті про це не було. При додаванні відповідних пунктів ці питання були вирішені, і плинність людей по цій тематиці знизилася на 55%. Те, що бот сказав, що не знав, стало дорожньою картою для покращення.

Поширені помилки

• Відповідь без посилання на джерело. Без RAG модель відповідає конкретній інформації; Будь-яка конкретна відповідь має залежати від джерела.
• Вимкнення опції «Я не знаю». Примушування моделі відповідати на кожне запитання забезпечує підгонку.
• Не видалення конфліктної/старої інформації. RAG поширює протиріччя; Важливо мати єдине правильне джерело.
• Нехтування подрібненням. Експорт великих PDF-файлів як є порушує точний доступ; Використовуйте короткі однотематичні статті.
• Приховування джерела. Невказівка, на чому ґрунтується відповідь, послаблює перевірку та довіру.

Застереження: RAG підвищує точність, але не дає 100% гарантії. Модель іноді може неправильно інтерпретувати зняту частину. Тому фінансові, юридичні питання та питання безпеки вимагають людського схвалення, навіть якщо цитується джерело; RAG зменшує галюцинації, але не знімає відповідальності.

Підсумовуючи

База знань і RAG є основою точності ШІ кол-центру. RAG значною мірою запобігає галюцинаціям, не даючи моделі підганяти відповідь із пам’яті та покладатися виключно на поточне джерело. Але RAG настільки хороша, наскільки хороша її база знань: база знань, яка є актуальною, чіткою, структурованою, безконфліктною та має єдине джерело правди, є важливою. Скажіть моделі: «Якщо цього немає в джерелі, скажіть, що ви не знаєте», вкажіть на джерело та використовуйте запитання, на які бот не може відповісти, щоб покращити свою базу знань. Зберігайте людську згоду, незважаючи на джерело щодо важливих питань.

Аплікаційне завдання

Напишіть 8 реальних/реалістичних запитань клієнтів із вашої галузі та 8 відповідних коротких статей бази знань (кожна стаття: запитання, коротка відповідь, умови, дата, тег). Потім перевірте, чи може модель сказати «Я не знаю», використовуючи шаблон «1) Підказка для відповіді Tight RAG», а також поставивши запитання, одного з яких немає в базі знань. Нарешті, перевірте свої статті на «3) Сканування протиріч і прогалин».

контрольний список

• [ ] Кожна конкретна відповідь, яку дає бот/помічник, залежить від поточної бази знань (через RAG).
• [ ] Я проінструктував модель «якщо її немає в джерелі, скажіть, що ви не знаєте», і перевірив її.
• [ ] Моя база знань складається з актуальних, зрозумілих однотематичних статей.
• [ ] Я вилучив суперечливі та старі статті; Існує лише одне правильне джерело всієї інформації.
• [ ] Відповіді показують, на основі якої статті (джерело).
• [ ] Я збираю питання «Я не знаю» і наповнюю базу знань.