Прибыль:
- Поймите, как работает RAG (фрагментация, доступ, ресурсозависимая генерация) и как он уменьшает галлюцинации.
- Способность повысить качество ответов за счет создания актуальной, четкой, бесконфликтной базы знаний, имеющей единственный правильный источник.
- Возможность давать модели инструкции «если ее нет в исходном коде, скажите, что вы не знаете» и превращать вопросы, на которые она не может ответить, в улучшение базы знаний.
Ответ, который дает бот или помощник агента, хорош настолько, насколько хороша информация, на которой он основан. Когда клиент спрашивает «Продолжается ли акция?», правильный ответ находится не в памяти модели, а в текущей базе знаний заведения. Вот почему сердцем искусственного интеллекта колл-центра является база знаний (КБ): актуальный ресурс, где продукты, политики, часто задаваемые вопросы, процедуры и правила хранятся в письменном виде. А метод, который надежно соединяет эту базу знаний с искусственным интеллектом, называется RAG: Retrival-Augmented Generation — вместо того, чтобы составлять ответ из собственной памяти, модель сначала извлекает соответствующие фрагменты информации из источника (извлечение), а затем генерирует ответ только на основе этих фрагментов (генерация).
ТРЯГ – самый мощный метод предотвращения галлюцинаций. Модель не генерирует в голове число на вопрос «Какова процентная ставка по кредиту?» Он извлекает текущий интересующий текст из базы знаний и дает ответы на его основе. В этом модуле мы увидим, как настроить базу знаний, как работает RAG и как хорошая база знаний определяет качество ответов.
Как работает RAG: четыре шага
Думайте о RAG как о библиотекаре. Клиент задает вопросы; Система сначала находит соответствующие страницы на правой полке библиотеки, затем считывает эти страницы и записывает ответ. Технические этапы следующие:
- Разбивка на части: длинные документы в базе знаний разбиваются на небольшие, значимые части (например, каждый FAQ представляет собой часть). Потому что модель точнее отвечает на вопрос с помощью сопутствующих мелких деталей.
- Встраивание и индексирование: каждый фрагмент переводится в числовую форму, представляющую его значение (встраивание — последовательность чисел, представляющую смысл текста), и помещается в базу данных с возможностью поиска. Таким образом, это не «совпадение слов», а «совпадение по смыслу»; Даже если клиент спрашивает: «Когда будут зачислены мои деньги?», можно найти часть «период возврата».
- Поиск: извлекаются части, наиболее близкие по смыслу к вопросу клиента (например, 3-5 ближайших частей).
- Генерация: Модель записывает ответ на основе ТОЛЬКО нарисованных частей и по возможности указывает источник.
Критическая точка находится на этапе 4: модели предлагается «просто полагаться на данные фрагменты или говорить, что вы не знаете». Без этой инструкции RAG не помешает примерке модели.
Подсказка: золотое правило RAG: «Если этого нет в источнике, нет ответа». Хорошая система RAG ответит: «Я точно не знаю об этом» на вопрос, которого нет в базе знаний; никогда не заполняет пробел догадками. Способность бота сказать «Я не знаю» — это функция безопасности, а не слабость.
Хорошая база знаний: реальный источник качества ответов
Какой бы хорошей ни была ТРЭГ, если база знаний плохая, то и ответ плохой. Качество базы знаний измеряется:
особенность
плохая база знаний
Хорошая база знаний
Актуальность
Не обновляется месяцами
Обновляется сразу после изменения
Ясность
Длинный, запутанный текст
Короткие статьи по одной теме.
структура
Беспорядочная стопка PDF-файлов
Маркированные разлагаемые вещества
Консистенция
Два противоречивых ответа
Единый источник истины
Область применения
Есть много пробелов
Охватывает часто задаваемые вопросы
собственность
Никто не несет ответственности
У каждой темы есть владелец
Самая опасная проблема в контексте колл-центра — это противоречие: если в базе знаний записаны два разных периода возврата, RAG скажет, какой из них потребуется, и клиенту будет отправлен противоречивый ответ. Вот почему принцип «единого источника правды» имеет решающее значение: информация обновляется в одном месте; Используются ссылки на этот источник, а не копии.
Шаг за шагом: построение системы реагирования при поддержке RAG
- Очистите базу знаний: удалите устаревшие, конфликтующие и повторяющиеся статьи. Делайте каждую статью короткой и однотематической.
- Разбейте ее и пометьте: добавьте тег темы и дату последнего обновления к каждой статье.
- Установите доступ: подключите механизм, который извлекает соответствующие детали по запросу (это обеспечивают корпоративные инструменты RAG).
- Напишите строгий запрос: скажите модели: «Полагайтесь только на предоставленные детали, цитируйте источник или скажите, что вы не знаете».
- Цитировать источник: Покажите статью, на которой основан ответ; Это одновременно придает уверенности и облегчает проверку.
- Следите за пробелами: собирайте вопросы, на которые бот говорит «Я не знаю»; Эти показывают недостатки в базе знаний, подпитываются оттуда.
Четыре копируемых шаблона
1) Строгий ответ на запрос RAG:
Ответ НА ОСНОВЕ следующих частей [ИСТОЧНИК]. Правила: (1) используйте только информацию в источнике, (2) если ее нет в источнике, скажите «У меня нет определенной информации по этому поводу, позвольте мне соединить вас с представителем», (3) укажите, на какой статье она основана, как [Источник: номер позиции], (4) укажите сумму/срок/условие точно из источника, не округляйте/дополняя. [ИСТОЧНИК]: <<вытащенные детали>>Вопрос: «<<вопрос клиента>>»
2) Написание статей в базе знаний:
Преобразуйте следующий разрозненный текст политики в статью часто задаваемых вопросов, подходящую для RAG. Формат: Вопрос (на языке клиента) / Краткий ответ (2-3 предложения) / Условия (пункт) / Дата последнего обновления / Тег темы. Отметьте все неоднозначные моменты как «требует уточнения», выдуманные. Необработанный текст: <<текст>>
3) Сканирование противоречий и пробелов:
Изучите следующие статьи базы знаний. (1) Отметьте пары статей, которые КОНФЛИКТУЮТ друг с другом (например, разный период повторяемости). (2) Угадайте темы, которые будут часто задаваться, но на которые НЕТ ответов. Смотрите только данные статьи; разработка новой политики.Статьи: <<список>>
4) Улучшение из журнала «Я не знаю»:
Ниже приведены вопросы, на которые бот не смог ответить (не смог найти источник). Сгруппируйте их по темам и предложите название статьи, которую следует добавить в базу знаний для каждой группы. Не придумывайте содержание ответа, просто скажите, какого элемента не хватает. Вопросы: <<список>>
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Ответьте на ответный вопрос клиента.
Нет источника; Модель может подойти по памяти, сумма/продолжительность могут быть неверными, проверить невозможно.
Мощная подсказка:
Отвечайте только на основании приведенного ниже пункта о политике возврата. Если его нет в источнике, скажите: «Я точно не знаю». Укажите дословно период и условие, дайте ссылку в виде [Источник: ВОЗВРАТ-03].[ИСТОЧНИК: ВОЗВРАТ-03]: «Неиспользованный товар можно вернуть в течение 14 дней. Персонализированные товары не подлежат возврату». Вопрос: «Могу ли я вернуть именной товар, купленный 20 дней назад?»
Отличие: зависит от источника, ссылка обязательна, запрет на изготовление отсутствует; модель генерирует правильный ответ («прошло 14 дней, персонализированный, не подлежит возврату») из источника.
три мини-кейса
Случай 1 — Прекращение галлюцинации. Точность ответов телекоммуникационного бота на вопросы кампании составила 71% при настройке без RAG; Модель иногда составляла старые кампании. Когда текущие страницы кампании были подключены к RAG и добавлено правило «не говорить, если этого нет в исходнике», точность выросла до 96% и жалобы на «неправильные слова кампании» практически прекратились.
Случай 2 — Цена противоречия. В базе знаний компании электронной коммерции на двух страницах были написаны две разные стоимости доставки (одна текущая, другая старая забытая страница). Бот случайно вытащил кого-то и назвал некоторым клиентам неправильную цену. Когда старая страница была заархивирована по принципу единственного корректного источника, несоответствие исчезло. Урок: RAG не разрешает противоречие, оно распространяет его таким, какое оно есть.
Случай 3 — Значение журнала «Я не знаю». В одном банке бот отвечал «Я точно не знаю» на примерно 4000 вопросов в месяц. Когда эти вопросы были сгруппированы, выяснилось, что 40% из них касались «использования международных карт»; Не было статьи об этом. При добавлении соответствующих пунктов эти вопросы были решены и текучка к людям по этой теме снизилась на 55%. Тот факт, что бот сказал, что он не знает, стал дорожной картой для улучшения.
Распространенные ошибки
- Отвечаю без ссылки на источник. Без RAG модель соответствует конкретной информации; Любой конкретный ответ должен зависеть от источника.
- Отключение опции «Я не знаю». Заставление модели отвечать на каждый вопрос гарантирует подгонку.
- Не очищать противоречивую/старую информацию. RAG сеет противоречия; Один правильный источник имеет важное значение.
- Пренебрежение измельчением. Экспорт больших PDF-файлов в исходном виде нарушает точный доступ; Используйте короткие статьи по одной теме.
- Сокрытие источника. Не указание того, на чем основан ответ, ослабляет проверку и доверие.
Внимание: RAG повышает точность, но не дает 100% гарантии. Модель иногда может неправильно интерпретировать захваченную часть. Таким образом, финансовые, юридические вопросы и вопросы безопасности требуют человеческого одобрения, даже если источник цитируется; ТРЯП уменьшает галлюцинации, но не снимает ответственности.
В итоге
База знаний и RAG — основа точности искусственного интеллекта колл-центра. RAG в значительной степени предотвращает галлюцинации, не позволяя модели подобрать ответ по памяти и полагаясь исключительно на текущий источник. Но RAG хороша настолько, насколько хороша ее база знаний: необходима база знаний, которая является актуальной, ясной, структурированной, бесконфликтной и имеет единый источник истины. Скажите модели: «Если ее нет в исходном коде, скажите, что вы не знаете», укажите на источник и используйте вопросы, на которые бот не может ответить, чтобы улучшить свою базу знаний. Поддерживайте человеческое согласие, несмотря на источник по важным вопросам.
Задача приложения
Напишите 8 реальных/реалистичных вопросов клиентов из вашей отрасли и 8 соответствующих им коротких статей базы знаний (каждая статья: вопрос, краткий ответ, условия, дата, тег). Затем проверьте, может ли модель сказать «Я не знаю», используя шаблон «1) Жесткая подсказка к ответу», а также задав вопрос, одного из которых нет в базе знаний. Наконец, проверьте свои статьи по разделу «3) Противоречия и поиск пробелов».
контрольный список
- [ ] Каждый конкретный ответ бота/помощника зависит от текущей базы знаний (через RAG).
- [ ] Я проинструктировал модель: «Если ее нет в исходнике, скажи, что ты не знаешь» и протестировал ее.
- [ ] Моя база знаний состоит из актуальных, понятных статей по одной теме.
- [ ] Я удалил противоречивые и старые статьи; Существует только один правильный источник всей информации.
- [ ] Ответы показывают, на какой статье основано (источник).
- [ ] Я собираю вопросы типа «Я не знаю» и пополняю базу знаний.