Прибыль:
- Поймите, как RAG уменьшает галлюцинации, связывая и ссылаясь на ответ на реальные документы учреждения и осознавая важность чистой базы документов.
- Возможность проверить источник, дату и валюту выходных данных RAG и отличить противоречивые версии.
- Возможность защитить корпоративную конфиденциальность, предотвращая ответы на неавторизованные документы с помощью контроля доступа.
Память организации живет в тысячах разбросанных документов: отчетах, руководствах, протоколах, процедурах, электронных письмах. Сотрудник может часами искать документы, чтобы ответить на простой вопрос («как работает эта процедура?»). Мечта менеджера по знаниям состоит в том, чтобы эта память давала прямые, но основанные на источниках ответы на вопросы. Именно это и обещает RAG. В этом модуле вы узнаете, что такое RAG, как его использовать в управлении информацией предприятия и как обеспечить ее точность, конфиденциальность и своевременность.
Давайте определимся с понятием. RAG (генерация дополненной информации) — это когда ИИ отвечает на вопрос, сначала находя (извлекая) соответствующие фрагменты из собственной документации организации, а затем генерируя ответ исключительно на основе этих фрагментов. Это фундаментально отличается от обычного ИИ, генерирующего ответ по памяти: RAG связывает и получает ответ с реальными, отслеживаемыми документами. Таким образом, галлюцинации значительно уменьшаются, поскольку ИИ говорит из документа учреждения, а не из его «руководителя».
Шаг за шагом: понимание корпоративной системы RAG
1. Подготовьте документальную базу. Надежные и актуальные документы организации собираются, очищаются и делятся на фрагменты (значимые небольшие разделы документа). Если в систему попадут плохие, устаревшие или противоречивые документы, реакция будет плохой: «мусор на входе, мусор на выходе».
2. Встроить и индексировать. Каждый фрагмент преобразуется в вектор (вложение), представляющий его значение, и помещается в индекс с возможностью поиска. При возникновении вопроса система находит наиболее близкие по смыслу части.
3. Принесите соответствующие детали. Когда задается вопрос, система извлекает из базы документов несколько наиболее важных фрагментов. Этот шаг имеет решающее значение: если ввести неправильный фрагмент, ответ тоже будет неправильным.
4. Сформируйте ответ на основе источника. ИИ генерирует ответ исключительно на основе извлеченных фрагментов и указывает, из какого документа он взял. Ответ, в котором не указан источник, противоречит целям RAG.
5. Проверьте и отправьте отчет. Пользователь должен иметь возможность перейти к показанному источнику и подтвердить ответ. Неправильные или неполные ответы становятся отзывами для улучшения базы документации.
Совет: Качество РАГ во многом зависит от качества документальной базы. Обновляйте документы, устраняйте конфликтующие/устаревшие версии и добавляйте информацию о дате и происхождении к каждому документу перед его размещением в системе. 500 хорошо организованных документов дают лучшие ответы, чем 5000 разрозненных документов.
Границы и пункты безопасности РАГ
ТРЯП уменьшает галлюцинации, но не сбрасывает их. Если система возвращает не тот кусок, ИИ все равно может дать неверный ответ, оставаясь «верным» этому неправильному куску. Кроме того, ИИ может неправильно интерпретировать полученные фрагменты или комбинировать несколько фрагментов противоречивым образом. Следовательно, результаты RAG также следует проверять, обращаясь к источнику, особенно для принятия критически важных решений.
Конфиденциальность — центральный вопрос в корпоративной RAG. База документов может содержать конфиденциальную информацию (персонал, контракты, стратегия). Система не должна генерировать ответы из документов, не авторизованных пользователем; Контроль доступа (кто какой документ может видеть) также должен применяться к RAG. В противном случае сотрудник может получить доступ через RAG к информации, которую он не видит.
Внимание: даже при цитировании документа RAG не гарантирует, что этот документ актуален и точен. Система может ответить на основании старого процедурного документа трехлетней давности. Пользователь и информационный менеджер несут ответственность за проверку даты и действительности исходного документа.
три мини-кейса
Случай 1 — Ускоренное решение процедурных вопросов. Одна организация создала систему RAG для своих 1200-страничных руководств по внутренним процедурам. Вопросы сотрудников «как это сделать» решались за считанные секунды, а ответы указывали источник; Средняя продолжительность разговора сократилась с 25 минут до 2 минут. Поскольку каждый ответ был связан с разделом документации, на котором он был основан, сотрудники могли его проверить.
Случай 2 — Старый документ захвачен. Система RAG ответила на вопрос о процедуре получения разрешения из старого документа, датированного 2021 годом; Однако в 2024 году вышла обновленная версия. Сотрудник, открывший ссылку на источник, заметил, что дата устарела, и нашел обновленный документ. Информационный менеджер удалил старую версию из базы документов.
Случай 3 — Несанкционированный доступ предотвращен. При первоначальной настройке RAG публично сканировала все документы; Сотрудник получил ответ из документа о заработной плате, который он не должен был видеть. Команда добавила в RAG контроль доступа: система теперь генерирует ответы только по тем документам, к которым пользователь авторизован.
Оценка, обратная связь и постоянное улучшение
Система RAG — это не инструмент, который можно установить один раз и забыть; Оно требует постоянной оценки и совершенствования. Основой для этого является регулярное измерение ответов системы на реальные вопросы. Критически важны два вопроса: извлекает ли система правильные фрагменты документа (качество доступа) и выдает ли она правильный ответ на полученные фрагменты (качество производства)? Необходимо оценивать эти два слоя отдельно; Потому что принести правильный документ и неправильно его истолковать, а также принести неправильный документ и передать его добросовестно — это разные проблемы и требуют разных решений. Хорошей практикой является сохранение набора «тестовых вопросов» с известными правильными ответами и тестирование системы с этим набором при каждом обновлении. Кроме того, отзывы пользователей «был ли этот ответ полезен / был ли источник точным» выявляют как пробелы в базе документов, так и неправильно полученные части. ИИ может помочь собрать воедино эту обратную связь и обобщить типы вопросов, которые чаще всего не отвечают; Но решение о том, какой документ добавить, обновить или удалить, принадлежит информационному менеджеру. Система требует ухода, как живой организм; Забытая RAG со временем становится все более вводящей в заблуждение из-за устаревания документации.
Совет: Как только вы настроите систему RAG, подготовьте небольшой тестовый набор из 20–30 реальных вопросов и известных правильных ответов. Запуск этого набора при каждом обновлении документа мгновенно показывает, улучшает ли изменение систему или ломает ее.
Четыре копируемых шаблона
1) Подсказка ответа на основе источника:
Ваша роль: помощник по корпоративной информации. Ниже приведены фрагменты документации, поднятые по этому вопросу. Дайте ответ, основываясь ТОЛЬКО на этих фрагментах, и укажите, из какого документа/фрагмента он взят для каждого фрагмента информации. Если в частях нет ответа, скажите «данная информация не включена в предоставленные документы», не гадать. Вопрос: [здесь] / Части: [здесь]
2) Противоречия и валютный контроль:
Есть ли какие-либо противоречия или разные датированные версии между следующими произведениями? Если да, отметьте его и укажите, какой из них выглядит более актуальным. Части (с датами): [здесь]
3) Аудит очистки документационной базы:
Есть ли в приведенном ниже списке документов устаревшие, противоречивые документы или документы неопределенного происхождения, в которых необходимо разобраться перед помещением в систему RAG? Отметьте и напишите почему. Список (с датой/источником): [здесь]
4) Предварительный контроль конфиденциальности и доступа:
Содержат ли следующие фрагменты документов конфиденциальную информацию (персональные данные, конфиденциальное соглашение, стратегия)? Классифицируйте каждый из них как «публичный/ограниченный доступ» и дайте обоснование. Треки: [здесь]
Слабая подсказка / Сильная подсказка
Слабая подсказка:
Объясните процедуру получения разрешения в нашем учреждении.
Если документация не предоставлена, ИИ создает готовую процедуру из своей общей памяти или из реализации других институтов; Это может не иметь отношения к фактическому управлению учреждением.
Мощная подсказка:
Ваша роль: помощник по корпоративной информации. Ниже приведены фрагменты документов (с указанием дат), касающиеся разрешительной процедуры учреждения. Ответьте на вопрос, основываясь только на этих частях, ссылаясь на исходный документ и дату на каждом этапе. Если детали конфликтуют, используйте самую последнюю версию и так и скажите. Если его нет в документе, скажите «нет информации». Вопрос: [здесь] / Части: [здесь]
Мощная подсказка; связывает ответ с реальными документами учреждения, запрашивает источники и даты и честно рассматривает противоречия и пробелы.
Компонент RAG и таблица рисков
компонент
Функция
Основной риск
Гарантия
База документов
Источник ответа
Устаревший/противоречивый документ
Чистота, история, происхождение
Поиск
Найдите соответствующую часть
неправильный кусок
Тестирование качества, обратная связь
Производство
Ответить
неправильный комментарий
Цитирование источника, проверка
Контроль доступа
Проверка полномочий
несанкционированное раскрытие
Ограничение на основе пользователя
Распространенные ошибки
- Создание грязной документальной базы. Устаревший/противоречивый документ вызывает плохой отклик.
- Принятие ответа без ссылки на источник. Целью RAG является отслеживаемость.
- Не проверка даты документа. Ответ, который, как предполагается, будет обновлен, взят из старой версии.
- Обход контроля доступа. Несанкционированный доступ к конфиденциальной информации.
- Думая, что РАГ полностью невосприимчив к галлюцинациям. Неправильный фрагмент все равно дает неправильный ответ.
В итоге
RAG приносит большую пользу в управлении знаниями, превращая организационную память в быстро реагирующую систему, основанную на ресурсах; В отличие от обычного ИИ, он связывает и дает ответы на реальные документы организации, тем самым значительно уменьшая галлюцинации. Но успех зависит от чистой и актуальной базы документации, точного доступа к трекам, указания источника, проверки даты/актуальности и контроля доступа. ТРЯП не сбрасывает галлюцинацию; Критические ответы проверяются путем обращения к источнику, а конфиденциальность соблюдается с самого начала.
Задача приложения
Подготовить небольшой комплект документов (5-8 фактических или образцы ведомственных документов с датами); Сознательно вставил одну старую и одну текущую конфликтующие версии. Задайте вопрос с помощью шаблона «Подсказка ответа на основе источника» и проверьте, цитирует ли ИИ источник. Затем оцените, правильно ли ИИ обнаружил конфликт и текущую версию с помощью шаблона «Конфликт и проверка текущей версии».
контрольный список
- [ ] Обновил документальную базу, отсеял старые/противоречивые документы.
- [ ] Я убедился, что каждый ответ указывает на исходный документ.
- [ ] Я проверил дату и действительность первичных документов.
- [ ] Я предотвратил генерацию ответов от несанкционированных документов с помощью контроля доступа.
- [ ] Я проверил критические отзывы, открыв исходный документ.