Печалби:
- Разберете как RAG намалява халюцинациите, като свързва и препраща отговора към действителните документи на институцията и прилага значението на чистата документна база
- Възможност за проверка на източника, датата и валутата на изхода на RAG и разграничаване на противоречиви версии
- Възможност за защита на корпоративната поверителност чрез предотвратяване на отговори от неоторизирани документи с контрол на достъпа
Паметта на една организация живее в хиляди разпръснати документи: отчети, ръководства, протоколи, процедури, имейли. Един служител може да търси документи с часове, за да отговори на прост въпрос („как работи тази процедура?“). Мечтата на мениджъра на знания е тази памет да предоставя директни, но базирани на източника отговори на въпроси. Точно това обещава RAG. В този раздел ще научите какво е RAG, как да го използвате в управлението на корпоративната информация и как да го защитите по отношение на точност, поверителност и навременност.
Нека дефинираме понятието. RAG (Retrieval-Augmented Generation) е, когато AI отговаря на въпрос, като първо намира (извлича) подходящи части от собствената документация на организацията и след това генерира отговора въз основа единствено на тези части. Това е фундаментално различно от общия AI, генериращ отговор от паметта: RAG свързва и извлича отговора с реални, проследими документи. По този начин халюцинациите са значително намалени, тъй като AI говори от документа на институцията, а не от нейната „глава“.
Стъпка по стъпка: разбиране на корпоративна RAG система
1. Подгответе документната база. Надеждните, актуални документи на организацията се събират, почистват и разделят на части (смислени малки части от документ). Ако лоши, остарели или противоречиви документи влязат в системата, отговорите ще бъдат лоши: „боклук вътре, боклук вън“.
2. Вграждане и индексиране. Всяка част се преобразува във вектор (вграждане), представящ нейното значение, и се поставя в индекс за търсене. Когато възникне въпрос, системата намира частите, които са най-близки по смисъл.
3. Донесете съответните части. Когато бъде зададен въпрос, системата извлича няколко от най-подходящите части от базата документи. Тази стъпка е критична: ако бъде внесена грешната част, отговорът също ще бъде грешен.
4. Генерирайте отговор, базиран на източника. AI генерира отговор въз основа единствено на извлечените фрагменти и посочва от кой документ е взел. Отговор, който не цитира източника, противоречи на целта на RAG.
5. Проверете и докладвайте. Потребителят трябва да може да отиде до показания източник и да потвърди отговора. Неправилните или непълните отговори стават обратна връзка за подобряване на документационната база.
Съвет: Качеството на RAG до голяма степен зависи от качеството на документната база. Актуализирайте документи, отстранете конфликтни/остарели версии и добавете информация за дата и произход към всеки документ, преди да го поставите в системата. 500 добре организирани документа дават по-добри отговори от 5000 разпръснати документа.
Граници и точки за сигурност на RAG
RAG намалява халюцинациите, но не ги нулира. Ако системата върне грешното парче, AI все още може да даде грешен отговор, като остане „лоялен“ към това грешно парче. Освен това AI може да тълкува погрешно извлечените части или да комбинира множество части по противоречиви начини. Следователно изходът на RAG също трябва да бъде проверен, като се отиде до източника, особено за критични решения.
Поверителността е централен въпрос в корпоративната RAG. Документната база може да съдържа чувствителна информация (персонал, договори, стратегия). Системата не трябва да генерира отговори от документи, които не са разрешени от потребителя; Контролът на достъпа (кой може да види кой документ) също трябва да се прилага към RAG. В противен случай служител може да получи достъп до информация чрез RAG, която не може да види.
Внимание: Дори когато цитира документ, RAG не гарантира, че този документ е актуален и точен. Системата може да реагира от стар документ за процедура от преди три години. Отговорност на потребителя и мениджъра на информация е да проверят датата и валидността на изходния документ.
три мини калъфа
Случай 1 — Ускорени процедурни въпроси. Една организация създаде система RAG за своите ръководства за вътрешни процедури от 1200 страници. Въпросите на служителите „как да направя това“ бяха разрешени за секунди с отговори, посочващи източника; Средната продължителност на разговора намаля от 25 минути на 2 минути. Тъй като всеки отговор беше свързан с раздела от документацията, на която се основаваше, служителите успяха да го проверят.
Случай 2 — Заловен стар документ. Система RAG отговори на въпрос за процедура за разрешително от стар документ от 2021 г.; Актуализирана версия обаче беше пусната през 2024 г. Служителят, който отвори връзката към източника, забеляза, че датата е остаряла и намери актуализирания документ. Информационният мениджър премахна старата версия от документната база.
Случай 3 — Предотвратен неоторизиран достъп. При първоначалната настройка RAG сканира публично всички документи; служител получи отговор от документ за заплати, който не трябваше да вижда. Екипът добави контрол на достъпа към RAG: сега системата генерира само отговори от документи, към които потребителят е оторизиран.
Оценка, обратна връзка и непрекъснато усъвършенстване
Системата RAG не е инструмент, който трябва да бъде инсталиран веднъж и забравен; Изисква постоянна оценка и усъвършенстване. Основата за това е редовно измерване на отговорите на системата на реални въпроси. Два въпроса са от решаващо значение: системата извлича ли правилните части от документа (качество на достъп) и произвежда ли правилния отговор от извлечените части (качество на продукцията)? Необходимо е да се оценят тези два слоя поотделно; Защото донасянето на правилния документ и неправилното му тълкуване и донасянето на грешен документ и прехвърлянето му вярно са различни проблеми и изискват различни решения. Добра практика е да поддържате набор от „тестови въпроси“ с известни верни отговори и да тествате системата с този набор при всяка актуализация. Освен това обратната връзка на потребителите „полезен ли беше този отговор / точен ли беше източникът“ разкрива както пропуски в базата документи, така и неправилно извлечени части. AI може да помогне за събирането на тази обратна връзка и да обобщи типовете въпроси, които най-често се провалят; Но решението кой документ да добавите, актуализирате или премахнете принадлежи на информационния мениджър. Системата изисква грижи като жив организъм; Пренебрегнатият RAG става все по-подвеждащ поради остаряването на документацията с течение на времето.
Съвет: Веднага след като настроите системата RAG, подгответе малък набор от тестове от 20-30 реални въпроса и известни правилни отговори. Изпълнението на този набор с всяка актуализация на документ незабавно показва дали дадена промяна подобрява или нарушава системата.
Четири копируеми шаблона
1) Подкана за отговор, базирана на източника:
Вашата роля: корпоративен информационен асистент. По-долу са представени части от документацията по въпроса. Дайте отговор въз основа САМО на тези части и посочете от кой документ/част за всяка информация е. Ако няма отговор в частите, кажете „тази информация не е включена в предоставените документи“, не предполагайте. Въпрос: [тук] / Части: [тук]
2) Противоречие и валутен контрол:
Има ли някакви противоречия или различни датирани версии между следните части? Ако е така, маркирайте го и посочете кой изглежда по-актуален. Части (с дати): [тук]
3) Одит за почистване на база документи:
В списъка с документи по-долу има ли остарели, противоречиви или документи с неясен произход, които трябва да бъдат сортирани, преди да бъдат поставени в RAG система? Отбележете и напишете защо. Списък (с дата/източник): [тук]
4) Поверителност и предварителен контрол на достъпа:
Следните фрагменти от документи съдържат ли чувствителна информация (лични данни, поверително споразумение, стратегия)? Класифицирайте всеки като „публичен/ограничен достъп“ и дайте обосновка. Песни: [тук]
Слаба подкана / Силна подкана
Слаба подкана:
Обяснете процедурата за разрешаване на нашата институция.
Ако не е дадена документация, AI произвежда измислена процедура от общата си памет или от изпълнението на други институции; Може да е без значение за действителното управление на институцията.
Мощна подкана:
Вашата роля: корпоративен информационен асистент. По-долу са частите от документите (с техните дати) относно процедурата за издаване на разрешение на институцията. Отговорете на въпроса въз основа само на тези части, като цитирате изходния документ и дата на всяка стъпка. Ако частите са в конфликт, използвайте най-актуалната и кажете това. Ако не е в документа, кажете „няма информация“. Въпрос: [тук] / Части: [тук]
Мощна подсказка; свързва отговора с действителни документи на институцията, пита за източници и дати и честно разглежда противоречието и пропуска.
RAG компонент и таблица на риска
компонент
функция
Основен риск
Уверяване
Документна база
Източник на отговора
Остарял/противоречив документ
Чистота, история, произход
Извличане
Намерете съответната част
грешно парче
Тестване на качеството, обратна връзка
производство
Отговорете
грешен коментар
Цитиране на източник, проверка
Контрол на достъпа
Проверка на органа
неразрешено разкриване
Ограничение, базирано на потребителя
Често срещани грешки
- Създаване на мръсна документна база. Остарял/противоречив документ дава лош отговор.
- Приемане на отговор без цитиране на източника. Целта на RAG е проследимостта.
- Не се проверява датата на документа. Отговор, който се смята за актуализиран, идва от старата версия.
- Заобикаляне на контрола на достъп. Неоторизирано лице има достъп до чувствителна информация.
- Мислейки, че RAG е напълно имунизиран срещу халюцинации. Грешната част все още дава грешен отговор.
В обобщение
RAG произвежда голяма стойност в управлението на знанието чрез трансформиране на организационната памет в система, базирана на ресурси; За разлика от общия AI, той свързва и извлича отговора с действителните документи на организацията, като по този начин значително намалява халюцинациите. Но успехът зависи от чиста и актуална база документи, точен достъп до проследяване, приписване на източника, проверка на дата/актуалност и контрол на достъпа. RAG не нулира халюцинацията; Критичните отговори се проверяват чрез отиване до източника и поверителността се спазва от самото начало.
Задача за приложение
Подгответе малък набор от документи (5-8 действителни или примерни агентски документи, с дати); Съзнателно се поставят една стара и една настояща противоречива версия. Задайте въпрос с шаблона „Подкана за отговор, базиран на източник“ и проверете дали AI цитира източника. След това преценете дали AI правилно е открил конфликта и текущата версия с шаблона „Проверка на конфликт и текуща версия“.
контролен списък
- [ ] Актуализирах базата документи, премахнах стари/конфликтни документи.
- [ ] Уверих се, че всеки отговор сочи към изходния документ.
- [ ] Проверих датата и валидността на изходните документи.
- [ ] Предотвратих генерирането на отговори от неоторизирани документи с контрол на достъпа.
- [ ] Проверих критичните отговори, като отидох до оригиналния документ.