Добивки:
- Разберете како RAG ја намалува халуцинацијата со поврзување и повикување на одговорот со вистинските документи на институцијата и примена на важноста на чиста база на документи
- Способност да се провери изворот, датумот и валутата на излезот на RAG и да се разликуваат конфликтни верзии
- Способност да се заштити корпоративната приватност преку спречување одговори од неовластени документи со контрола на пристап
Меморијата на една организација живее во илјадници дисперзирани документи: извештаи, прирачници, записници, процедури, е-пошта. Вработен може да бара документи со часови за да одговори на едноставно прашање („како функционира оваа процедура?“). Сонот на менаџерот на знаење е оваа меморија да обезбеди директни, но извори базирани на одговори на прашањата. Токму тоа го ветува RAG. Во оваа единица ќе научите што е RAG, како да го користите во управувањето со информации за претпријатието и како да го обезбедите во смисла на точност, доверливост и навременост.
Ајде да го дефинираме концептот. RAG (Retrieval-Augmented Generation) е кога вештачката интелигенција одговара на прашање со тоа што прво наоѓа (повлекува) релевантни делови од сопствената документација на организацијата, а потоа го генерира одговорот само врз основа на тие парчиња. Ова е фундаментално различно од општата вештачка интелигенција која генерира одговор од меморијата: RAG ги поврзува и изворите на одговорот до вистински документи што може да се следат. Така, халуцинацијата е значително намалена бидејќи вештачката интелигенција зборува од документот на институцијата, а не од нејзината „глава“.
Чекор по чекор: разбирање на претпријатието RAG систем
1. Подгответе ја основата на документите. Доверливите, ажурирани документи на организацијата се собираат, чистат и се делат на парчиња (значајни мали делови од документот). Ако во системот влезат лоши, застарени или конфликтни документи, одговорите ќе бидат лоши: „ѓубре внатре, ѓубре надвор“.
2. Вградување и индексирање. Секое парче се претвора во вектор (вградување) што го претставува неговото значење и се става во индекс што може да се пребарува. Кога ќе се појави прашање, системот ги наоѓа деловите што се најблиски по значење.
3. Донесете релевантни делови. Кога ќе се постави прашање, системот повлекува неколку од најрелевантните делови од базата на документи. Овој чекор е критичен: ако се внесе погрешно парче, одговорот исто така ќе биде погрешен.
4. Генерирајте одговор базиран на извор. Вештачката интелигенција генерира одговор само врз основа на преземените фрагменти и покажува од кој документ е преземен. Одговорот што не го наведува изворот е спротивен на целта на RAG.
5. Потврдете и пријавете се назад. Корисникот треба да може да оди до прикажаниот извор и да го потврди одговорот. Неточните или нецелосните одговори стануваат повратни информации за подобрување на базата на документација.
Совет: Квалитетот на RAG во голема мера зависи од квалитетот на основата на документите. Ажурирајте ги документите, отстранете ги конфликтните/застарените верзии и додајте информации за датумот и потеклото на секој документ пред да го ставите во системот. 500 добро организирани документи даваат подобри одговори од 5.000 расфрлани документи.
Границите и безбедносните точки на РАГ
RAG ја намалува халуцинацијата, но не ја ресетира. Ако системот врати погрешно парче, вештачката интелигенција сепак може да даде погрешен одговор со тоа што ќе остане „лојален“ на тоа погрешно парче. Дополнително, вештачката интелигенција може погрешно да ги протолкува преземените парчиња или да комбинира повеќе парчиња на контрадикторни начини. Затоа, излезот на RAG треба исто така да се потврди со одење до изворот, особено за критичните одлуки.
Приватноста е централно прашање во корпоративниот RAG. Базата на документи може да содржи чувствителни информации (персонал, договори, стратегија). Системот не треба да генерира одговори од документи кои не се овластени од корисникот; Контролата на пристап (кој може да види кој документ) треба да се примени и на RAG. Во спротивно, вработен може да пристапи до информации преку RAG што не може да ги види.
Внимание: Дури и кога цитирате документ, RAG не гарантира дека тој документ е ажуриран и точен. Системот може да одговори од стар процедурален документ од пред три години. Одговорност на корисникот и менаџерот за информации е да го проверат датумот и валидноста на изворниот документ.
три мини футроли
Случај 1 — Процедуралните прашања забрзани. Една организација воспостави RAG систем за нејзините прирачници за внатрешни процедури од 1200 страници. Прашањата на вработените „како да го направите ова“ беа решени за неколку секунди со одговорите назначувајќи го изворот; Просечното времетраење на повикот се намали од 25 минути на 2 минути. Бидејќи секој одговор поврзан со делот од документацијата на кој се базираше, вработените можеа да го потврдат.
Случај 2 - Заробен стар документ. Системот RAG одговори на прашање за процедура за дозвола од стар документ од 2021 година; Сепак, ажурирана верзија беше објавена во 2024 година. Вработениот кој ја отвори изворната врска забележал дека датумот е застарен и го нашол ажурираниот документ. Менаџерот со информации ја отстрани старата верзија од базата на документи.
Случај 3 — Спречен неовластен пристап. Во првичното поставување, RAG јавно ги скенира сите документи; вработен добил одговор од документ за плата што не требало да го види. Тимот додаде контрола на пристап до RAG: системот сега генерира одговори само од документи за кои корисникот е овластен.
Евалуација, повратни информации и континуирано подобрување
RAG системот не е алатка што треба да се инсталира еднаш и да се заборави; Потребна е постојана евалуација и подобрување. Основата за ова е редовно мерење на одговорите на системот на вистински прашања. Две прашања се критични: дали системот ги добива точните делови од документи (квалитет на пристап) и дали дава правилен одговор од преземените парчиња (квалитет на производство)? Неопходно е да се проценат овие два слоја одделно; Затоа што носењето на вистинскиот документ и неговото погрешно толкување и носењето погрешен документ и неговото верно пренесување се различни проблеми и бараат различни решенија. Добра практика е да се задржи збир на „тест прашања“ со познати точни одговори и да се тестира системот со овој сет при секое ажурирање. Дополнително, повратните информации на корисниците „дали овој одговор беше корисен / дали изворот е точен“ ги открива и празнините во основата на документите и погрешно преземените делови. Вештачката интелигенција може да помогне да се соберат овие повратни информации и да се сумираат типовите прашања што најчесто не успеваат; Но, одлуката за тоа кој документ да се додаде, ажурира или отстрани припаѓа на менаџерот за информации. Системот бара грижа како жив организам; Занемарениот RAG станува сè повеќе погрешен поради стареењето на документацијата со текот на времето.
Совет: Веднаш штом ќе го поставите системот RAG, подгответе мал тест сет од 20-30 вистински прашања и познати точни одговори. Извршувањето на овој сет со секое ажурирање на документот веднаш покажува дали промената го подобрува или го нарушува системот.
Четири шаблони за копирање
1) Прашање за одговор базирано на извор:
Вашата улога: корпоративен асистент за информации. Подолу се дадени делови од документација донесена во врска со прашањето. Дајте го одговорот врз основа на САМО на овие делови и наведете од кој документ/дел за секоја информација е. Ако нема одговор во деловите, кажете „оваа информација не е вклучена во дадените документи“, не погодувајте. Прашање: [тука] / Делови: [тука]
2) Контрадикторност и контрола на валутата:
Дали има некакви противречности или различни верзии со датум помеѓу следните парчиња? Ако е така, означете го и наведете кој од нив изгледа поажурен. Делови (со датуми): [тука]
3) Ревизија за чистење на базата на документи:
Во списокот со документи подолу, дали има некои застарени, конфликтни или документи од неизвесно потекло што треба да се средат пред да се стават во системот RAG? Штиклирајте и напишете зошто. Список (со датум/извор): [тука]
4) Приватност и претконтрола на пристапот:
Дали следните фрагменти од документи содржат чувствителни информации (лични податоци, доверлив договор, стратегија)? Класифицирајте го секој како „јавен/ограничен пристап“ и дадете оправдување. Траки: [тука]
Слаб промпт / Силен промпт
Слаба навестување:
Објаснете ја процедурата за дозвола на нашата институција.
Доколку не е дадена документација, АИ произведува измислена процедура од својата општа меморија или од спроведувањето на други институции; Тоа може да биде ирелевантно за вистинското правило на институцијата.
Моќен потсетник:
Вашата улога: корпоративен асистент за информации. Подолу се дадени деловите од документите (со нивните датуми) во врска со процедурата за дозвола на институцијата. Одговорете на прашањето само врз основа на овие делови, наведувајќи го изворниот документ и датумот на секој чекор. Ако деловите се во конфликт, користете го најактуелниот и кажете го тоа. Ако го нема во документот, кажете „нема информација“. Прашање: [тука] / Делови: [тука]
Моќен потсетник; го поврзува одговорот со вистинските документи на институцијата, бара извори и датуми и искрено се осврнува на противречноста и празнината.
RAG компонента и табела за ризик
компонента
Функција
Главен ризик
Уверување
База на документи
Извор на одговорот
Застарен/конфликтен документ
Чистота, историја, потекло
Пронаоѓање
Најдете го соодветниот дел
погрешно парче
Тестирање на квалитет, повратни информации
Производство
Одговори
погрешен коментар
Цитирајќи го изворот, верификација
Контрола на пристап
Проверка на авторитет
неовластено откривање
Ограничување засновано на корисник
Вообичаени грешки
- Воспоставување на валкана база на документи. Застарениот/конфликтен документ дава лош одговор.
- Прифаќање одговор без наведување на изворот. Целта на RAG е следливост.
- Не се проверува датумот на документот. Одговорот за кој се смета дека е ажуриран доаѓа од старата верзија.
- Заобиколувајќи ја контролата на пристапот. Неовластено лице пристапува до чувствителни информации.
- Мислејќи дека RAG е целосно имун на халуцинации. Погрешното парче сепак дава погрешен одговор.
Сумирано
RAG произведува голема вредност во управувањето со знаењето преку трансформирање на организациската меморија во одговорен систем заснован на ресурси; За разлика од општата вештачка интелигенција, таа ги поврзува и ги изворите одговорите со вистинските документи на организацијата, со што значително ја намалува халуцинацијата. Но, успехот зависи од чистата и ажурирана база на документација, точниот пристап до песната, изворот на извор, проверката на датумот/тековноста и контролата на пристапот. RAG не ја ресетира халуцинацијата; Критичките одговори се проверуваат со одење до изворот и доверливоста се почитува од самиот почеток.
Задача за апликација
Подгответе мал сет на документи (5-8 вистински или примерок од агенциски документи, со датуми); Свесно ставете една стара и една актуелна спротивставена верзија. Поставете прашање со шаблонот „Подговор за одговор базиран на извор“ и проверете дали вештачката интелигенција го наведува изворот. Потоа проценете дали вештачката интелигенција правилно го открила конфликтот и тековната верзија со шаблонот „Конфликт и проверка на тековната верзија“.
листа за проверка
- [ ] Ја ажурирав базата на документи, ги отстранив старите/конфликтните документи.
- [ ] Се уверив дека секој одговор укажува на изворниот документ.
- [ ] Ги проверив датумот и валидноста на изворните документи.
- [ ] Спречив генерирање одговори од неовластени документи со контрола на пристап.
- [ ] Ги потврдив критичните одговори со одење до оригиналниот документ.