Табыстар:
- Жауапты мекеменің нақты құжаттарымен байланыстыру және сілтеме жасау және таза құжат базасының маңыздылығын қолдану арқылы RAG галлюцинацияны қалай азайтатынын түсініңіз.
- RAG шығысының көзін, күнін және валютасын тексеру және қайшы нұсқаларды ажырату мүмкіндігі
- Қол жеткізуді басқару арқылы рұқсат етілмеген құжаттардан жауаптарды болдырмау арқылы корпоративтік құпиялылықты қорғау мүмкіндігі
Ұйымның жады мыңдаған шашыраңқы құжаттарда өмір сүреді: есептер, нұсқаулықтар, хаттамалар, процедуралар, электрондық пошталар. Қарапайым сұраққа («бұл процедура қалай жұмыс істейді?») жауап беру үшін қызметкер құжаттарды сағаттап іздей алады. Білім менеджерінің арманы - бұл жад сұрақтарға тікелей, бірақ дереккөзге негізделген жауап беру. RAG дәл осылай уәде етеді. Бұл бөлімде сіз RAG деген не екенін, оны кәсіпорын ақпаратын басқаруда қалай пайдалану керектігін және оны дәлдік, құпиялылық және уақтылылық тұрғысынан қалай қорғау керектігін білесіз.
Тұжырымдаманы анықтайық. RAG (Retrieval-Augmented Generation) – бұл AI алдымен ұйымның құжаттамасынан сәйкес бөліктерді табу (шығарып алу), содан кейін тек сол бөліктерге негізделген жауапты жасау арқылы сұраққа жауап береді. Бұл жадтан жауап генерациялайтын жалпы AI-дан түбегейлі ерекшеленеді: RAG нақты, қадағаланатын құжаттарға жауапты сілтемелер мен көздерден алады. Осылайша, галлюцинация айтарлықтай төмендейді, өйткені AI оның «басынан» емес, мекеменің құжатынан сөйлейді.
Қадамдық: кәсіпорынның RAG жүйесін түсіну
1. Құжат базасын дайындаңыз. Ұйымның сенімді, жаңартылған құжаттары жиналады, тазартылады және бөліктерге бөлінеді (құжаттың мағыналы шағын бөлімдері). Нашар, ескірген немесе қайшы келетін құжаттар жүйеге кірсе, жауаптар нашар болады: «қоқыс кірді, қоқыс шығарылды».
2. Енгізу және индекстеу. Әрбір бөлік оның мағынасын білдіретін векторға (енгізу) түрлендіріліп, іздеуге болатын индекске қойылады. Сұрақ туындаған кезде жүйе мағынасы жағынан жақын бөліктерді табады.
3. Тиісті бөліктерді әкеліңіз. Сұрақ қойылғанда, жүйе құжат базасынан ең маңызды бөліктердің бірнешеуін шығарады. Бұл қадам өте маңызды: егер дұрыс емес бөлік әкелінсе, жауап қате болады.
4. Дереккөзге негізделген жауапты жасаңыз. AI тек алынған фрагменттерге негізделген жауапты жасайды және қай құжаттан алынғанын көрсетеді. Дереккөзге сілтеме жасамаған жауап RAG мақсатына қайшы келеді.
5. Тексеріңіз және есеп беріңіз. Пайдаланушы көрсетілген дереккөзге өтіп, жауапты растай алуы керек. Қате немесе толық емес жауаптар құжаттама базасын жақсарту үшін кері байланысқа айналады.
Кеңес: RAG сапасы негізінен құжат базасының сапасына байланысты. Құжаттарды жаңартыңыз, қайшы/ескірген нұсқаларды алып тастаңыз және жүйеге қоймас бұрын әрбір құжатқа күн мен шығу деректерін қосыңыз. Жақсы ұйымдастырылған 500 құжат 5000 шашыраңқы құжатқа қарағанда жақсы жауап береді.
RAG шекаралары мен қауіпсіздік пункттері
RAG галлюцинацияны азайтады, бірақ оны қалпына келтірмейді. Жүйе дұрыс емес бөлікті қайтарса, AI әлі де сол қате бөлікке «адал» болып, қате жауап бере алады. Сонымен қатар, AI алынған бөліктерді дұрыс түсінбеуі немесе бірнеше бөліктерді қарама-қайшы тәсілдермен біріктіруі мүмкін. Сондықтан, RAG шығысы да көзге бару арқылы тексерілуі керек, әсіресе маңызды шешімдер үшін.
Құпиялылық корпоративтік RAG-тың басты мәселесі болып табылады. Құжат базасында құпия ақпарат болуы мүмкін (персонал, келісімшарттар, стратегия). Жүйе пайдаланушы рұқсат етпеген құжаттардан жауаптарды жасамауы керек; Қол жеткізуді басқару (қай құжатты көре алады) RAG-ға да қолданылуы керек. Әйтпесе, қызметкер RAG арқылы өзі көре алмайтын ақпаратқа қол жеткізе алады.
Назар аударыңыз: Құжатқа дәйексөз келтірген кезде де, RAG бұл құжаттың жаңартылған және дәл екендігіне кепілдік бермейді. Жүйе үш жыл бұрынғы ескі процедура құжатынан жауап бере алады. Бастапқы құжаттың күні мен жарамдылығын тексеру пайдаланушы мен ақпарат менеджеріне жүктеледі.
үш шағын іс
1-жағдай — Процедуралық сұрақтар жеделдетілді. Бір ұйым өзінің 1200 беттік ішкі процедуралық нұсқаулықтары үшін RAG жүйесін құрды. Қызметкерлердің «мұны қалай істеуге болады» сұрақтары көзді көрсете отырып, жауаптармен бірнеше секунд ішінде шешілді; Қоңыраудың орташа ұзақтығы 25 минуттан 2 минутқа дейін қысқарды. Әрбір жауап оған негізделген құжаттама бөліміне байланысты болғандықтан, қызметкерлер оны тексере алды.
2-жағдай — ескі құжат түсірілді. RAG жүйесі 2021 жылғы ескі құжаттың рұқсат беру процедурасының сұрағына жауап берді; Дегенмен, жаңартылған нұсқасы 2024 жылы шықты. Бастапқы сілтемені ашқан қызметкер күннің ескіргенін байқап, жаңартылған құжатты тапты. Ақпарат менеджері құжат қорынан ескі нұсқаны алып тастады.
3-жағдай - Рұқсатсыз кіруге жол берілмейді. Бастапқы орнатуда RAG барлық құжаттарды жалпыға ортақ сканерледі; қызметкер ол көрмеуі тиіс жалақы туралы құжаттан жауап алды. Топ RAG жүйесіне кіруді басқаруды қосты: жүйе енді тек пайдаланушы рұқсаты бар құжаттардан жауаптарды жасайды.
Бағалау, кері байланыс және үздіксіз жетілдіру
RAG жүйесі бір рет орнатылып, ұмытылатын құрал емес; Ол үнемі бағалауды және жетілдіруді қажет етеді. Мұның негізі жүйенің нақты сұрақтарға жауаптарын жүйелі түрде өлшеу болып табылады. Екі сұрақ өте маңызды: жүйе дұрыс құжат бөліктерін ала ма (қолжетімділік сапасы) және алынған бөліктерден дұрыс жауап бере ме (өндіріс сапасы)? Бұл екі қабатты бөлек бағалау қажет; Өйткені дұрыс құжат әкелу мен оны дұрыс түсіндірмеу және қате құжатты әкеліп, оны адал тапсыру әр түрлі мәселе және әртүрлі шешімді қажет етеді. Жақсы тәжірибе - белгілі дұрыс жауаптары бар «тест сұрақтары» жинағын сақтау және әрбір жаңартуда жүйені осы жинақпен тексеру. Сонымен қатар, пайдаланушылардың «бұл жауап пайдалы болды / нақты дереккөз болды» пікірі құжат базасындағы бос орындарды да, қате алынған бөліктерді де көрсетеді. AI осы кері байланысты жинақтауға және жиі орындалмайтын сұрақтар түрлерін қорытындылауға көмектеседі; Бірақ қандай құжатты қосу, жаңарту немесе жою туралы шешім ақпарат менеджеріне тиесілі. Жүйе тірі ағза сияқты күтімді қажет етеді; Уақыт өте келе құжаттаманың ескіруіне байланысты назардан тыс қалған RAG барған сайын жаңылыстырады.
Кеңес: RAG жүйесін орнатқаннан кейін 20-30 нақты сұрақтар мен белгілі дұрыс жауаптардан тұратын шағын сынақ жинағын дайындаңыз. Бұл жинақты әрбір құжат жаңартуымен іске қосу өзгерістің жүйені жақсартатынын немесе бұзатынын бірден көрсетеді.
Көшірілетін төрт үлгі
1) Дереккөзге негізделген жауап сұрауы:
Сіздің рөліңіз: корпоративтік ақпарат көмекшісі. Төменде сұраққа қатысты құжаттаманың бөліктері берілген. Жауапты ТЕК осы бөліктерге негізделіп беріңіз және оның әрбір ақпарат бөлігінің қай құжаттан/бөліктен екенін көрсетіңіз. Егер бөліктерде жауап болмаса, «бұл ақпарат ұсынылған құжаттарда жоқ» деп айтыңыз, болжамаңыз. Сұрақ: [мұнда] / Бөлімдері: [мұнда]
2) Қайшылық және валюталық бақылау:
Келесі бөліктер арасында қайшылықтар немесе әр түрлі мерзімделген нұсқалар бар ма? Олай болса, оны белгілеп, қайсысы жаңартылғанын көрсетіңіз. Бөліктер (күндері бар): [мұнда]
3) Құжат базасын тазалау аудиті:
Төмендегі құжаттар тізімінде RAG жүйесіне енгізер алдында сұрыптауды қажет ететін ескірген, қайшылықты немесе белгісіз шыққан құжаттар бар ма? Неліктен екенін белгілеңіз және жазыңыз. Тізім (күні/көзі): [мұнда]
4) Құпиялылық және қол жеткізуді алдын ала бақылау:
Келесі құжат фрагменттері құпия ақпаратты (жеке деректер, құпия келісім, стратегия) қамтиды ма? Әрқайсысын «жалпыға қолжетімді/шектеулі» ретінде жіктеп, негіздеме беріңіз. Тректер: [мұнда]
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Біздің мекеменің рұқсат беру тәртібін түсіндіріңіз.
Егер ешқандай құжаттама берілмесе, АИ өзінің жалпы жадынан немесе басқа институттардың іске асыруынан құрастырылған процедураны шығарады; Бұл мекеменің нақты ережесіне қатысы жоқ болуы мүмкін.
Күшті шақыру:
Сіздің рөліңіз: корпоративтік ақпарат көмекшісі. Төменде мекеменің рұқсат беру рәсіміне қатысты құжаттардың бөліктері (күндері көрсетілген). Әрбір қадамда бастапқы құжат пен күнді келтіре отырып, осы бөліктерге негізделген сұраққа жауап беріңіз. Бөлшектер бір-біріне қайшы келсе, ең соңғысын пайдаланыңыз және солай айтыңыз. Құжатта жоқ болса, «ақпарат жоқ» деп айтыңыз. Сұрақ: [мұнда] / Бөлімдері: [мұнда]
Күшті жеделдік; жауапты мекеменің нақты құжаттарымен байланыстырады, дереккөздері мен мерзімін сұрайды және қайшылық пен олқылықты шынайы түрде қарастырады.
RAG компоненті және тәуекелдер кестесі
құрамдас
Функция
Негізгі тәуекел
Кепілдік
Құжат базасы
Жауаптың көзі
Ескірген/қайшылықты құжат
Тазалығы, тарихы, шығу тегі
Қайта алу
Сәйкес бөлікті табыңыз
қате бөлік
Сапаны тексеру, кері байланыс
Өндіріс
Жауап беру
қате пікір
Дереккөзге сілтеме жасау, тексеру
Қол жеткізуді басқару
Өкілетті тексеру
рұқсатсыз ашу
Пайдаланушыға негізделген шектеу
Жалпы қателер
- Лас құжат базасын құру. Ескірген/қайшылықты құжат нашар жауап береді.
- Дереккөзге сілтеме жасамай жауапты қабылдау. RAG мақсаты - қадағалау.
- Құжат күні тексерілмейді. Жаңартылған деп ойлаған жауап ескі нұсқадан келеді.
- Қол жеткізуді басқаруды айналып өту. Рұқсат етілмеген адам құпия ақпаратқа қол жеткізеді.
- RAG галлюцинацияға толықтай иммунитеті бар деп ойлау. Қате бөлік әлі де қате жауап береді.
Қысқаша
RAG ұйымдық жадты ресурсқа негізделген жауап беру жүйесіне түрлендіру арқылы білімді басқаруда үлкен мән береді; Жалпы AI-дан айырмашылығы, ол ұйымның нақты құжаттарымен байланыстырады және жауапты береді, осылайша галлюцинацияны айтарлықтай азайтады. Бірақ табыс таза және жаңартылған құжаттама базасына, нақты жолға қол жеткізуге, дереккөзді атрибуциялауға, күнді/ағымды тексеруге және қол жеткізуді басқаруға байланысты. RAG галлюцинацияны қалпына келтірмейді; Сыни жауаптар дереккөзге бару арқылы тексеріледі және құпиялылық басынан бастап сақталады.
Қолданбалы тапсырма
Құжаттардың шағын жинағын дайындаңыз (5-8 нақты немесе үлгілік агенттік құжаттары, күні көрсетілген); Саналы түрде бір ескі және бір қазіргі қарама-қайшылықты нұсқаны қойыңыз. «Дереккөзге негізделген жауап сұрауы» үлгісімен сұрақ қойыңыз және AI дереккөзге сілтеме жасайтынын тексеріңіз. Содан кейін AI қайшылықты және ағымдағы нұсқаны «Қақтығыс пен ағымдағы нұсқаны тексеру» үлгісімен дұрыс анықтағанын бағалаңыз.
бақылау парағы
- [ ] Мен құжат базасын жаңарттым, ескі/қайшылықты құжаттарды алып тастадым.
- [ ] Әрбір жауап бастапқы құжатты көрсететініне көз жеткіздім.
- [ ] Мен бастапқы құжаттардың күні мен жарамдылығын тексердім.
- [ ] Мен рұқсатты басқару арқылы рұқсат етілмеген құжаттардан жауаптардың пайда болуына жол бермедім.
- [ ] Мен құжаттың түпнұсқасына өту арқылы маңызды жауаптарды тексердім.