Табыстар:
- Білімге негізделген ұрпақтың (RAG) логикасын түсіну және ол галлюцинацияларды неге азайтады
- Үлгінің тек ұсынылған бастапқы құжаттарға негізделген сілтеме арқылы жауап беру мүмкіндігі
- Дереккөзде жоқ сұрақтарды сұрақтар құрастырмай, қауіпсіз тасымалдау арқылы басқару мүмкіндігі
Тіл үлгісі көп нәрсені «біледі», бірақ ол бүгін сіздің компанияңыздың қайтару саясатын, ағымдағы бағалар тізімін немесе кеше өзгерген жеткізу келісімін білмейді. Ең сорақысы, ол білмеген кезде, ол жиі ойлап тауып, өте сенімді үнмен жазады. Бұл тұтынушыларға қызмет көрсетудегі өлімге әкелетін кемшілік: үлгіде «Қайтарулар 30 күн ішінде беріледі» деп жазылған, ал сіздің саясатыңыз 14 күн болуы мүмкін. Бұл алшақтықты жоятын тәсіл RAG: Retrieval-Augmented Generation, яғни «іздеу арқылы кеңейтілген өндіріс» деп аталады.
Идеясы қарапайым: Модель сұраққа жадтан емес, сол сәтте оның алдына қойылған дұрыс бастапқы құжаттардан жауап береді. Біріншіден, сұраққа қатысты құжаттың дұрыс бөлігі «іздеу», содан кейін үлгі тек осы бөлікке негізделген жауапты «генерациялайды». Бұл бөлімде сіз RAG логикасын түсінесіз және ол тек сіз берген расталған көзге жабысып тұруы үшін үлгіні қалай басқару керектігін үйренесіз.
Ескерту: Бұл құрылғы RAG жұмыс логикасын және жылдам жағын үйретеді. Кәсіпорын масштабындағы құжаттарды автоматты түрде іздеу жүйелері (векторлық деректер базасы және т.б.) техникалық орнатуды талап етеді; Мұндағы тәртіп сол жүйенің дұрыс жауап беруіне негіз болады.
Неліктен RAG галлюцинацияны азайтады?
Галлюцинация - бұл модель шынайы сияқты шынайы емес ақпаратты шығаратын кезде. Модель бос орынды көргенде «мүмкін» болып көрінетін жауап беру үшін бағдарламаланған; Оның рас па, жоқ па, білмейді. RAG бұл олқылықты толтырады: сіз модельге сұрақпен бірге нақты сәйкес мәтінді бересіз және «тек осы жерден жауап беріңіз» дейсіз. Осылайша, модельдің сәйкес келуі «қажет емес».
Үш компонент бар:
- Білім қоры: ЖҚС, бағдарламалық құжаттар, өнім нұсқаулығы, бағалар тізімі сияқты сенімді мәтіндер.
- Қайта алу: сұрақтың жауабы бар құжат бөлігін тауып, үлгіге беру.
- Шектеулі басылым: Модель тек жеткізілген бөлікке негізделген дәйексөзбен жауап береді.
Қадамдық: Дереккөзге сенімді жауап
- Дереккөзді дайындаңыз. Жауап негіз болатын мәтінді (саясат, жиі қойылатын сұрақтар) анық және жаңартылған форматта табыңыз.
- Дереккөзді шақыруға ендіру. Мәтінді <source> сияқты тегке қойыңыз.
- Адалдық ережесін жазыңыз. «Тек көзден алынған ақпаратты пайдаланыңыз; дереккөзден алшақ кетпеңіз».
- Міндетті түрде сілтеме жасаңыз. Жауап қай бөлімге негізделгенін көрсетсін.
- Ресурстық емес әрекетті анықтау. Жауап дереккөзінде болмаса, «Менде бұл ақпарат жоқ» деп, оны жіберсін.
- Тексеру. Жауапты негіз болған бастауышпен салыстыру арқылы растаңыз.
Көшіретін шақырулар
Негізгі көзге негізделген жауап сұрауы:
Рөл: Сіз тұтынушыларды қолдау көмекшісісіз. Сұраққа ТЕК төмендегі <көз>блокындағы ақпарат негізінде жауап беріңіз. Дереккөзде жоқ ақпаратты қоспаңыз, жалпы біліміңізден болжаңыз немесе жауап беріңіз. Жауаптың соңына «[Дереккөз: ...]» пішімінде сүйенетін бөлімді қосыңыз. Жауап дереккөзде болмаса, келесіні жазыңыз: "Менде бұл мәселе бойынша нақты ақпарат жоқ, мен сізді дұрыс жауап бере алатын шенеунікке тапсырамын."<source>{{ policy_or_faq_text }}</source>Сұрақ: {{ customer_question }}
Көп дереккөз болған жағдайда оның қай құжатқа негізделгенін көрсетуге шақыру:
Төменде нөмірленген бірнеше ресурстар бар. Сұраққа жауап бергенде, пайдаланған дереккөздің нөмірін көрсетіңіз, мысалы, [2-көз]. Егер сізге бірнеше дереккөз қайшы келсе, оны анық айтыңыз және қайсысы ең жаңа екенін сұраңыз.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Сұрақ: {{ customer_question }}
Бастапқы емес сұрақты қауіпсіз басқаратын сұрау:
Егер сұрақтың жауабы дереккөзден ІШІНШІР табылса: дереккөз қамтылған бөлігіне ғана жауап беріңіз, ал қалған бөлігіне «бұл дерек көзде жоқ» деп айтыңыз. Ешқашан жетіспейтін бөлікті болжау арқылы толтырмаңыз.
Жауапты клиент тіліне аударатын, бірақ дереккөзге сәйкес келетін шақыру:
Дереккөздегі ресми/техникалық өрнекті тұтынушы түсінетін қарапайым тілге аударыңыз, бірақ мағынасын және сандық мәндерін (күн, сома, мөлшерлеме) өзгертпеңіз. Мысалы, «14 күнтізбелік күнді» «шамамен екі аптаға» дөңгелектеу; толық мәнді сақтаңыз.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру
Күшті шақыру
«Біздің қайтару саясатымыз туралы айтып беріңізші»
Енгізу көзі + "тек осында жауап беру" + баға ұсыныстарын сұрау
Модель жадынан жауап (мүмкін қате)
Ағымдағы құжатыңыздан жауап
Егер бұл дереккөзде болмаса, ол оны жасайды
«Менде бұл ақпарат жоқ» дейді де, айтып береді.
Сандарды дөңгелектей және бұрмалай алады
Күнді/сомды/тарифті дәл сақтайды
Айырмашылығы мынада, күшті шақыру үлгіге якорь (бастапқы мәтін) және тыйым (көзден шығу) береді. Модель енді жадынан емес, оның алдындағы шындықтан сөйлейді.
Үш шағын корпус
1-жағдай - ескі саясат тұзағы. «Қайтарулар 30 күн ішінде қабылданады», - деді бір дүкеннің боты несиесіз жұмыс істеп жатқанда; Алайда компания бұл мерзімді 14 күнге дейін қысқартты. Жаңартылған саясат мәтіні RAG орнатуындағы көзге қосылғанда, бот енді "14 күнтізбелік күн [Дереккөз: Қайтару саясаты, 2-бап]" деп жауап береді. Жалған уәделерден туындаған ақшаны қайтару даулары қалпына келтірілді.
2-жағдай — қарама-қайшылықты анықтау. Тұтынушы жеткізу құны туралы сұрады. Дереккөздер ретінде жүйеге ескі және жаңа прейскуранттар енгізілді. Көп дереккөзді шақырудың арқасында модель: «Екі көз әртүрлі баға береді (49 TL және 59 TL; Мен ағымдағыны растауым керек» және мәселені адамға жеткізді. Клиентке қате соманы айтудың орнына, ол белгісіздік туралы шынайы айтты.
3-жағдай – Ішінара жауап беру тәртібі. «Сіз өнімді шетелге жеткізесіз бе және кедендік бажды кім төлейді?» Сұрақта дереккөз тек жөнелтілгенін айтты, салықты кім төлегені туралы ештеңе жоқ. Модель: "Иә, жөнелту шетелде жүзеге асырылады [Дереккөз: Жүк туралы жиі қойылатын сұрақтар]. Алайда, бұл құжатта кедендік баж салығын кім төлейтіні көрсетілмеген; Мен сізді осыны түсіндіру үшін шенеунікке тапсырамын" деді. Жартылай шынайы, жартылай ойдан шығарылған жауаптың орнына ол адал және сенімді нәтиже берді.
Кеңес: Білім қорының ақиқат нұсқасының ең соңғы және жалғыз көзін сақтаңыз. Үш бөлек құжатта басқаша жазылған бірдей ақпараттың болуы (мысалы, қайтару мерзімі) RAG-ның ең үлкен жауы; Модель қайсысына қарайтынына байланысты әртүрлі жауап береді. Алдымен құжаттардың көшірмесін жасаңыз, содан кейін оларды автоматтандырыңыз.
Тексеру: Дереккөз бар болғандықтан ғана босаңсуға болмайды
RAG галлюцинацияны айтарлықтай азайтады, бірақ оны қалпына келтірмейді. Модель кейде дереккөзді бұрмалап, екі сөйлемді араластырып немесе дереккөзде жоқ «қорытынды» жасай алады. Сондықтан дәйексөзге қойылатын талап өте маңызды: жауап негізделген деп мәлімдейтін бөлімді ашып, оның шынымен солай айтылғанын тексеріңіз. Бұл бақылау, әсіресе сандар (күн, сома, мөлшерлеме) және шарттар (ерекшелік, жағдай) бар жауаптарда келісуге жатпайды.
Абайлаңыз: көздің өзі қате немесе ескірген болса, RAG бұл қатені қайталайды. «Үлгі көзден сөйлейді» деу «үлгі дұрыс айтады» дегенді білдірмейді; Сіз дереккөздің валютасы мен дәлдігіне жауаптысыз.
Білім қорын жауап беруге дайын ұстау
RAG сапасы негізінен бастапқы мәтіннің қалай жазылғанына байланысты. Модель жақсы құрылымдалған, тақырыпты, бір тақырыпты мәтіндерге қарағанда әлдеқайда дәл жауап қайтарады. Практикалық кеңес: саясатыңызды ұзын, кірістірілген абзацтардан гөрі қысқа, тақырыптық бөлімдерде жазыңыз; Әрбір бөлім бір сұраққа жауап берсін («Қайтару мерзімі қанша күн?», «Қандай өнімдерді қайтаруға болмайды?»). Жиі қойылатын сұрақтарды (ЖҚС) сұрақ-жауап пішімінде сақтау үлгінің дұрыс бөлікті табуын жеңілдетеді. Күн, сома және бағам сияқты мәндерді мәтін ішінде анық және бір жерде көрсетіңіз; Бірдей санды әртүрлі бөлімдерде әртүрлі жазу үлгіні шатастырады.
Тағы бір маңызды әдет – білім қорын сақтап қалу. Саясаттар, бағалар және акциялар әртүрлі; Егер дереккөз жаңартылмаса, модель ескі шындықты қауіпсіз қайталауды жалғастырады. Әрбір саясат өзгерген сайын дереккөзді жаңартыңыз және дұрыс жауап беретінін растау үшін өзгертілген тақырып туралы модельге бірнеше сынақ сұрақтарын қайта сұраңыз. Бұл кішігірім, бірақ тұрақты техникалық қызмет көрсету RAG жүйесінің уақыт өте келе «үнсіз қателесуіне» жол бермейді.
Жалпы қателер
- Дереккөзді көміп алмай, үлгі жаттағанына сүйеніп, «саясатымызды түсіндір» деп.
- "Тек көзден жауап беру" шекарасын және бастапқы емес әрекетті анықтамау.
- Дәйексөз/көзі сілтемесін сұрамау және жауапты тексеру мүмкін емес қалдыру.
- Бір ақпараттың қайшы нұсқаларын білім қорындағы бірнеше құжаттарда сақтау.
- Үлгіге сандық мәндерді дөңгелектеуге/түсіндіруге рұқсат беру.
- Дереккөзді жаңартуды ұмытып, модель ескі ақпаратты сенімді түрде қайталайды.
Қысқаша айтқанда
- RAG модель өз жауабын жадтан емес, ағымдағы бастапқы құжаттан шығаратынын білдіреді.
- Галлюцинацияны азайтудың ең практикалық жолы: дереккөзді көміңіз, «тек осында жауап беріңіз» деп айтыңыз, дәйексөз сұраңыз.
- Жауап дереккөзінде болмаса, үлгіге сәйкес келмеуі керек; «Менде жоқ» деп, тапсыруы керек.
- Модельді қайшылықты көздерден хабардар ету; Сіз сандық мәндерді дәл сақтадыңыз.
- RAG дәлдігі сіздің көзіңіздің уақтылылығына байланысты; Әрқашан дәйексөзді растаңыз.
Қолданбалы тапсырма
Жеке бизнесіңізден нақты саясат мәтінін (қайтару, жөнелту немесе мүшелік) алыңыз және оны жоғарыдағы негізгі RAG сұрауына дереккөз ретінде енгізіңіз. Содан кейін үш сұрақ қойыңыз: (1) дереккөзде жауабы анық болған сұрақ, (2) жауабы дереккөзінде мүлдем жоқ сұрақ, (3) жауабы дереккөзінде ғана толық емес сұрақ. Үлгінің дұрыс жауап бергенін, «Менде жоқ» деп жауап беретінін және сәйкесінше жартылай жауапты және жетіспейтін жауапты нақты белгілейтінін тексеріңіз. Шұғылдағы адалдық пен ресурстық емес ережелерді күшейту арқылы девиантты мінез-құлықты түзетіңіз.
бақылау парағы
- [ ] Мен сұрауға жауап негізделетін ағымдағы көзді ендірдім.
- [ ] Мен «Тек дереккөзден жауап беру, шектен шықпау» ережесін қостым.
- [ ] Мен дереккөзге сілтеме/дәйексөз талап қойдым.
- [ ] Егер жауап көзде қол жетімді болмаса, өкілдік әрекетін анықтадым.
- [ ] Мен сандық мәндердің дәл сақталуын талап еттім.
- [ ] Жауапты ол негізге алынған бастапқы сөйлемнен растадым.