پایگاه دانش و RAG: چگونه ربات و عامل پاسخ صحیح را پیدا کنند

سود:

• درک نحوه عملکرد RAG (تجزیه، دسترسی، تولید وابسته به منابع) و کاهش توهم
• امکان افزایش کیفیت پاسخ ها با ایجاد پایگاه دانشی جاری، واضح، بدون تعارض و دارای منبع صحیح واحد.
• امکان آموزش مدل "اگر در منبع نیست، به من بگویید که نمی دانید" و تبدیل سوالاتی که نمی تواند به آنها پاسخ دهد به بهبود پایگاه دانش

پاسخی که یک ربات یا دستیار نماینده می دهد فقط به اندازه اطلاعاتی است که بر اساس آن است. وقتی مشتری می پرسد "آیا کمپین ادامه دارد؟"، پاسخ صحیح در حافظه مدل نیست، بلکه در پایگاه دانش فعلی موسسه است. به همین دلیل است که قلب مرکز تماس هوش مصنوعی پایگاه دانش (KB) است: منبعی به روز که در آن محصولات، خط مشی ها، پرسش های متداول، رویه ها و قوانین به صورت مکتوب نگهداری می شوند. و روشی که به طور ایمن این پایگاه دانش را به هوش مصنوعی متصل می کند RAG: Retrieval-Augmented Generation نامیده می شود - مدل به جای اینکه پاسخ را از حافظه خود بسازد، ابتدا اطلاعات مربوطه را از منبع بازیابی می کند (بازیابی) و سپس پاسخ را فقط بر اساس آن قطعات (نسل) تولید می کند.

RAG قوی ترین روش پیشگیری از توهم است. این مدل برای این سوال که "نرخ سود وام چقدر است؟" عددی در سر خود ایجاد نمی کند. متن مورد علاقه فعلی را از پایگاه دانش بازیابی می کند و بر اساس آن پاسخ می دهد. در این بخش نحوه راه‌اندازی پایگاه دانش، نحوه عملکرد RAG و اینکه چگونه یک پایگاه دانش خوب کیفیت پاسخ‌ها را تعیین می‌کند، خواهیم دید.

نحوه کار RAG: چهار مرحله

به RAG مانند یک کتابدار فکر کنید. مشتری سوال می پرسد؛ سیستم ابتدا صفحات مربوطه را از قفسه سمت راست کتابخانه پیدا می کند، سپس آن صفحات را می خواند و پاسخ را می نویسد. مراحل فنی به شرح زیر است:

1. تقسیم بندی: اسناد طولانی در پایگاه دانش به قطعات کوچک و معنی دار تقسیم می شوند (به عنوان مثال، هر سؤال متداول یک تکه است). زیرا مدل با قطعات کوچک مرتبط به یک سوال با دقت بیشتری پاسخ می دهد.
2. جاسازی و نمایه سازی: هر قطعه به شکلی عددی که معنای آن را نشان می دهد (جاسازی - دنباله ای از اعداد که معنای متن را نشان می دهد) ترجمه شده و در یک پایگاه داده قابل جستجو قرار می گیرد. بنابراین، «تطابق لفظ» نیست، بلکه «تطابق معنا» است; حتی اگر مشتری بپرسد "چه زمانی پول من واریز می شود؟"، ممکن است قسمت "دوره بازپرداخت" پیدا شود.
3. بازیابی: نزدیک‌ترین قسمت‌ها از نظر معنایی به سؤال مشتری بازیابی می‌شوند (مثلاً نزدیک‌ترین قسمت‌ها 3-5).
4. Generation: مدل پاسخ را فقط بر اساس قسمت های ترسیم شده می نویسد و در صورت امکان منبع را نشان می دهد.

نقطه بحرانی در مرحله 4 است: به مدل دستور داده شده است که "فقط به قطعات داده شده تکیه کند، یا بگوید که نمیدانی." بدون این دستورالعمل، RAG از برازش مدل جلوگیری نمی کند.

نکته: قانون طلایی RAG: "اگر در منبع نباشد، پاسخی وجود ندارد." یک سیستم RAG خوب به سؤالی که در پایگاه دانش نیست، می گوید: «در این مورد مطمئن نیستم». هرگز شکاف را با حدس و گمان پر نمی کند. توانایی یک ربات برای گفتن «نمی‌دانم» یک ویژگی امنیتی است، نه یک ضعف.

یک پایگاه دانش خوب: منبع واقعی کیفیت پاسخ

مهم نیست که RAG چقدر خوب است، اگر پایگاه دانش بد باشد، پاسخ بد است. کیفیت دانش پایه توسط:

ویژگی

پایگاه دانش بد

پایگاه دانش خوب

جریان

ماه ها آپدیت نشده

بلافاصله پس از تغییر به روز رسانی می شود

وضوح

متن طولانی و پیچیده

مقالات کوتاه و تک موضوعی

ساختار

توده پی دی اف کثیف

مواد تجزیه پذیر برچسب دار

سازگاری

دو پاسخ متناقض

منبع واحد حقیقت

دامنه

شکاف های زیادی وجود دارد

سوالات متداول را پوشش می دهد

مالکیت

هیچکس مسئول نیست

هر موضوعی صاحبی دارد

خطرناک ترین مشکل در زمینه مرکز تماس تناقض است: اگر دو دوره بازگشت متفاوت در پایگاه دانش نوشته شود، RAG هر کدام را که لازم باشد می گوید و یک پاسخ متناقض برای مشتری ارسال می شود. به همین دلیل است که اصل "منبع واحد حقیقت" حیاتی است: اطلاعات در یک مکان به روز نگه داشته می شوند. ارجاع به آن منبع استفاده می شود، نه کپی.

گام به گام: ساختن یک سیستم پاسخ با پشتیبانی RAG

1. پایگاه دانش را پاک کنید: مقالات قدیمی، متناقض و تکراری را حذف کنید. هر مقاله را کوتاه و تک موضوعی کنید.
2. آن را تجزیه کنید و آن را برچسب گذاری کنید: به هر مقاله یک برچسب موضوع و آخرین تاریخ به روز رسانی اضافه کنید.
3. ایجاد دسترسی: مکانیزمی را وصل کنید که در صورت درخواست، قطعات مربوطه را می کشد (ابزار RAG سازمانی این را فراهم می کند).
4. یک دستور سخت بنویسید: به مدل بگویید "فقط به قطعات ارائه شده تکیه کنید، منبع را ذکر کنید، یا بگویید که نمی دانید."
5. ذکر منبع: نشان دادن مقاله ای که پاسخ بر اساس آن است. هم اعتماد به نفس می دهد و هم تأیید را تسهیل می کند.
6. مراقب شکاف‌ها باشید: سوالاتی را که ربات می‌گوید «نمی‌دانم» جمع‌آوری کنید. اینها کمبودهای پایگاه دانش را نشان می دهد، از آنجا تغذیه می شود.

چهار قالب قابل کپی

1) درخواست پاسخ دقیق RAG:

بر اساس بخش های [SOURCE] زیر پاسخ دهید. قوانین: (1) فقط از اطلاعات موجود در منبع استفاده کنید، (2) اگر در منبع نیست، بگویید "اطلاعات قطعی در این مورد ندارم، اجازه دهید شما را به نماینده وصل کنم"، (3) بیان کنید که بر اساس کدام مقاله است [منبع: مورد-خیر]، (4) مقدار/مدت/شرط را دقیقاً از منبع نقل کنید، گرد/ترکیب نکنید. [منبع]: <<قطعات کشیده>>سوال: "<<سوال مشتری>>"

۲) نوشتن مقاله مبتنی بر دانش:

متن خط مشی پراکنده زیر را به یک مقاله پرسش و پاسخ مناسب برای RAG تبدیل کنید. قالب: سوال (به زبان مشتری) / پاسخ کوتاه (2-3 جمله) / شرایط (بند) / تاریخ آخرین به روز رسانی / برچسب موضوع. هر نکته مبهم را به عنوان "برای روشن شدن" علامت گذاری کنید، تصور کنید. متن خام: <<متن>>

3) بررسی تناقضات و شکاف ها:

مقالات پایگاه دانش زیر را بررسی کنید. (1) جفت مقالاتی را که با یکدیگر در تضاد هستند علامت گذاری کنید (مثلاً دوره بازگشت متفاوت). (2) موضوعاتی را که اغلب پرسیده می شود اما پاسخی ندارند حدس بزنید. فقط به مقالات داده شده نگاه کنید. تولید خط مشی جدید. مقالات: <<فهرست>>

4) بهبود از گزارش "نمی دانم":

در زیر سوالاتی وجود دارد که ربات نتوانست به آنها پاسخ دهد (منبعی را پیدا نکرد). آنها را در موضوعات گروه بندی کنید و عنوان مقاله را پیشنهاد دهید که باید به پایگاه دانش برای هر گروه اضافه شود. محتوای پاسخ را تشکیل ندهید، فقط به من بگویید کدام مورد گم شده است. سؤالات: <<فهرست>>

اعلان ضعیف / اعلان قوی

اعلان ضعیف:

به سوال بازگشت مشتری پاسخ دهید.

بدون منبع؛ ممکن است مدل از حافظه مناسب باشد، مقدار/مدت ممکن است اشتباه باشد، نمی توان آن را تأیید کرد.

اعلان قدرتمند:

فقط بر اساس بند سیاست بازگشت زیر پاسخ دهید. اگر در منبع موجود نیست، بگویید "قطعاً نمی دانم". دوره و شرط را کلمه به کلمه ذکر کنید، به شکل [منبع: RETURN-03] مرجع بدهید. سوال: آیا می توانم محصول شخصی سازی شده ای را که 20 روز پیش خریداری کرده ام، پس بدهم؟

تفاوت: وابسته به منبع، مرجع اجباری، ممنوعیت ساختگی واضح است. مدل پاسخ صحیح ("14 روز گذشته و شخصی، غیر قابل استرداد") را از منبع تولید می کند.

سه کیف کوچک

مورد 1 - پایان دادن به توهم. دقت پاسخ یک ربات مخابراتی به سوالات کمپین 71% در راه اندازی بدون RAG بود. این مدل گاهی اوقات کمپین های قدیمی می ساخت. هنگامی که صفحات کمپین فعلی به RAG متصل شدند و قانون "اگر در منبع نیست آن را نگو" اضافه شد، دقت به 96٪ افزایش یافت و شکایات در مورد "کلمات اشتباه کمپین" تقریباً پایان یافت.

مورد 2 - قیمت تناقض. در پایگاه دانش یک شرکت تجارت الکترونیک، دو هزینه حمل و نقل مختلف در دو صفحه (یک صفحه فعلی، یک صفحه فراموش شده قدیمی) نوشته شده است. ربات به طور تصادفی یک نفر را می کشید و به برخی از مشتریان قیمت اشتباه می گفت. هنگامی که صفحه قدیمی با اصل منبع صحیح بایگانی شد، ناسازگاری ناپدید شد. درس: RAG تضاد را حل نمی کند، تناقض را همانطور که هست منتشر می کند.

مورد 3 - مقدار گزارش "نمی دانم". در یکی از بانک‌ها، ربات به 4000 سوال در ماه می‌گفت: «مطمئن نمی‌دانم». وقتی این سوالات گروه بندی شدند، مشاهده شد که 40% مربوط به "استفاده از کارت بین المللی" است. مقاله ای در مورد آن وجود نداشت. با اضافه شدن موارد مربوطه، این سوالات حل شد و گردش مالی افراد در آن موضوع 55 درصد کاهش یافت. این واقعیت که ربات گفت نمی‌داند به نقشه راه برای بهبود تبدیل شد.

اشتباهات رایج

• پاسخگویی بدون لینک منبع بدون RAG، مدل با اطلاعات مشخص مطابقت دارد. هر پاسخ مشخصی باید به منبع بستگی داشته باشد.
• خاموش کردن گزینه "نمی دانم". وادار کردن مدل به پاسخگویی به هر سؤالی، برازش را تضمین می کند.
• پاک نشدن اطلاعات متناقض/قدیمی. RAG تناقض را گسترش می دهد. یک منبع صحیح واحد ضروری است.
• غفلت از خرد کردن صادرات پی دی اف های بزرگ، دسترسی دقیق را مختل می کند. از مقالات کوتاه و تک موضوعی استفاده کنید.
• مخفی کردن منبع عدم اشاره به اینکه پاسخ بر اساس چه چیزی است، تأیید و اعتماد را ضعیف می کند.

احتیاط: RAG دقت را بهبود می بخشد اما تضمینی 100٪ ارائه نمی دهد. مدل گاهی اوقات می تواند قسمت ضبط شده را اشتباه تفسیر کند. بنابراین، مسائل مالی، حقوقی و امنیتی حتی در صورت ذکر منبع نیازمند تایید انسانی است. RAG توهم را کاهش می دهد اما مسئولیت را از بین نمی برد.

به طور خلاصه

پایگاه دانش و RAG پایه و اساس دقت هوش مصنوعی مرکز تماس هستند. RAG تا حد زیادی از توهم جلوگیری می کند و مدل را از برازش پاسخ از حافظه و تکیه بر منبع فعلی جلوگیری می کند. اما RAG فقط به اندازه پایگاه دانش آن خوب است: یک پایگاه دانش به روز، واضح، ساختارمند، بدون تعارض و دارای یک منبع واحد از حقیقت ضروری است. به مدل بگویید "اگر در منبع نیست، به من بگویید که نمی دانید"، به منبع اشاره کنید و از سوالاتی که ربات نمی تواند به آنها پاسخ دهد برای بهبود پایگاه دانش خود استفاده کنید. رضایت انسان را علیرغم منبع در مورد مسائل پرمخاطب حفظ کنید.

وظیفه کاربردی

8 سؤال واقعی/واقعی مشتری از صنعت خود و 8 مقاله کوتاه پایه دانش مربوطه بنویسید (هر مقاله: سؤال، پاسخ کوتاه، شرایط، تاریخ، برچسب). سپس تست کنید که آیا مدل می تواند بگوید "نمی دانم" با استفاده از الگوی "1) Tight RAG answer prompt" و همچنین پرسیدن سوالی که یکی از آنها در پایگاه دانش نیست. در نهایت، مقالات خود را با "3) تناقض و اسکن شکاف بررسی کنید.

چک لیست

• [ ] هر پاسخ مشخصی که توسط ربات/دستیار داده می شود به پایگاه دانش فعلی (از طریق RAG) بستگی دارد.
• [ ] من به مدل دستور دادم "اگر در منبع نیست بگو نمی دانی" و تست کردم.
• [ ] پایگاه دانش من شامل مقالات به روز، واضح و تک موضوعی است.
• [ ] مقالات متناقض و قدیمی را پاک کردم. تنها یک منبع صحیح برای همه اطلاعات وجود دارد.
• [ ] پاسخ ها نشان می دهد که بر اساس کدام مقاله است (منبع).
• [ ] من سوالات "نمی دانم" را جمع آوری می کنم و پایگاه دانش را تغذیه می کنم.