المكاسب:
- فهم كيفية عمل RAG (التجزئة والوصول والتوليد المعتمد على الموارد) وكيف يقلل من الهلوسة
- القدرة على زيادة جودة الإجابات من خلال إنشاء قاعدة معرفية حديثة وواضحة وخالية من النزاعات ولها مصدر واحد صحيح.
- القدرة على توجيه النموذج "إذا لم يكن موجودًا في المصدر، أخبرني أنك لا تعرف" وتحويل الأسئلة التي لا يمكنه الإجابة عليها إلى تحسين قاعدة المعرفة
إن الإجابة التي يقدمها الروبوت أو مساعد الوكيل تكون جيدة بقدر المعلومات التي يستند إليها. عندما يسأل العميل "هل الحملة مستمرة؟"، فإن الإجابة الصحيحة ليست في ذاكرة النموذج، ولكن في قاعدة المعرفة الحالية للمؤسسة. ولهذا السبب فإن قلب الذكاء الاصطناعي لمركز الاتصال هو قاعدة المعرفة (KB): مورد محدث حيث يتم الاحتفاظ بالمنتجات والسياسات والأسئلة الشائعة والإجراءات والقواعد كتابيًا. والطريقة التي تربط قاعدة المعرفة هذه بالذكاء الاصطناعي بشكل آمن تسمى RAG: الاسترجاع المعزز للجيل - بدلاً من تكوين الإجابة من ذاكرته الخاصة، يسترد النموذج أولاً أجزاء المعلومات ذات الصلة من المصدر (الاسترجاع) ثم يولد الإجابة بناءً على تلك الأجزاء فقط (الجيل).
RAG هي أقوى وسيلة لمنع الهلوسة. لا يقوم النموذج بإنشاء رقم في رأسه للسؤال "ما هو سعر الفائدة على القرض؟" يقوم باسترداد نص الاهتمام الحالي من قاعدة المعرفة والإجابات بناءً عليه. سنرى في هذه الوحدة كيفية إعداد قاعدة المعرفة، وكيفية عمل RAG وكيف تحدد قاعدة المعرفة الجيدة جودة الإجابات.
كيف يعمل RAG: أربع خطوات
فكر في RAG كأمين مكتبة. يسأل العميل الأسئلة. يقوم النظام أولاً بالعثور على الصفحات ذات الصلة من الرف الأيمن للمكتبة، ثم يقرأ تلك الصفحات ويكتب الإجابة. الخطوات التقنية هي كما يلي:
- التقطيع: يتم تقسيم المستندات الطويلة في قاعدة المعرفة إلى أجزاء صغيرة ذات معنى (على سبيل المثال، كل الأسئلة الشائعة عبارة عن جزء صغير). لأن النموذج يجيب على السؤال بشكل أكثر دقة مع الأجزاء الصغيرة ذات الصلة.
- التضمين والفهرسة: تتم ترجمة كل قطعة إلى شكل رقمي يمثل معناها (التضمين – سلسلة من الأرقام تمثل معنى النص) ووضعها في قاعدة بيانات قابلة للبحث. وبالتالي، فهي ليست "مطابقة للكلمات" ولكنها "مطابقة للمعنى"؛ حتى لو سأل العميل "متى سيتم إيداع أموالي؟"، يمكن العثور على جزء "فترة الاسترداد".
- الاسترجاع: يتم استرجاع الأجزاء الأقرب في المعنى لسؤال العميل (مثلاً أقرب 3-5 أجزاء).
- الجيل: يكتب النموذج الإجابة بناءً على الأجزاء المرسومة فقط ويشير إلى المصدر إن أمكن.
النقطة الحاسمة تكمن في الخطوة 4: يتم توجيه النموذج إلى "الاعتماد فقط على القطع المعطاة، أو القول بأنك لا تعرف". بدون هذه التعليمات، لا يمنع RAG النموذج من التركيب.
تلميح: قاعدة RAG الذهبية: "إذا لم يكن في المصدر، فلا توجد إجابة." سيقول نظام RAG الجيد "لا أعرف على وجه اليقين بشأن هذا" لسؤال غير موجود في قاعدة المعرفة؛ لا تملأ الفجوة أبدًا بالتخمين. إن قدرة الروبوت على قول "لا أعرف" هي ميزة أمنية وليست نقطة ضعف.
قاعدة معرفية جيدة: المصدر الحقيقي لجودة الإجابة
بغض النظر عن مدى جودة RAG، إذا كانت قاعدة المعرفة سيئة، فإن الإجابة سيئة. يتم قياس جودة قاعدة المعرفة من خلال:
ميزة
قاعدة معرفية سيئة
قاعدة معرفية جيدة
الحالية
لم يتم تحديثها لعدة أشهر
يتم التحديث فورًا عند التغيير
الوضوح
نص طويل ومعقد
مقالات قصيرة ذات موضوع واحد
هيكل
كومة PDF فوضوية
المواد القابلة للتحلل المسمى
الاتساق
إجابتين متعارضتين
المصدر الوحيد للحقيقة
النطاق
هناك العديد من الثغرات
يغطي الأسئلة المتداولة
ملكية
لا أحد مسؤول
كل موضوع له صاحب
المشكلة الأكثر خطورة في سياق مركز الاتصال هي التناقض: إذا تمت كتابة فترتي إرجاع مختلفتين في قاعدة المعرفة، فسيقول RAG أيهما يلزم وسيتم إرسال إجابة غير متسقة إلى العميل. ولهذا السبب يعد مبدأ "المصدر الوحيد للحقيقة" أمرًا بالغ الأهمية: حيث يتم تحديث المعلومات في مكان واحد؛ يتم استخدام المراجع لهذا المصدر، وليس النسخ.
خطوة بخطوة: بناء نظام استجابة مدعوم من RAG
- تنظيف قاعدة المعرفة: إزالة المقالات القديمة والمتضاربة والمكررة. اجعل كل مقال قصيرًا وموضوعًا واحدًا.
- قم بتقسيمها ووضع علامة عليها: قم بإضافة علامة موضوع وتاريخ آخر تحديث لكل مقالة.
- إنشاء الوصول: قم بتوصيل آلية تسحب الأجزاء ذات الصلة عند الطلب (توفر أدوات RAG الخاصة بالمؤسسة هذا).
- اكتب مطالبة صارمة: أخبر النموذج "اعتمد فقط على الأجزاء المقدمة، أو استشهد بالمصدر، أو قل أنك لا تعرف".
- استشهد بالمصدر: اعرض المقال الذي بني عليه الجواب؛ فهو يمنح الثقة ويسهل عملية التحقق.
- انتبه للثغرات: اجمع الأسئلة التي يقول فيها الروبوت "لا أعرف"؛ هذه تظهر أوجه القصور في قاعدة المعرفة، وتغذي من هناك.
أربعة قوالب قابلة للنسخ
1) مطالبة الرد الصارمة بـ RAG:
الإجابة بناءً على الأجزاء [المصدر] التالية. القواعد: (1) استخدم المعلومات الموجودة في المصدر فقط، (2) إذا لم تكن موجودة في المصدر، قل "ليس لدي معلومات محددة حول هذا الأمر، اسمح لي بتوصيلك بالممثل"، (3) اذكر المقالة التي يستند إليها كـ [المصدر: البند رقم]، (4) اقتبس المبلغ/المدة/الشرط من المصدر بالضبط، لا تقم بالتقريب/الاختلاق. [المصدر]: <<الأجزاء المسحوبة>>السؤال: "<<سؤال العميل>>"
2) كتابة مقالة قاعدة المعرفة:
قم بتحويل نص السياسة المتفرق التالي إلى مقالة الأسئلة الشائعة المناسبة لـ RAG. التنسيق: سؤال (بلغة العميل) / إجابة قصيرة (2-3 جمل) / الشروط (بند) / تاريخ آخر تحديث / علامة الموضوع. ضع علامة على أي نقاط غامضة على أنها "مطلوب توضيحها"، أو افترضها. النص الخام: <<نص>>
3) البحث عن التناقضات والثغرات:
افحص مقالات قاعدة المعارف التالية. (1) ضع علامة على أزواج المقالات التي تتعارض مع بعضها البعض (على سبيل المثال، فترة إرجاع مختلفة). (2) خمن المواضيع التي سيتم طرحها بشكل متكرر ولكن ليس لها إجابات. انظر فقط إلى المقالات المحددة؛ إنتاج سياسة جديدة. المقالات: <<قائمة>>
4) تحسين من سجل "لا أعرف":
فيما يلي الأسئلة التي لم يتمكن الروبوت من الإجابة عليها (تعذر العثور على مصدر). قم بتجميعها في موضوعات واقتراح عنوان المقالة التي يجب إضافتها إلى قاعدة المعرفة لكل مجموعة. لا تشكل محتوى الإجابة، فقط أخبرني بالعنصر المفقود. الأسئلة: <<قائمة>>
موجه ضعيف / موجه قوي
حث ضعيف:
أجب عن سؤال الإرجاع الخاص بالعميل.
لا يوجد مصدر؛ قد يكون النموذج مناسبًا من الذاكرة، وقد يكون المبلغ/المدة خاطئًا، ولا يمكن التحقق منه.
مطالبة قوية:
الإجابة فقط بناءً على بند سياسة الإرجاع أدناه. إذا لم يكن متوفرا في المصدر، قل "لا أعرف على وجه اليقين". اقتبس الفترة والشرط حرفيًا، وقدم مرجعًا في شكل [المصدر: RETURN-03].[المصدر: RETURN-03]: "يمكن إرجاع المنتج غير المستخدم خلال 14 يومًا. المنتجات المخصصة ليست ضمن نطاق الإرجاع." السؤال: "هل يمكنني إرجاع المنتج المخصص الذي اشتريته منذ 20 يومًا؟"
الفرق: يعتمد على المصدر، المرجع إلزامي، حظر التصنيع واضح؛ يقوم النموذج بإنشاء الإجابة الصحيحة ("14 يومًا مضت ومخصصة وغير قابلة للاسترداد") من المصدر.
ثلاث حالات صغيرة
الحالة 1 - إنهاء الهلوسة. بلغت دقة إجابة روبوت الاتصالات على أسئلة الحملة 71% في حالة عدم وجود RAG؛ يتكون النموذج أحيانًا من حملات قديمة. عندما تم ربط صفحات الحملة الحالية بـ RAG وأضيفت قاعدة "لا تقل ذلك إذا لم يكن في المصدر"، زادت الدقة إلى 96% وانتهت تقريبًا الشكاوى حول "كلمات الحملة الخاطئة".
الحالة الثانية – ثمن التناقض. في قاعدة المعرفة الخاصة بشركة التجارة الإلكترونية، تمت كتابة تكاليف شحن مختلفة على صفحتين (واحدة حالية وصفحة قديمة منسية). كان الروبوت يسحب شخصًا بشكل عشوائي ويخبر بعض العملاء بالسعر الخطأ. وعندما تمت أرشفة الصفحة القديمة باستخدام مبدأ المصدر الصحيح الواحد، اختفى التناقض. الدرس المستفاد: RAG لا يحل التناقض، بل ينشر التناقض كما هو.
الحالة 3 - قيمة سجل "لا أعرف". في أحد البنوك، كان الروبوت يقول "لا أعرف على وجه اليقين" لحوالي 4000 سؤال شهريًا. عندما تم تجميع هذه الأسئلة، تبين أن 40% منها كانت حول "استخدام البطاقة الدولية"؛ لم يكن هناك مقال حول هذا الموضوع. عندما تمت إضافة العناصر ذات الصلة، تم حل هذه الأسئلة وانخفض معدل دوران الأشخاص حول هذا الموضوع بنسبة 55٪. أصبحت حقيقة أن الروبوت قال أنه لا يعرف خريطة الطريق للتحسين.
الأخطاء الشائعة
- الإجابة دون الارتباط بالمصدر. بدون RAG، يناسب النموذج معلومات محددة؛ أي إجابة محددة يجب أن تعتمد على المصدر.
- إيقاف خيار "لا أعرف". إن إجبار النموذج على الإجابة على كل سؤال يضمن الملاءمة.
- عدم مسح المعلومات المتضاربة/القديمة. RAG ينشر التناقض. مصدر واحد صحيح ضروري.
- إهمال التقطيع. يؤدي تصدير ملفات PDF الكبيرة كما هي إلى تعطيل الوصول الدقيق؛ استخدم مقالات قصيرة ذات موضوع واحد.
- إخفاء المصدر. وعدم الإشارة إلى ما بني عليه الجواب يضعف التحقق والثقة.
تحذير: تعمل RAG على تحسين الدقة ولكنها لا توفر ضمانًا بنسبة 100%. يمكن للنموذج في بعض الأحيان أن يسيء تفسير الجزء الذي تم التقاطه. ولذلك فإن المسائل المالية والقانونية والأمنية تحتاج إلى موافقة الإنسان حتى لو تم ذكر المصدر؛ RAG يقلل من الهلوسة لكنه لا يزيل المسؤولية.
في ملخص
تعد قاعدة المعرفة وRAG أساس دقة الذكاء الاصطناعي لمركز الاتصال. يمنع RAG الهلوسة إلى حد كبير عن طريق منع النموذج من الحصول على الإجابة من الذاكرة والاعتماد فقط على المصدر الحالي. لكن جودة RAG هي فقط بقدر قاعدتها المعرفية: قاعدة المعرفة الحديثة والواضحة والمنظمة والخالية من الصراعات ولها مصدر واحد للحقيقة أمر ضروري. أخبر النموذج "إذا لم يكن موجودًا في المصدر، أخبرني أنك لا تعرف"، وأشر إلى المصدر، واستخدم الأسئلة التي لا يستطيع الروبوت الإجابة عليها لتحسين قاعدة معارفه. الحفاظ على موافقة الإنسان بغض النظر عن مصدر الأمور عالية المخاطر.
مهمة التطبيق
اكتب 8 أسئلة حقيقية/واقعية للعملاء من مجال عملك و8 مقالات قصيرة مقابلة في قاعدة المعرفة (كل مقالة: سؤال، إجابة قصيرة، الشروط، التاريخ، العلامة). ثم اختبر ما إذا كان النموذج يمكنه أن يقول "لا أعرف" باستخدام نمط "1) Tight RAG الإجابة السريعة" وأيضًا طرح سؤال، أحد هذه الأسئلة غير موجود في قاعدة المعرفة. أخيرًا، راجع مقالاتك من خلال "3) مسح التناقضات والفجوات".
قائمة مرجعية
- [ ] تعتمد كل إجابة محددة يقدمها الروبوت/المساعد على قاعدة المعرفة الحالية (عبر RAG).
- [ ] أصدرت تعليمات للنموذج "إذا لم يكن موجودًا في المصدر، أخبرني أنك لا تعرفه" واختبرته.
- [ ] تتكون قاعدة معارفي من مقالات محدثة وواضحة وذات موضوع واحد.
- [ ] قمت بمسح المقالات المتضاربة والقديمة؛ لا يوجد سوى مصدر واحد صحيح لجميع المعلومات.
- [ ] الإجابات توضح المقال الذي يستند إليه (المصدر).
- [ ] أقوم بجمع أسئلة "لا أعرف" وأغذي قاعدة المعرفة.