إدارة معلومات المؤسسة مع RAG

المكاسب:

• فهم كيف يقلل RAG من الهلوسة من خلال ربط الإجابة بالمستندات الفعلية للمؤسسة والإشارة إليها وتطبيق أهمية قاعدة المستندات النظيفة
• القدرة على التحقق من مصدر وتاريخ وعملة إخراج RAG وتمييز الإصدارات المتضاربة
• القدرة على حماية خصوصية الشركة عن طريق منع الاستجابات من المستندات غير المصرح بها مع التحكم في الوصول

تعيش ذاكرة المنظمة في آلاف الوثائق المتفرقة: التقارير، والأدلة، والمحاضر، والإجراءات، ورسائل البريد الإلكتروني. يجوز للموظف البحث عن المستندات لساعات للإجابة على سؤال بسيط ("كيف يعمل هذا الإجراء؟"). حلم مدير المعرفة هو أن تقدم هذه الذاكرة إجابات مباشرة ولكن مبنية على المصدر للأسئلة. وهذا هو بالضبط ما وعد به RAG. ستتعرف في هذه الوحدة على ما هو RAG، وكيفية استخدامه في إدارة معلومات المؤسسة، وكيفية تأمينه من حيث الدقة والسرية وحسن التوقيت.

دعونا نحدد المفهوم. RAG (جيل الاسترجاع المعزز) هو عندما يجيب الذكاء الاصطناعي على سؤال من خلال العثور أولاً على (استرجاع) الأجزاء ذات الصلة من وثائق المنظمة الخاصة ثم توليد الإجابة بناءً على تلك الأجزاء فقط. ويختلف هذا بشكل أساسي عن الذكاء الاصطناعي العام الذي يولد إجابة من الذاكرة: حيث يقوم RAG بربط الإجابة ومصادرها بمستندات حقيقية يمكن تتبعها. وهكذا تقل الهلوسة بشكل كبير لأن الذكاء الاصطناعي يتحدث من وثيقة المؤسسة وليس من "رأسها".

خطوة بخطوة: فهم نظام RAG للمؤسسة

1. قم بإعداد قاعدة الوثيقة. يتم جمع وثائق المنظمة الموثوقة والمحدثة وتنظيفها وتقسيمها إلى أجزاء (أقسام صغيرة ذات معنى من المستند). إذا دخلت مستندات سيئة أو قديمة أو متعارضة إلى النظام، فستكون الاستجابات سيئة: "قمامة تدخل، قمامة تخرج".

2. التضمين والفهرس. يتم تحويل كل قطعة إلى متجه (تضمين) يمثل معناها ويتم وضعها في فهرس قابل للبحث. عندما يطرح سؤال، يقوم النظام بالعثور على الأجزاء الأقرب في المعنى.

3. إحضار الأجزاء ذات الصلة. عندما يتم طرح سؤال، يقوم النظام بسحب عدد قليل من الأجزاء الأكثر صلة من قاعدة المستند. هذه الخطوة بالغة الأهمية: إذا تم إحضار القطعة الخاطئة، فستكون الإجابة خاطئة أيضًا.

4. توليد الاستجابة القائمة على المصدر. يقوم الذكاء الاصطناعي بإنشاء استجابة تعتمد فقط على الأجزاء التي تم جلبها ويشير إلى المستند الذي أخذ منه. الرد الذي لا يذكر المصدر يتعارض مع غرض RAG.

5. التحقق والإبلاغ مرة أخرى. يجب أن يتمكن المستخدم من الذهاب إلى المصدر الموضح وتأكيد الإجابة. تصبح الإجابات غير الصحيحة أو غير الكاملة بمثابة تعليقات لتحسين قاعدة التوثيق.

نصيحة: تعتمد جودة RAG إلى حد كبير على جودة قاعدة المستند. قم بتحديث المستندات والتخلص من الإصدارات المتعارضة/القديمة وإضافة معلومات التاريخ والمصدر إلى كل مستند قبل وضعه في النظام. 500 مستند جيد التنظيم ينتج إجابات أفضل من 5000 مستند متناثر.

حدود RAG والنقاط الأمنية

يقلل RAG من الهلوسة لكنه لا يعيد ضبطها. إذا أعاد النظام القطعة الخاطئة، فقد يستمر الذكاء الاصطناعي في إعطاء إجابة خاطئة من خلال البقاء "مخلصًا" لتلك القطعة الخاطئة. بالإضافة إلى ذلك، قد يسيء الذكاء الاصطناعي تفسير القطع التي تم جلبها أو يجمع قطعًا متعددة بطرق متناقضة. لذلك، يجب أيضًا التحقق من مخرجات RAG بالانتقال إلى المصدر، خاصة بالنسبة للقرارات الحاسمة.

الخصوصية هي قضية مركزية في RAG للشركات. قد تحتوي قاعدة المستندات على معلومات حساسة (الموظفين، العقود، الإستراتيجية). يجب ألا يقوم النظام بإنشاء ردود من مستندات غير مصرح بها من قبل المستخدم؛ يجب أيضًا تطبيق التحكم في الوصول (من يمكنه رؤية المستند) على RAG. وبخلاف ذلك، يجوز للموظف الوصول إلى المعلومات من خلال RAG التي لا يمكنه رؤيتها.

تنبيه: حتى عند الاقتباس من أحد المستندات، لا تضمن RAG أن يكون هذا المستند محدثًا ودقيقًا. قد يستجيب النظام من مستند إجراء قديم مضى عليه ثلاث سنوات. تقع على عاتق المستخدم ومدير المعلومات مسؤولية التحقق من تاريخ وصلاحية المستند المصدر.

ثلاث حالات صغيرة

الحالة 1 - تسريع المسائل الإجرائية. أنشأت إحدى المنظمات نظام RAG لأدلة الإجراءات الداخلية المكونة من 1200 صفحة. تم حل أسئلة الموظفين "كيفية القيام بذلك" في غضون ثوانٍ مع الإشارة إلى المصدر في الإجابات؛ انخفض متوسط ​​مدة المكالمة من 25 دقيقة إلى دقيقتين. ونظرًا لأن كل إجابة مرتبطة بقسم التوثيق الذي استندت إليه، فقد تمكن الموظفون من التحقق منها.

الحالة 2 - تم التقاط مستند قديم. أجاب نظام RAG على سؤال بشأن إجراء التصريح من مستند قديم بتاريخ 2021؛ ومع ذلك، تم إصدار نسخة محدثة في عام 2024. ولاحظ الموظف الذي فتح رابط المصدر أن التاريخ قديم ووجد المستند المحدث. قام مدير المعلومات بإزالة الإصدار القديم من قاعدة المستند.

الحالة 3 - تم منع الوصول غير المصرح به. في الإعداد الأولي، قام فريق RAG بمسح جميع المستندات ضوئيًا علنًا؛ تلقى الموظف ردًا من مستند الرواتب الذي لم يكن من المفترض أن يراه. أضاف الفريق التحكم في الوصول إلى RAG: يقوم النظام الآن بإنشاء استجابات فقط من المستندات المصرح للمستخدم بها.

التقييم والتغذية الراجعة والتحسين المستمر

نظام RAG ليس أداة يتم تثبيتها مرة واحدة ونسيانها؛ ويتطلب التقييم والتحسين المستمر. الأساس في ذلك هو القياس المنتظم لإجابات النظام على الأسئلة الحقيقية. سؤالان مهمان: هل يقوم النظام بإحضار أجزاء المستند الصحيحة (جودة الوصول) وهل ينتج الاستجابة الصحيحة من الأجزاء التي تم جلبها (جودة الإنتاج)؟ ومن الضروري تقييم هاتين الطبقتين بشكل منفصل؛ لأن إحضار الوثيقة الصحيحة وسوء تفسيرها وإحضار الوثيقة الخاطئة ونقلها بأمانة هي مشاكل مختلفة وتتطلب حلولاً مختلفة. من الممارسات الجيدة الاحتفاظ بمجموعة من "أسئلة الاختبار" ذات الإجابات الصحيحة المعروفة واختبار النظام بهذه المجموعة عند كل تحديث. بالإضافة إلى ذلك، تكشف تعليقات المستخدمين "هل كانت هذه الإجابة مفيدة / هل كان المصدر دقيقًا" عن الفجوات الموجودة في قاعدة المستند والأجزاء التي تم جلبها بشكل غير صحيح. يمكن أن يساعد الذكاء الاصطناعي في تجميع هذه التعليقات وتلخيص أنواع الأسئلة التي تفشل بشكل متكرر؛ لكن القرار بشأن المستند الذي سيتم إضافته أو تحديثه أو إزالته يعود إلى مدير المعلومات. يحتاج النظام إلى رعاية مثل الكائن الحي؛ تصبح مجموعة RAG المهملة مضللة بشكل متزايد بسبب تقادم الوثائق بمرور الوقت.

نصيحة: بمجرد إعداد نظام RAG، قم بإعداد مجموعة اختبار صغيرة تتكون من 20-30 سؤالًا حقيقيًا وإجابات صحيحة معروفة. يؤدي تشغيل هذه المجموعة مع كل تحديث للمستند إلى إظهار ما إذا كان التغيير يؤدي إلى تحسين النظام أو كسره على الفور.

أربعة قوالب قابلة للنسخ

1) موجه الاستجابة المعتمد على المصدر:

دورك: مساعد معلومات الشركة. فيما يلي بعض الوثائق التي تم طرحها بخصوص السؤال. أعط الإجابة بناءً على هذه الأجزاء فقط وحدد الوثيقة/القطعة لكل جزء من المعلومات التي تنتمي إليها. إذا لم تكن هناك إجابة في الأجزاء، فقل "لم يتم تضمين هذه المعلومات في المستندات المقدمة"، فلا تخمن. السؤال: [هنا] / الأجزاء: [هنا]

2) التناقض والسيطرة على العملة:

هل هناك أي تناقضات أو إصدارات مؤرخة مختلفة بين القطع التالية؟ إذا كان الأمر كذلك، ضع علامة عليها وحدد أي منها يبدو أكثر حداثة. الأجزاء (مع التواريخ): [هنا]

3) تدقيق تنظيف قاعدة المستندات:

في قائمة المستندات أدناه، هل توجد أي مستندات قديمة أو متضاربة أو ذات أصل غير مؤكد تحتاج إلى فرزها قبل وضعها في نظام RAG؟ ضع علامة واكتب السبب. القائمة (مع التاريخ/المصدر): [هنا]

4) الخصوصية والتحكم المسبق في الوصول:

هل تحتوي أجزاء الوثيقة التالية على معلومات حساسة (بيانات شخصية، اتفاقية سرية، استراتيجية)؟ قم بتصنيف كل منها على أنها "وصول عام/مقيد" وقدم مبررًا. المسارات: [هنا]

موجه ضعيف / موجه قوي

حث ضعيف:

اشرح إجراءات تصريح مؤسستنا.

إذا لم يتم تقديم أي توثيق، فإن الذكاء الاصطناعي ينتج إجراءً مبتكرًا من ذاكرته العامة أو من تنفيذ مؤسسات أخرى؛ وقد لا يكون له أي صلة بالحكم الفعلي للمؤسسة.

مطالبة قوية:

دورك: مساعد معلومات الشركة. فيما يلي المستندات (مع تواريخها) المتعلقة بإجراءات تصريح المؤسسة. أجب عن السؤال بناءً على هذه الأجزاء وحدها، مع ذكر المستند المصدر والتاريخ في كل خطوة. إذا كانت الأجزاء متعارضة، فاستخدم الجزء الأحدث وقل ذلك. إذا لم يكن موجودًا في المستند، فقل "لا توجد معلومات". السؤال: [هنا] / الأجزاء: [هنا]

موجه قوي؛ يربط الجواب بوثائق المؤسسة الفعلية، ويسأل عن المصادر والتواريخ، ويعالج التناقض والفجوة بصدق.

مكون RAG وجدول المخاطر

مكون

وظيفة

الخطر الرئيسي

ضمان

قاعدة الوثيقة

مصدر الجواب

وثيقة قديمة/متعارضة

النظافة والتاريخ والأصل

استرجاع

ابحث عن الجزء ذي الصلة

قطعة خاطئة

اختبار الجودة، وردود الفعل

الإنتاج

رد

تعليق خاطئ

نقلا عن المصدر، التحقق

التحكم في الوصول

فحص الهيئة

الكشف غير المصرح به

القيود القائمة على المستخدم

الأخطاء الشائعة

• إنشاء قاعدة وثيقة قذرة. ينتج عن المستند القديم/المتعارض استجابة سيئة.
• قبول الجواب دون ذكر المصدر. والغرض من RAG هو التتبع.
• عدم التحقق من تاريخ الوثيقة. الإجابة التي يعتقد أنه سيتم تحديثها تأتي من الإصدار القديم.
• تجاوز التحكم في الوصول. شخص غير مصرح له بالوصول إلى المعلومات الحساسة.
• أعتقد أن RAG محصن تمامًا ضد الهلوسة. القطعة الخاطئة لا تزال تنتج إجابة خاطئة.

في ملخص

تنتج RAG قيمة كبيرة في إدارة المعرفة من خلال تحويل الذاكرة التنظيمية إلى نظام سريع الاستجابة قائم على الموارد؛ على عكس الذكاء الاصطناعي العام، فهو يربط الإجابات ويصدرها بالمستندات الفعلية للمنظمة، وبالتالي يقلل بشكل كبير من الهلوسة. لكن النجاح يعتمد على قاعدة وثائق نظيفة وحديثة، والوصول الدقيق إلى المسار، وإسناد المصدر، والتحقق من التاريخ/الحالية، والتحكم في الوصول. RAG لا يعيد ضبط الهلوسة. ويتم التحقق من الإجابات النقدية من خلال الذهاب إلى المصدر واحترام السرية منذ البداية.

مهمة التطبيق

قم بإعداد مجموعة صغيرة من المستندات (5-8 مستندات فعلية أو نموذجية من مستندات الوكالة، مع التواريخ)؛ ضع بوعي نسخة واحدة قديمة ونسخة متعارضة واحدة. اطرح سؤالاً باستخدام قالب "موجه الاستجابة المستندة إلى المصدر" وتحقق مما إذا كان الذكاء الاصطناعي يستشهد بالمصدر. ثم قم بتقييم ما إذا كان الذكاء الاصطناعي قد اكتشف التعارض والإصدار الحالي بشكل صحيح باستخدام قالب "التحقق من التعارض والإصدار الحالي".

قائمة مرجعية

• [ ] لقد قمت بتحديث قاعدة المستندات، وتخلصت من المستندات القديمة/المتضاربة.
• [ ] لقد تأكدت من أن كل إجابة تشير إلى المستند المصدر.
• [ ] لقد قمت بالتحقق من تاريخ وصحة المستندات المصدرية.
• [ ] لقد منعت إنشاء ردود من المستندات غير المصرح بها من خلال التحكم في الوصول.
• [ ] لقد قمت بالتحقق من الإجابات النقدية بالانتقال إلى المستند الأصلي.