الهلوسة وحدود المصداقية

المكاسب:

• يمكن أن يفسر ما هي الهلوسة ولماذا يحدث
• يمكن تحديد متى يجب التحقق من صحة مخرجات الذكاء الاصطناعي
• يمكن تطبيق التقنيات العملية التي تزيد من الموثوقية

ربما يكون الموضوع الأكثر أهمية لمحو الأمية في مجال الذكاء الاصطناعي موجودًا في هذه الوحدة: تكوين النماذج، أي الهلوسة. إن فهم هذا المصطلح هو أهم احتياطات السلامة لأي شخص يستخدم الذكاء الاصطناعي. لأن المستخدم الذي لا يتعرف على الهلوسة قد يخطئ في المعلومات الخاطئة على أنها صحيحة ويحولها إلى قرار عمل أو اتصال مع العملاء أو مستند رسمي. في هذه الوحدة، ستتعرف على ماهية الهلوسة، ولماذا لا مفر منها، وكيفية الحماية منها.

ما هي الهلوسة؟

تحدث الهلوسة عندما ينتج نموذج اللغة معلومات غير موجودة بالفعل في لغة بطلاقة وواثقة، تمامًا كما لو كانت صحيحة. النموذج لا ينوي الكذب؛ من خلال إنتاج "الاستمرارية الأكثر احتمالية" فقط، فإنها تخلق نصًا يبدو محتملاً ولكنه في الواقع خاطئ.

مثال: إذا قلت لنموذج "اقترح مصدرًا أكاديميًا حول الموضوع، كل شيء يظهر بالشكل الصحيح وبشكل مقنع؛ لكن المصدر خيالي تمامًا. هذا مثال كلاسيكي للهلوسة.

لماذا يحدث ذلك؟ (تذكر الوحدة الثانية)

مصدر الهلوسة يكمن في مبدأ عمل النموذج. النموذج ليس "موسوعة الحقائق"؛ إنها "آلة الاحتمال". وتتمثل مهمتها في تقديم أسلس استمرار ممكن لسؤالك؛ لا يتعلق الأمر بتقديم المعلومات الأكثر دقة. نموذج:

• لا يعلم ما لا يعلم؛ عندما يواجه فراغًا، فإنه يميل إلى ملء إجابة محتملة بدلاً من قول "لا أعرف".
• وليس لديها آلية للتحكم في الواقع؛ ولا يتحقق مما إذا كان النص الذي ينتجه يتطابق مع العالم أم لا.
• الطلاقة والدقة شيئان مختلفان بالنسبة له؛ فقط لأنه بطلاقة لا يعني أنه صحيح.

تحذير: الهلوسة ليست "خللاً"؛ إنها سمة متأصلة في التكنولوجيا. النماذج الجديدة تقلل من هذا الأمر ولكنها لا تستطيع القضاء عليه بالكامل. لذلك، بدلاً من انتظار "نموذج غير الهلوسة"، من الضروري أن نتعلم كيف نتعايش مع الهلوسة.

أين يكون خطر الهلوسة مرتفعا؟

ليست كل النتائج محفوفة بالمخاطر بنفس القدر. يزداد الخطر عندما:

مخاطر عالية

مخاطر منخفضة

الأرقام الدقيقة والتواريخ والإحصائيات

توليد الأفكار العامة، والعصف الذهني

طلب المصادر والاقتباسات والمراجع

تغيير لهجة النص

المتخصصة، والموضوعات المتخصصة

مواضيع عامة ومشتركة

الأحداث الجارية والناس

لخص النص الخاص بك

معلومات داخلية خاصة بشركتك

تصحيح القواعد

ثلاث حالات صغيرة

الحالة 1 - دخلت شخصية مزيفة إلى العرض التقديمي. سأل أحد الموظفين منظمة العفو الدولية عن "معدل نمو التجارة الإلكترونية لعام 2023 ومصدرها في تركيا" لتقرير الصناعة. وأعاد النموذج نسبة مقنعة (48%) واسم مؤسسة. قام الموظف بوضعها في العرض التقديمي دون التحقق منها؛ وعندما تم الكشف في الاجتماع عن أن الرقم ملفق، تضرر العرض وسمعة الشركة. ولو كان نفس الموظف قد حصل على الرقم من المصدر الرسمي فلن تكون هناك مشكلة.

الحالة الثانية – عدم وجود تشريع. طلب أحد المساعدين من منظمة العفو الدولية تقديم "المادة القانونية ذات الصلة" لتقديم الالتماس. أنتج النموذج رقم عنصر ونصًا يبدوان واقعيين؛ ولكن هذا البند لم يكن هناك. ومن حسن الحظ أن الإدارة القانونية لاحظت ذلك قبل التسليم. الدرس المستفاد: يتم دائمًا التحقق من الاستشهادات القانونية من المصدر الأساسي.

الحالة 3 - الطريقة الصحيحة، نتيجة آمنة. موظف آخر في نفس الفريق طلب من الذكاء الاصطناعي صياغة التقرير، وإدخال جميع الأرقام بنفسه من البيانات الرسمية وأمره بـ "عدم إضافة أي أرقام غير موجودة في هذا النص". وكانت النتيجة سريعة ودقيقة. الفرق: كتب الذكاء الاصطناعي مسودة، وأطعم الإنسان الحقائق.

موجه ضعيف / موجه قوي

المطالبة الضعيفة: اذكر أهم 3 مصادر أكاديمية في هذا الموضوع مع المؤلف والسنة.

النتيجة: يمكن للنموذج أن يتناسب بشكل آمن مع المصادر غير الموجودة.

مطالبة قوية: اكتب ملخصًا بناءً على النص الذي قمت بلصقه أدناه. استخدم فقط المعلومات الموجودة في هذا النص. لا تقم بإضافة أي أسماء أو أرقام أو مصادر غير موجودة في النص. إذا لم تكن متأكدًا، فاكتب "غير محدد في النص".<text>[الصق هنا]</text>

النتيجة: بما أن النموذج يحصل على المصدر منك، تصبح مساحة التركيب أضيق.

التقنيات العملية التي تزيد من الموثوقية

قم بوضع علامة على كل ادعاء يمكن التحقق منه في إجابتك (الرقم والتاريخ والاسم والمصدر) ووضعها في قائمة منفصلة "يجب التحقق منها".

أجب عن هذا السؤال. إذا لم تكن متأكدًا، فلا تخمن؛ قل "لست متأكدًا" واشرح أنك لا تعرف ماذا. الموضوع: [الموضوع]

أجب عن نفس السؤال بطريقتين مختلفتين وحدد التناقضات بين الإجابتين. لذلك اسمحوا لي أن أرى ما هي النقاط المشكوك فيها. سؤال: [سؤال]

سأقوم بالتحقق من النص أدناه. قم بإدراج الادعاءات الخطرة التي يجب أن أتحقق منها حسب الأهمية واقترح أين يمكنني التحقق من كل منها. النص: [الصق هنا]

بالإضافة إلى ذلك، اتبع هذه العادات:

1. أنت تقدم المصدر. الصق المستند ذي الصلة في النص وقل "الإجابة بناءً على هذا وحده".
2. تحقق دائمًا من الحقائق التي يمكن التحقق منها. التحقق من الأرقام والتواريخ والأسماء والاقتباسات والمصادر من مصدر مستقل وموثوق.
3. اطلب منه الإشارة إلى أنه غير متأكد من النموذج. وهذا يقلل من المخاطر ولكنه لا يزيلها تماما.
4. بالنسبة للوظائف عالية المخاطر، اطلب من خبير فحص المخرجات. ويجب أن تمر المخرجات القانونية والمالية والمتعلقة بالصحة عبر مرشح الخبراء البشريين.
5. استخدم الذكاء الاصطناعي باعتباره "نقطة بداية"، وليس "ككلمة أخيرة". والمشروع منه. التحقق والقرار لك.

تنبيه: "النموذج قاله مرتين فهو صحيح" المنطق خاطئ. يمكن أن يكرر نفس الخطأ بثقة. التكرار ليس دليلا على الدقة.

الأخطاء الشائعة

الأخطاء الشائعة

• استخدام المصادر دون التحقق منها. يمكنه إنشاء كتب نموذجية ومقالات ومقالات قانونية وروابط؛ يجب تأكيد كل مرجع.
• الخلط بين النغمة الواثقة والدقة. أخطر ما في الهلوسة هو أنها تبدو واثقة من نفسها.
• مجرد جعل النموذج يقول "أنت تتحقق" يكفي. التحقق الذاتي من النموذج ليس التحقق المستقل.
• استخدام مخرجات عالية المخاطر دون عرضها على خبير. السيطرة على الإنسان ضرورية في المال والقانون والصحة.

باختصار

• الهلوسة هي عندما يقوم النموذج بإنتاج معلومات غير موجودة بطريقة سلسة وثقة كما لو كانت حقيقية.
• السبب ليس عطلًا، بل طبيعة النموذج التي تتنبأ بالاحتمالات؛ لا يمكن القضاء عليها تماما.
• وترتفع المخاطر بشكل خاص عندما يتعلق الأمر بالأرقام الدقيقة والمصادر والمعلومات الحديثة والقضايا المتخصصة.
• لحماية نفسك: قم بإعطاء المصدر، وتحقق من الحقائق، وقل "إذا لم تكن متأكدًا، أخبرني"، وقم بفحص النتائج عالية المخاطر بواسطة خبير.
• استخدم الذكاء الاصطناعي كنقطة انطلاق؛ يبقى التحقق النهائي والمسؤولية دائمًا معك.

مهمة التطبيق

اطلب من أداة الذكاء الاصطناعي الخاصة بك أن "تقترح 3 مصادر أكاديمية" حول موضوع يتطلب خبرة وتحاول التأكد من المصادر التي تقترحها على الإنترنت؛ لاحظ كم منها حقيقية. ثم كرر نفس المهمة باستخدام طريقة "أنت تعطي المصدر" ولاحظ الفرق.

قائمة التحقق

• [ ] أستطيع أن أشرح ما هي الهلوسة ولماذا تحدث.
• [ ] أستطيع التمييز بين المهام ذات الخطورة العالية والمنخفضة للهلوسة.
• [ ] يمكنني تقليل مخاطر التصنيع من خلال إعطاء المصدر للنموذج.
• [ ] أتحقق بشكل مستقل من الأرقام والتواريخ والأسماء والمصادر.
• [ ] لا أعتبر اللهجة الواثقة دليلاً على الدقة.