التأكيد والهلوسة والنزاهة العلمية

المكاسب:

• القدرة على فهم أن الهلوسة متأصلة في النموذج اللغوي واختيار طريقة التحقق المناسبة لكل نوع من أنواع المخرجات.
• التحقق من القيم الحرجة بطريقتين مستقلتين مع التثليث وعدم الخلط بين الطلاقة والدقة
• القدرة على تطبيق الشفافية والتتبع وسلامة البيانات والمسؤولية الإنسانية كأساس للنزاهة العلمية

هناك عبارة واحدة تتكرر مرارًا وتكرارًا خلال هذه الوحدة: "الذكاء الاصطناعي ينتج، والبشر يتحققون". في هذه الوحدة، نحول تلك الجملة إلى نظام. الهدف هو التعرف على الهلوسة (إنتاج معلومات كاذبة/ملفقة بلغة واثقة)، وهو أخطر سلوك للذكاء الاصطناعي، وإنشاء طريقة تحقق ملموسة لكل نوع من المخرجات، ووضع كل ذلك في إطار النزاهة العلمية (الصدق، والشفافية، وإمكانية التتبع). إن مخرجات الذكاء الاصطناعي التي لم يتم التحقق منها في الكيمياء ليست مجرد خطأ؛ يمكن أن تكون تجربة تنفجر، أو يتم تسميم شخص ما، أو يتم سحب ورقة بحثية.

لماذا الهلوسة لا مفر منها؟

وينتج نموذج اللغة الكبير "الكلمة التالية الأكثر احتمالا"؛ فهو يهدف إلى ما هو ممكن، وليس ما هو صحيح. لذا يمكنه ملء الوزن الجزيئي، أو DOI، أو نقطة الغليان بقيمة "تبدو معقولة" - دون التحقق مما إذا كانت حقيقية. الهلوسة ليست خللاً، بل نتيجة لطبيعة هذه التكنولوجيا. الحل لا يكمن في "محاولة إصلاح" النموذج، بل في بناء غلاف التحقق من الصحة حول كل مخرجات.

الجانب الأكثر خبثًا في الهلوسة هو لغتها الواثقة. يتم تقديم الوزن الجزيئي غير الصحيح بنفس الثقة تمامًا مثل الوزن الجزيئي الصحيح. لذا فإن عبارة "يبدو واثقًا" لا تعني أبدًا "صحيحًا".

انتبه: إن مدى طلاقة وثقة الذكاء الاصطناعي في حديثه حول موضوع ما لا يرتبط بدقة تلك المعلومات. الطلاقة تقنع؛ المصدر المستقل فقط هو الذي يحدد الدقة.

التحقق من صحة حسب نوع الإخراج في الكيمياء

كل نوع إخراج له طريقة التحقق الخاصة به. بدلاً من حفظ قاعدة واحدة، استخدم الأداة المناسبة للإخراج:

نوع الإخراج

طريقة التحقق

مركبة

الوزن الجزيئي، الصيغة

إعادة الحساب من الصيغة

RDKit / يدويا

الابتسامات/الهيكل

تحليل + تحديد أساسي

ردكيت

الاقتباس/DOI

حل في قاعدة البيانات

doi.org، كروسريف

الثابت الفيزيائي (k، pKa)

قاعدة بيانات مرجعية

بوبتشيم، كتيب

الحساب العددي

كتابة + تشغيل الكود

بايثون

رد فعل/حالة

تأكيد الأدب

ريكسيس، مقالة

المطالبة الأمنية

الحزب الديمقراطي الصربي/GHS

SDS الرسمية

مهمة الطيف

متعدد التقنية + الإنسان

الطيف التجريبي

هذا الجدول هو في الواقع ملخص لهذه الوحدة: كل وحدة عبارة عن صف واحد.

التثليث: ثلاثة مسارات مستقلة

أقوى أسلوب للتحقق هو "التثليث": التوصل إلى نفس النتيجة بثلاث طرق مستقلة. على سبيل المثال، بالنسبة للوزن الجزيئي: (1) ما يقوله YZ، (2) حساب RDKit، (3) الحساب يدويًا من الصيغة. فإذا تداخلت الثلاثة كانت الثقة عالية؛ إذا كان شخص ما يضل، توقف وتحقق. لا تعتمد أبدًا على مصدر واحد في الكيمياء؛ ابحث عن مسارين مستقلين على الأقل.

خطوة بخطوة: سير عمل التحقق

1. تصنيف المخرجات: هل هو رقم أم بنية أم إسناد أم تأكيد أمان؟
2. حدد الأداة المناسبة: احصل على مسار التحقق المناسب لنوع الإخراج من الجدول أعلاه.
3. الحساب/البحث بشكل مستقل: قم بتشغيل السيارة بشكل مستقل عن الذكاء الاصطناعي؛ قارن النتيجة.
4. إذا كان هناك انحراف توقف: إذا كانت القيم غير متطابقة، فلا تتقدم دون التحقق من أي منها هو الصحيح.
5. اترك بصمتك: سجل ما تحققت منه وكيف (النزاهة العلمية).
6. تحديد عدم اليقين: ضع علامة على شيء لا يمكن التحقق منه على أنه "غير مؤكد"، ولا تخفيه.

أربعة قوالب قابلة للنسخ

1) التحقق الذاتي:

لقد قدمت للتو الإخراج التالي: [OUTPUT]. المهمة: قم بإدراج كل تأكيد رقمي/واقعي لهذا الناتج في سطر منفصل. لكل تأكيد: "كيفية التحقق منه بشكل مستقل؟" طريقة الكتابة (أي أداة/قاعدة بيانات). لا تدعي أن هذا الادعاء صحيح؛ مجرد إعطاء وسيلة للتحقق من ذلك.

2) التحكم في التثليث:

أريد التحقق من وزن الجزيء التالي بثلاث طرق: [SMILES].المهمة: 1) اشتقاق الصيغة الجزيئية. 2) إظهار حساب الوزن الجزيئي ذرة بذرة (مساهمة كل عنصر). ملاحظة: سأحسبه أيضًا في RDKit وثالثًا أقارنه مع الذي قدمته. إذا لم تتداخل الثلاثة، فاحذر.

3) علامات الغموض:

هناك عدة ادعاءات واقعية في النص التالي:[TEXT]المهمة: ضع علامة مستوى الثقة بجوار كل ادعاء:[تم التحقق منه] / [تم التحقق منه] / [غير مؤكد]. لا تضع علامة على أي شيء [تم التحقق منه] إذا لم تكن متأكدًا.

4) الاستعلام المتبادل الاتساق:

سأطرح نفس السؤال بطريقتين مختلفتين؛ معرفة ما إذا كانت إجاباتك متسقة. السؤال أ: ما الصيغة الجزيئية للمركب؟

موجه ضعيف / موجه قوي

ضعيف:

اكتب كل ما تعرفه عن هذا المركب.

ويخلط الذكاء الاصطناعي بشكل عشوائي بين المعلومات التي يمكن التحقق منها والملفقة؛ ليس من الواضح أيهما حقيقي.

قوي:

قم بتوفير معلومات حول هذا المركب، ولكن قم بتسمية كل مطالبة على النحو التالي: [حتمية - تم التحقق منها بواسطة أداة] على سبيل المثال. الصيغة الجزيئية، [تجريبية - بحاجة لمصدر] على سبيل المثال. نقطة الانصهار، [غير مؤكد - غير متأكد]. لا تكتب أي مطالبات غير مسماة.

الفرق: لقد أجبرنا الذكاء الاصطناعي على تحديد حالة عدم اليقين الخاصة به؛ لقد جعلنا عملية التحقق قابلة للتخطيط.

النزاهة العلمية: الصدق والتتبع

إن التحقق ليس مجرد خطوة فنية، بل هو مسألة أخلاقية. النزاهة العلمية تتطلب:

• الشفافية: لا تخفي أنك تستخدم الذكاء الاصطناعي؛ حدد وفقًا لسياسة النشر/التقرير الخاصة بك.
• إمكانية التتبع: سجل المخرجات الواردة من الذكاء الاصطناعي وكيف تم التحقق منها.
• سلامة البيانات: "تجميل" النتائج باستخدام الذكاء الاصطناعي، والتخلص من القيم المتطرفة دون مبرر هو احتيال.
• المسؤولية: أنت مسؤول عن النتيجة النهائية؛ "قال الذكاء الاصطناعي ذلك" ليس عذرا.

نصيحة: اقبل منذ البداية أنه لا يمكنك أبدًا استخدام عبارة "قال الذكاء الاصطناعي ذلك" في تقرير أو دفاع. يؤدي هذا القبول تلقائيًا إلى عادة التحقق من كل مخرجات.

حالات صغيرة

الحالة 1 - حدث خطأ في عملية التثليث. قام أحد الطلاب بفحص الوزن الجزيئي بثلاث طرق: YZ قال 178.2، والحساب اليدوي أعطى 180.16، وRDKit أعطى 180.16. يتداخل مساران مستقلان ويقضيان على الذكاء الاصطناعي. الدرس المستفاد: عمليتا تحقق مستقلتان تغلبان بصمت على نتيجة خاطئة واحدة.

الحالة 2 - لغة آمنة، معلومات خاطئة. كتب الذكاء الاصطناعي بثقة شديدة أن التفاعل "يحدث تلقائيًا في درجة حرارة الغرفة". وأظهرت الأدبيات أن هذا يتطلب التدفئة والمحفز. لقد وثق الطالب بالمصدر وليس باللغة الآمنة. الدرس: الطلاقة ليست الدقة.

الحالة 3 - اكتسبت الشفافية. في قسم الطريقة في ورقته، ذكر أحد الباحثين بوضوح الخطوات التي استخدم فيها الذكاء الاصطناعي (تحرير النص، وصياغة التعليمات البرمجية) وكتب أنه تحقق بشكل مستقل من جميع النتائج الرقمية. عملية التحكيم سارت بسلاسة. الدرس المستفاد: الشفافية تبني الثقة، والإخفاء يخلق المخاطر.

الأخطاء الشائعة

• الثقة في اللغة الآمنة. إن نبرة الذكاء الاصطناعي الواثقة ليست مؤشرا على الدقة.
• الاعتماد على مصدر واحد. قبول إخراج واحد دون التثليث.
• عدم فصل نوع الإخراج. أعتقد أنني "تحققت" من الرقم والإسناد وتأكيد الأمان بنفس الطريقة.
• إخفاء عدم اليقين. الإبلاغ عن شيء لا يمكن التحقق منه وكأنه يقيني.
• إخفاء استخدام الذكاء الاصطناعي. إن الافتقار إلى الشفافية يقوض النزاهة العلمية.
• تفويض المسؤولية. وعذر "قال ذلك" باطل؛ المسؤولية تقع على عاتق الشخص.

باختصار

• الهلوسة متأصلة في نموذج اللغة. الحل هو بناء غلاف التحقق من الصحة حول كل مخرجات.
• كل نوع مخرجات له طريقة التحقق الخاصة به؛ تصنيف المخرجات واستخدام الأداة المناسبة.
• التثليث (مساران مستقلان) هو أقوى عنصر تحكم؛ لا تثق بمصدر واحد.
• الطلاقة واللغة الواثقة لا علاقة لها بالدقة.
• تتطلب النزاهة العلمية الشفافية وإمكانية التتبع وسلامة البيانات والمسؤولية البشرية.

مهمة التطبيق

إنتاج مجموعة متنوعة من المخرجات عمدًا في جلسة الذكاء الاصطناعي: وزن جزيئي، ومرجع، وثابت فيزيائي، ومطالبة أمنية، وحساب رقمي. تحقق من كل منها بشكل مستقل بالطريقة الصحيحة (انظر الجدول). حاول التقاط هلوسة واحدة على الأقل. ثم قم بإعداد "مصفوفة التحقق من الصحة": مخرجات الصفوف والأعمدة (قيمة الذكاء الاصطناعي / القيمة المستقلة / هل تداخلت / كيف قمت بالتحقق منها). كيف تقيم هذه الجلسة من حيث النزاهة العلمية؟

قائمة مرجعية

• [ ] أنا أفهم لماذا الهلوسة أمر لا مفر منه.
• [ ] أقوم بتصنيف كل مخرجات حسب نوعها والتحقق منها بالطريقة المناسبة.
• [ ] أقوم بإجراء التثليث (مساران مستقلان) على القيم الحرجة.
• [ ] أثق بالمصدر، وليس باللغة الآمنة.
• [ ] أضع علامة على ما لا يمكن تأكيده على أنه "غير مؤكد".
• [ ] أتحلى بالشفافية في استخدامي للذكاء الاصطناعي وأتحمل المسؤولية عن النتيجة.