المكاسب:
- القدرة على قياس عدم اليقين والإبلاغ عنه من خلال المجموعة وتحليل الحساسية والتحقق المتبادل والاختبار الأعمى
- القدرة على منع تسرب البيانات عن طريق فصلها على أساس جيد/ميداني والتأكد من أن الدقة المبلغ عنها تعكس التعميم الحقيقي.
- القدرة على معايرة درجة الثقة في الذكاء الاصطناعي باستخدام مخطط الموثوقية وتطبيق مبدأ عدم استخدام درجة غير معايرة كاحتمال
هناك موضوع متكرر في كل وحدة من هذه الوحدة: لا توجد "إجابات مؤكدة" في الجيوفيزياء، فقط نماذج محدودة بسبب عدم اليقين. هذه الوحدة تحول هذا الموضوع إلى الانضباط. عدم اليقين النموذجي هو وجود نماذج مختلفة تحت السطح يمكنها تفسير نفس البيانات وكل نموذج يحمل فاصل ثقة. يتم اختبار التحقق باستخدام أدلة مستقلة حول ما إذا كان النموذج أو مخرجات الذكاء الاصطناعي صالحة بالفعل. تهدف المعايرة إلى التأكد من أن قيم الثقة/الاحتمالية المقدمة بواسطة النموذج تتطابق مع النتائج الفعلية. في هذه الوحدة، سندرس كيف يمكن للذكاء الاصطناعي (AI) قياس عدم اليقين وإخفائه؛ وسنرى لماذا يجعل إطار التحقق والمعايرة القوي الذكاء الاصطناعي موثوقًا به.
مصادر عدم اليقين
يأتي عدم اليقين الجيوفيزيائي من عدة طبقات:
- عدم اليقين في البيانات: ضوضاء القياس، التغطية المحدودة، خطأ المعايرة.
- نموذج عدم اليقين (تعدد المعاني): ملاءمة أكثر من بنية تحت سطحية لنفس البيانات.
- عدم اليقين في الطريقة/المعلمة: تؤدي خيارات المعالجة والعكس والتنظيم إلى تغيير النتيجة.
- عدم اليقين الخاص بالذكاء الاصطناعي: قدرة النموذج على البقاء واثقًا ولكنه يفشل عندما يتحرك خارج توزيع التدريب (تحول التوزيع).
إن وظيفة الجيوفيزيائي الجيد ليست إزالة حالة عدم اليقين هذه، بل قياسها وإيصالها وتضييق نطاقها. يمكن للذكاء الاصطناعي أن يجعل هذا الأمر سهلاً (توليد سيناريوهات متعددة)، ولكن يمكنه أيضًا إخفاءه بسهولة عن طريق إنتاج إجابة واحدة واثقة.
طرق قياس عدم اليقين
بعض الأدوات العملية:
- المجموعة: عمليات تشغيل متعددة ببدايات أو معلمات أو نماذج مختلفة؛ انتشار النتائج يعطي عدم اليقين.
- تحليل الحساسية: تغيير المدخلات (المعلمة، مجموعة فرعية من البيانات) ورؤية مدى تغير النتيجة.
- التحقق من الصحة: تقسيم البيانات إلى أجزاء، والتدريب على جزء واحد والاختبار مع الآخر؛ يقيس قوة التعميم.
- الاختبار الأعمى: اختبار النموذج ببئر/حقل مستقل لم يسبق له رؤيته في التدريب.
- الإخراج الاحتمالي: تقديم النتيجة كفاصل توزيع/ثقة، وليس قيمة واحدة.
نصيحة: عندما يعطي الذكاء الاصطناعي نتيجة، اسأل دائمًا: "ماذا وكم أحتاج إلى التحرك في الإدخال لتغيير هذه النتيجة؟" إذا انعكست النتيجة مع تغيير بسيط في المعلمة، فستكون هذه النتيجة هشة ويكون عدم اليقين مرتفعًا.
المعايرة: هل درجة الثقة صحيحة؟
غالبًا ما تعطي نماذج الذكاء الاصطناعي الثقة/الاحتمالية ("خطأ بنسبة 90%"). لكن هذا الرقم يكون مضللًا إذا لم تتم معايرته: فالنموذج صحيح بالفعل في 60% من الحالات التي يقول إنها "90%". تتمثل المعايرة في محاذاة هذا الرقم مع معدل النتيجة الفعلي. من الناحية العملية، يتم رسم مخطط الموثوقية: النموذج الذي تمت معايرته جيدًا يكون صحيحًا بنسبة 90% عندما يقول "90%". في الجيوفيزياء، من الضروري معايرة درجة الثقة بالذكاء الاصطناعي مع بيانات مستقلة قبل اتخاذها أساسًا لاتخاذ القرار.
تنبيه: الدقة العالية ليست مثل المعايرة الجيدة. قد يكون النموذج دقيقًا بشكل عام ولكنه مفرط في الثقة؛ الشيء المهم في القرارات الحاسمة هو أن تكون موثوقة حقًا عندما تقول "95٪". لا تعامل درجة الثقة غير المعايرة كاحتمال.
القواعد الذهبية للتحقق
للتحقق القوي: (1) الاستقلال - يجب ألا تتداخل بيانات الاختبار مع عملية التدريب/الضبط على الإطلاق (تسرب البيانات - يؤدي إلى تضخيم النتيجة). (2) اختبار أعمى - حقل/بئر لا يراه النموذج. (3) الاتساق المادي – يجب ألا تتعارض النتيجة مع الفيزياء والجيولوجيا. (4) إمكانية تكرار النتائج – نفس النتيجة بنفس المدخلات، ويمكن أن ينتجها شخص آخر. (5) التوثيق - سجل البيانات، والمعلمة، وإصدار النموذج الذي تم استخدامه.
ثلاث حالات صغيرة
الحالة 1 - مغالطة تسرب البيانات. أفاد أحد الفرق أن مصنف السحنات حقق دقة تبلغ 94%. وأظهر التحقيق أن العينات المجاورة من نفس البئر شاركت في كل من التدريب والاختبار (تسرب البيانات). وعندما تم تقسيمها حسب البئر، انخفضت الدقة إلى 71%، وكان هذا هو التعميم الحقيقي. جعل التسرب النموذج يبدو أفضل مما كان عليه في الواقع.
الحالة 2 - نموذج الثقة المفرطة. أعطى أحد أجهزة كشف الأخطاء "ثقة بنسبة 95%" في إشاراته. أظهر مخطط الموثوقية أن علامات "95%" كانت في الواقع دقيقة بنسبة 70%. بمجرد معايرة النموذج، أصبحت درجات الثقة واقعية وقام المعلقون بتعديل مدى ثقتهم في كل علامة بشكل صحيح.
الحالة 3 - الانقلاب الهش. بدا نموذج الجاذبية مقنعًا جدًا. أظهر تحليل الحساسية أن البنية الرئيسية اختفت عندما تغير وزن التنظيم بنسبة 20%: لم تأت البنية من البيانات، بل من اختيار المعلمة. وضع الفريق علامة على الهيكل على أنه "منخفض الثقة" وطلب بيانات إضافية.
أربعة قوالب قابلة للنسخ
1) خطة قياس عدم اليقين:
دورك: مستشار عدم اليقين الجيوفيزيائي. لدي نتيجة [الانعكاس/التصنيف/التنبؤ]. ما هي الأساليب (التجميع، والحساسية، والتحقق المتبادل، والأعمى) التي يمكنني تطبيقها لقياس عدم اليقين وبأي ترتيب؟ اشرح لي ما يخبرني به كل واحد منهم وكيفية الإبلاغ عن النتيجة.
2) فحص المعايرة:
نموذج الذكاء الاصطناعي الخاص بي يعطي درجة الثقة/الاحتمالية. كيف يمكنني اختبار ما إذا كانت هذه النتيجة قد تمت معايرتها؟ كيف يمكنني إنشاء مخطط موثوقية، والتعرف على "الثقة المفرطة" أو "الحذر الزائد" ومواءمة النتيجة مع معدل النتائج الفعلي؟
3) تدقيق تسرب البيانات:
لقد قمت بتدريب مصنف جيوفيزيائي. كيف يمكنني العثور على مخاطر تسرب البيانات ومنعها (نفس عينات البئر/الميدان التي تدخل في كل من التدريب والاختبار)؟ كيف أقوم بإعداد الفصل حسب البئر/الحقل؟ كيف أعرف ما إذا كانت الدقة المبلغ عنها تعكس تعميمًا حقيقيًا؟
4) نتيجة اختبار الهشاشة:
لدي نتيجة انعكاس/نموذج. أريد أن أفهم مدى هشاشة هذه النتيجة. عن طريق تغيير المعلمات وإلى أي مدى يتغير الهيكل الرئيسي؟ كيف يمكنني التمييز بين ما إذا كان الهيكل يأتي من البيانات أو المعلمات/الفرضية؟ إعطاء بروتوكول الحساسية.
موجه ضعيف / موجه قوي
حث ضعيف:
معرفة ما إذا كان النموذج الخاص بي يتمتع بدقة عالية.
رقم الحقيقة واحد؛ فالتسرب يخفي المعايرة والتعميم، مما يعطي ثقة زائفة.
مطالبة قوية:
دورك: خبير التحقق من صحة النموذج. الإدخال: [يُنشئ المُصنف بئر N، ويسجل درجات الثقة]. المهمة: (1) اقتراح تخصيص جيد ضد تسرب البيانات؛ (2) تثبيت اختبار الآبار العمياء؛ (3) معايرة درجة الثقة مع مخطط الموثوقية؛ (4) اختبار مدى حساسية النتيجة للمعلمة. التخفيض إلى رقم الحقيقة واحد؛ تقرير التعميم والمعايرة والهشاشة بشكل منفصل.
التسرب والاختبار الأعمى والمعايرة وطلب الحساسية يجعل عملية التحقق صادقة.
أدوات عدم اليقين
مركبة
ماذا يقيس؟
الخطر الرئيسي
الإخراج
فرقة
انتشار النموذج
تكلفة الحساب
النطاق/التوزيع
الحساسية
تأثير المعلمة
المدخلات المفقودة
هشاشة
التحقق من الصحة عبر
التعميم
تسرب البيانات
دقة واقعية
اختبار أعمى
نجاح مستقل
مجموعة اختبار غير كافية
الثقة
المعايرة
الثقة بالواقع
الثقة المفرطة
احتمال الانحياز
الأخطاء الشائعة
- عدم ملاحظة تسرب البيانات. إنه يضخم البر؛ منفصل عن طريق البئر/الحقل.
- استخدام درجة الثقة دون معايرتها. "90%" قد لا تكون في الواقع 90%.
- الاعتماد على رقم الحقيقة الواحد. التعميم والمعايرة هما شيئان مختلفان.
- عدم اختبار الضعف. البنية المفقودة بواسطة المعلمة ليست معلومات حقيقية.
- عدم الإبلاغ عن عدم اليقين. إن تقديم النتيجة بدون فاصل ثقة أمر مضلل.
باختصار
إن عدم اليقين هو الحقيقة التي لا يمكن القضاء عليها في الجيوفيزياء. وتتمثل المهمة في قياسها، وإيصالها، وتضييق نطاقها. يسهل الذكاء الاصطناعي ذلك من خلال التجميع والحساسية والمخرجات الاحتمالية، ولكن يمكنه أيضًا إخفاءه بإجابة واحدة واثقة. إطار متين منع تسرب البيانات، وقياس التعميم بالاختبار الأعمى، ومعايرة درجة الثقة، واختبار هشاشة النتيجة. الثقة غير المعايرة، والصدق الذي لم يتم التحقق منه، وعدم اليقين المخفي هي الأوهام الثلاثة الأكثر خطورة. الجيوفيزياء الموثوقة هي الجيوفيزياء التي تظهر بصدق عدم يقينها.
مهمة التطبيق
حدد نتيجة جيوفيزيائية للذكاء الاصطناعي (التصنيف أو الانعكاس أو التنبؤ). خطة خطوات الاختبار الفرقة/الحساسية/الأعمى باستخدام قالب "خطة قياس عدم اليقين". ثم اختبر تمييزك في اختبار التدريب باستخدام قالب "تدقيق تسرب البيانات". إذا كان النموذج يعطي درجة ثقة، فقم بتقييم ما إذا كانت النتيجة واقعية باستخدام قالب "فحص المعايرة" واكتب النتيجة بفاصل ثقة.
قائمة مرجعية
- [ ] قمت بقياس عدم اليقين باستخدام المجموعة/الحساسية.
- [ ] لقد منعت تسرب البيانات عن طريق فصلها على أساس جيد/ميداني.
- [ ] لقد اختبرت التعميم باختبار أعمى.
- [ ] لقد قمت بمعايرة درجة الثقة والتحقق من واقعيتها.
- [ ] لقد أبلغت عن النتيجة بفاصل ثقة، وليس بقيمة واحدة.