تحليل بيانات الاختبار والتحقق من صحتها

المكاسب:

• القدرة على التعرف على أنواع بيانات الاختبار مثل مقياس القوة واختبار الطريق والتحمل وDVP&R ومكانها في عملية التحقق
• القدرة على استخدام الذكاء الاصطناعي لتلخيص الحالات الشاذة والإبلاغ عنها وصياغة التقارير في مجموعات بيانات الاختبار الكبيرة
• القدرة على التحقق من صحة تفسير اختبار الذكاء الاصطناعي مع عدم اليقين في القياس والتكرار ومعايير القبول

يتم إخفاء الإجابة على السؤال "هل تلبي المتطلبات" قبل دخول السيارة أو المكون في الإنتاج في بيانات الاختبار والتحقق. يمتد الاختبار في مجال السيارات من المختبر (مقياس الدينامومتر، وغرفة المناخ، وطاولة الاهتزاز) إلى الطريق (اختبار الطريق، ومسار التحمل) ومختبر التصادم. تولد هذه الاختبارات بيانات ضخمة: يمكن أن يحتوي اختبار التحمل الواحد على ملايين الصفوف من سجلات أجهزة الاستشعار. في هذه الوحدة سنرى أنواع هذه البيانات ومكانها في عملية التحقق وكيف يساعد الذكاء الاصطناعي في التحليل (ولكن كيف يبقى القرار للمهندس).

ما هو التحقق والتحقق؟

كثيرا ما يتم الخلط بين المصطلحين:

• التحقق: "هل بنينا المنتج بشكل صحيح؟" تدابير الامتثال للمتطلبات. مثال: "مواصفات مسافة الكبح تقول 38 مترًا، وقمنا بقياسها 36.5 مترًا. مناسبة."
• التحقق من الصحة: ​​"هل صنعنا المنتج الصحيح؟" هل يلبي الاحتياجات في الاستخدام الحقيقي؟ مثال: "هل يجد السائقون أن هذه الفرامل آمنة؟"

في مجال السيارات، تتم إدارة هذه العملية عادةً من خلال مستند DVP&R (خطة وتقرير التحقق من التصميم): وهو عبارة عن جدول يسرد المتطلبات التي سيتم اختبارها باستخدام أي اختبار ومعايير القبول والنتيجة.

أنواع بيانات الاختبار النموذجية

نوع الاختبار

ما التدابير

بيانات العينة

الدينامومتر (داينو)

قوة المحرك، عزم الدوران، الانبعاثات

منحنى عزم الدوران RPM، استهلاك الوقود

اختبار الطريق

سلوك الحالة الفعلية

نظام تحديد المواقع، والتسارع، وإشارات القيادة

المتانة

التعب مدى الحياة

الاهتزاز، الضغط، عدد الدورات

المناخ/البيئة

مقاومة الرطوبة الساخنة والباردة

درجة الحرارة، حالة العمل

NVH

الضوضاء/الاهتزاز

ضغط الصوت، طيف التسارع

الاصطدام (تحطم)

الأمن

فيديو عالي السرعة، وأجهزة استشعار وهمية

كل اختبار له معيار القبول (المتطلبات). التحليل هو إثبات ما إذا كانت البيانات تمر بهذا المعيار.

ماذا يفعل الذكاء الاصطناعي في تحليل الاختبار؟

يعد الذكاء الاصطناعي مساعدًا قويًا في تحليل بيانات الاختبار من أجل:

1. التلخيص: ملخص إحصائي، قيم الذروة، التوزيع من ملايين الصفوف.
2. علامة الشذوذ: "هناك انخفاض غير متوقع في عزم الدوران عند 214 ثانية في هذا التسجيل."
3. مقارنة الأنماط: مقارنة اختبارين أو مركبتين مختلفتين وإيجاد الاختلافات.
4. مسودة التقرير: صياغة نص نتيجة DVP&R والشروحات الرسومية.
5. تعليمات التعليمات البرمجية: إنشاء برنامج نصي للتحليل (بيثون).

لكن كن حذرًا: هذه كلها رسومات وتلميحات. إن مهندس الاختبار هو الذي يقرر ما إذا كان الاختبار سينجح أم لا وما إذا كان الشذوذ حقيقيًا أم خطأ في القياس.

تلميح: اسأل الذكاء الاصطناعي "هل نجح هذا الاختبار؟" وبدلا من طرح السؤال التالي: "ما هي المناطق في هذه البيانات التي تظهر المخاطر وفقا لمعايير القبول، ما هي الضوابط الإضافية التي ينبغي علي إجراؤها؟" بسأل. الأول يتطلب قرارات (ليست وظيفة الذكاء الاصطناعي)، والثاني يتطلب تلميحات (وظيفة الذكاء الاصطناعي).

عدم اليقين في القياس والتكرار

لا يوجد قياس مثالي. هناك مفهومان حاسمان:

• عدم اليقين في القياس: هامش الخطأ الطبيعي لجهاز القياس. إذا كانت مسافة الكبح "36.5 م" وكان عدم اليقين ±0.8 م، فإن القيمة الفعلية تتراوح بين 35.7-37.3 م. إذا كانت المواصفات 38 م فأنت آمن؛ ولكن إذا كانت المواصفات 37 م، فإن عدم اليقين سيكون قريبًا جدًا من الحد الأقصى.
• التكرار: هل تحصل على نتائج مماثلة عند إجراء نفس الاختبار مرة أخرى؟ ربما مرت جولة واحدة بالصدفة. في السيارات، يتم تكرار الاختبارات الحرجة عدة مرات، في مركبات/ظروف مختلفة.

قد يكون "الشذوذ" الذي تم تحديده بواسطة الذكاء الاصطناعي هو في الواقع ضوضاء القياس. يعد عدم اليقين والتحقق المزدوج ضروريين قبل اتخاذ القرار.

تحذير: إن قول الذكاء الاصطناعي "تم اجتياز معايير القبول" يعد أمرًا خادعًا إذا لم يأخذ في الاعتبار عدم اليقين في القياس والازدواجية. وفي النتائج القريبة من الحد الأقصى، فإن هامش عدم اليقين قد يغير نتيجة الاختبار.

دراسات الحالة المصغرة

الحالة 1 - شذوذ أم ضوضاء؟ وفي اختبار التحمل، يسجل الذكاء الاصطناعي 3 قفزات مفاجئة في إشارة الإجهاد. ينظر مهندس الاختبار إلى البيانات الأولية: تتوافق القفزات مع اللحظات المحددة عند إعادة تشغيل مسجل البيانات؛ لذا فهو ليس حدثًا هيكليًا حقيقيًا، بل هو انقطاع في التسجيل. تم توثيق الحالات الشاذة على أنها قطع أثرية. النتيجة: قدم الذكاء الاصطناعي دليلاً، وقام المهندس بعزل السبب الجذري؛ سيكون ختم "الفشل" التلقائي خاطئًا.

الحالة 2 - نتيجة قريبة من الحدود. متوسط ​​المسافة في اختبار الفرامل 37.4 م والمواصفات 38 م. منظمة العفو الدولية تقول "مرت". أدرك المهندس عدم اليقين في القياس (±0.9 م) وأنه تم إجراء عمليتي تشغيل فقط؛ الحد الأعلى يتجاوز مواصفات 38.3 م. يتم زيادة الاختبار إلى 6 أشواط وتتنوع الظروف (الفرامل الساخنة، السيارة المحملة)؛ تم تأكيد النتيجة آمنة. الخلاصة: قول "مرت" دون غموض وتكرار أمر محفوف بالمخاطر.

الحالة 3 - قوة الملخص السريع. يحتوي اختبار NVH واحد على 40 جيجابايت من البيانات من 12 أداة. يقوم الذكاء الاصطناعي بإخراج جدول ومقارنة تلخص ذروة الترددات والسعات لكل أداة؛ يوجه المهندس انتباهه إلى مركبتين بها مشاكل في 20 دقيقة بدلاً من ساعتين. ثم يقوم بفحص الطيف الخام لهاتين المركبتين بيديه. النتيجة: قام الذكاء الاصطناعي بالإزالة، وقام المهندس بالتحليل العميق.

قوالب سريعة

النموذج 1 - ملخص الاختبار:

الدور: أنت محلل بيانات الاختبار. المهمة: تلخيص سجل الدينامومتر أدناه. السياق: بيانات دورة في الدقيقة، 1000-6000 دورة في الدقيقة؛ معيار القبول: ذروة عزم الدوران لا تقل عن 320 نيوتن متر، وعدم حدوث انهيار في منحنى الطاقة. القيد: اتخاذ القرار "بالنجاح/الفشل"؛ قم بإدراج مناطق الخطر وتوصيات المراقبة الإضافية وفقًا للمعايير. المخرجات: ملخص الإحصائيات + منطقة الخطر + التحكم الموصى به.

النموذج 2 - تحليل الشذوذ:

الدور: أنت خبير في القياس والأجهزة. المهمة: أرشدني في التمييز بين ما إذا كانت الحالات الشاذة التي تم تحديدها هي أحداث حقيقية أم نتائج قياس. السياق: 3 قفزات مفاجئة في إشارة الإجهاد؛ تتم إعادة تشغيل المُسجل بشكل متقطع. المخرجات: تفسير محتمل + فحص تمييزي لكل حالة شاذة.

النموذج 3 - تقييم عدم اليقين:

الدور: أنت مستشار في علم القياس (علم القياس). المهمة: تقييم سلامة النتيجة وفقًا لمعايير القبول. السياق: القيمة المقاسة 37.4 م، عدم اليقين ± 0.9 م، المواصفات 38 م، عدد مرات التشغيل 2. القيد: تأكد من مراعاة عدم اليقين وعدد التكرارات؛ التأكيد على القرب من الحد الأقصى. المخرجات: تقييم + توصية لإجراء اختبارات إضافية + المخاطر المتبقية.

النموذج 4 - مسودة تقرير DVP&R:

الدور: أنت مهندس التحقق. المهمة: اكتب مسودة نص نتيجة DVP&R لنتائج الاختبار التالية. السياق: تم استيفاء المتطلبات وطريقة الاختبار ومعايير القبول والقيمة المقاسة (مجهول). القيد: مسودة فقط؛ لا تستخدم عبارة "الموافقة" الصارمة، واترك مساحة لموافقة المهندس. المخرجات: المتطلبات | اختبار | المعيار | النتيجة | الحالة (مسودة).

موجه ضعيف / موجه قوي

حث ضعيف:

انظر إلى بيانات الاختبار هذه، هل نجح؟

لا توجد معايير للقبول والغموض والتكرار؛ يقول الذكاء الاصطناعي "نجاح/فشل" أعمى، وهو أمر خطير.

مطالبة قوية:

الدور: أنت محلل بيانات اختبار السيارات. المهمة: تحليل بيانات اختبار الفرامل المرفقة مقابل معايير القبول وتقديم المشورة بشأن الأدلة الإضافية اللازمة لاتخاذ القرار. السياق: المعيار 38 م؛ عدم اليقين في القياس ± 0.9 م ؛ هناك شرطين؛ اختبار حمولة السيارة في شرط واحد. القيد: إعلان "تم النجاح"؛ قائمة المخاطر والشروط الإضافية المقترحة من حيث عدم اليقين والازدواجية. المخرجات: المخاطر | مبرر | جدول اختبار إضافي موصى به.

الأخطاء الشائعة

• جعل الذكاء الاصطناعي يتخذ قرارًا بالفشل/الفشل. يتم اتخاذ القرار من قبل المهندس. الذكاء الاصطناعي يعطي أدلة.
• تجاهل عدم اليقين في القياس. في النتائج القريبة من الحد الأقصى، يؤدي عدم اليقين إلى تغيير النتيجة.
• الاعتماد على تشغيل واحد. وبدون التكرار تكون النتيجة هشة.
• اعتبر هذا الشذوذ على الفور بمثابة "عطل". قد يكون هناك تشويش/تشويش في التسجيل؛ العودة إلى البيانات الخام.
• أعمى نسخ التقرير. لا يمكن أن تصبح مسودة الذكاء الاصطناعي وثيقة رسمية دون موافقة المهندس وتصحيحها.

باختصار

• يقيس التحقق الامتثال للمتطلبات، ويقيس التحقق الامتثال للحاجة الفعلية؛ يدير DVP&R هذه العملية.
• إنه مساعد قوي في تلخيص ووضع علامات شاذة ومقارنة وصياغة التقارير حول بيانات اختبار الذكاء الاصطناعي.
• قرار (النجاح/الرسوب) يعود للمهندس؛ تلميحات الذكاء الاصطناعي، وليس الإشارات.
• وبدون عدم اليقين في القياس وتكراره، لا يمكن تفسير النتيجة؛ تتطلب النتائج القريبة من الحد اهتمامًا خاصًا.
• يجب فصل الحالات الشاذة بالبيانات الأولية لتحديد ما إذا كانت أحداثًا حقيقية أو نتائج قياس.

مهمة التطبيق

حدد اختبارًا (على سبيل المثال، بدء التشغيل البارد في غرفة المناخ). (1) اكتب المتطلبات وطريقة الاختبار ومعايير القبول. (2) طلب ملخص وتحليل منطقة المخاطر باستخدام النموذج 1 (دون طلب قرار). (3) قم بتقييم نتيجة خيالية بالقرب من حد عدم اليقين باستخدام النموذج 3. (4) قم بإعداد مسودة DVP&R باستخدام النموذج 4، مع الإشارة إلى المناطق التي ستتركها للحصول على موافقة المهندس.

قائمة مرجعية

• [ ] لقد كتبت المتطلبات ومعايير القبول بوضوح.
• [ ] لقد طلبت من الذكاء الاصطناعي مخاطرة/تلميحًا، وليس قرارًا.
• [ ] لقد أدرجت عدم اليقين في القياس في النتيجة.
• [ ] قمت بتقييم كفاءة التكرار (عدد مرات التشغيل).
• [ ] لقد قمت بفحص الحالات الشاذة باستخدام البيانات الأولية من خلال التمييز بين الحقيقة والمصطنعة.
• [ ] قمت بوضع علامة على مسودة التقرير للحصول على موافقة المهندس.