единица 6 / 11

Анализ на данните за тестване и валидиране

Печалби:

  • Възможност за разпознаване на типове тестови данни като динамометър, пътен тест, издръжливост и DVP&R и тяхното място в процеса на проверка
  • Възможност за използване на изкуствен интелект за обобщаване, маркиране на аномалии и чернови на отчети в големи набори от тестови данни
  • Възможност за кръстосано валидиране на тестовата интерпретация на AI с несигурност на измерването, повторяемост и критерии за приемане

Отговорът на въпроса „отговаря ли на изискванията“, преди дадено превозно средство или компонент да влезе в производство, е скрит в данните от теста и проверката. Изпитването в автомобилостроенето се простира от лабораторията (динамометър, климатична камера, вибрационна маса) до пътя (пътен тест, писта за издръжливост) и лабораторията за катастрофи. Тези тестове генерират масивни данни: един единствен тест за издръжливост може да съдържа милиони редове от сензорни записи. В този раздел ще видим типовете на тези данни, мястото им в процеса на проверка и как изкуственият интелект помага при анализа (но как решението остава за инженера).

Какво представляват проверката и валидирането?

Двата термина често се бъркат:

  • Проверка: „Правилно ли създадохме продукта?“ Измерва съответствието с изискването. Пример: "Спецификацията на спирачния път казва 38 метра; ние го измерихме, 36,5 метра. Подходящо."
  • Валидиране: „Направихме ли правилния продукт?“ Отговаря ли на нуждите при реална употреба? Пример: „Шофьорите намират ли тази спирачка за безопасно?“

В автомобилостроенето този процес обикновено се управлява с документа DVP&R (Design Verification Plan and Report): това е таблица, която изброява кое изискване ще бъде тествано с кой тест, с какви критерии за приемане и резултата.

Типични типове тестови данни

Тип тест

Какви мерки

примерни данни

Динамометър (дино)

Мощност на двигателя, въртящ момент, емисии

RPM-крива на въртящия момент, разход на гориво

пътен тест

Поведение при действително състояние

GPS, ускорение, сигнали за шофиране

издръжливост

умора през целия живот

Вибрация, напрежение, брой цикли

климат/околна среда

Устойчивост на топло-студено-влагоустойчивост

температура, работно състояние

NVH

Шум/вибрации

Звуково налягане, спектър на ускорение

Сблъсък (катастрофа)

сигурност

Високоскоростно видео, фиктивни сензори

Всеки тест има критерий (изискване) за приемане. Анализът трябва да докаже дали данните отговарят на този критерий.

Какво прави изкуственият интелект при анализа на тестове?

AI е мощен помощник при анализа на тестови данни за:

  1. Обобщаване: Статистическо обобщение, пикови стойности, разпределение от милиони редове.
  2. Маркировка за аномалия: „Има неочакван спад на въртящия момент на 214 секунди в този запис.“
  3. Сравнение на шаблони: Сравняване на два теста или различни превозни средства и намиране на разлики.
  4. Чернова на доклад: Изготвяне на текст и графични обяснения на резултата от DVP&R.
  5. Помощ за код: Генериране на скрипт за анализ (Python).

Но бъдете внимателни: всичко това са скици и намеци. Тестовият инженер решава дали тестът преминава или не и дали аномалия е реална или грешка в измерването.

Подсказка: Попитайте AI "издържа ли този тест?" Вместо да питам: „Кои региони в тези данни показват риск според критериите за приемане, какви допълнителни проверки трябва да направя?“ попитайте. Първото изисква решения (не е работа на AI), второто изисква подсказки (работа на AI).

Несигурност и повторяемост на измерването

Нито едно измерване не е перфектно. Две концепции са критични:

  • Несигурност на измерването: естествената граница на грешка на измервателното устройство. Ако спирачният път е "36,5 m" и несигурността е ±0,8 m, действителната стойност е между 35,7-37,3 m. Ако спецификацията е 38 м, вие сте в безопасност; но ако спецификацията беше 37 m, несигурността би била много близо до границата.
  • Повторяемост: Получавате ли подобни резултати, когато правите отново същия тест? Единичен пробег може да е минал случайно. В автомобилостроенето критичните тестове се повтарят многократно, в различни превозни средства/условия.

„Аномалията“, маркирана от AI, всъщност може да е шум от измерване. Несигурността и двойната проверка са от съществено значение, преди да вземете решение.

Внимание: ИИ казва, че „издържа критериите за приемане“ е измамно, ако не отчита несигурността на измерването и дублирането. При резултати, близки до границата, границата на несигурност може да промени резултата от теста.

Мини казуси

Случай 1 - Аномалия или шум? При тест за издръжливост AI отбелязва 3 внезапни скока в сигнала за напрежение. Тестовият инженер разглежда необработените данни: скоковете съответстват на точните моменти, когато регистраторът на данни се рестартира; Така че това не е истинско структурно събитие, а прекъсване на регистрацията. Аномалиите са документирани като артефакти. Резултат: AI предостави улика, инженерът изолира основната причина; автоматичният печат "неуспех" би бил грешен.

Случай 2 – Резултат, близък до границата. Средното разстояние при спирачен тест е 37,4 m, спецификацията е 38 m. AI казва "преминал". Инженерът осъзнава несигурността на измерването (±0,9 m) и че са направени само 2 проби; Горната граница надвишава спецификацията от 38,3 m. Тестът се увеличава до 6 пробега и условията (горещи спирачки, натоварено превозно средство) се променят; Резултатът е потвърдено безопасно. Извод: Да се ​​каже "издържа" без двусмислие и повторение е рисковано.

Случай 3 – Силата на бързото обобщение. Един NVH тест има 40 GB данни от 12 инструмента. AI извежда таблица и сравнение, обобщаващо пиковите честоти и амплитуди за всеки инструмент; Инженерът насочва вниманието си към 2 проблемни превозни средства за 20 минути вместо за 2 часа. След това той изследва необработения спектър на тези две превозни средства със собствените си ръце. Резултат: AI извърши елиминирането, инженерът направи задълбочения анализ.

подканващи шаблони

Шаблон 1 - Резюме на теста:

Роля: Вие сте анализатор на тестови данни. Задача: Обобщете записа на динамометъра по-долу. Контекст: данни за RPM, 1000-6000 rpm; критерий за приемане: пиков въртящ момент най-малко 320 Nm, без колапс в кривата на мощността. Ограничение: Вземане на решения „успешно/неуспешно“; Избройте рисковите зони и допълнителните препоръки за контрол според критериите. Изход: Обобщена статистика + рискова зона + препоръчителен контрол.

Шаблон 2 - Анализ на аномалия:

Роля: Вие сте експерт по измерване и оборудване. Задача: Насочете ме да разгранича дали маркираните аномалии са реални събития или артефакти на измерване. Контекст: 3 внезапни скока в сигнала за напрежение; Рекордерът се рестартира периодично. Резултат: Възможно обяснение + дискриминантна проверка за всяка аномалия.

Шаблон 3 - Оценка на несигурността:

Роля: Вие сте консултант по метрология (наука за измерване). Задача: Оценете безопасността на резултата според критериите за приемане. Контекст: Измерена стойност 37,4 m, несигурност ±0,9 m, спецификация 38 m, брой изпълнения 2. Ограничение: Не забравяйте да вземете под внимание несигурността и броя на повторенията; подчертайте близостта до границата. Резултат: Оценка + препоръка за допълнително тестване + оставащ риск.

Шаблон 4 - Проект на отчет за DVP&R:

Роля: Вие сте инженерът по проверката. Задача: Напишете чернова на текст на резултат от DVP&R за следните резултати от теста. Контекст: Изискване, метод на изпитване, критерий за приемане и измерена стойност са изпълнени (анонимно). Ограничение: Само чернова; Не използвайте строгото изявление „одобрено“, оставете място за одобрение от инженер. Резултат: Изискване | тест | критерий | резултат | статус (чернова).

Слаба подкана / Силна подкана

Слаба подкана:

Вижте тези данни от теста, издържаха ли?

Без критерии за приемане, неяснота и повторение; Изкуственият интелект казва сляпо „успешно/неуспешно“, което е опасно.

Мощна подкана:

Роля: Вие сте анализатор на данни от автомобилни тестове. Задача: Анализирайте приложените данни от теста на спирачките спрямо критериите за приемане и посъветвайте какви допълнителни доказателства са необходими за решението. Контекст: Критерий 38 м; неопределеност на измерване ±0,9 m; Има 2 условия; натоварване на превозното средство, тествано при едно условие. Ограничение: Деклариране на „издържано“; Избройте рисковете и предложените допълнителни условия по отношение на несигурност и дублиране. Резултат: Риск | обосновка | препоръчителна допълнителна таблица за тестване.

Често срещани грешки

  • Накарайте изкуствения интелект да вземе решение за стартиране/неуспех. Решението се взема от инженера; AI дава улики.
  • Игнориране на несигурността на измерването. При резултати, близки до границата, несигурността променя резултата.
  • Разчитайки на едно бягане. Без повторяемост резултатът е крехък.
  • Незабавно считайте аномалията за "неизправност". Възможно е да има артефакт/шум при запис; Връщане към необработените данни.
  • Сляпо копиране на отчета. Проектът на AI не може да стане официален документ без одобрение и корекция от инженер.

В обобщение

  • Мерките за проверка съответствие с изискването, мерките за валидиране съответствие с действителната нужда; DVP&R управлява този процес.
  • Той е мощен помощник при обобщаване, маркиране на аномалии, сравняване и изготвяне на отчети за данни от тестове на AI.
  • Решението (успешно/неуспешно) зависи от инженера; AI съвети, не знаци.
  • Без несигурност и повторяемост на измерването резултатът не може да бъде интерпретиран; Резултатите близо до границата изискват специално внимание.
  • Аномалиите трябва да бъдат разделени със сурови данни, за да се определи дали са реални събития или артефакти на измерване.

Задача за приложение

Изберете тест (напр. студен старт в климатичната камера). (1) Напишете изискването, метода на изпитване и критериите за приемане. (2) Поискайте обобщен анализ и анализ на рисковата зона с Шаблон 1 (без да изисквате решение). (3) Оценете въображаем резултат близо до границата за несигурност с Шаблон 3. (4) Създайте проект на DVP&R, като използвате Шаблон 4, като посочите кои области оставяте за одобрение от инженер.

контролен списък

  • [ ] Ясно съм написал изискванията и критериите за приемане.
  • [ ] Помолих AI за риск/намек, а не за решение.
  • [ ] Включих несигурността на измерването в резултата.
  • [ ] Оцених степента на повторяемост (брой изпълнения).
  • [ ] Разгледах аномалиите със сурови данни, като направих разлика между факт и артефакт.
  • [ ] Маркирах черновата на доклада за одобрение от инженера.