Единица 6 / 11

Тест и валидација Анализа на податоци

Добивки:

  • Способност да се препознаат типовите на податоци од тестот како што се динамометар, патен тест, издржливост и DVP&R и нивното место во процесот на верификација
  • Способност да се користи вештачка интелигенција за сумирање, означување аномалии и нацрт-извештаи во големи групи на податоци за тестирање
  • Способност за вкрстено валидирање на интерпретацијата на тестот на вештачката интелигенција со критериуми за мерење несигурност, повторливост и прифаќање

Одговорот на прашањето „дали ги исполнува барањата“ пред возилото или компонентата да влезе во производство е скриен во податоците за тестирање и верификација. Тестирањето во автомобилската индустрија се протега од лабораторија (динамометар, климатска комора, маса за вибрации) до патот (тест на пат, патека за издржливост) и лабораторија за несреќи. Овие тестови генерираат огромни податоци: еден тест за издржливост може да содржи милиони редови записи со сензори. Во оваа единица ќе ги видиме типовите на овие податоци, нивното место во процесот на верификација и како вештачката интелигенција помага во анализата (но како одлуката останува кај инженерот).

Што се верификација и валидација?

Двата термина често се мешаат:

  • Верификација: "Дали правилно го изградивме производот?" Ја мери усогласеноста со барањето. Пример: "Спецификацијата за растојание за сопирање вели 38 метри; ние го измеривме, 36,5 метри. Соодветно."
  • Валидација: "Дали го направивме вистинскиот производ?" Дали ги задоволува потребите при реална употреба? Пример: „Дали возачите сметаат дека оваа сопирачка се чувствува безбедно?“

Во автомобилската индустрија, овој процес обично се управува со документот DVP&R (План и извештај за верификација на дизајнот): тоа е табела која наведува кои барања ќе се тестираат со кој тест, со кои критериуми за прифаќање и резултат.

Типични типови на податоци за тестирање

Тип на тест

Кои мерки

примерок на податоци

Динамометар (дино)

Моќност на моторот, вртежен момент, емисии

Крива на вртежи во минута, потрошувачка на гориво

тест на патот

Однесување на вистинската состојба

GPS, сигнали за забрзување, возење

издржливост

доживотен замор

Вибрации, напрегање, број на циклуси

клима/средина

Отпорност на топло-ладно-влажност

температура, работен статус

NVH

Бучава/вибрации

Звучен притисок, спектар на забрзување

Судир (несреќа)

Безбедност

Видео со голема брзина, лажни сензори

Секој тест има критериум за прифаќање (барање). Анализата треба да докаже дали податоците го поминуваат овој критериум.

Што прави вештачката интелигенција при анализа на тестови?

Вештачката интелигенција е моќен асистент во анализата на податоците од тестот за:

  1. Сумирање: статистичко резиме, врвни вредности, дистрибуција од милиони редови.
  2. Означување на аномалија: „Во оваа снимка има неочекуван пад на вртежниот момент на 214 секунди“.
  3. Споредба на обрасци: Споредување на две пробни патеки или различни возила и наоѓање разлики.
  4. Нацрт извештај: изготвување на текстот на резултатот од DVP&R и графички објаснувања.
  5. Помош за кодови: Генерирање на скрипта за анализа (Python).

Но, бидете внимателни: сите овие се скици и совети. Инженерот за тестирање е тој што одлучува дали тестот ќе помине или не и дали аномалија е реална или е грешка во мерењето.

Совет: Прашајте ја вештачката интелигенција „дали овој тест помина? Наместо да прашате: „Кои региони во овие податоци покажуваат ризик според критериумите за прифаќање, какви дополнителни проверки треба да направам? прашај. Првата бара одлуки (не работата на вештачката интелигенција), втората бара совети (работата на вештачката интелигенција).

Мерење несигурност и повторливост

Ниту едно мерење не е совршено. Два концепти се критични:

  • Мерена несигурност: Природна маргина на грешка на мерниот уред. Ако растојанието за сопирање е „36,5 m“ и неизвесноста е ±0,8 m, вистинската вредност е помеѓу 35,7-37,3 m. Ако спецификацијата е 38m вие сте безбедни; но доколку спецификацијата беше 37 m, неизвесноста би била многу блиску до границата.
  • Повторливост: Дали добивате слични резултати кога повторно ќе го направите истиот тест? A single run may have passed by chance. Во автомобилската индустрија, критичните тестови се повторуваат повеќе пати, во различни возила/услови.

„Аномалијата“ означена со вештачка интелигенција всушност може да биде шум од мерење. Несигурноста и двојната проверка се од суштинско значење пред да се донесе одлука.

Внимание: вештачката интелигенција која вели „положени критериуми за прифаќање“ е измамен доколку не ја земе предвид несигурноста и дуплирањето при мерењето. Во резултатите блиску до границата, маргината на неизвесност може да го промени резултатот од тестот.

Мини студии на случај

Случај 1 - Аномалија или бучава? Во тестот за издржливост, вештачката интелигенција означува 3 ненадејни скокови во сигналот за истегнување. Тест инженерот ги разгледува необработените податоци: скоковите одговараат на точните моменти кога се рестартира логерот на податоци; Значи, тоа не е вистински структурен настан, тоа е прекин на регистрацијата. Аномалиите се документирани дека се артефакти. Резултат: вештачката интелигенција обезбеди поим, инженерот ја изолираше основната причина; автоматскиот печат за „неуспех“ би бил погрешен.

Случај 2 - Близу граничен резултат. Просечното растојание при тест на сопирачките е 37,4 m, спецификацијата е 38 m. АИ вели „помина“. Инженерот ја сфаќа мерната несигурност (±0,9 m) и дека се направени само 2 вртења; Горната граница ја надминува спецификацијата од 38,3 m. Тестот е зголемен на 6 возења и условите (жешка сопирачка, натоварено возило) се различни; Резултатот е потврден безбедно. Заклучок: Да се ​​каже „помина“ без двосмисленост и повторување е ризично.

Случај 3 - Моќта на брзото резиме. Еден NVH тест има 40 GB податоци од 12 инструменти. Вештачката интелигенција дава табела и споредба што ги сумира врвните фреквенции и амплитуди за секоја алатка; Инженерот своето внимание го насочува кон 2 проблематични возила за 20 минути наместо за 2 часа. Потоа со свои раце го испитува необработениот спектар на тие две возила. Резултат: ВИ ја направи елиминацијата, инженерот направи длабока анализа.

промптни шаблони

Шаблон 1 - Тест резиме:

Улога: Вие сте аналитичар на податоци од тестот. Задача: Сумирајте го записот на динамометарот подолу. Контекст: податоци за вртежи во минута, 1000-6000 вртежи во минута; критериум за прифаќање: врвен вртежен момент најмалку 320 Nm, без колапс во кривата на моќност. Ограничување: донесување одлуки „Помини/не успеа“; Наведете ризични зони и дополнителни контролни препораки според критериуми. Излез: Збирна статистика + зона на ризик + препорачана контрола.

Шаблон 2 - Парсирање на аномалија:

Улога: Вие сте експерт за мерење и инструменти. Задача: Водете ме да разликувам дали означените аномалии се вистински настани или артефакти од мерење. Контекст: 3 ненадејни скокови во сигналот за истегнување; Снимачот се рестартира наизменично. Излез: Можно објаснување + дискриминаторска проверка за секоја аномалија.

Шаблон 3 - Проценка на несигурност:

Улога: Вие сте консултант за метрологија (наука за мерење). Задача: Оценете ја безбедноста на резултатот според критериумите за прифаќање. Контекст: Измерена вредност 37,4 m, неизвесност ± 0,9 m, спецификација38 m, број на трки 2. Ограничување: Бидете сигурни да го земете предвид бројот на несигурност и несигурност; нагласи блискост до лимитот.Излез: Евалуација + препорака за дополнително тестирање + преостанат ризик.

Шаблон 4 - нацрт-извештај за DVP&R:

Улога: Вие сте инженер за верификација. Задача: Напишете нацрт-текст на резултатите од DVP&R за следните резултати од тестот. Контекст: Побарувањето, методот на тестирање, критериумот за прифаќање и измерената вредност се исполнети (анонимни). Ограничување: само нацрт; Не користете ја строгата изјава „одобрено“, оставете простор за инженерско одобрување. Излез: Потребно | тест | критериум | резултат | статус (нацрт).

Слаб промпт / Силен промпт

Слаба навестување:

Погледнете ги овие податоци од тестот, дали помина?

Нема критериуми за прифаќање, двосмисленост и повторување; Вештачката интелигенција вели слепо „поминува/неуспешно“, што е опасно.

Моќен потсетник:

Улога: Вие сте аналитичар на податоци за автомобилски тестови. Задача: Анализирајте ги приложените податоци од тестот на сопирачките според критериумите за прифаќање и советувајте кои дополнителни докази се потребни за одлуката. Контекст: Критериум 38 m; measurement uncertainty ±0.9 m; Постојат 2 услови; оптоварување на возилото тестирано во еден услов. Ограничување: Декларирање „Поминато“; Наведете ги ризиците и предложените дополнителни услови во смисла на несигурност и дуплирање.Излез: Ризик | оправдување | препорачана дополнителна табела за тестирање.

Вообичаени грешки

  • Да се натера вештачката интелигенција да донесе одлука за одење/неуспех. Одлуката ја носи инженерот; ВИ дава индиции.
  • Игнорирање на несигурноста при мерењето. Во резултати блиску до границата, неизвесноста го менува исходот.
  • Потпирајќи се на едно трчање. Без повторливост резултатот е кревок.
  • Веднаш разгледајте ја аномалијата како „неисправност“. Може да има артефакт/шум за снимање; Врати се на необработени податоци.
  • Слепо копирање на извештајот. Нацртот на вештачката интелигенција не може да стане официјален документ без инженерско одобрение и корекција.

Сумирано

  • Верификација мерки усогласеност со барањето, валидација мерки усогласеност со реалната потреба; DVP&R управува со овој процес.
  • Тој е моќен асистент за сумирање, означување на аномалии, споредување и изготвување извештаи за податоците од тестот за вештачка интелигенција.
  • Одлуката (поминува/не) зависи од инженерот; Навестување на вештачката интелигенција, а не знаци.
  • Без мерна несигурност и повторливост, резултатот не може да се толкува; Резултатите во близина на границата бараат посебно внимание.
  • Аномалиите мора да се одвојат со необработени податоци за да се утврди дали се вистински настани или артефакти за мерење.

Задача за апликација

Изберете тест (на пр. ладно стартување во климатската комора). (1) Напишете ги барањата, методот на тестирање и критериумите за прифаќање. (2) Побарајте резиме и анализа на ризичната зона со Шаблон 1 (без да барате одлука). (3) Оценете замислен исход во близина на границата за несигурност со Шаблон 3. (4) Направете нацрт DVP&R користејќи Шаблон 4, означувајќи кои области ги оставате на инженерско одобрување.

листа за проверка

  • [ ] Јасно ги напишав барањата и критериумите за прифаќање.
  • [ ] Побарав од вештачката интелигенција ризик/навестување, а не одлука.
  • [ ] Ја вклучив несигурноста на мерењето во резултатот.
  • [ ] Ја оценив способноста за повторливост (број на бегства).
  • [ ] Ги испитав аномалиите со необработени податоци правејќи разлика помеѓу факт и артефакт.
  • [ ] Го означив нацрт-извештајот за инженерско одобрување.