Jednostka 6 / 11

Analiza danych testowych i walidacyjnych

Zyski:

  • Umiejętność rozpoznawania typów danych testowych takich jak hamownia, test drogowy, wytrzymałościowy oraz DVP&R i ich miejsce w procesie weryfikacji
  • Możliwość wykorzystania sztucznej inteligencji do podsumowań, oznaczania anomalii i tworzenia raportów w dużych zestawach danych testowych
  • Możliwość krzyżowej weryfikacji interpretacji testów AI z niepewnością pomiaru, powtarzalnością i kryteriami akceptacji

Odpowiedź na pytanie „czy spełnia wymagania” zanim pojazd lub podzespół trafi do produkcji, kryje się w danych testowych i weryfikacyjnych. Testy w motoryzacji rozciągają się od laboratorium (dynamometr, komora klimatyczna, stół wibracyjny) po drogę (testy drogowe, tor wytrzymałościowy) i laboratorium zderzeniowe. Testy te generują ogromne ilości danych: pojedynczy test wytrzymałości może zawierać miliony wierszy rekordów czujników. W tej jednostce zobaczymy, jakie są rodzaje tych danych, jakie jest ich miejsce w procesie weryfikacji i jak sztuczna inteligencja pomaga w analizie (ale jak decyzja pozostaje w gestii inżyniera).

Co to jest weryfikacja i walidacja?

Te dwa terminy są często mylone:

  • Weryfikacja: „Czy poprawnie zbudowaliśmy produkt?” Mierzy zgodność z wymaganiem. Przykład: „Specyfikacja drogi hamowania podaje 38 metrów, a my ją zmierzyliśmy – 36,5 metra. Odpowiednia”.
  • Walidacja: „Czy stworzyliśmy właściwy produkt?” Czy spełnia wymagania w rzeczywistym użytkowaniu? Przykład: „Czy kierowcy uważają, że ten hamulec jest bezpieczny?”

W motoryzacji procesem tym zwykle zarządza się za pomocą dokumentu DVP&R (plan i raport weryfikacji projektu): jest to tabela zawierająca listę wymagań, które będą testowane za pomocą jakiego testu, według jakich kryteriów akceptacji i wyniku.

Typowe typy danych testowych

Typ testu

Jakie środki

przykładowe dane

Dynamometr (hamownia)

Moc silnika, moment obrotowy, emisja spalin

Krzywa obroty-moment obrotowy, zużycie paliwa

próba drogowa

Rzeczywiste zachowanie stanu

GPS, przyspieszenie, sygnały drogowe

trwałość

zmęczenie przez całe życie

Wibracje, odkształcenia, liczba cykli

klimat/środowisko

Odporność na wilgoć, ciepło i zimno

temperatura, stan pracy

NVH

Hałas/wibracje

Ciśnienie akustyczne, widmo przyspieszeń

Kolizja (awaria)

Bezpieczeństwo

Wideo o dużej prędkości, atrapy czujników

Każdy test ma kryterium akceptacji (wymaganie). Analiza ma wykazać, czy dane spełniają to kryterium.

Co robi sztuczna inteligencja w analizie testów?

AI to potężny asystent w analizie danych testowych, który pozwala:

  1. Podsumowanie: Podsumowanie statystyczne, wartości szczytowe, rozkład z milionów wierszy.
  2. Oznaczenie anomalii: „W tym nagraniu występuje nieoczekiwany spadek momentu obrotowego w 214 sekundzie”.
  3. Porównanie wzorców: porównanie dwóch przebiegów testowych lub różnych pojazdów i znalezienie różnic.
  4. Projekt raportu: Opracowanie tekstu wyniku DVP&R oraz objaśnień graficznych.
  5. Pomoc do kodu: Generowanie skryptu analitycznego (Python).

Ale bądź ostrożny: to wszystko są szkice i wskazówki. To inżynier testowy decyduje, czy test zakończy się pomyślnie, czy nie i czy anomalia jest rzeczywista, czy też jest to błąd pomiaru.

Wskazówka: zapytaj sztuczną inteligencję „czy ten test przeszedł pomyślnie?” Zamiast pytać: „Które regiony w tych danych wykazują ryzyko zgodnie z kryteriami akceptacji, jakie dodatkowe kontrole powinienem przeprowadzić?” zapytać. Pierwsze wymaga decyzji (nie jest zadaniem AI), drugie wymaga wskazówek (zadaniem AI).

Niepewność i powtarzalność pomiaru

Żaden pomiar nie jest doskonały. Dwie koncepcje są krytyczne:

  • Niepewność pomiaru: Naturalny margines błędu urządzenia pomiarowego. Jeżeli droga hamowania wynosi „36,5 m”, a niepewność wynosi ±0,8 m, rzeczywista wartość mieści się w przedziale 35,7–37,3 m. Jeśli specyfikacja wynosi 38 m, jesteś bezpieczny; ale gdyby specyfikacja wynosiła 37 m, niepewność byłaby bardzo bliska wartości granicznej.
  • Powtarzalność: Czy uzyskujesz podobne wyniki, wykonując ponownie ten sam test? Pojedynczy bieg mógł minąć przez przypadek. W motoryzacji krytyczne testy powtarza się wielokrotnie, w różnych pojazdach/warunkach.

„Anomalia” wskazana przez sztuczną inteligencję może w rzeczywistości być szumem pomiarowym. Przed podjęciem decyzji niezbędna jest niepewność i ponowne sprawdzenie.

Uwaga: Sztuczna inteligencja mówiąca „spełniła kryteria akceptacji” jest zwodnicza, jeśli nie uwzględnia niepewności pomiaru i powielania. W przypadku wyników bliskich granicy margines niepewności może zmienić wynik badania.

Mini studia przypadków

Przypadek 1 – Anomalia czy hałas? W teście wytrzymałościowym sztuczna inteligencja zaznacza 3 nagłe skoki sygnału obciążenia. Inżynier testowy patrzy na surowe dane: skoki odpowiadają dokładnie momentom ponownego uruchomienia rejestratora danych; Zatem nie jest to prawdziwe wydarzenie strukturalne, ale przerwa w rejestracji. Udokumentowano, że anomalie są artefaktami. Wynik: sztuczna inteligencja dostarczyła wskazówkę, inżynier wyodrębnił pierwotną przyczynę; automatyczna pieczęć „awaria” byłaby błędna.

Przypadek 2 – Wynik bliski wartości granicznej. Średni dystans w teście hamulca to 37,4 m, specyfikacja to 38 m. AI mówi „zaliczone”. Inżynier zdaje sobie sprawę z niepewności pomiaru (±0,9 m) i tego, że wykonano tylko 2 przebiegi; Górna granica przekracza specyfikację 38,3 m. Test wydłuża się do 6 przejazdów, a warunki (nagrzane hamulce, obciążony pojazd) są zróżnicowane; Wynik jest potwierdzony jako bezpieczny. Wniosek: Stwierdzenie „zaliczone” bez dwuznaczności i powtórzeń jest ryzykowne.

Przypadek 3 – Siła szybkiego podsumowania. Jeden test NVH zawiera 40 GB danych z 12 instrumentów. AI generuje tabelę i porównanie podsumowujące częstotliwości szczytowe i amplitudy dla każdego narzędzia; Inżynier kieruje swoją uwagę na 2 problematyczne pojazdy w ciągu 20 minut zamiast 2 godzin. Następnie własnymi rękami bada surowe spektrum tych dwóch pojazdów. Wynik: sztuczna inteligencja dokonała eliminacji, inżynier przeprowadził głęboką analizę.

szablony podpowiedzi

Szablon 1 – Podsumowanie testu:

Rola: Jesteś analitykiem danych testowych. Zadanie: Podsumuj poniższy zapis z hamowni. Kontekst: dane dotyczące obrotów, 1000-6000 obr/min; kryterium akceptacji: szczytowy moment obrotowy co najmniej 320 Nm, brak załamania krzywej mocy. Ograniczenie: podejmowanie decyzji typu „pozytywny/negatywny”; Wymień strefy ryzyka i dodatkowe zalecenia kontrolne według kryteriów. Wynik: statystyki podsumowujące + strefa ryzyka + zalecana kontrola.

Szablon 2 – Analiza anomalii:

Rola: Jesteś ekspertem w dziedzinie pomiarów i oprzyrządowania. Zadanie: Pomóż mi rozróżnić, czy zaznaczone anomalie są rzeczywistymi zdarzeniami, czy artefaktami pomiarowymi. Kontekst: 3 nagłe skoki sygnału odkształcenia; Rejestrator co jakiś czas uruchamia się ponownie. Wynik: możliwe wyjaśnienie + sprawdzenie dyskryminacyjne dla każdej anomalii.

Wzór 3 – Ocena niepewności:

Rola: Jesteś konsultantem metrologii (nauki o pomiarach). Zadanie: Ocenić bezpieczeństwo wyniku zgodnie z kryteriami akceptacji. Kontekst: Zmierzona wartość 37,4 m, niepewność ±0,9 m, specyfikacja 38 m, liczba przebiegów 2. Ograniczenie: Należy koniecznie uwzględnić niepewność i liczbę powtórzeń; podkreślaj bliskość limitu. Wynik: ocena + zalecenie dodatkowych testów + pozostałe ryzyko.

Wzór 4 – Wersja robocza raportu DVP&R:

Rola: Jesteś inżynierem ds. weryfikacji. Zadanie: Napisz wersję roboczą tekstu wyników DVP&R dla następujących wyników testów. Kontekst: Spełniono wymagania, metodę badania, kryterium akceptacji i zmierzoną wartość (anonimowo). Ograniczenie: tylko wersja robocza; Nie używaj ścisłego stwierdzenia „zatwierdzone”, zostaw miejsce na zatwierdzenie przez inżyniera. Wynik: Wymaganie | test | kryterium | wynik | stan (wersja robocza).

Słaba zachęta/silna zachęta

Słaba zachęta:

Spójrz na te dane testowe, czy przeszło?

Brak kryteriów akceptacji, dwuznaczności i powtórzeń; Sztuczna inteligencja mówi ślepo „pass/fail”, co jest niebezpieczne.

Potężny monit:

Rola: Jesteś analitykiem danych z testów motoryzacyjnych. Zadanie: Przeanalizuj załączone dane z testu hamulców pod kątem kryteriów akceptacji i doradź, jakie dodatkowe dowody są potrzebne do podjęcia decyzji. Kontekst: Kryterium 38 m; niepewność pomiaru ±0,9 m; Istnieją 2 warunki; obciążenie pojazdu jest testowane w jednym warunku. Ograniczenie: Deklarowanie „Zaliczone”; Wymień ryzyko i proponowane dodatkowe warunki pod względem niepewności i powielania. Wynik: Ryzyko | uzasadnienie | zalecany dodatkowy stół testowy.

Typowe błędy

  • Sprawienie, że sztuczna inteligencja podejmie decyzję o przyjęciu/porażce. Decyzję podejmuje inżynier; AI daje wskazówki.
  • Ignorowanie niepewności pomiaru. W przypadku wyników bliskich limitu niepewność zmienia wynik.
  • Poleganie na jednym biegu. Bez powtarzalności wynik jest kruchy.
  • Natychmiast potraktuj anomalię jako „awarię”. Mogą występować artefakty/szumy podczas nagrywania; Wróć do surowych danych.
  • Ślepe kopiowanie raportu. Projekt AI nie może stać się dokumentem oficjalnym bez zgody inżyniera i korekty.

Podsumowując

  • Weryfikacja mierzy zgodność z wymaganiem, walidacja mierzy zgodność z rzeczywistą potrzebą; DVP&R zarządza tym procesem.
  • Jest to potężny asystent w podsumowywaniu, oznaczaniu anomalii, porównywaniu i sporządzaniu raportów na temat danych testowych AI.
  • Decyzja (pozytywny/negatywny) należy do inżyniera; Wskazówki AI, a nie znaki.
  • Bez niepewności pomiaru i powtarzalności wyniku nie można zinterpretować; Wyniki w pobliżu limitu wymagają szczególnej uwagi.
  • Anomalie należy oddzielić od surowych danych, aby określić, czy są to rzeczywiste zdarzenia, czy artefakty pomiarowe.

Zadanie aplikacji

Wybierz test (np. rozruch na zimno w komorze klimatycznej). (1) Zapisz wymagania, metodę badania i kryteria akceptacji. (2) Poproś o podsumowanie i analizę stref ryzyka za pomocą Szablonu 1 (bez żądania decyzji). (3) Oceń wyimaginowany wynik w pobliżu granicy niepewności, korzystając z Szablonu 3. (4) Przygotuj projekt DVP&R, korzystając z Szablonu 4, wskazując, które obszary pozostawiasz do zatwierdzenia inżynierowi.

lista kontrolna

  • [ ] Jasno napisałem wymagania i kryteria akceptacji.
  • [ ] Poprosiłem sztuczną inteligencję o ryzyko/podpowiedź, a nie o decyzję.
  • [ ] Do wyniku uwzględniłem niepewność pomiaru.
  • [ ] Oceniłem biegłość w powtarzalności (liczbie przebiegów).
  • [ ] Zbadałem anomalie na podstawie surowych danych, dokonując rozróżnienia między faktem a artefaktem.
  • [ ] Zaznaczyłem wersję roboczą raportu do zatwierdzenia przez inżyniera.