Einheiten
1. Einführung in die Disziplin Künstliche Intelligenz und Verifikation im Automobilbau 2. Fahrzeugdesign- und Simulationsunterstützung: CAE, CFD und FEA 3. ADAS und autonomes Fahren: Grundlagen der Sensorik 4. Qualitätskontrolle in der Produktionslinie: Visuelle Fehlererkennung 5. Vorausschauende Wartung und Fahrzeugtelemetrie 6. Test- und Validierungsdatenanalyse 7. Materialauswahl und Leichtbau 8. Lieferketten-, Nachfrage- und Bestandsanalyse 9. Automotive-Datenanalyse mit Python: End-to-End 10. Funktionale Sicherheit, SOTIF, Ethik und Datenschutz 11. End-to-End-Integration, MLOps und Ingenieurverantwortung
Einheit 6 / 11

Test- und Validierungsdatenanalyse

Gewinne:

  • Fähigkeit, Testdatentypen wie Dynamometer, Straßentest, Ausdauer und DVP&R und deren Platz im Verifizierungsprozess zu erkennen
  • Möglichkeit, künstliche Intelligenz zu nutzen, um große Testdatensätze zusammenzufassen, Anomalien zu kennzeichnen und Berichte zu erstellen
  • Möglichkeit zur Kreuzvalidierung der KI-Testinterpretation mit Messunsicherheit, Wiederholbarkeit und Akzeptanzkriterien

Die Antwort auf die Frage „Erfüllt es die Anforderungen?“, bevor ein Fahrzeug oder eine Komponente in Produktion geht, ist in den Test- und Verifizierungsdaten verborgen. Die Prüfung im Automobilbereich erstreckt sich vom Labor (Prüfstand, Klimakammer, Rütteltisch) über die Straße (Straßentest, Dauerstrecke) bis zum Crashlabor. Diese Tests erzeugen riesige Datenmengen: Ein einzelner Dauertest kann Millionen Zeilen von Sensordatensätzen enthalten. In dieser Einheit werden wir die Arten dieser Daten, ihren Platz im Verifizierungsprozess und wie künstliche Intelligenz bei der Analyse hilft (aber wie die Entscheidung beim Ingenieur verbleibt) sehen.

Was sind Verifizierung und Validierung?

Die beiden Begriffe werden oft verwechselt:

  • Überprüfung: „Haben wir das Produkt korrekt erstellt?“ Misst die Einhaltung der Anforderung. Beispiel: „In der Bremswegangabe steht 38 Meter; wir haben 36,5 Meter gemessen. Passend.“
  • Bestätigung: „Haben wir das richtige Produkt hergestellt?“ Entspricht es den Anforderungen im realen Einsatz? Beispiel: „Fühlt sich der Fahrer mit dieser Bremse sicher an?“

Im Automobilbereich wird dieser Prozess üblicherweise mit dem DVP&R-Dokument (Design Verification Plan and Report) verwaltet: Dabei handelt es sich um eine Tabelle, in der aufgeführt ist, welche Anforderung mit welchem ​​Test, mit welchen Akzeptanzkriterien und mit dem Ergebnis getestet wird.

Typische Testdatentypen

Testtyp

Welche Maßnahmen

Beispieldaten

Dynamometer (Dyno)

Motorleistung, Drehmoment, Emissionen

Drehzahl-Drehmoment-Kurve, Kraftstoffverbrauch

Straßentest

Tatsächliches Zustandsverhalten

GPS, Beschleunigung, Fahrsignale

Haltbarkeit

lebenslange Müdigkeit

Vibration, Belastung, Zyklenzahl

Klima/Umwelt

Heiß-Kalt-Feuchtigkeitsbeständigkeit

Temperatur, Arbeitsstatus

NVH

Lärm/Vibration

Schalldruck, Beschleunigungsspektrum

Kollision (Absturz)

Sicherheit

Hochgeschwindigkeitsvideo, Dummy-Sensoren

Jeder Test hat ein Akzeptanzkriterium (Anforderung). Durch die Analyse soll nachgewiesen werden, ob die Daten dieses Kriterium erfüllen.

Was leistet künstliche Intelligenz bei der Testanalyse?

KI ist ein leistungsstarker Assistent bei der Testdatenanalyse, um:

  1. Zusammenfassung: Statistische Zusammenfassung, Spitzenwerte, Verteilung aus Millionen Zeilen.
  2. Anomaliemarkierung: „In dieser Aufzeichnung kommt es bei 214 Sekunden zu einem unerwarteten Drehmomentabfall.“
  3. Mustervergleich: Vergleichen Sie zwei Testläufe oder verschiedene Fahrzeuge und stellen Sie Unterschiede fest.
  4. Berichtsentwurf: Erstellung des DVP&R-Ergebnistextes und grafischer Erläuterungen.
  5. Code-Hilfe: Analyseskript generieren (Python).

Aber Vorsicht: Das sind alles Skizzen und Hinweise. Es ist der Testingenieur, der entscheidet, ob der Test bestanden wird oder nicht und ob eine Anomalie real oder ein Messfehler ist.

Hinweis: Fragen Sie die KI: „Hat dieser Test bestanden?“ Anstatt zu fragen: „Welche Regionen in diesen Daten weisen gemäß den Akzeptanzkriterien ein Risiko auf, welche zusätzlichen Prüfungen sollte ich durchführen?“ fragen. Das erste erfordert Entscheidungen (nicht die Aufgabe der KI), das zweite erfordert Hinweise (die Aufgabe der KI).

Messunsicherheit und Wiederholbarkeit

Keine Messung ist perfekt. Zwei Konzepte sind entscheidend:

  • Messunsicherheit: Die natürliche Fehlertoleranz eines Messgeräts. Wenn der Bremsweg „36,5 m“ beträgt und die Unsicherheit ±0,8 m beträgt, liegt der tatsächliche Wert zwischen 35,7-37,3 m. Wenn die Spezifikation 38 m beträgt, sind Sie auf der sicheren Seite; aber wenn die Spezifikation 37 m betragen würde, läge die Unsicherheit sehr nahe am Grenzwert.
  • Wiederholbarkeit: Erhalten Sie ähnliche Ergebnisse, wenn Sie denselben Test erneut durchführen? Ein einzelner Lauf könnte zufällig passiert sein. In der Automobilindustrie werden kritische Tests mehrfach und in verschiedenen Fahrzeugen/Bedingungen wiederholt.

Bei der von einer KI gemeldeten „Anomalie“ kann es sich tatsächlich um Messrauschen handeln. Unsicherheit und doppelte Kontrolle sind unerlässlich, bevor eine Entscheidung getroffen wird.

Achtung: Die Aussage der KI, „die Akzeptanzkriterien erfüllt“ zu haben, täuscht, wenn sie Messunsicherheit und Duplikate nicht berücksichtigt. Bei Ergebnissen nahe dem Grenzwert kann die Unsicherheitsmarge das Testergebnis verändern.

Mini-Fallstudien

Fall 1 – Anomalie oder Lärm? Bei einem Dauertest markiert die KI 3 plötzliche Sprünge im Dehnungssignal. Der Testingenieur schaut sich die Rohdaten an: Die Sprünge entsprechen genau den Zeitpunkten, zu denen der Datenlogger neu gestartet wird; Es handelt sich also nicht um ein echtes Strukturereignis, sondern um einen Registrierungsausfall. Es wird dokumentiert, dass Anomalien Artefakte sind. Ergebnis: KI lieferte Hinweise, Ingenieur isolierte Grundursache; Ein automatischer „Fehler“-Stempel wäre falsch.

Fall 2 – Nahezu grenzwertiges Ergebnis. Die durchschnittliche Distanz bei einem Bremstest beträgt 37,4 m, die Vorgabe liegt bei 38 m. KI sagt „bestanden“. Der Ingenieur erkennt die Messunsicherheit (±0,9 m) und dass nur 2 Durchläufe durchgeführt wurden; Die Obergrenze überschreitet die 38,3-m-Spezifikation. Der Test wird auf 6 Durchläufe erhöht und die Bedingungen (heiße Bremse, beladenes Fahrzeug) werden variiert; Das Ergebnis ist als sicher bestätigt. Fazit: Es ist riskant, ohne Mehrdeutigkeit und Wiederholung „bestanden“ zu sagen.

Fall 3 – Die Macht der kurzen Zusammenfassung. Ein NVH-Test umfasst 40 GB Daten von 12 Instrumenten. Die KI gibt eine Tabelle und einen Vergleich aus, in denen die Spitzenfrequenzen und -amplituden für jedes Werkzeug zusammengefasst sind. Der Ingenieur lenkt seine Aufmerksamkeit in 20 Minuten statt in 2 Stunden auf 2 problematische Fahrzeuge. Dann untersucht er das Rohspektrum dieser beiden Fahrzeuge mit seinen eigenen Händen. Ergebnis: Die KI hat die Eliminierung durchgeführt, der Ingenieur hat die tiefgreifende Analyse durchgeführt.

Eingabeaufforderungsvorlagen

Vorlage 1 – Testzusammenfassung:

Rolle: Sie sind der Testdatenanalyst. Aufgabe: Fassen Sie die nachstehende Dynamometeraufzeichnung zusammen. Kontext: Drehzahldaten, 1000–6000 U/min; Akzeptanzkriterium: Spitzendrehmoment mindestens 320 Nm, kein Einbruch der Leistungskurve. Einschränkung: Entscheidungsfindung „Bestanden/Nicht bestanden“; Listen Sie Risikozonen und zusätzliche Kontrollempfehlungen nach Kriterien auf. Ausgabe: Zusammenfassende Statistik + Risikozone + empfohlene Kontrolle.

Vorlage 2 – Anomalie-Analyse:

Rolle: Sie sind Experte für Mess- und Instrumentierungstechnik. Aufgabe: Helfen Sie mir bei der Unterscheidung, ob es sich bei den markierten Anomalien um echte Ereignisse oder Messartefakte handelt. Kontext: 3 plötzliche Sprünge im Dehnungssignal; Der Rekorder startet zeitweise neu. Ausgabe: Mögliche Erklärung + Diskriminanzprüfung für jede Anomalie.

Vorlage 3 – Unsicherheitsbewertung:

Rolle: Sie sind ein Berater für Messtechnik (Wissenschaft des Messens). Aufgabe: Bewerten Sie die Sicherheit des Ergebnisses anhand der Akzeptanzkriterien. Kontext: Messwert 37,4 m, Unsicherheit ± 0,9 m, Spezifikation 38 m, Anzahl der Durchläufe 2. Einschränkung: Berücksichtigen Sie unbedingt die Unsicherheit und die Anzahl der Wiederholungen. Betonen Sie die Nähe zum Grenzwert.Ausgabe: Bewertung + Empfehlung für zusätzliche Tests + verbleibendes Risiko.

Vorlage 4 – DVP&R-Berichtsentwurf:

Rolle: Sie sind der Verifizierungsingenieur. Aufgabe: Schreiben Sie einen DVP&R-Ergebnistextentwurf für die folgenden Testergebnisse. Kontext: Anforderung, Prüfmethode, Akzeptanzkriterium und Messwert sind erfüllt (anonym). Einschränkung: Nur Entwurf; Verwenden Sie nicht die strikte Aussage „genehmigt“, sondern lassen Sie Platz für die Genehmigung durch den Techniker.Ausgabe: Anforderung | testen | Kriterium | Ergebnis | Status (Entwurf).

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Schauen Sie sich diese Testdaten an. Haben sie bestanden?

Keine Akzeptanzkriterien, Mehrdeutigkeit und Wiederholung; Die KI sagt ein blindes „Bestanden/Nicht bestanden“, was gefährlich ist.

Kraftvolle Aufforderung:

Rolle: Sie sind ein Automotive-Testdatenanalyst. Aufgabe: Analysieren Sie die beigefügten Bremstestdaten anhand der Akzeptanzkriterien und legen Sie fest, welche zusätzlichen Nachweise für die Entscheidung erforderlich sind. Kontext: Kriterium 38 m; Messunsicherheit ±0,9 m; Es gibt zwei Bedingungen: Fahrzeuglast wird unter einer Bedingung getestet. Einschränkung: Erklärung als „bestanden“; Listen Sie Risiken und vorgeschlagene zusätzliche Bedingungen im Hinblick auf Unsicherheit und Doppelarbeit auf.Ausgabe: Risiko | Begründung | Empfohlener zusätzlicher Prüftisch.

Häufige Fehler

  • Die KI dazu bringen, eine Go/Fail-Entscheidung zu treffen. Die Entscheidung trifft der Ingenieur; KI gibt Hinweise.
  • Messunsicherheit ignorieren. Bei Ergebnissen nahe dem Grenzwert verändert die Unsicherheit das Ergebnis.
  • Verlassen Sie sich auf einen Lauf. Ohne Wiederholbarkeit ist das Ergebnis fragil.
  • Betrachten Sie die Anomalie sofort als „Fehlfunktion“. Es kann zu Aufnahmeartefakten/Rauschen kommen; Zurück zu den Rohdaten.
  • Den Bericht blind kopieren. Der KI-Entwurf kann ohne die Genehmigung und Korrektur durch den Ingenieur nicht zum offiziellen Dokument werden.

Zusammenfassend

  • Die Verifizierung misst die Einhaltung der Anforderung, die Validierung misst die Einhaltung des tatsächlichen Bedarfs; DVP&R verwaltet diesen Prozess.
  • Es ist ein leistungsstarker Assistent beim Zusammenfassen, Markieren von Anomalien, Vergleichen und Erstellen von Berichten zu KI-Testdaten.
  • Die Entscheidung (bestanden/nicht bestanden) liegt beim Ingenieur; KI-Hinweise, keine Zeichen.
  • Ohne Messunsicherheit und Wiederholbarkeit ist das Ergebnis nicht interpretierbar; Ergebnisse nahe dem Grenzwert erfordern besondere Aufmerksamkeit.
  • Anomalien müssen mit Rohdaten getrennt werden, um festzustellen, ob es sich um echte Ereignisse oder Messartefakte handelt.

Anwendungsaufgabe

Wählen Sie einen Test (z. B. Kaltstart in der Klimakammer). (1) Schreiben Sie die Anforderungen, die Testmethode und die Akzeptanzkriterien auf. (2) Fordern Sie eine Zusammenfassung und Risikozonenanalyse mit Vorlage 1 an (ohne eine Entscheidung anzufordern). (3) Bewerten Sie mit Vorlage 3 ein imaginäres Ergebnis nahe der Unsicherheitsgrenze. (4) Erstellen Sie mithilfe von Vorlage 4 einen DVP&R-Entwurf und geben Sie an, welche Bereiche Sie der Genehmigung durch den Ingenieur überlassen.

Checkliste

  • [ ] Ich habe die Anforderungen und Akzeptanzkriterien klar formuliert.
  • [ ] Ich habe die KI um ein Risiko/einen Hinweis gebeten, nicht um eine Entscheidung.
  • [ ] Ich habe die Messunsicherheit in das Ergebnis einbezogen.
  • [ ] Ich habe die Wiederholbarkeit (Anzahl der Durchläufe) bewertet.
  • [ ] Ich habe die Anomalien mit Rohdaten untersucht, indem ich zwischen Fakten und Artefakten unterschieden habe.
  • [ ] Ich habe den Berichtsentwurf zur Genehmigung durch den Ingenieur markiert.
Zurück Weiter