Unitate 6 / 11

Analiza datelor de testare și validare

Câștiguri:

  • Abilitatea de a recunoaște tipurile de date de testare, cum ar fi dinamometrul, testul rutier, anduranța și DVP&R și locul lor în procesul de verificare
  • Abilitatea de a utiliza inteligența artificială pentru a rezuma, semnala anomalii și redacta rapoarte în seturi mari de date de testare
  • Abilitatea de a valida încrucișată interpretarea testului AI cu incertitudinea măsurării, repetabilitate și criterii de acceptare

Răspunsul la întrebarea „îndeplinește cerințele” înainte ca un vehicul sau o componentă să intre în producție este ascuns în datele de testare și verificare. Testarea în automobile se extinde de la laborator (dinamometru, cameră climatică, masă de vibrații) până la drum (test rutier, pistă de anduranță) și laboratorul de impact. Aceste teste generează date masive: un singur test de anduranță poate conține milioane de rânduri de înregistrări cu senzori. În această unitate, vom vedea tipurile acestor date, locul lor în procesul de verificare și modul în care inteligența artificială ajută la analiză (dar cum decizia rămâne în sarcina inginerului).

Ce sunt verificarea și validarea?

Cei doi termeni sunt adesea confundați:

  • Verificare: „Am construit produsul corect?” Măsoară conformitatea cu cerințele. Exemplu: „Specificația distanței de frânare spune 38 de metri; am măsurat-o, 36,5 metri. Potrivit.”
  • Validare: „Am făcut produsul potrivit?” Îndeplinește nevoile în uz real? Exemplu: „Șoferii consideră că această frână se simt în siguranță?”

În domeniul auto, acest proces este de obicei gestionat cu documentul DVP&R (Design Verification Plan and Report): este un tabel care listează ce cerință va fi testată cu ce test, cu ce criterii de acceptare și rezultatul.

Tipuri tipice de date de testare

Tipul testului

Ce masuri

date mostre

Dinamometru (dinometru)

Puterea motorului, cuplul, emisiile

Curba RPM-cuplu, consum de combustibil

test rutier

Comportamentul în stare reală

GPS, accelerație, semnale de conducere

durabilitate

oboseală pe tot parcursul vieții

Vibrația, încordarea, numărul de cicluri

climat/mediu

Rezistenta la cald-rece-umiditate

temperatura, starea de lucru

NVH

Zgomot/vibrații

Presiunea sonoră, spectrul de accelerație

Ciocnire (coliziune)

Securitate

Video de mare viteză, senzori falsi

Fiecare test are un criteriu de acceptare (cerință). Analiza este de a demonstra dacă datele îndeplinesc acest criteriu.

Ce face inteligența artificială în analiza testelor?

AI este un asistent puternic în analiza datelor de testare pentru:

  1. Rezumat: Rezumat statistic, valori de vârf, distribuție din milioane de rânduri.
  2. Marcaj de anomalie: „Există o scădere neașteptată a cuplului la 214 secunde în această înregistrare”.
  3. Comparație de modele: compararea a două teste sau vehicule diferite și găsirea diferențelor.
  4. Schiță de raport: Elaborarea textului rezultatului DVP&R și a explicațiilor grafice.
  5. Ajutor cod: Generarea scriptului de analiză (Python).

Dar aveți grijă: toate acestea sunt schițe și indicii. Inginerul de testare este cel care decide dacă testul trece sau nu și dacă o anomalie este reală sau o eroare de măsurare.

Sugestie: Întrebați AI „a trecut acest test?” În loc să întreb: „Ce regiuni din aceste date prezintă riscuri conform criteriilor de acceptare, ce verificări suplimentare ar trebui să fac?” intreaba. Primul necesită decizii (nu treaba AI), al doilea necesită indicii (slujba AI).

Incertitudinea de măsurare și repetabilitate

Nicio măsurătoare nu este perfectă. Două concepte sunt critice:

  • Incertitudine de măsurare: Marja naturală de eroare a unui dispozitiv de măsurare. Dacă distanța de frânare este „36,5 m” și incertitudinea este de ±0,8 m, valoarea reală este între 35,7-37,3 m. Dacă specificația este de 38 m, ești în siguranță; dar dacă specificația ar fi de 37 m, incertitudinea ar fi foarte aproape de limită.
  • Repetabilitate: obțineți rezultate similare când faceți din nou același test? O singură cursă poate să fi trecut întâmplător. În auto, testele critice sunt repetate de mai multe ori, în diferite vehicule/condiții.

„Anomalia” semnalată de o IA poate fi de fapt zgomot de măsurare. Incertitudinea și dubla verificare sunt esențiale înainte de a lua o decizie.

Atenție: AI care spune „criteriile de acceptare trecute” este înșelătoare dacă nu ține cont de incertitudinea măsurării și dublarea. La rezultate apropiate de limită, marja de incertitudine poate modifica rezultatul testului.

Mini studii de caz

Cazul 1 - Anomalie sau zgomot? Într-un test de anduranță, AI marchează 3 salturi bruște în semnalul de deformare. Inginerul de testare se uită la datele brute: salturile corespund momentelor exacte în care data logger-ul este repornit; Deci nu este un eveniment structural real, este o întrerupere a înregistrării. Anomaliile sunt documentate a fi artefacte. Rezultat: AI a oferit un indiciu, inginer a izolat cauza principală; ștampila automată „eșec” ar fi greșită.

Cazul 2 - Rezultat aproape de limită. Distanța medie într-un test de frânare este de 37,4 m, specificația este de 38 m. AI spune "trecut". Inginerul realizează incertitudinea de măsurare (±0,9 m) și că au fost efectuate doar 2 curse; Limita superioară depășește specificația de 38,3 m. Testul este mărit la 6 rulări și condițiile (frână fierbinte, vehicul încărcat) sunt variate; Rezultatul este confirmat sigur. Concluzie: A spune „a trecut” fără ambiguitate și repetare este riscant.

Cazul 3 - Puterea rezumatului rapid. Un test NVH are 40 GB de date de la 12 instrumente. AI emite un tabel și o comparație care rezumă frecvențele și amplitudinile de vârf pentru fiecare instrument; Inginerul își îndreaptă atenția către 2 vehicule problematice în 20 de minute în loc de 2 ore. Apoi examinează spectrul brut al acelor două vehicule cu propriile sale mâini. Rezultat: AI a făcut eliminarea, inginerul a făcut analiza profundă.

șabloane prompte

Șablon 1 - Rezumatul testului:

Rol: Sunteți analistul datelor de testare. Sarcină: Rezumați înregistrarea dinamometrului de mai jos. Context: date RPM, 1000-6000 rpm; criteriu de acceptare: cuplu maxim de cel puțin 320 Nm, fără colaps în curba puterii. Constrângere: luarea deciziilor „Succes/Eșuează”; Enumerați zonele de risc și recomandările suplimentare de control conform criteriilor. Rezultat: Rezumat statistici + zonă de risc + control recomandat.

Șablonul 2 - Analiza anomaliilor:

Rol: Sunteți expert în măsurare și instrumentare. Sarcină: Îndrumă-mă în a distinge dacă anomaliile marcate sunt evenimente reale sau artefacte de măsurare. Context: 3 salturi bruște în semnalul de deformare; Recorderul repornește intermitent. Ieșire: explicație posibilă + verificare discriminantă pentru fiecare anomalie.

Modelul 3 - Evaluarea incertitudinii:

Rol: Sunteți consultant în metrologie (știința măsurării). Sarcină: Evaluați siguranța rezultatului conform criteriilor de acceptare. Context: Valoare măsurată 37,4 m, incertitudine ±0,9 m, specificație 38 m, număr de rulări 2. Constrângere: Asigurați-vă că țineți cont de incertitudine și numărul de repetări; subliniază apropierea de limită. Rezultat: Evaluare + recomandare pentru testare suplimentară + risc rămas.

Șablon 4 - schiță de raport DVP&R:

Rol: Sunteți inginer de verificare. Sarcină: Scrieți o schiță de text cu rezultatul DVP&R pentru următoarele rezultate ale testului. Context: cerințele, metoda de testare, criteriul de acceptare și valoarea măsurată sunt îndeplinite (anonim). Constrângere: numai schiță; Nu utilizați declarația strictă „aprobat”, lăsați un spațiu pentru aprobarea inginerului. Ieșire: Cerință | test | criteriu | rezultat | stare (proiect).

Prompt slab / Prompt puternic

Prompt slab:

Uită-te la aceste date de testare, a trecut?

Fără criterii de acceptare, ambiguitate și repetiție; AI-ul spune un „pass/eșuat” orb, ceea ce este periculos.

Solicitare puternică:

Rol: Sunteți un analist de date de testare auto. Sarcină: Analizați datele de testare a frânelor atașate în raport cu criteriile de acceptare și sfătuiți ce dovezi suplimentare sunt necesare pentru decizie. Context: Criteriul 38 m; incertitudine de măsurare ±0,9 m; Există 2 condiții; încărcarea vehiculului este testată într-o singură condiție. Constrângere: Declararea „Succesă”; Enumerați riscurile și condițiile suplimentare propuse în ceea ce privește incertitudinea și duplicarea. Rezultat: Risc | justificare | tabelul de testare suplimentar recomandat.

Greșeli comune

  • Făcând AI să ia o decizie de merge/eșuează. Decizia este luată de inginer; AI oferă indicii.
  • Ignorarea incertitudinii de măsurare. În rezultatele apropiate de limită, incertitudinea schimbă rezultatul.
  • Bazându-se pe o singură cursă. Fără repetabilitate, rezultatul este fragil.
  • Considerați imediat anomalia ca pe o „defecțiune”. Poate exista artefact/zgomot de înregistrare; Reveniți la datele brute.
  • Copiere oarbă a raportului. Proiectul AI nu poate deveni document oficial fără aprobarea și corectarea inginerului.

Pe scurt

  • Măsuri de verificare a conformității cu cerința, măsuri de validare a conformității cu nevoia reală; DVP&R gestionează acest proces.
  • Este un asistent puternic în rezumarea, marcarea anomaliilor, compararea și elaborarea rapoartelor privind datele de testare AI.
  • Decizia (proces/eșec) este la latitudinea inginerului; Sugestii AI, nu semne.
  • Fără incertitudine de măsurare și repetabilitate, rezultatul nu poate fi interpretat; Rezultatele apropiate de limită necesită o atenție specială.
  • Anomaliile trebuie separate cu date brute pentru a determina dacă sunt evenimente reale sau artefacte de măsurare.

Sarcina de aplicare

Selectați un test (de exemplu, pornire la rece în camera de climă). (1) Scrieți cerința, metoda de testare și criteriile de acceptare. (2) Solicitați un rezumat și o analiză a zonei de risc cu șablonul 1 (fără a solicita o decizie). (3) Evaluați un rezultat imaginar aproape de limita de incertitudine cu șablonul 3. (4) Produceți o schiță DVP&R folosind șablonul 4, indicând zonele pe care le lăsați pentru aprobarea inginerului.

lista de verificare

  • [ ] Am scris clar cerințele și criteriile de acceptare.
  • [ ] Am cerut AI un risc/hint, nu o decizie.
  • [ ] Am inclus incertitudinea de măsurare în rezultat.
  • [ ] Am evaluat capacitatea de repetabilitate (numărul de rulări).
  • [ ] Am examinat anomaliile cu date brute făcând o distincție între fapt și artefact.
  • [ ] Am marcat proiectul de raport pentru aprobarea inginerului.