Egység 6 / 11

Teszt és érvényesítési adatok elemzése

Nyereség:

  • Képes felismerni a tesztadattípusokat, például a próbapadot, a közúti tesztet, az állóképességet és a DVP&R-t, és ezek helyét az ellenőrzési folyamatban
  • Mesterséges intelligencia használatának képessége összegzésre, anomáliák megjelölésére és jelentéstervezetekre nagy tesztadatkészletekben
  • Az AI tesztértelmezésének keresztellenőrzése a mérési bizonytalanság, ismételhetőség és elfogadási kritériumokkal

A „megfelel-e a követelményeknek” kérdésre adott válasz a jármű vagy alkatrész gyártásba kerülése előtt el van rejtve a vizsgálati és ellenőrzési adatokban. Az autóiparban végzett tesztelés a laboratóriumtól (dinamométer, klímakamra, vibrációs asztal) az úttestig (közúti teszt, állóképességi pálya) és az ütközési laboratóriumig terjed. Ezek a tesztek hatalmas adatokat generálnak: egyetlen tartóssági teszt több millió sornyi szenzorrekordot tartalmazhat. Ebben az egységben látni fogjuk ezen adatok típusait, az ellenőrzési folyamatban elfoglalt helyét, valamint azt, hogy a mesterséges intelligencia hogyan segít az elemzésben (de hogyan marad a döntés a mérnöknél).

Mi az ellenőrzés és érvényesítés?

A két kifejezést gyakran összekeverik:

  • Ellenőrzés: "Helyesen építettük meg a terméket?" Méri a követelménynek való megfelelést. Példa: "A fékút specifikációja 38 métert ír; mi mértük, 36,5 méter. Megfelelő."
  • Érvényesítés: "A megfelelő terméket készítettük?" Valós használatban megfelel az igényeknek? Példa: „Biztonságban érzik magukat a járművezetők ez a fék?”

Az autóiparban ezt a folyamatot általában a DVP&R (Design Verification Plan and Report) dokumentummal kezelik: ez egy táblázat, amely felsorolja, hogy melyik követelményt melyik teszttel, milyen elfogadási kritériumokkal és milyen eredménnyel tesztelik.

Tipikus vizsgálati adattípusok

Teszt típusa

Milyen intézkedéseket

mintaadatok

dinamométer (dinamométer)

Motor teljesítmény, nyomaték, károsanyag-kibocsátás

Fordulatszám-nyomaték görbe, üzemanyag-fogyasztás

közúti teszt

A tényleges állapot viselkedése

GPS, gyorsulás, vezetési jelek

tartósság

egész életen át tartó fáradtság

Rezgés, feszültség, ciklusok száma

klíma/környezet

Hideg-meleg-nedvességállóság

hőmérséklet, üzemállapot

NVH

Zaj/rezgés

Hangnyomás, gyorsulási spektrum

Ütközés (baleset)

Biztonság

Nagy sebességű videó, dummy érzékelők

Minden tesztnek van egy elfogadási kritériuma (követelménye). Az elemzés célja annak bizonyítása, hogy az adatok megfelelnek-e ennek a kritériumnak.

Mit csinál a mesterséges intelligencia a tesztelemzésben?

Az AI hatékony asszisztens a tesztadatok elemzésében, hogy:

  1. Összegzés: Statisztikai összesítés, csúcsértékek, eloszlás több millió sorból.
  2. Anomália jelölése: "Váratlan nyomatékcsökkenés 214 másodpercnél ezen a felvételen."
  3. Minta-összehasonlítás: Két tesztfutás vagy különböző járművek összehasonlítása és különbségek megállapítása.
  4. Jelentéstervezet: A DVP&R eredményszöveg és grafikus magyarázatok megfogalmazása.
  5. Kód súgó: Elemző szkript generálása (Python).

De légy óvatos: ezek mind vázlatok és tippek. A tesztmérnök dönti el, hogy a teszt sikeres-e vagy sem, és hogy az anomália valós vagy mérési hiba.

Tipp: Kérdezd meg az AI-t, hogy "sikerült ez a teszt?" Ahelyett, hogy megkérdezném: "Az adatok mely régiói mutatnak kockázatot az elfogadási kritériumok szerint, milyen további ellenőrzéseket kell elvégeznem?" kérdez. Az első döntéseket igényel (nem az AI feladata), a másodikhoz tippekre van szükség (az AI feladata).

A mérési bizonytalanság és ismételhetőség

Egyik mérés sem tökéletes. Két fogalom kritikus:

  • Mérési bizonytalanság: A mérőeszköz természetes hibahatára. Ha a fékút "36,5 m" és a bizonytalanság ±0,8 m, akkor a tényleges érték 35,7-37,3 m között van. Ha a specifikáció 38 m, akkor biztonságban van; de ha a specifikáció 37 m lenne, akkor a bizonytalanság nagyon közel lenne a határhoz.
  • Megismételhetőség: Hasonló eredményeket kap, ha újra elvégzi ugyanazt a tesztet? Lehet, hogy egyetlen futás véletlenül telt el. Az autóiparban a kritikus teszteket többször megismétlik, különböző járművekben/körülmények között.

Az AI által megjelölt "anomália" valójában mérési zaj lehet. A határozathozatal előtt elengedhetetlen a bizonytalanság és a kettős ellenőrzés.

Figyelem: A mesterséges intelligencia „elfogadási feltételek teljesítése” megtévesztő, ha nem veszi figyelembe a mérési bizonytalanságot és a párhuzamosságot. A határértékhez közeli eredményeknél a bizonytalansági határ megváltoztathatja a teszt eredményét.

Mini esettanulmányok

1. eset – Rendellenesség vagy zaj? Az állóképességi teszt során az AI 3 hirtelen ugrást jelez a feszültségjelben. A tesztmérnök megnézi a nyers adatokat: az ugrások pontosan az adatrögzítő újraindításának pillanatainak felelnek meg; Tehát nem valódi szerkezeti eseményről van szó, hanem regisztrációs kiesésről. Az anomáliák műtermékekként vannak dokumentálva. Eredmény: A mesterséges intelligencia nyomot adott, a mérnök izolálta a kiváltó okot; az automatikus "hiba" bélyegző rossz lenne.

2. eset – Határközeli eredmény. A fékpróba átlagos távolsága 37,4 m, a specifikáció 38 m. Az AI azt mondja, hogy „megfelelt”. A mérnök felismeri a mérési bizonytalanságot (±0,9 m), és azt, hogy csak 2 futást hajtottak végre; A felső határ meghaladja a 38,3 m-es előírást. A tesztet 6 menetre növelik, és a feltételeket (forró fék, terhelt jármű) változtatják; Az eredmény biztonságosnak bizonyult. Következtetés: Kétértelműség és ismétlés nélkül azt mondani, hogy „megfelelt”, kockázatos.

3. eset – A gyors összefoglaló ereje. Egy NVH teszt 40 GB adatot tartalmaz 12 műszerről. Az AI egy táblázatot és összehasonlítást ad ki, amely összefoglalja az egyes eszközök csúcsfrekvenciáit és amplitúdóit; A mérnök 2 óra helyett 20 perc alatt 2 problémás járműre irányítja a figyelmét. Majd saját kezűleg megvizsgálja annak a két járműnek a nyers spektrumát. Eredmény: A mesterséges intelligencia az eltávolítást, a mérnök a mélyelemzést végezte el.

prompt sablonok

1. sablon – Teszt összefoglaló:

Szerep: Ön a tesztadatok elemzője. Feladat: Foglalja össze az alábbi dinamométer rekordot! Kontextus: RPM adatok, 1000-6000 rpm; Elfogadási kritérium: csúcsnyomaték legalább 320 Nm, nincs összeomlás a teljesítménygörbében. Kényszer: „Megfelel/nem” döntéshozatal; Sorolja fel a kockázati zónákat és a további ellenőrzési ajánlásokat a kritériumoknak megfelelően. Kimenet: Összefoglaló statisztika + kockázati zóna + ajánlott kontroll.

2. sablon – Anomália elemzése:

Szerep: Ön mérési és műszerészeti szakértő. Feladat: Segítsen annak megkülönböztetésében, hogy a megjelölt anomáliák valós események vagy mérési műtermékek-e. Kontextus: 3 hirtelen ugrás a feszültségjelben; A felvevő szakaszosan újraindul. Kimenet: Lehetséges magyarázat + megkülönböztető ellenőrzés minden anomáliára.

3. sablon – Bizonytalansági értékelés:

Munkakör: Ön méréstudományi (méréstudományi) szaktanácsadó.Feladat: Értékelje az eredmény biztonságosságát az elfogadási kritériumok szerint.Kontextus: Mért érték 37,4 m, bizonytalanság ±0,9 m, specifikáció38 m, futások száma 2.Kényszer: Ügyeljen arra, hogy vegye figyelembe a bizonytalanságot és az ismétlések számát; hangsúlyozzák a határ közelségét.Kimenet: Értékelés + ajánlás további tesztelésre + fennmaradó kockázat.

4. sablon – DVP&R jelentéstervezet:

Szerep: Ön az ellenőrző mérnök. Feladat: Írjon DVP&R eredményszöveg vázlatot a következő teszteredményekhez! Kontextus: A követelmény, a vizsgálati módszer, az elfogadási kritérium és a mért érték teljesül (anonim). Megszorítás: Csak vázlat; Ne használja a szigorú „jóváhagyott” kifejezést, hagyjon helyet a mérnök jóváhagyásának.Kimenet: Követelmény | teszt | kritérium | eredmény | állapot (tervezet).

Gyenge felszólítás / Erős felszólítás

Gyenge felszólítás:

Nézd meg ezt a tesztadatokat, sikerült?

Nincsenek elfogadási kritériumok, kétértelműség és ismétlődés; Az AI vak „megfelelt/nem sikerült”, ami veszélyes.

Erőteljes felszólítás:

Szerep: Ön autóipari tesztadatok elemzője. Feladat: Elemezze a csatolt fékvizsgálati adatokat az elfogadási kritériumok alapján, és adja meg, milyen további bizonyítékok szükségesek a döntéshez. Kontextus: 38 m kritérium; mérési bizonytalanság ±0,9 m; 2 feltétel létezik; a jármű terhelése egy feltétellel tesztelt. Kényszer: „Megfelelve”; Sorolja fel a kockázatokat és a javasolt további feltételeket a bizonytalanság és a duplikáció tekintetében.Kimenet: Kockázat | indoklás | ajánlott kiegészítő vizsgálati táblázat.

Gyakori hibák

  • A mesterséges intelligencia meghozatala a „go/bad” döntés meghozatalakor. A döntést a mérnök hozza meg; Az AI nyomokat ad.
  • A mérési bizonytalanság figyelmen kívül hagyása. A határhoz közeli eredményeknél a bizonytalanság megváltoztatja az eredményt.
  • Egy futásra hagyatkozva. Megismételhetőség nélkül az eredmény törékeny.
  • Azonnal tekintse az anomáliát "hibás működésnek". Felvételi műtermék/zaj lehet; Vissza a nyers adatokhoz.
  • A jelentés vakmásolása. Az AI tervezet nem válhat hivatalos dokumentummá mérnöki jóváhagyás és javítás nélkül.

Összefoglalva

  • Az ellenőrzés a követelménynek való megfelelést, az érvényesítés a tényleges szükségletnek való megfelelést méri; A DVP&R kezeli ezt a folyamatot.
  • Hatékony asszisztens az AI-tesztadatok összegzésében, anomáliák megjelölésében, összehasonlításában és jelentések elkészítésében.
  • A döntés (megfelelt/nem) a mérnökön múlik; Az AI tippek, nem jelek.
  • A mérési bizonytalanság és ismételhetőség nélkül az eredmény nem értelmezhető; A határhoz közeli eredmények különös figyelmet igényelnek.
  • Az anomáliákat nyers adatokkal kell elválasztani annak meghatározásához, hogy valós eseményekről vagy mérési műtermékekről van-e szó.

Pályázati feladat

Válasszon tesztet (pl. hidegindítás a klímakamrában). (1) Írja le a követelményt, a vizsgálati módszert és az elfogadási kritériumokat! (2) Kérjen összegzést és kockázati zóna elemzést az 1. sablonnal (határozat kérése nélkül). (3) Értékeljen egy képzeletbeli eredményt a bizonytalansági határ közelében a 3. sablonnal. (4) Készítsen DVP&R tervezetet a 4. sablon segítségével, jelezve, hogy mely területeket hagyja el mérnöki jóváhagyásra.

ellenőrző lista

  • [ ] A követelményeket és az elfogadási feltételeket egyértelműen leírtam.
  • [ ] Kockázatot/tanácsot kértem az AI-tól, nem döntést.
  • [ ] A mérési bizonytalanságot beleszámoltam az eredménybe.
  • [ ] Az ismételhetőség (futások száma) jártasságát értékeltem.
  • [ ] Az anomáliákat nyers adatokkal vizsgáltam úgy, hogy különbséget tettem tény és műtárgy között.
  • [ ] A jelentéstervezetet megjelöltem mérnöki jóváhagyásra.