Jednotka 6 / 11

Analýza dát testovania a validácie

zisky:

  • Schopnosť rozpoznať typy testovacích údajov, ako je dynamometer, cestný test, vytrvalosť a DVP&R, a ich miesto v procese overovania
  • Schopnosť používať umelú inteligenciu na zhrnutie, označenie anomálií a návrh správ vo veľkých súboroch testovacích údajov
  • Schopnosť krížovo overiť interpretáciu testu AI s kritériami neistoty merania, opakovateľnosti a prijateľnosti

Odpoveď na otázku „spĺňa požiadavky“ predtým, ako sa vozidlo alebo komponent dostane do výroby, sa skrýva v údajoch o testoch a overovaní. Testovanie v automobilovom priemysle siaha od laboratória (dynamometer, klimatická komora, vibračný stôl) až po cestu (cestný test, vytrvalostná trať) a nárazové laboratórium. Tieto testy generujú obrovské dáta: jeden test odolnosti môže obsahovať milióny riadkov záznamov senzorov. V tejto časti uvidíme typy týchto údajov, ich miesto v procese overovania a ako umelá inteligencia pomáha pri analýze (ale ako rozhodnutie zostáva na inžinierovi).

Čo je overovanie a validácia?

Tieto dva pojmy sa často zamieňajú:

  • Overenie: "Postavili sme produkt správne?" Meria súlad s požiadavkou. Príklad: "Špecifikácia brzdnej dráhy hovorí o 38 metroch; my sme to namerali 36,5 metra. Vhodné."
  • Overenie: "Vyrobili sme správny produkt?" Spĺňa potreby pri reálnom používaní? Príklad: „Cítia vodiči túto brzdu bezpečne?

V automobilovom priemysle je tento proces zvyčajne riadený dokumentom DVP&R (Design Verification Plan and Report): je to tabuľka, ktorá uvádza, ktorá požiadavka bude testovaná akým testom, s akými akceptačnými kritériami a výsledok.

Typické typy testovacích údajov

Typ testu

Aké opatrenia

vzorové údaje

Dynamometer (dyno)

Výkon motora, krútiaci moment, emisie

Krivka otáčok-krútiaci moment, spotreba paliva

cestná skúška

Skutočné správanie stavu

GPS, zrýchlenie, jazdné signály

trvanlivosť

celoživotná únava

Vibrácie, napätie, počet cyklov

klíma/životné prostredie

Odolnosť proti horúcej-studenej-vlhkosti

teplota, pracovný stav

NVH

Hluk/vibrácie

Akustický tlak, spektrum zrýchlenia

kolízia (nehoda)

Bezpečnosť

Vysokorýchlostné video, fiktívne senzory

Každý test má akceptačné kritérium (požiadavku). Analýza má dokázať, či údaje spĺňajú toto kritérium.

Čo robí umelá inteligencia v testovacej analýze?

AI je výkonným pomocníkom pri analýze testovacích údajov, aby:

  1. Sumarizácia: Štatistický sumár, špičkové hodnoty, rozdelenie z miliónov riadkov.
  2. Označenie anomálie: "V tomto zázname je neočakávaný pokles krútiaceho momentu po 214 sekundách."
  3. Porovnanie vzorov: Porovnanie dvoch testovacích jázd alebo rôznych vozidiel a nájdenie rozdielov.
  4. Návrh správy: Návrh textu výsledku DVP&R a grafického vysvetlenia.
  5. Pomoc s kódom: Generovanie skriptu analýzy (Python).

Ale buďte opatrní: toto všetko sú náčrty a rady. O tom, či test prejde alebo nie, a či ide o skutočnú anomáliu alebo o chybu merania, rozhoduje skúšobný inžinier.

Tip: Opýtajte sa AI „prešiel tento test? Namiesto toho, aby som sa pýtal: „Ktoré regióny v týchto údajoch vykazujú riziko podľa kritérií prijatia, aké ďalšie kontroly by som mal vykonať?“ spýtaj sa. Prvá vyžaduje rozhodnutia (nie úloha AI), druhá vyžaduje rady (úloha AI).

Neistota a opakovateľnosť merania

Žiadne meranie nie je dokonalé. Rozhodujúce sú dva koncepty:

  • Neistota merania: Prirodzená odchýlka chyby meracieho zariadenia. Ak je brzdná dráha "36,5 m" a neistota je ±0,8 m, skutočná hodnota je medzi 35,7-37,3 m. Ak je špecifikácia 38 m, ste v bezpečí; ale ak by bola špecifikácia 37 m, neistota by bola veľmi blízko limitu.
  • Opakovateľnosť: Máte podobné výsledky, keď robíte rovnaký test znova? Jediný beh mohol prejsť náhodou. V automobilovom priemysle sa kritické testy opakujú viackrát, v rôznych vozidlách/podmienkach.

„Anomália“ označená AI môže byť v skutočnosti šumom merania. Pred rozhodnutím je nevyhnutná neistota a dvojitá kontrola.

Upozornenie: AI hovorí, že „splnené akceptačné kritériá“ je klamlivé, ak nezohľadňuje neistotu merania a duplicitu. Vo výsledkoch blízkych limitu môže hranica neistoty zmeniť výsledok testu.

Mini prípadové štúdie

Prípad 1 – Anomália alebo hluk? V teste odolnosti AI označí 3 náhle skoky v signále napätia. Skúšobný technik sa pozrie na nespracované údaje: skoky zodpovedajú presným momentom, keď sa záznamník údajov reštartuje; Nejde teda o skutočnú štrukturálnu udalosť, ale o výpadok registrácie. Anomálie sú zdokumentované ako artefakty. Výsledok: AI poskytla vodítko, inžinier izoloval hlavnú príčinu; automatická pečiatka „zlyhanie“ by bola chybná.

Prípad 2 – Výsledok takmer hraničný. Priemerná vzdialenosť pri teste bŕzd je 37,4 m, špecifikácia je 38 m. AI hovorí „prešlo“. Inžinier si uvedomuje neistotu merania (±0,9 m) a že boli vykonané iba 2 cykly; Horná hranica presahuje špecifikáciu 38,3 m. Skúška sa zvýši na 6 jázd a podmienky (teplá brzda, naložené vozidlo) sa menia; Výsledok je potvrdený ako bezpečný. Záver: Povedať „vyhovel“ bez dvojznačnosti a opakovania je riskantné.

Prípad 3 – Sila rýchleho zhrnutia. Jeden test NVH má 40 GB dát z 12 prístrojov. AI ​​vytvára tabuľku a porovnanie, ktoré sumarizuje špičkové frekvencie a amplitúdy pre každý nástroj; Inžinier upriami svoju pozornosť na 2 problematické vozidlá za 20 minút namiesto 2 hodín. Potom vlastnými rukami skúma surové spektrum týchto dvoch vozidiel. Výsledok: AI vykonala elimináciu, inžinier vykonal hĺbkovú analýzu.

šablóny výzvy

Šablóna 1 – Súhrn testu:

Úloha: Ste analytik testovacích údajov. Úloha: Zhrňte záznam dynamometra nižšie. Kontext: údaje o otáčkach, 1000-6000 otáčok za minútu; akceptačné kritérium: špičkový krútiaci moment najmenej 320 Nm, bez kolapsu krivky výkonu. Obmedzenie: rozhodovanie „vyhovel/nevyhovel“; Uveďte rizikové zóny a dodatočné kontrolné odporúčania podľa kritérií. Výstup: Súhrnná štatistika + riziková zóna + odporúčaná kontrola.

Šablóna 2 – Analýza anomálií:

Úloha: Ste odborník na meranie a prístrojové vybavenie. Úloha: Usmernite ma pri rozlišovaní, či označené anomálie sú skutočné udalosti alebo artefakty merania. Kontext: 3 náhle skoky v signále napätia; Rekordér sa prerušovane reštartuje. Výstup: Možné vysvetlenie + diskriminačná kontrola pre každú anomáliu.

Šablóna 3 – Hodnotenie neistoty:

Úloha: Ste konzultant v oblasti metrológie (veda o meraní). Úloha: Vyhodnoťte bezpečnosť výsledku podľa akceptačných kritérií. Kontext: Nameraná hodnota 37,4 m, neistota ±0,9 m, špecifikácia 38 m, počet cyklov 2. Obmedzenie: Nezabudnite vziať do úvahy neistotu a počet opakovaní; zdôrazniť blízkosť limitu.Výstup: Hodnotenie + odporúčanie na dodatočné testovanie + zostávajúce riziko.

Šablóna 4 – Návrh správy DVP&R:

Úloha: Ste overovací inžinier. Úloha: Napíšte návrh textu výsledkov DVP&R pre nasledujúce výsledky testu. Kontext: Požiadavka, testovacia metóda, akceptačné kritérium a nameraná hodnota sú splnené (anonymné). Obmedzenie: Iba koncept; Nepoužívajte striktné vyhlásenie „schválené“, nechajte priestor na schválenie inžinierom.Výstup: Požiadavka | test | kritérium | výsledok | stav (koncept).

Slabá výzva / Silná výzva

Slabá výzva:

Pozrite sa na tieto testovacie údaje, prešli?

Žiadne akceptačné kritériá, nejednoznačnosť a opakovanie; Umelá inteligencia hovorí slepo „prejde/nevyhovie“, čo je nebezpečné.

Výkonná výzva:

Úloha: Ste analytik testovacích údajov pre automobilový priemysel. Úloha: Analyzujte priložené údaje o skúške bŕzd podľa akceptačných kritérií a poraďte, aké ďalšie dôkazy sú potrebné pre rozhodnutie. Kontext: Kritérium 38 m; neistota merania ±0,9 m; Existujú 2 podmienky; zaťaženie vozidla testované v jednej podmienke. Obmedzenie: Deklarovanie „vyhovujúce“; Uveďte riziká a navrhované dodatočné podmienky z hľadiska neistoty a duplikácie.Výstup: Riziko | odôvodnenie | odporúčaná dodatočná testovacia tabuľka.

Časté chyby

  • AI robí rozhodnutie ísť/zlyhať. Rozhodnutie robí inžinier; AI dáva stopy.
  • Ignorovanie neistoty merania. Vo výsledkoch blízko limitu neistota mení výsledok.
  • Spoliehanie sa na jeden beh. Bez opakovateľnosti je výsledok krehký.
  • Anomáliu ihneď považujte za „poruchu“. Môže sa vyskytnúť záznamový artefakt/šum; Návrat k nespracovaným údajom.
  • Slepé kopírovanie správy. Návrh AI sa nemôže stať oficiálnym dokumentom bez schválenia a opravy inžinierom.

V súhrne

  • Overenie meria súlad s požiadavkou, validácia meria súlad so skutočnou potrebou; DVP&R riadi tento proces.
  • Je to výkonný pomocník pri sumarizovaní, označovaní anomálií, porovnávaní a vytváraní správ o údajoch z testov AI.
  • Rozhodnutie (vyhovel/nevyhovel) je na inžinierovi; AI rady, nie znamenia.
  • Bez neistoty a opakovateľnosti merania nie je možné interpretovať výsledok; Výsledky blízko limitu si vyžadujú osobitnú pozornosť.
  • Anomálie musia byť oddelené nespracovanými údajmi, aby sa určilo, či ide o skutočné udalosti alebo artefakty merania.

Aplikačná úloha

Zvoľte test (napr. studený štart v klimatizačnej komore). (1) Napíšte požiadavku, skúšobnú metódu a akceptačné kritériá. (2) Požiadajte o súhrn a analýzu rizikovej zóny pomocou šablóny 1 (bez vyžiadania rozhodnutia). (3) Vyhodnoťte imaginárny výsledok v blízkosti limitu pre neistotu pomocou Šablóny 3. (4) Vytvorte návrh DVP&R pomocou Šablóny 4 s uvedením oblastí, ktoré opúšťate na schválenie technikom.

kontrolný zoznam

  • [ ] Jasne som napísal požiadavky a kritériá prijatia.
  • [ ] Požiadal som AI o riziko/nápovedu, nie o rozhodnutie.
  • [ ] Do výsledku som zahrnul neistotu merania.
  • [ ] Hodnotil som odbornosť opakovateľnosti (počet behov).
  • [ ] Skúmal som anomálie so surovými údajmi tak, že som robil rozdiel medzi skutočnosťou a artefaktom.
  • [ ] Označil som návrh správy na schválenie inžinierom.