Analiza podataka ispitivanja i provjere valjanosti

Dobici:

• Sposobnost prepoznavanja vrsta testnih podataka kao što su dinamometar, test na cesti, izdržljivost i DVP&R i njihovo mjesto u procesu verifikacije
• Sposobnost korištenja umjetne inteligencije za sažimanje, označavanje anomalija i izradu nacrta izvješća u velikim skupovima testnih podataka
• Sposobnost unakrsne provjere interpretacije testa umjetne inteligencije s mjernom nesigurnošću, ponovljivošću i kriterijima prihvaćanja

Odgovor na pitanje "ispunjava li zahtjeve" prije nego vozilo ili komponenta krene u proizvodnju krije se u podacima o ispitivanju i provjeri. Ispitivanje u automobilskoj industriji proteže se od laboratorija (dinamometar, klima komora, vibracijski stol) do ceste (cestovno ispitivanje, staza izdržljivosti) i laboratorija za sudare. Ovi testovi generiraju goleme podatke: jedan test izdržljivosti može sadržavati milijune redaka zapisa senzora. U ovoj cjelini ćemo vidjeti vrste ovih podataka, njihovo mjesto u procesu verifikacije i kako umjetna inteligencija pomaže u analizi (ali kako odluka ostaje na inženjeru).

Što su verifikacija i validacija?

Ta se dva pojma često brkaju:

• Provjera: "Jesmo li pravilno izradili proizvod?" Mjeri usklađenost sa zahtjevom. Primjer: "Specifikacija puta kočenja kaže 38 metara; mi smo izmjerili 36,5 metara. Prikladno."
• Validacija: "Jesmo li napravili pravi proizvod?" Zadovoljava li potrebe u stvarnoj uporabi? Primjer: "Smatraju li vozači ovu kočnicu sigurnom?"

U automobilskoj industriji, ovim procesom se obično upravlja dokumentom DVP&R (Design Verification Plan and Report): to je tablica koja navodi koji će zahtjevi biti testirani s kojim testom, s kojim kriterijima prihvaćanja i rezultat.

Tipični testni tipovi podataka

Vrsta testa

Koje mjere

uzorak podataka

Dinamometar (dyno)

Snaga motora, okretni moment, emisije

RPM-krivulja momenta, potrošnja goriva

test na cesti

Ponašanje u stvarnom stanju

GPS, ubrzanje, signali za vožnju

trajnost

cjeloživotni umor

Vibracija, naprezanje, broj ciklusa

klima/okoliš

Otpornost na toplo-hladno-vlagu

temperatura, radni status

NVH

Buka/vibracije

Zvučni tlak, spektar ubrzanja

Sudar (sudar)

Sigurnost

Video velike brzine, lažni senzori

Svaki test ima kriterij prihvatljivosti (zahtjev). Analiza treba dokazati zadovoljavaju li podaci ovaj kriterij.

Što umjetna inteligencija radi u analizi testova?

AI je moćan pomoćnik u analizi testnih podataka za:

1. Sažimanje: Statistički sažetak, vršne vrijednosti, distribucija iz milijuna redaka.
2. Oznaka anomalije: "Došlo je do neočekivanog pada momenta na 214 sekundi u ovoj snimci."
3. Usporedba uzoraka: Usporedba dviju probnih vožnji ili različitih vozila i pronalaženje razlika.
4. Nacrt izvješća: Izrada teksta DVP&R rezultata i grafičkih objašnjenja.
5. Pomoć koda: Generiranje skripte za analizu (Python).

Ali budite oprezni: ovo su sve skice i naznake. Inženjer za ispitivanje je taj koji odlučuje je li test prošao ili ne i je li anomalija stvarna ili pogreška mjerenja.

Savjet: Pitajte AI "je li ovaj test prošao?" Umjesto da pitate: "Koje regije u ovim podacima pokazuju rizik prema kriterijima prihvatljivosti, koje bih dodatne provjere trebao napraviti?" pitati. Prvo zahtijeva odluke (nije posao umjetne inteligencije), drugo zahtijeva savjete (posao umjetne inteligencije).

Mjerna nesigurnost i ponovljivost

Nijedno mjerenje nije savršeno. Dva su koncepta kritična:

• Mjerna nesigurnost: prirodna granica pogreške mjernog uređaja. Ako je put kočenja "36,5 m" i nesigurnost ±0,8 m, stvarna vrijednost je između 35,7-37,3 m. Ako je specifikacija 38m sigurni ste; ali ako je specifikacija 37 m, nesigurnost bi bila vrlo blizu granice.
• Ponovljivost: Dobivate li slične rezultate kada ponovno radite isti test? Jedna trka je možda prošla slučajno. U automobilskoj industriji kritični testovi se ponavljaju više puta, u različitim vozilima/uvjetima.

"Anomalija" koju je označila umjetna inteligencija zapravo može biti šum mjerenja. Nesigurnost i dvostruka provjera bitni su prije donošenja odluke.

Oprez: AI kaže da je "prošao kriterije prihvaćanja" varljiv je ako ne uzima u obzir mjernu nesigurnost i dupliciranje. U rezultatima blizu granice, granica nesigurnosti može promijeniti rezultat ispitivanja.

Mini studije slučaja

Slučaj 1 - Anomalija ili buka? U testu izdržljivosti, AI označava 3 iznenadna skoka u signalu naprezanja. Inženjer za ispitivanje gleda neobrađene podatke: skokovi odgovaraju točnim trenucima ponovnog pokretanja zapisivača podataka; Dakle, to nije stvarni strukturni događaj, to je prekid registracije. Dokumentirano je da su anomalije artefakti. Rezultat: AI je dao trag, inženjer je izolirao glavni uzrok; automatski žig "neuspjeh" bio bi pogrešan.

Slučaj 2 - rezultat blizu granice. Prosječna udaljenost u testu kočnica je 37,4 m, specifikacija je 38 m. AI kaže "položio". Inženjer shvaća mjernu nesigurnost (±0,9 m) i da su napravljena samo 2 ispitivanja; Gornja granica premašuje specifikaciju od 38,3 m. Test je povećan na 6 vožnji, a uvjeti (vruće kočnice, opterećeno vozilo) su različiti; Rezultat je potvrđeno sigurnim. Zaključak: Rizično je reći "položio" bez dvosmislenosti i ponavljanja.

Slučaj 3 - Snaga brzog sažetka. Jedan NVH test ima 40 GB podataka s 12 instrumenata. AI daje tablicu i usporedbu sa sažetkom vršnih frekvencija i amplituda za svaki alat; Inženjer usmjerava pozornost na 2 problematična vozila u 20 minuta umjesto u 2 sata. Zatim vlastitim rukama ispituje neobrađeni spektar ta dva vozila. Rezultat: AI je izvršio eliminaciju, inženjer je napravio duboku analizu.

promptni predlošci

Predložak 1 - Sažetak testa:

Uloga: Vi ste analitičar testnih podataka. Zadatak: Sažmite zapis dinamometra u nastavku. Kontekst: podaci o RPM, 1000-6000 o/min; kriterij prihvatljivosti: vršni okretni moment najmanje 320 Nm, bez kolapsa u krivulji snage. Ograničenje: donošenje odluka 'prošao/nije prošao'; Navesti rizične zone i preporuke dodatne kontrole prema kriterijima. Izlaz: Zbirna statistika + zona rizika + preporučena kontrola.

Predložak 2 - Raščlanjivanje anomalije:

Uloga: Vi ste stručnjak za mjerenje i instrumentaciju. Zadatak: Vodi me u razlikovanju jesu li označene anomalije stvarni događaji ili artefakti mjerenja. Kontekst: 3 nagla skoka u signalu naprezanja; Snimač se povremeno ponovno pokreće. Izlaz: Moguće objašnjenje + provjera diskriminacije za svaku anomaliju.

Predložak 3 - Procjena nesigurnosti:

Uloga: Vi ste konzultant za mjeriteljstvo (znanost o mjerenju). Zadatak: Ocijenite sigurnost rezultata prema kriterijima prihvatljivosti. Kontekst: Izmjerena vrijednost 37,4 m, nesigurnost ±0,9 m, specifikacija 38 m, broj izvođenja 2. Ograničenje: Obavezno uzmite u obzir nesigurnost i broj ponavljanja; naglasiti blizinu granice. Ishod: Procjena + preporuka za dodatna ispitivanja + preostali rizik.

Predložak 4 - DVP&R nacrt izvješća:

Uloga: Vi ste inženjer verifikacije. Zadatak: Napišite nacrt teksta rezultata DVP&R za sljedeće rezultate testa. Kontekst: Zahtjev, metoda ispitivanja, kriterij prihvatljivosti i izmjerena vrijednost su ispunjeni (anonimno). Ograničenje: Samo nacrt; Nemojte koristiti strogu izjavu 'odobreno', ostavite prostor za odobrenje inženjera. Izlaz: Zahtjev | ispitati | kriterij | rezultat | status (nacrt).

Slab upit / Jak upit

Slab upit:

Pogledajte ove podatke testa, jesu li prošli?

Bez kriterija prihvaćanja, dvosmislenosti i ponavljanja; AI kaže slijepo "prošao/nije prošao", što je opasno.

Snažan upit:

Uloga: Vi ste analitičar podataka o ispitivanju automobila. Zadatak: Analizirati priložene podatke ispitivanja kočnica u odnosu na kriterije prihvaćanja i savjetovati koji su dodatni dokazi potrebni za odluku. Kontekst: Kriterij 38 m; mjerna nesigurnost ±0,9 m; Postoje 2 uvjeta; opterećenje vozila ispitano u jednom uvjetu. Ograničenje: Proglašenje 'Prošlo'; Navedite rizike i predložene dodatne uvjete u smislu neizvjesnosti i dupliciranja. Izlaz: Rizik | opravdanje | preporučena dodatna tablica za ispitivanje.

Uobičajene greške

• Natjerati AI da donese odluku o idi/neuspješno. Odluku donosi inženjer; AI daje tragove.
• Zanemarivanje mjerne nesigurnosti. U rezultatima blizu granice, neizvjesnost mijenja ishod.
• Oslanjajući se na jedno trčanje. Bez ponovljivosti rezultat je krhak.
• Anomaliju odmah smatrajte "kvarom". Može doći do smetnji/šuma snimanja; Povratak na neobrađene podatke.
• Slijepo kopiranje izvješća. AI nacrt ne može postati službeni dokument bez odobrenja i ispravka inženjera.

Ukratko

• Verifikacija mjeri usklađenost sa zahtjevom, validacija mjeri usklađenost sa stvarnom potrebom; DVP&R upravlja ovim procesom.
• To je moćan pomoćnik u sažimanju, označavanju anomalija, usporedbi i izradi izvješća o podacima testiranja umjetne inteligencije.
• Odluka (prošao/nije prošao) je na inženjeru; AI savjeti, ne znakovi.
• Bez mjerne nesigurnosti i ponovljivosti rezultat se ne može interpretirati; Rezultati blizu granice zahtijevaju posebnu pozornost.
• Anomalije se moraju odvojiti s neobrađenim podacima kako bi se utvrdilo jesu li stvarni događaji ili artefakti mjerenja.

Zadatak aplikacije

Odaberite test (npr. hladno pokretanje u klima komori). (1) Napišite zahtjev, metodu ispitivanja i kriterije prihvaćanja. (2) Zatražite sažetak i analizu zone rizika s Predloškom 1 (bez traženja odluke). (3) Procijenite zamišljeni ishod blizu granice nesigurnosti s predloškom 3. (4) Napravite nacrt DVP&R koristeći predložak 4, naznačujući koja područja ostavljate za odobrenje inženjera.

popis za provjeru

• [ ] Jasno sam napisao zahtjeve i kriterije prihvaćanja.
• [ ] Tražio sam od umjetne inteligencije rizik/nagovještaj, a ne odluku.
• [ ] Uključio sam mjernu nesigurnost u rezultat.
• [ ] Ocijenio sam sposobnost ponovljivosti (broj pokretanja).
• [ ] Ispitao sam anomalije s neobrađenim podacima praveći razliku između činjenice i artefakta.
• [ ] Označio sam nacrt izvješća za odobrenje inženjera.