Analiza podataka o testiranju i validaciji

Dobici:

• Sposobnost prepoznavanja tipova testnih podataka kao što su dinamometar, test na cesti, izdržljivost i DVP&R i njihovo mjesto u procesu verifikacije
• Sposobnost korištenja umjetne inteligencije za sumiranje, označavanje anomalija i izradu izvještaja u velikim skupovima testnih podataka
• Sposobnost unakrsnog potvrđivanja interpretacije AI testa s mjernom nesigurnošću, ponovljivošću i kriterijima prihvatljivosti

Odgovor na pitanje "da li ispunjava zahtjeve" prije nego što vozilo ili komponenta krene u proizvodnju krije se u podacima testiranja i verifikacije. Ispitivanje u automobilskoj industriji proteže se od laboratorija (dinamometar, klimatska komora, vibracioni stol) do ceste (test na cesti, staza izdržljivosti) i laboratorija za sudare. Ovi testovi generišu ogromne podatke: jedan test izdržljivosti može sadržati milione redova zapisa senzora. U ovoj jedinici ćemo vidjeti vrste ovih podataka, njihovo mjesto u procesu verifikacije i kako umjetna inteligencija pomaže u analizi (ali kako odluka ostaje na inženjeru).

Šta su verifikacija i validacija?

Ova dva pojma se često brkaju:

• Provjera: "Jesmo li ispravno napravili proizvod?" Mjeri usklađenost sa zahtjevom. Primjer: "Specifikacija puta kočenja kaže 38 metara; mi smo izmjerili, 36,5 metara. Pogodno."
• Validacija: "Jesmo li napravili pravi proizvod?" Da li zadovoljava potrebe u stvarnoj upotrebi? Primjer: “Da li se vozači osjećaju bezbedno za ovu kočnicu?”

U automobilskoj industriji, ovim procesom se obično upravlja pomoću dokumenta DVP&R (Plan i izvještaj za verifikaciju dizajna): to je tabela koja navodi koji zahtjev će biti testiran kojim testom, s kojim kriterijima prihvatanja i rezultatom.

Tipični tipovi testnih podataka

Vrsta testa

Koje mere

uzorak podataka

dinamometar (dino)

Snaga motora, obrtni moment, emisija

Kriva obrtnog momenta, potrošnja goriva

test na putu

Ponašanje u stvarnom stanju

GPS, ubrzanje, signali vožnje

trajnost

doživotni umor

Vibracije, naprezanje, broj ciklusa

klima/okolina

Otpornost na toplo-hladno-vlagu

temperatura, radni status

NVH

Buka/vibracije

Zvučni pritisak, spektar ubrzanja

sudar (sudar)

Sigurnost

Brzi video, lažni senzori

Svaki test ima kriterijum prihvatanja (zahtev). Analiza treba da dokaže da li podaci zadovoljavaju ovaj kriterijum.

Šta umjetna inteligencija radi u analizi testova?

AI je moćan pomoćnik u analizi testnih podataka za:

1. Sažetak: Statistički sažetak, vršne vrijednosti, distribucija iz miliona redova.
2. Oznaka anomalije: "Na ovom snimku postoji neočekivani pad obrtnog momenta na 214 sekundi."
3. Poređenje uzoraka: Upoređivanje dva testa ili različitih vozila i pronalaženje razlika.
4. Nacrt izvještaja: Izrada teksta rezultata DVP&R i grafičkih objašnjenja.
5. Pomoć kodu: Generisanje skripte za analizu (Python).

Ali budite oprezni: ovo su sve skice i savjeti. Test inženjer je taj koji odlučuje da li je test prošao ili ne i da li je anomalija stvarna ili je greška merenja.

Savjet: Pitajte AI "da li je ovaj test prošao?" Umjesto da pitam: "Koje regije u ovim podacima pokazuju rizik prema kriterijima prihvatljivosti, koje dodatne provjere trebam izvršiti?" pitaj. Prvi zahtijeva odluke (ne posao AI), drugi zahtijeva savjete (posao AI).

Nesigurnost mjerenja i ponovljivost

Nijedno mjerenje nije savršeno. Dva koncepta su kritična:

• Nesigurnost mjerenja: prirodna granica greške mjernog uređaja. Ako je put kočenja "36,5 m", a nesigurnost ±0,8 m, stvarna vrijednost je između 35,7-37,3 m. Ako je specifikacija 38m sigurni ste; ali da je specifikacija 37 m, nesigurnost bi bila vrlo blizu granice.
• Ponovljivost: Dobivate li slične rezultate kada ponovite isti test? Jedna vožnja je možda prošla slučajno. U automobilskoj industriji, kritični testovi se ponavljaju više puta, u različitim vozilima/stanjima.

"Anomalija" označena AI može zapravo biti šum mjerenja. Neizvjesnost i dvostruka provjera su neophodni prije donošenja odluke.

Oprez: AI izgovaranje "položen kriterij prihvatanja" je varljivo ako ne uzima u obzir mjernu nesigurnost i dupliranje. U rezultatima blizu granice, granica nesigurnosti može promijeniti rezultat testa.

Mini studije slučaja

Slučaj 1 - Anomalija ili buka? U testu izdržljivosti, AI označava 3 iznenadna skoka u signalu naprezanja. Test inženjer gleda neobrađene podatke: skokovi odgovaraju tačnim trenucima kada se data logger ponovo pokreće; Dakle, to nije pravi strukturalni događaj, to je prekid registracije. Anomalije su dokumentovane kao artefakti. Rezultat: AI je dao trag, inženjer izolovao osnovni uzrok; automatski pečat "neuspjeh" bi bio pogrešan.

Slučaj 2 - Skoro granični rezultat. Prosječna udaljenost u testu kočnica je 37,4 m, specifikacija je 38 m. AI kaže "prošao". Inženjer je shvatio mjernu nesigurnost (±0,9 m) i da su napravljene samo 2 vožnje; Gornja granica premašuje specifikaciju od 38,3 m. Test je povećan na 6 vožnji, a uslovi (vruća kočnica, opterećeno vozilo) se mijenjaju; Rezultat je potvrđen siguran. Zaključak: Reći "prošao" bez dvosmislenosti i ponavljanja je rizično.

Slučaj 3 - Moć kratkog sažetka. Jedan NVH test ima 40 GB podataka sa 12 instrumenata. AI daje tabelu i poređenje sa sumiranjem vršnih frekvencija i amplituda za svaki alat; Inženjer usmjerava pažnju na 2 problematična vozila za 20 minuta umjesto 2 sata. Zatim svojim rukama ispituje sirovi spektar ta dva vozila. Rezultat: AI je izvršio eliminaciju, inženjer je izvršio duboku analizu.

prompt templates

Šablon 1 - Sažetak testa:

Uloga: Vi ste analitičar test podataka. Zadatak: Sumirajte zapis dinamometra u nastavku. Kontekst: podaci o broju obrtaja, 1000-6000 o/min; Kriterijum prihvatanja: vršni obrtni moment najmanje 320 Nm, bez kolapsa u krivulji snage. Ograničenje: donošenje odluka 'prošao/nepao'; Navedite zone rizika i dodatne preporuke za kontrolu prema kriterijumima. Izlaz: zbirna statistika + zona rizika + preporučena kontrola.

Predložak 2 - raščlanjivanje anomalija:

Uloga: Vi ste stručnjak za mjerenje i instrumentaciju. Zadatak: Vodite me u razlikovanju da li su označene anomalije stvarni događaji ili artefakti mjerenja. Kontekst: 3 iznenadna skoka u signalu naprezanja; Diktafon se povremeno ponovo pokreće. Izlaz: Moguće objašnjenje + provjera diskriminacije za svaku anomaliju.

Obrazac 3 - Procjena nesigurnosti:

Uloga: Vi ste konsultant za metrologiju (nauku o mjerenju). Zadatak: Ocijenite sigurnost rezultata prema kriterijima prihvatljivosti. Kontekst: Izmjerena vrijednost 37,4 m, nesigurnost ±0,9 m, specifikacija 38 m, broj vožnji 2. Ograničenje: Obavezno uzmite u obzir nesigurnost i broj ponavljanja naglasiti bliskost do granice. Ishod: Evaluacija + preporuka za dodatno testiranje + preostali rizik.

Šablon 4 - DVP&R nacrt izvještaja:

Uloga: Vi ste verifikacioni inženjer. Zadatak: Napišite nacrt teksta DVP&R rezultata za sljedeće rezultate testa. Kontekst: Zahtjev, metoda ispitivanja, kriterij prihvatljivosti i izmjerena vrijednost su ispunjeni (anonimno). Ograničenje: samo nacrt; Nemojte koristiti striktnu izjavu 'odobreno', ostavite prostor za odobrenje inženjera. Izlaz: Zahtjev | test | kriterij | rezultat | status (nacrt).

Slaba prompt / Jaka prompt

Slab upit:

Pogledajte ove podatke testa, jesu li prošli?

Bez kriterijuma prihvatanja, dvosmislenosti i ponavljanja; AI kaže slijepo "prošao/ne uspio", što je opasno.

Snažan upit:

Uloga: Vi ste analitičar podataka o testovima automobila. Zadatak: Analizirati priložene podatke o ispitivanju kočnica u odnosu na kriterije prihvatljivosti i savjetovati koji dodatni dokazi su potrebni za odluku. Kontekst: Kriterijum 38 m; mjerna nesigurnost ±0,9 m; Postoje 2 uslova; opterećenje vozila testirano u jednom stanju. Ograničenje: Deklarisanje 'Položeno'; Navesti rizike i predložene dodatne uslove u pogledu neizvjesnosti i dupliranja. Ishod: Rizik | opravdanje | preporučena dodatna tabela za testiranje.

Uobičajene greške

• Natjerati AI da donese odluku ići/neuspješno. Odluku donosi inženjer; AI daje tragove.
• Zanemarivanje mjerne nesigurnosti. U rezultatima blizu granice, neizvjesnost mijenja ishod.
• Oslanjajući se na jednu vožnju. Bez ponovljivosti rezultat je krhak.
• Odmah razmotrite anomaliju kao "kvar". Možda postoji artefakt/šum snimanja; Vratite se na sirove podatke.
• Slijepo kopiranje izvještaja. AI nacrt ne može postati službeni dokument bez odobrenja inženjera i ispravki.

Ukratko

• Provjera mjeri usklađenost sa zahtjevom, mjere validacije usklađenost sa stvarnim potrebama; DVP&R upravlja ovim procesom.
• To je moćan pomoćnik u sumiranju, označavanju anomalija, upoređivanju i izradi izvještaja o podacima testiranja AI.
• Odluka (prošao/nepao) je na inženjeru; AI nagoveštaji, ne znaci.
• Bez mjerne nesigurnosti i ponovljivosti, rezultat se ne može interpretirati; Rezultati blizu granice zahtijevaju posebnu pažnju.
• Anomalije se moraju razdvojiti sirovim podacima kako bi se utvrdilo jesu li stvarni događaji ili artefakti mjerenja.

Zadatak aplikacije

Odaberite test (npr. hladno pokretanje u klima komori). (1) Napišite zahtjev, metodu ispitivanja i kriterije prihvatljivosti. (2) Zahtjev za sažetak i analizu zona rizika sa šablonom 1 (bez traženja odluke). (3) Procijenite zamišljeni ishod blizu granice nesigurnosti pomoću šablona 3. (4) Napravite nacrt DVP&R koristeći šablon 4, naznačujući koja područja ostavljate na odobrenje inženjera.

kontrolna lista

• [ ] Jasno sam napisao uslove i kriterijume prihvatanja.
• [ ] Tražio sam od AI rizik/nagoveštaj, a ne odluku.
• [ ] Uključio sam mjernu nesigurnost u rezultat.
• [ ] Procijenio sam sposobnost ponovljivosti (broj pokretanja).
• [ ] Ispitivao sam anomalije sa sirovim podacima praveći razliku između činjenice i artefakta.
• [ ] Označio sam nacrt izvještaja za odobrenje inženjera.