Testēšanas un validācijas datu analīze

Ieguvumi:

• Spēja atpazīt testa datu tipus, piemēram, dinamometru, ceļa testu, izturību un DVP&R, un to vietu verifikācijas procesā
• Spēja izmantot mākslīgo intelektu, lai apkopotu, atzīmētu anomālijas un sagatavotu ziņojumus lielās testa datu kopās
• Spēja savstarpēji apstiprināt AI testa interpretāciju ar mērījumu nenoteiktību, atkārtojamību un pieņemšanas kritērijiem

Testu un verifikācijas datos ir paslēpta atbilde uz jautājumu "vai tas atbilst prasībām", pirms transportlīdzeklis vai tā sastāvdaļa nonāk ražošanā. Pārbaudes automobiļos sniedzas no laboratorijas (dinamometrs, klimata kamera, vibrācijas galds) līdz ceļam (ceļa tests, izturības trase) un avārijas laboratoriju. Šie testi ģenerē milzīgus datus: vienā izturības pārbaudē var būt miljoniem sensoru ierakstu rindu. Šajā nodaļā mēs redzēsim šo datu veidus, to vietu verifikācijas procesā un to, kā mākslīgais intelekts palīdz analīzē (bet kā lēmums paliek inženiera ziņā).

Kas ir verifikācija un apstiprināšana?

Abi termini bieži tiek sajaukti:

• Pārbaude: "Vai mēs pareizi izveidojām produktu?" Mēra atbilstību prasībai. Piemērs: "Bemzēšanas ceļa specifikācijā norādīts 38 metri; mēs to izmērījām 36,5 metri. Piemērots."
• Validācija: "Vai mēs izgatavojām pareizo produktu?" Vai tas atbilst reālās lietošanas vajadzībām? Piemērs: “Vai autovadītāji uzskata, ka šīs bremzes jūtas droši?”

Automobiļu rūpniecībā šis process parasti tiek pārvaldīts ar DVP&R (Design Verification Plan and Report) dokumentu: tā ir tabula, kurā norādīts, kura prasība tiks pārbaudīta ar kādu testu, ar kādiem pieņemšanas kritērijiem un rezultāts.

Tipiski testa datu veidi

Pārbaudes veids

Kādi pasākumi

datu paraugi

Dinamometrs (dinamometrs)

Dzinēja jauda, griezes moments, emisijas

RPM-griezes momenta līkne, degvielas patēriņš

ceļa pārbaude

Faktiskā stāvokļa uzvedība

GPS, paātrinājums, braukšanas signāli

izturību

mūža nogurums

Vibrācija, deformācija, ciklu skaits

klimats/vide

Karstā-aukstuma-mitruma izturība

temperatūra, darba stāvoklis

NVH

Troksnis/vibrācija

Skaņas spiediens, paātrinājuma spektrs

Sadursme (avārija)

Drošība

Ātrgaitas video, fiktīvi sensori

Katram testam ir pieņemšanas kritērijs (prasība). Analīzes mērķis ir pierādīt, vai dati atbilst šim kritērijam.

Ko mākslīgais intelekts dara testa analīzē?

AI ir spēcīgs palīgs testa datu analīzē, lai:

1. Apkopojums: statistikas kopsavilkums, maksimālās vērtības, sadalījums no miljoniem rindu.
2. Anomālijas marķējums: "Šajā ierakstā ir negaidīts griezes momenta kritums pie 214 sekundēm."
3. Modeļu salīdzinājums: divu testa braucienu vai dažādu transportlīdzekļu salīdzināšana un atšķirību atrašana.
4. Ziņojuma melnraksts: DVP&R rezultāta teksta un grafisko skaidrojumu sastādīšana.
5. Koda palīdzība: analīzes skripta ģenerēšana (Python).

Bet esiet uzmanīgi: tie visi ir skices un padomi. Testēšanas inženieris izlemj, vai tests ir izturēts vai nē, un vai anomālija ir reāla vai mērījumu kļūda.

Padoms: jautājiet AI "vai šis tests izturēja?" Tā vietā, lai jautātu: "Kuri šajos datos norādītie reģioni uzrāda risku saskaņā ar pieņemšanas kritērijiem, kādas papildu pārbaudes man jāveic?" jautāt. Pirmajā ir nepieciešami lēmumi (nevis AI darbs), otrajai ir nepieciešami padomi (AI darbs).

Mērījumu nenoteiktība un atkārtojamība

Neviens mērījums nav ideāls. Divi jēdzieni ir kritiski:

• Mērījumu nenoteiktība: mērierīces dabiskā kļūdas robeža. Ja bremzēšanas ceļš ir "36,5 m" un nenoteiktība ir ±0,8 m, faktiskā vērtība ir no 35,7 līdz 37,3 m. Ja specifikācija ir 38 m, jūs esat drošībā; bet, ja specifikācija būtu 37 m, nenoteiktība būtu ļoti tuvu robežai.
• Atkārtojamība: vai jūs saņemat līdzīgus rezultātus, veicot to pašu testu vēlreiz? Viens skrējiens var būt pagājis nejauši. Automobiļu rūpniecībā kritiskie testi tiek atkārtoti vairākas reizes dažādos transportlīdzekļos/apstākļos.

"Anomālija", ko atzīmē AI, patiesībā var būt mērījumu troksnis. Pirms lēmuma pieņemšanas būtiska ir nenoteiktība un divkārša pārbaude.

Uzmanību: mākslīgā intelekta izteiciens "nokārtoti pieņemšanas kritēriji" ir maldinošs, ja tas neņem vērā mērījumu nenoteiktību un dublēšanos. Ja rezultāti ir tuvu robežai, nenoteiktības robeža var mainīt testa rezultātu.

Mini gadījumu izpēte

1. gadījums — anomālija vai troksnis? Izturības pārbaudē AI atzīmē 3 pēkšņus lēcienus deformācijas signālā. Testēšanas inženieris aplūko neapstrādātos datus: lēcieni atbilst precīziem datu reģistrētāja restartēšanas brīžiem; Tātad tas nav īsts strukturāls notikums, tas ir reģistrācijas pārtraukums. Anomālijas ir dokumentētas kā artefakti. Rezultāts: AI sniedza pavedienu, inženieris izolēja galveno cēloni; automātiskais "neveiksmes" zīmogs būtu nepareizs.

2. gadījums — rezultāts tuvu robežai. Vidējais attālums bremžu testā ir 37,4 m, specifikācija ir 38 m. AI saka "izturēts". Inženieris saprot mērījumu nenoteiktību (±0,9 m) un to, ka ir veikti tikai 2 braucieni; Augšējā robeža pārsniedz 38,3 m specifikāciju. Testu palielina līdz 6 braucieniem, un apstākļi (karsta bremze, piekrauts transportlīdzeklis) tiek mainīti; Rezultāts tiek apstiprināts droši. Secinājums: Teikt "ieskaitīts" bez neskaidrības un atkārtošanās ir riskanti.

3. gadījums — ātrā kopsavilkuma jauda. Vienam NVH testam ir 40 GB datu no 12 instrumentiem. AI izvada tabulu un salīdzinājumu, kurā apkopotas katra rīka maksimālās frekvences un amplitūdas; Inženieris pievērš uzmanību 2 problemātiskiem transportlīdzekļiem 20 minūšu laikā, nevis 2 stundās. Pēc tam viņš ar savām rokām pārbauda šo divu transportlīdzekļu neapstrādāto spektru. Rezultāts: AI veica likvidēšanu, inženieris veica padziļinātu analīzi.

uzvedņu veidnes

1. veidne — testa kopsavilkums:

Loma: Jūs esat testa datu analītiķis. Uzdevums: Apkopojiet dinamometra ierakstu zemāk. Konteksts: RPM dati, 1000-6000 apgr./min; pieņemšanas kritērijs: maksimālais griezes moments vismaz 320 Nm, nav sabrukšanas jaudas līknē. Ierobežojums: “Apstiprināts/neizturēts” lēmumu pieņemšana; Uzskaitiet riska zonas un papildu kontroles ieteikumus atbilstoši kritērijiem. Rezultāts: statistikas kopsavilkums + riska zona + ieteicamā kontrole.

2. veidne — anomāliju parsēšana:

Loma: Jūs esat mērīšanas un instrumentu eksperts. Uzdevums: palīdziet man atšķirt, vai atzīmētās anomālijas ir reāli notikumi vai mērījumu artefakti. Konteksts: 3 pēkšņi lēcieni deformācijas signālā; Ierakstītājs periodiski restartējas. Rezultāts: iespējamais skaidrojums + katras anomālijas diskriminācijas pārbaude.

3. veidne — nenoteiktības novērtējums:

Loma: Jūs esat metroloģijas (mērīšanas zinātnes) konsultants.Uzdevums: Novērtēt rezultāta drošību pēc pieņemšanas kritērijiem.Konteksts: Mērītā vērtība 37,4 m, nenoteiktība ±0,9 m, specifikācija38 m, skrējienu skaits 2.Ierobežojums: Noteikti jāņem vērā nenoteiktība un atkārtojumu skaits; uzsvērt tuvumu robežai. Rezultāts: novērtējums + ieteikums papildu pārbaudei + atlikušais risks.

4. veidne — DVP&R pārskata projekts:

Loma: jūs esat verifikācijas inženieris. Uzdevums: uzrakstiet DVP&R rezultātu teksta melnrakstu šādiem testa rezultātiem. Konteksts: ir izpildīta prasība, pārbaudes metode, pieņemšanas kritērijs un izmērītā vērtība (anonīmi). Ierobežojums: tikai melnraksts; Neizmantojiet stingru paziņojumu “apstiprināts”, atstājiet vietu inženiera apstiprinājumam.Izvade: prasība | tests | kritērijs | rezultāts | statuss (melnraksts).

Vāja uzvedne / spēcīga uzvedne

Vāja uzvedne:

Paskatieties uz šiem testa datiem, vai tas izturēja?

Nav pieņemšanas kritēriju, neskaidrības un atkārtošanās; AI saka aklu “ieskaitīts/neizturēts”, kas ir bīstami.

Spēcīga uzvedne:

Loma: Jūs esat automobiļu testu datu analītiķis. Uzdevums: analizēt pievienotos bremžu testa datus, pamatojoties uz pieņemšanas kritērijiem, un norādīt, kādi papildu pierādījumi ir nepieciešami lēmuma pieņemšanai. Konteksts: Kritērijs 38 m; mērījumu nenoteiktība ±0,9 m; Ir 2 nosacījumi; transportlīdzekļa slodze pārbaudīta vienā stāvoklī. Ierobežojums: paziņojums par 'ieskaitīts'; Uzskaitiet riskus un ierosinātos papildu nosacījumus attiecībā uz nenoteiktību un dublēšanos. Rezultāts: risks | pamatojums | ieteicamā papildu pārbaudes tabula.

Biežas kļūdas

• Piespiežot AI pieņemt lēmumu par labu vai neveiksmi. Lēmumu pieņem inženieris; AI sniedz norādes.
• Mērījumu nenoteiktības ignorēšana. Ja rezultāti ir tuvu robežai, nenoteiktība maina rezultātu.
• Paļaujoties uz vienu skrējienu. Bez atkārtojamības rezultāts ir trausls.
• Nekavējoties apsveriet anomāliju kā "darba traucējumus". Var būt ierakstīšanas artefakts/troksnis; Atgriezties pie neapstrādātajiem datiem.
• Aklā ziņojuma kopēšana. AI melnraksts nevar kļūt par oficiālu dokumentu bez inženiera apstiprinājuma un labojumiem.

Rezumējot

• Pārbaudes pasākumi atbilst prasībām, validācijas pasākumi atbilst faktiskajai nepieciešamībai; DVP&R pārvalda šo procesu.
• Tas ir spēcīgs palīgs AI testa datu apkopošanā, anomāliju atzīmēšanā, salīdzināšanā un ziņojumu sagatavošanā.
• Lēmumu (ieskaitīts/neieskaitīts) pieņem inženieris; AI mājieni, nevis zīmes.
• Bez mērījumu nenoteiktības un atkārtojamības rezultātu nevar interpretēt; Rezultātiem tuvu robežai jāpievērš īpaša uzmanība.
• Anomālijas ir jāatdala ar neapstrādātiem datiem, lai noteiktu, vai tie ir reāli notikumi vai mērījumu artefakti.

Lietojumprogrammas uzdevums

Izvēlieties testu (piem., aukstā iedarbināšana klimata kamerā). (1) Uzrakstiet prasību, pārbaudes metodi un pieņemšanas kritērijus. (2) Pieprasīt kopsavilkumu un riska zonas analīzi ar 1. veidni (bez lēmuma pieprasīšanas). (3) Novērtējiet iedomātu rezultātu tuvu nenoteiktības robežai, izmantojot 3. veidni. (4) Izveidojiet DVP&R uzmetumu, izmantojot 4. veidni, norādot, kuras jomas atstājat inženiera apstiprināšanai.

kontrolsaraksts

• [ ] Esmu skaidri uzrakstījis prasības un pieņemšanas kritērijus.
• [ ] Es prasīju AI risku/mājienu, nevis lēmumu.
• [ ] Rezultātā iekļāvu mērījumu nenoteiktību.
• [ ] Novērtēju atkārtojamības (skrējienu skaita) prasmi.
• [ ] Es pārbaudīju anomālijas ar neapstrādātiem datiem, nošķirot faktu un artefaktu.
• [ ] Es atzīmēju ziņojuma projektu inženiera apstiprināšanai.