Pagsusuri ng Data ng Pagsusuri at Pagpapatunay

Mga nadagdag:

• Kakayahang kilalanin ang mga uri ng data ng pagsubok tulad ng dynamometer, road test, endurance at DVP&R at ang kanilang lugar sa proseso ng pag-verify
• Kakayahang gumamit ng artificial intelligence upang buod, mag-flag ng mga anomalya at mag-draft ng mga ulat sa malalaking set ng data ng pagsubok
• Kakayahang i-cross-validate ang interpretasyon ng pagsubok ng AI na may kawalang-katiyakan sa pagsukat, pag-uulit at pamantayan sa pagtanggap

Ang sagot sa tanong na "natutugunan ba nito ang mga kinakailangan" bago ang isang sasakyan o bahagi ay pumasok sa produksyon ay nakatago sa data ng pagsubok at pag-verify. Ang pagsubok sa automotive ay umaabot mula sa laboratoryo (dynamometer, climate chamber, vibration table) hanggang sa kalsada (road test, endurance track) at sa crash laboratory. Ang mga pagsubok na ito ay bumubuo ng napakalaking data: ang isang solong pagsubok sa pagtitiis ay maaaring maglaman ng milyun-milyong row ng mga record ng sensor. Sa unit na ito, makikita natin ang mga uri ng data na ito, ang lugar nito sa proseso ng pag-verify, at kung paano nakakatulong ang artificial intelligence sa pagsusuri (ngunit kung paano nananatili ang desisyon sa engineer).

Ano ang pagpapatunay at pagpapatunay?

Ang dalawang termino ay madalas na nalilito:

• Pagpapatunay: "Nagawa ba namin nang tama ang produkto?" Sinusukat ang pagsunod sa kinakailangan. Halimbawa: "Ang detalye ng distansya ng pagpepreno ay nagsasabing 38 metro; sinukat namin ito, 36.5 metro. Angkop."
• Pagpapatunay: "Nagawa ba namin ang tamang produkto?" Natutugunan ba nito ang mga pangangailangan sa tunay na paggamit? Halimbawa: "Nakikita ba ng mga driver na ligtas ang preno na ito?"

Sa automotive, ang prosesong ito ay karaniwang pinamamahalaan gamit ang DVP&R (Design Verification Plan and Report) na dokumento: ito ay isang talahanayan na naglilista kung aling mga kinakailangan ang susuriin kung aling pagsubok, kung aling mga pamantayan sa pagtanggap, at ang resulta.

Karaniwang mga uri ng data ng pagsubok

Uri ng pagsubok

Anong mga sukat

sample data

Dynamometer (dyno)

Ang lakas ng makina, metalikang kuwintas, mga emisyon

RPM-torque curve, pagkonsumo ng gasolina

pagsubok sa kalsada

Aktwal na pag-uugali ng kondisyon

GPS, acceleration, mga signal sa pagmamaneho

tibay

habambuhay na pagod

Vibration, strain, bilang ng mga cycle

klima/kapaligiran

Hot-cold-humidity resistance

temperatura, katayuan sa pagtatrabaho

NVH

Ingay/vibration

Presyon ng tunog, acceleration spectrum

banggaan (crash)

Seguridad

Mataas na bilis ng video, dummy sensor

Ang bawat pagsusulit ay may criterion sa pagtanggap (kinakailangan). Ang pagsusuri ay upang patunayan kung ang data ay pumasa sa pamantayang ito.

Ano ang ginagawa ng artificial intelligence sa pagsusuri ng pagsubok?

Ang AI ay isang makapangyarihang katulong sa pagsusuri ng data ng pagsubok upang:

1. Pagbubuod: Buod ng istatistika, mga peak value, distribusyon mula sa milyun-milyong row.
2. Anomaly marking: "May hindi inaasahang pagbaba ng torque sa 214 segundo sa recording na ito."
3. Paghahambing ng pattern: Paghahambing ng dalawang test run o magkaibang sasakyan at paghahanap ng mga pagkakaiba.
4. Report draft: Pag-draft ng teksto ng resulta ng DVP&R at mga graphic na paliwanag.
5. Tulong sa code: Pagbuo ng script ng pagsusuri (Python).

Ngunit mag-ingat: ang lahat ng ito ay mga sketch at pahiwatig. Ang test engineer ang magpapasya kung pumasa ang pagsubok o hindi at kung totoo ang anomalya o error sa pagsukat.

Hint: Tanungin ang AI "pumasa ba ang pagsubok na ito?" Sa halip na magtanong, "Aling mga rehiyon sa data na ito ang nagpapakita ng panganib ayon sa pamantayan sa pagtanggap, anong mga karagdagang pagsusuri ang dapat kong gawin?" magtanong. Ang una ay nangangailangan ng mga desisyon (hindi ang trabaho ng AI), ang pangalawa ay nangangailangan ng mga pahiwatig (ang trabaho ng AI).

Kawalang-katiyakan at pag-uulit ng pagsukat

Walang sukat na perpekto. Dalawang konsepto ang kritikal:

• Kawalang-katiyakan sa pagsukat: Ang natural na margin ng error ng isang aparato sa pagsukat. Kung ang distansya ng pagpepreno ay "36.5 m" at ang kawalan ng katiyakan ay ±0.8 m, ang aktwal na halaga ay nasa pagitan ng 35.7-37.3 m. Kung ang detalye ay 38m ligtas ka; ngunit kung ang pagtutukoy ay 37 m, ang kawalan ng katiyakan ay magiging napakalapit sa limitasyon.
• Repeatability: Nakakakuha ka ba ng mga katulad na resulta kapag ginawa mo muli ang parehong pagsubok? Maaaring dumaan ang isang solong pagtakbo kung nagkataon. Sa automotive, ang mga kritikal na pagsubok ay paulit-ulit nang maraming beses, sa iba't ibang mga sasakyan/kondisyon.

Ang "anomalya" na na-flag ng isang AI ay maaaring aktwal na ingay sa pagsukat. Ang kawalan ng katiyakan at pag-double-check ay mahalaga bago gumawa ng desisyon.

Babala: Ang pagsasabi ng AI na "passed acceptance criteria" ay mapanlinlang kung hindi nito isinasaalang-alang ang kawalan ng katiyakan at pagdoble sa pagsukat. Sa mga resultang malapit sa limitasyon, maaaring baguhin ng margin ng kawalan ng katiyakan ang resulta ng pagsubok.

Mini case study

Kaso 1 - Anomalya o ingay? Sa isang pagsubok sa pagtitiis, ang AI ay nagmamarka ng 3 biglaang pagtalon sa signal ng strain. Tinitingnan ng test engineer ang hilaw na data: ang mga pagtalon ay tumutugma sa eksaktong mga sandali kapag ang data logger ay na-restart; Kaya hindi ito isang tunay na kaganapan sa istruktura, ito ay isang pagkawala ng pagpaparehistro. Ang mga anomalya ay dokumentado bilang mga artifact. Resulta: Nagbigay ang AI ng clue, isolated root cause ng engineer; ang awtomatikong "failure" na selyo ay magiging mali.

Kaso 2 - Resulta ng malapit sa hangganan. Ang average na distansya sa isang pagsubok ng preno ay 37.4 m, ang pagtutukoy ay 38 m. Ang sabi ni AI ay "passed". Napagtanto ng inhinyero ang kawalan ng katiyakan sa pagsukat (± 0.9 m) at 2 run lang ang nagawa; Ang itaas na limitasyon ay lumampas sa 38.3 m na detalye. Ang pagsubok ay nadagdagan sa 6 na pagtakbo at ang mga kondisyon (mainit na preno, punong sasakyan) ay iba-iba; Ang resulta ay nakumpirma na ligtas. Konklusyon: Ang pagsasabi ng "pumasa" nang walang kalabuan at pag-uulit ay mapanganib.

Case 3 - Ang kapangyarihan ng mabilis na buod. Ang isang NVH test ay may 40GB ng data mula sa 12 instrumento. Naglalabas ang AI ng isang talahanayan at paghahambing na nagbubuod ng mga peak frequency at amplitude para sa bawat tool; Itinuon ng engineer ang kanyang atensyon sa 2 may problemang sasakyan sa loob ng 20 minuto sa halip na 2 oras. Pagkatapos ay sinuri niya ang hilaw na spectrum ng dalawang sasakyang iyon gamit ang sarili niyang mga kamay. Resulta: Ginawa ng AI ang pag-aalis, ginawa ng engineer ang malalim na pagsusuri.

agarang mga template

Template 1 - Buod ng pagsubok:

Tungkulin: Ikaw ang test data analyst. Gawain: Ibuod ang dynamometer record sa ibaba. Konteksto: RPM data, 1000-6000 rpm; criterion sa pagtanggap: peak torque ng hindi bababa sa 320 Nm, walang pagbagsak sa power curve. Limitasyon: 'Pass/fail' paggawa ng desisyon; Maglista ng mga risk zone at mga karagdagang rekomendasyon sa kontrol ayon sa pamantayan. Output: Mga istatistika ng buod + risk zone + inirerekomendang kontrol.

Template 2 - Anomaly parsing:

Tungkulin: Isa kang dalubhasa sa pagsukat at instrumentasyon. Gawain: Gabayan ako sa pagtukoy kung ang mga anomalyang minarkahan ay tunay na pangyayari o mga artifact ng pagsukat. Konteksto: 3 biglaang pagtalon sa signal ng strain; Ang recorder ay nagre-restart nang paulit-ulit. Output: Posibleng paliwanag + pagsusuri sa diskriminasyon para sa bawat anomalya.

Template 3 - Pagtatasa ng kawalan ng katiyakan:

Tungkulin: Isa kang consultant ng metrology (science of measurement).Gawain: Suriin ang kaligtasan ng resulta ayon sa pamantayan sa pagtanggap.Konteksto: Sukat na halaga 37.4 m, kawalan ng katiyakan ±0.9 m, detalye38 m, bilang ng mga pagtakbo 2.Pagpigil: Siguraduhing isaalang-alang ang kawalan ng katiyakan at bilang ng mga pag-uulit; bigyang-diin ang pagiging malapit sa limitasyon.Output: Pagsusuri + rekomendasyon para sa karagdagang pagsubok + natitirang panganib.

Template 4 - draft ng ulat ng DVP&R:

Tungkulin: Ikaw ang verification engineer. Gawain: Sumulat ng draft ng teksto ng resulta ng DVP&R para sa mga sumusunod na resulta ng pagsusulit. Konteksto: Ang mga kinakailangan, paraan ng pagsubok, pamantayan sa pagtanggap, at nasusukat na halaga ay natutugunan (anonymous). Constraint: Draft lang; Huwag gamitin ang mahigpit na 'inaprubahan' na pahayag, mag-iwan ng puwang para sa pag-apruba ng engineer.Output: Kinakailangan | pagsubok | pamantayan | resulta | katayuan (draft).

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Tingnan ang data ng pagsubok na ito, pumasa ba ito?

Walang pamantayan sa pagtanggap, kalabuan at pag-uulit; Sinasabi ng AI na isang bulag na "pass/fail", na mapanganib.

Napakahusay na prompt:

Tungkulin: Isa kang automotive test data analyst. Gawain: Suriin ang nakalakip na data ng pagsubok sa preno laban sa pamantayan sa pagtanggap at payuhan kung anong karagdagang ebidensya ang kailangan para sa desisyon. Konteksto: Criterion 38 m; kawalan ng katiyakan sa pagsukat ±0.9 m; Mayroong 2 kundisyon; nasubok ang karga ng sasakyan sa isang kundisyon. Constraint: Pagdedeklara ng 'Pumasa'; Ilista ang mga panganib at iminungkahing karagdagang kundisyon sa mga tuntunin ng kawalan ng katiyakan at pagdoble.Output: Panganib | katwiran | inirerekomenda ang karagdagang talahanayan ng pagsubok.

Mga karaniwang pagkakamali

• Ang paggawa ng AI na gumawa ng isang go/fail na desisyon. Ang desisyon ay ginawa ng inhinyero; Nagbibigay ang AI ng mga pahiwatig.
• Hindi pinapansin ang kawalan ng katiyakan sa pagsukat. Sa mga resultang malapit sa limitasyon, binabago ng kawalan ng katiyakan ang kinalabasan.
• Umaasa sa isang pagtakbo. Kung walang repeatability ang resulta ay marupok.
• Agad na isaalang-alang ang anomalya bilang isang "malfunction". Maaaring may recording artifact/ingay; Bumalik sa raw data.
• Bulag ang pagkopya ng ulat. Ang draft ng AI ay hindi maaaring maging opisyal na dokumento nang walang pag-apruba at pagwawasto ng engineer.

Sa buod

• Sinusukat ng pagpapatunay ang pagsunod sa kinakailangan, sinusukat ng pagpapatunay ang pagsunod sa aktwal na pangangailangan; Pinamamahalaan ng DVP&R ang prosesong ito.
• Ito ay isang makapangyarihang katulong sa pagbubuod, pagmamarka ng anomalya, paghahambing at pagbalangkas ng mga ulat sa data ng pagsubok ng AI.
• Ang desisyon (pass/fail) ay nasa engineer; Mga pahiwatig ng AI, hindi mga palatandaan.
• Kung walang katiyakan at pag-uulit ng pagsukat, hindi mabibigyang-kahulugan ang resulta; Ang mga resultang malapit sa limitasyon ay nangangailangan ng espesyal na atensyon.
• Ang mga anomalya ay dapat paghiwalayin ng hilaw na data upang matukoy kung ang mga ito ay tunay na kaganapan o mga artifact ng pagsukat.

Gawain ng aplikasyon

Pumili ng pagsubok (hal. malamig na pagsisimula sa silid ng klima). (1) Isulat ang kinakailangan, paraan ng pagsusulit at pamantayan sa pagtanggap. (2) Humiling ng buod at pagtatasa ng risk zone na may Template 1 (nang hindi humihiling ng desisyon). (3) Suriin ang isang haka-haka na kinalabasan malapit sa limitasyon para sa kawalan ng katiyakan gamit ang Template 3. (4) Gumawa ng draft DVP&R gamit ang Template 4, na nagsasaad kung aling mga lugar ang iyong aalis para sa pag-apruba ng engineer.

checklist

• [ ] Malinaw kong isinulat ang mga kinakailangan at pamantayan sa pagtanggap.
• [ ] Humingi ako sa AI ng isang panganib/pahiwatig, hindi isang desisyon.
• [ ] Isinama ko ang kawalan ng katiyakan sa pagsukat sa resulta.
• [ ] Sinuri ko ang kahusayan sa pag-uulit (bilang ng mga pagtakbo).
• [ ] Sinuri ko ang mga anomalya na may raw data sa pamamagitan ng paggawa ng pagkakaiba sa pagitan ng katotohanan at artifact.
• [ ] Minarkahan ko ang draft ng ulat para sa pag-apruba ng engineer.