Testimise ja valideerimise andmete analüüs

Kasu:

• Võimalus ära tunda katseandmete tüüpe, nagu dünamomeeter, teekatse, vastupidavus ja DVP&R, ning nende koht verifitseerimisprotsessis
• Võimalus kasutada tehisintellekti suurtes katseandmetes kokkuvõtete tegemiseks, kõrvalekallete märgistamiseks ja aruannete koostamiseks
• Võimalus ristvalideerida AI testi tõlgendust mõõtemääramatuse, korratavuse ja aktsepteerimiskriteeriumidega

Vastus küsimusele "kas see vastab nõuetele" on enne sõiduki või komponendi tootmist alustamist peidetud katse- ja taatlusandmetes. Katsetamine autotööstuses ulatub laborist (dünamomeeter, kliimakamber, vibratsioonilaud) kuni maanteede (maanteekatse, vastupidavusrada) ja kokkupõrkelaborini. Need testid genereerivad tohutult andmeid: üks vastupidavustesti võib sisaldada miljoneid andurikirjete ridu. Selles üksuses näeme nende andmete tüüpe, nende kohta verifitseerimisprotsessis ja seda, kuidas tehisintellekt analüüsis aitab (kuid kuidas otsus jääb insenerile).

Mis on kontrollimine ja kinnitamine?

Neid kahte mõistet aetakse sageli segamini:

• Kontrollimine: "Kas me ehitasime toote õigesti?" Mõõdab nõuetele vastavust. Näide: "Pidurdustee spetsifikatsioonis on kirjas 38 meetrit; meie mõõtsime selle 36,5 meetrit. Sobib."
• Valideerimine: "Kas tegime õige toote?" Kas see vastab tegelikule kasutamisele? Näide: "Kas juhtide arvates on see pidur turvaline?"

Autotööstuses juhitakse seda protsessi tavaliselt DVP&R (Design Verification Plan and Report) dokumendiga: see on tabel, mis loetleb, millist nõuet millise testiga testitakse, milliste aktsepteerimiskriteeriumitega ja mille tulemus on.

Tüüpilised testiandmete tüübid

Testi tüüp

Milliseid meetmeid

näidisandmed

Dünamomeeter (düno)

Mootori võimsus, pöördemoment, heitgaasid

RPM-pöördemomendi kõver, kütusekulu

teekatse

Tegeliku seisundi käitumine

GPS, kiirendus, sõidusignaalid

vastupidavus

eluaegne väsimus

Vibratsioon, pinge, tsüklite arv

kliima/keskkond

Kuuma-külma-niiskuskindlus

temperatuur, tööseisund

NVH

Müra/vibratsioon

Helirõhk, kiirendusspekter

Kokkupõrge (avarii)

Turvalisus

Kiire video, näiv andurid

Igal testil on aktsepteerimise kriteerium (nõue). Analüüsi eesmärk on tõestada, kas andmed vastavad sellele kriteeriumile.

Mida teeb tehisintellekt testanalüüsis?

AI on võimas abiline katseandmete analüüsimisel, et:

1. Kokkuvõte: Statistiline kokkuvõte, tippväärtused, jaotus miljonitest ridadest.
2. Anomaalia märgistus: "Sellel salvestisel on ootamatu pöördemomendi langus 214 sekundi juures."
3. Mustri võrdlus: kahe katsesõidu või erinevate sõidukite võrdlemine ja erinevuste leidmine.
4. Aruande mustand: DVP&R tulemuse teksti ja graafiliste selgituste koostamine.
5. Koodiabi: analüüsiskripti genereerimine (Python).

Kuid olge ettevaatlik: need on kõik visandid ja vihjed. Katseinsener on see, kes otsustab, kas test läbib või mitte ja kas anomaalia on tõeline või mõõtmisviga.

Vihje: küsige tehisintellektilt "kas see test läbis?" Selle asemel, et küsida: "Millised piirkonnad nendes andmetes näitavad aktsepteerimiskriteeriumide kohaselt ohtu, milliseid täiendavaid kontrolle peaksin tegema?" küsi. Esimene nõuab otsuseid (mitte tehisintellekti töö), teine ​​vihjeid (AI töö).

Mõõtemääramatus ja korratavus

Ükski mõõtmine pole täiuslik. Kriitilised on kaks kontseptsiooni:

• Mõõtemääramatus: mõõteseadme loomulik veapiir. Kui pidurdusteekond on "36,5 m" ja mõõtemääramatus on ±0,8 m, on tegelik väärtus vahemikus 35,7-37,3 m. Kui spetsifikatsioon on 38 m, olete ohutu; aga kui spetsifikatsioon oleks 37 m, oleks määramatus väga lähedal piirile.
• Korratavus: kas saate sama testi uuesti tehes sarnaseid tulemusi? Üks jooks võis olla juhuslik. Autotööstuses korratakse kriitilisi teste mitu korda erinevates sõidukites/tingimustes.

AI-ga tähistatud "anomaalia" võib tegelikult olla mõõtmismüra. Ebakindlus ja topeltkontroll on enne otsuse tegemist hädavajalikud.

Ettevaatust: AI ütlus "vastuvõtukriteeriumid on läbitud" on petlik, kui see ei võta arvesse mõõtmise ebakindlust ja dubleerimist. Piirilähedaste tulemuste korral võib määramatuse piir testi tulemust muuta.

Minijuhtumiuuringud

1. juhtum – anomaalia või müra? Vastupidavuskatses märgib AI pingesignaalis 3 äkilist hüpet. Katseinsener vaatab algandmeid: hüpped vastavad täpselt andmesalvestaja taaskäivitamise hetkedele; Nii et see ei ole tõeline struktuurne sündmus, see on registreerimise katkestus. Anomaaliad on dokumenteeritud artefaktidena. Tulemus: AI andis vihje, insener eraldas algpõhjuse; automaatne "tõrke" tempel oleks vale.

Juhtum 2 – piirilähedane tulemus. Piduritesti keskmine vahemaa on 37,4 m, spetsifikatsioon 38 m. AI ütleb "läbitud". Insener mõistab mõõtemääramatuse (±0,9 m) ja seda, et on tehtud ainult 2 jooksu; Ülemine piir ületab 38,3 m spetsifikatsiooni. Katset suurendatakse 6 sõiduni ja tingimusi (kuum pidur, koormatud sõiduk) muudetakse; Tulemus on kinnitatud ohutuks. Järeldus: öelda "läbi" ilma kahemõttelisuse ja kordamiseta on riskantne.

3. juhtum – kiirkokkuvõtte võimsus. Ühes NVH testis on 40 GB andmeid 12 instrumendilt. AI väljastab tabeli ja võrdluse, mis võtab kokku iga tööriista tippsagedused ja amplituudid; Insener suunab oma tähelepanu kahele probleemsele sõidukile 2 tunni asemel 20 minutiga. Seejärel uurib ta oma kätega nende kahe sõiduki töötlemata spektrit. Tulemus: AI tegi elimineerimise, insener tegi põhjaliku analüüsi.

viipade mallid

Mall 1 – testi kokkuvõte:

Roll: olete testiandmete analüütik. Ülesanne: Tehke kokkuvõte allpool olevast dünamomeetri rekordist. Kontekst: RPM andmed, 1000-6000 p/min; aktsepteerimiskriteerium: tipppöördemoment vähemalt 320 Nm, võimsuskõvera kokkuvarisemine puudub. Piirang: „Läbi/läbi” otsuste tegemine; Nimetage riskitsoonid ja täiendavad kontrollisoovitused vastavalt kriteeriumidele. Väljund: kokkuvõtlik statistika + riskitsoon + soovitatav kontroll.

Mall 2 – anomaalia sõelumine:

Roll: olete mõõtmis- ja mõõteriistade ekspert. Ülesanne: juhendage mind eristama, kas märgitud kõrvalekalded on reaalsed sündmused või mõõtmisartefaktid. Kontekst: pingesignaali 3 järsku hüpet; Salvesti taaskäivitub perioodiliselt. Väljund: võimalik seletus + iga anomaalia diskrimineerimise kontroll.

Mall 3 – määramatuse hindamine:

Roll: Olete metroloogia (mõõteteaduse) konsultant.Ülesanne: Hinda tulemuse ohutust vastavalt aktsepteerimiskriteeriumidele.Kontekst: Mõõdetud väärtus 37,4 m, määramatus ±0,9 m, spetsifikatsioon38 m, jooksude arv 2.Piirang: Kindlasti tuleb arvestada määramatusega ja korduste arvuga; rõhutada piiri lähedust.Väljund: hindamine + soovitus täiendavaks testimiseks + allesjäänud risk.

Mall 4 – DVP&R aruande mustand:

Roll: olete kinnitusinsener. Ülesanne: kirjutage järgmiste testitulemuste jaoks DVP&R tulemuste teksti mustand. Kontekst: nõue, katsemeetod, aktsepteerimiskriteerium ja mõõdetud väärtus on täidetud (anonüümne). Piirang: Ainult mustand; Ärge kasutage ranget kinnitust "kinnitatud", jätke ruumi inseneri kinnituseks. Väljund: nõue | test | kriteerium | tulemus | staatus (mustand).

Nõrk viip / Tugev viip

Nõrk viip:

Vaadake neid testiandmeid, kas see läks läbi?

Puuduvad aktsepteerimiskriteeriumid, ebaselgus ja kordused; Tehisintellekt ütleb pimedat "läbi/ei õnnestu", mis on ohtlik.

Võimas viip:

Roll: olete autotestide andmete analüütik. Ülesanne: Analüüsige lisatud piduritesti andmeid aktsepteerimiskriteeriumide alusel ja andke teada, milliseid täiendavaid tõendeid on otsuse tegemiseks vaja. Kontekst: kriteerium 38 m; mõõtemääramatus ±0,9 m; On 2 tingimust; sõiduki koormust testiti ühes tingimuses. Piirang: „Läbitud” kuulutamine; Loetlege riskid ja pakutud lisatingimused määramatuse ja dubleerimise osas. Väljund: risk | põhjendus | soovitatav täiendav katsetabel.

Levinud vead

• Tehisintellekti panemine langetama/ei tööta. Otsuse teeb insener; AI annab vihjeid.
• Mõõtemääramatuse ignoreerimine. Piirilähedaste tulemuste puhul muudab ebakindlus tulemust.
• Ühele jooksule tuginedes. Ilma korratavuseta on tulemus habras.
• Pidage anomaaliat kohe "rikkeks". Võib esineda salvestusartefakti/müra; Tagasi algandmete juurde.
• Aruande pimekopeerimine. AI mustand ei saa saada ametlikuks dokumendiks ilma inseneri nõusolekuta ja parandamata.

Kokkuvõttes

• Kontrollimine mõõdab vastavust nõuetele, valideerimine mõõdab vastavust tegelikule vajadusele; DVP&R juhib seda protsessi.
• See on võimas abiline tehisintellekti katseandmete kokkuvõtete tegemisel, anomaaliate märgistamisel, võrdlemisel ja aruannete koostamisel.
• Otsuse (sobib/mittearvestatud) teeb insener; AI vihjed, mitte märgid.
• Ilma mõõtemääramatuse ja korratavuseta ei saa tulemust tõlgendada; Piirilähedased tulemused nõuavad erilist tähelepanu.
• Anomaaliad tuleb eraldada algandmetega, et teha kindlaks, kas need on reaalsed sündmused või mõõtmisartefaktid.

Rakenduse ülesanne

Valige test (nt külmkäivitus kliimakambris). (1) Kirjutage nõue, katsemeetod ja aktsepteerimiskriteeriumid. (2) Taotlege malliga 1 kokkuvõtet ja riskitsooni analüüsi (otsust nõudmata). (3) Hinnake kujuteldavat tulemust, mis on 3. malli abil ebakindluse piiri lähedal. (4) Koostage DVP&R mustand, kasutades malli 4, näidates ära, millised alad jätate inseneri heakskiidu saamiseks.

kontrollnimekiri

• [ ] Olen nõuded ja vastuvõtukriteeriumid selgelt kirja pannud.
• [ ] Küsisin AI-lt riski/vihjet, mitte otsust.
• [ ] Lisasin tulemusesse mõõtemääramatuse.
• [ ] Hindasin korratavuse (jooksude arvu) oskust.
• [ ] Uurisin anomaaliaid algandmetega, tehes vahet faktil ja artefaktil.
• [ ] Märkisin aruande kavandi inseneri kinnitamiseks.