Integracija od konca do konca, MLOps in odgovornost inženirja

Dobički:

• Sposobnost oblikovanja z AI podprtega avtomobilskega projekta od koncepta do proizvodnje in njegovega vzdrževanja s ciklom spremljanja
• Sposobnost ocenjevanja upravljanja različic modela, premikanja podatkov in potreb po ponovnem usposabljanju
• Zmožnost varnega prilagajanja AI ob ohranjanju odgovornosti, sledljivosti in dokumentacije v celotnem projektu

V zadnji enoti tega modula združimo vse dele. Videli smo, kako se umetna inteligenca uporablja v posameznih enotah, od načrtovanja do proizvodnje, od testiranja do dobavne verige. Toda v resničnem projektu to niso izolirani koraki, ampak življenjski cikel: podatki se zbirajo, model se gradi, da v proizvodnjo, se spremlja in ko se postara, se obnovi. Disciplina vzdrževanja tega cikla se imenuje MLOps (Machine Learning Operations). Ta enota zajema postavitev, vzdrževanje in vzdrževanje odgovornosti za avtomobilski projekt, ki ga poganja umetna inteligenca, od konca do konca.

Življenjski cikel projekta AI

Tipičen tok od konca do konca v avtomobilskem kontekstu:

1. Opredelitev problema in vrednosti: Kateri poslovni problem rešujemo? Kako se meri uspeh? Ali je to varnostno kritična funkcija?
2. Zbiranje in označevanje podatkov: Viri (CAN, testiranje, proizvodnja, telematika), kakovost, zaupnost.
3. Razvoj modela: atribut, model, verifikacija (kontrola puščanja, konsistentnost enote).
4. Preverjanje in ocena varnosti: Neodvisno testiranje, če je zahtevano ISO 26262/SOTIF.
5. Namestitev: Namestitev modela v napravo, na spletu ali v oblaku.
6. Spremljanje: zmogljivost, premik podatkov, natančnost alarma.
7. Preusposabljanje: posodobitev modela, ko postane star.
8. Dokumentacija in sledljivost: Evidenca vsakega koraka; kdo, kdaj, zakaj.

Ta krog se ne konča enkrat za vselej; nenehno vrti. V avtomobilizmu je nevarno "nastaviti in pozabiti" model.

Nasvet: Ko začnete projekt, "kdo bo spremljal ta model, ko bo na terenu, s kakšno metriko in kako pogosto?" Če ne morete odgovoriti na vprašanje, model še ni pripravljen za proizvodnjo.

Upravljanje različic modela in sledljivost

Sledljivost v avtomobilizmu ni razkošje, ampak pogosto zakonska obveznost. Ko se pojavi težava, bi morali biti sposobni odgovoriti na vprašanje "katera različica modela, s katerimi podatki je bil usposobljen, kdo ga je odobril?" Dobre prakse:

• Različica modela: Številka vsakega modela, podatki o usposabljanju in datum se zabeležijo.
• Različice podatkov: Podatki, na podlagi katerih je bil učen, so zamrznjeni.
• Dnevnik odločitev: Kdo je odobril in s kakšnimi dokazi.
• Načrt povrnitve: Če se novi model izkaže za slabega, se lahko vrnete na starega.

postavka

Zakaj je potrebno

Tveganje, če manjka

Modelska različica

Katera različica je na terenu?

Težave ni mogoče izslediti

Podatkovna različica

S čim je bil treniran?

ni ponovljivo

Zapis o odobritvi

Kdo je odgovoren?

ne more biti odgovoren

razveljaviti

Vrnitev iz slabe različice

Dolgi zastoji na terenu

Odmik podatkov in razpad modela

Model je posnetek sveta, v katerem se šola. Toda svet se spreminja: nov dobavitelj delov prinese drugačno toleranco senzorjev, pojavi se nov model vozila, spremenijo se letni časi, spremenijo se vozne navade. Zmogljivost modela tiho upada, ko se porazdelitev vhodnih podatkov oddaljuje od časa usposabljanja. Ta zamik podatkov in posledično zmanjšanje zmogljivosti se imenuje razpad modela.

Nevarnost je v tem, da je ta upad tih: model se ne sesuje, ne dela napak, samo vedno bolj se zmoti. Zato:

• Spremljajte vhodno porazdelitev (zaznavanje drifta).
• Spremljajte meritve uspešnosti z resničnimi rezultati (ali so bili alarmi točni?).
• Sproži ponovno usposabljanje, ko je prag presežen.

Pozor: Predpostavka, da "ko je model enkrat naučen, zagotavlja vedno enako zmogljivost", je v avtomobilizmu napačna in tvegana. Model, ki je dan v proizvodnjo brez spremljanja drsenja, lahko nevede postane nezanesljiv.

Primer scenarija od konca do konca: vozni park za predvideno vzdrževanje

Zabetonirajmo. Nameščate sistem za zgodnje opozarjanje o okvari turbine za tovorno floto:

1. Vrednost: Zmanjšajte čas izpadov in stroške vleke; uspeh = zajeta dejanska napaka/lažni alarm.
2. Podatki: CAN signali 40 vozil, zgodovinski zapisi napak; VIN je anonimiziran.
3. Model: Anomaly + RUL; preprečeno uhajanje časovnih vrst; Predstavljeno je območje negotovosti.
4. Preverjanje: testiranje preteklih napak za nazaj; Stroški lažnega alarma so bili pretehtani.
5. Produkcija: Dnevni rezultat v oblaku; ploščo tehniku.
6. Spremljanje: nadzor zanašanja, ko je dodan nov model vozila; tedenska natančnost alarma.
7. Preusposabljanje: četrtletna posodobitev z novim tipom vozila in novimi primeri napak.
8. Dokumentacija: različica modela, različica podatkov, registriran certificirani inženir.

Noben korak v tem toku ne pravi "AI odločila, končano"; Za vsako stopnjo je odgovorna oseba.

Mini študije primerov

Primer 1 - Tihi razpad. Model nadzora kakovosti dobro deluje eno leto, nato se stopnja uhajanja počasi povečuje. Osnovni vzrok: Ko se je dobavitelj zamenjal, je tekstura površine dela postala nekoliko drugačna (odnašanje) in model je začel misliti, da je to "normalno". Vzpostavljen je nadzor zanašanja in model je ponovno usposobljen. Rezultat: brez nadzora bi bila ranljivost več mesecev neopažena.

Primer 2 – Sledljivost ohranjena. S terena prihaja pritožba o lažnem alarmu. Iz dnevnika odločitev skupina ugotovi, katera različica modela deluje s katerimi podatki; Zazna, da težava izvira iz nastavitve praga v določeni različici, in to različico vrne nazaj. Rezultat: Če ni bilo zapisa različice in odločitve, težave ni bilo mogoče izslediti.

Primer 3 - Preusposabljanje discipline. Ko se voznemu parku pridruži nov električni model, obstoječi model prediktivnega vzdrževanja sproži veliko lažnih alarmov na tem vozilu (pogonski sklop, ki ga še ni videl). Preden naroči nov model, ekipa posname opozorilo o zanašanju in model razširi z novimi podatki o vozilu. Rezultat: Nadzor zanašanja je zgodaj zaznal degradacijo, ki je prišla z novim izdelkom.

predloge pozivov

Predloga 1 – osnutek načrta projekta:

Vloga: Vodja projekta AI (avtomobilska industrija). Naloga: Pomagajte mi pri načrtovanju projekta, ki ga poganja AI od konca do konca. Kontekst: Prediktivno vzdrževanje; Vozni park 40 vozil; VIN je anonimen. Omejitev: Upoštevajte korake opredelitve vrednosti, podatkov, modela, preverjanja, proizvodnje, spremljanja, preusposabljanja in dokumentacije ločeno; navedite, kdo je odgovoren za vsak korak. Rezultat: korak | izhod | odgovoren | tabela tveganja.

Predloga 2 – Načrt spremljanja:

Vloga: Ste inženir MLOps. Naloga: Priporočite načrt spremljanja za model, ki se uporablja. Kontekst: porazdelitev vložkov se lahko sčasoma spremeni (nov dobavitelj, novo orodje); uspešnost se lahko meri z dejanskimi rezultati. Izhod: metrika za sledenje | prag | dejanje, ki se sproži.

Predloga 3 – ocena drsenja:

Vloga: podatkovni znanstvenik. Naloga: Pojasnite, kako zaznati odmik podatkov in kdaj je potrebno ponovno usposabljanje. Kontekst: model vizualnega pregleda proizvodne linije; Lahko pride do zamenjave dobavitelja. Izhod: Signal | meritev | sprožilec prekvalifikacije.

Predloga 4 – kontrolni seznam sledljivosti:

Vloga: Ste presojevalec kakovosti/skladnosti. Naloga: Ustvarite kontrolni seznam sledljivosti za model. Kontekst: avtomobilizem; Ko se pojavi težava, je treba odgovoriti na vprašanje 'katera različica, kateri podatki, kdo jo je odobril'. Rezultat: Postavka | zakaj je to potrebno | kako shraniti grafikon.

Šibek poziv/močan poziv

Šibek poziv:

Postavite model v proizvodnjo.

Brez sledenja, brez različic, brez odgovornosti in brez povrnitve; Tiho propadanje in neizsledljivi problemi so neizogibni.

Močan poziv:

Vloga: Ste MLOps in svetovalec za kakovost avtomobilov. Naloga: Ustvarite kontrolni seznam, ki ga potrebujem za odgovorno dajanje modela v proizvodnjo. Kontekst: vozni park za predvideno vzdrževanje; Sčasoma se dodajo novi tipi vozil; VIN anonymous. Omejitev: Vključuje spremljanje, zaznavanje odmika, beleženje različic/podatkov, potrditev in načrt za povrnitev; Navedite, kdo je odgovoren za vsako postavko; predlog 'nastavi in ​​pozabi'. Rezultat: Faza | nujnost | odgovoren | tabela tveganja.

Pogoste napake

• Pristop "nastavi in pozabi". Brez spremljanja model tiho propada.
• Ne vodi evidence različic/podatkov. Težave ni mogoče izslediti ali reproducirati.
• Brez načrta za povrnitev. Če okrevanje po slabi izdaji traja dolgo, bo prišlo do dolge okvare na terenu.
• Brez čakanja na Drift. Nov dobavitelj/orodje/sezona moti model; spremljanje je bistveno.
• Odgovornost ostaja nejasna. Odgovor »kdo je odgovoren« bi moral biti jasen na vsakem koraku.

Če povzamem

• Avtomobilski projekt, ki ga poganja umetna inteligenca, ni enkraten, temveč tekoči življenjski cikel (MLOps).
• Različice modela in podatkov, beleženje odločitev in načrtovanje povrnitve so bistveni za sledljivost.
• Odmik podatkov tiho ovrže model; vložek in uspešnost je treba spremljati in po potrebi prekvalificirati.
• V primeru od konca do konca je za vsak korak odgovoren človek; Ni "AI odločil, konec je".
• "Nastavi in ​​pozabi" je v avtomobilizmu tvegano; spremljanje, dokumentacija in odgovornost se vzdržujejo skozi celoten projekt.

Aplikacijska naloga

Združite tisto, kar ste se naučili v tem modulu, v en projekt (npr. vizualni pregled proizvodne linije ali predvideno vzdrževanje). (1) Pripravite načrt projekta od konca do konca s predlogo 1; Zapišite odgovorno osebo za vsak korak. (2) S predlogo 2 določite načrt spremljanja in sprožilce zanašanja. (3) Pripravite kontrolni seznam sledljivosti s predlogo 4. (4) V odstavku povzamete, kako ste v tem projektu uporabili tri sidrne discipline z začetka modula.

kontrolni seznam

• [ ] Projekt sem načrtoval kot življenjski cikel od konca do konca.
• [ ] Definiral sem zapis odločitve z različico modela in podatkov.
• [ ] Nastavil sem načrt spremljanja in sprožilce zanašanja.
• [ ] Pripravil sem načrt za povrnitev.
• [ ] Pojasnil sem, kdo je odgovoren za vsak korak.
• [ ] Ohranil sem tri discipline validacije sidra in validacijo, kritično za varnost ljudi.

Modulni izpit

1. Kakšna je vloga umetne inteligence pri avtomobilski varnostni odločitvi (npr. preverjanje zavorne programske opreme)?

• A) Pospeši analizo, vendar končna odobritev in odgovornost ostane pri pristojnem inženirju ✔
• B) Če je dovolj podatkov, se lahko da v proizvodnjo brez odobritve inženirja
• C) AI ni mogoče uporabiti na nobeni stopnji v kritičnih sistemih, kot so zavore
• D) Če natančnost modela presega 99 %, človeško preverjanje ni potrebno

Opis: Umetna inteligenca pospeši analizo, generira možne rešitve in povzetke; Za varnostno kritično odločitev in končno odobritev pa je odgovoren pristojni inženir. AI ni nadomestilo za validacijo inženirjev.

2. Katera so tri neodvisna preverjanja, ki se uporabljajo za testiranje rezultatov umetne inteligence v treh disciplinah validacije sidra?

• A) Dolžina, jezik in oblika poziva
• B) Dokazi o velikosti, inženirski smiselnosti in neodvisnem testiranju/merjenju ✔
• C) Velikost modela, čas usposabljanja in število grafičnih procesorjev
• D) Blagovna znamka dobavitelja, cena in dobavni rok

Opis: Tri sidra; vrstni red velikosti (preverjanje naročila), inženirska verodostojnost (fizika/izkušnje) in navzkrižna validacija z neodvisnimi testnimi/meritvenimi dokazi. Ti trije zagotavljajo zaupanje v dokaze, ne zaupanja v AI.

3. Kaj je najbolj kritično preverjanje za izhod "nadomestnega modela", ki pospeši simulacijo CFD ali FEA?

• A) Nadomestni model je vedno natančnejši od pravega reševalca
• B) Dovolj je, da je upodobitev videti estetsko prijetna
• C) Primerjava z referenčno rešitvijo in sprejemanje nezanesljivosti pri gibanju izven vadbenega prostora ✔
• D) Ni treba gledati na neodvisnost omrežja, če konvergira en sam zagon

Opis: nadomestni model proizvaja hitre napovedi namesto pravega reševalca; vendar je nezanesljiv zunaj oblikovalskega prostora, v katerem je bil usposobljen. Rezultat je treba preveriti z označevanjem območja ekstrapolacije z referenčno simulacijo visoke ločljivosti in fizičnimi robnimi pogoji.

4. Kakšen je pravilen izraz za stopnjo 2 (delna avtomatizacija) v stopnjah avtomatizacije SAE?

• A) Vozilo lahko vozi brez voznika v vseh pogojih
• B) Sistem ne izvaja nobenih vozniških nalog, le opozarja
• C) V redu je, če ne sedi na voznikovem sedežu
• D) Sistem podpira krmiljenje in hitrost, vendar ima voznik stalen nadzor in odgovornost ✔

Opis: V 2. stopnji sistem podpira krmiljenje in hitrost/razdaljo hkrati, vendar ima voznik stalen nadzor in je kadar koli pripravljen prevzeti vodenje; Odgovornost nosi voznik. Na ravni 3 in višje sistem prevzame naloge vožnje v določenih pogojih.

5. Zakaj je 'stopnja uhajanja' kritična metrika pri vizualnem odkrivanju napak na proizvodni liniji?

• A) Odobritev okvarjenega dela in njegovo pošiljanje na teren predstavlja tveganje za varnost in odpoklic ✔
• B) Pomemben je samo zato, ker upočasni hitrost linije
• C) Stopnja puščanja velja samo za napake barve
• D) Stopnja puščanja meri čas usposabljanja modela

Opis: Illegal; Del z napako se šteje za popolnega in gre skozi črto (lažno negativno). Za avtomobilski varnostni del je puščanje veliko dražje kot lažna zavrnitev, saj lahko povzroči okvaro ali odpoklic na terenu; Prag se ustrezno prilagodi.

6. Kakšna je najbolj natančna uporaba ocene 'preostale življenjske dobe' (RUL) pri predvidenem vzdrževanju?

• A) RUL se izračuna samo za motorno olje
• B) Predstaviti ga je treba z razponom negotovosti in razlagati v skladu z vzdrževalnim oknom in varnostno mejo ✔
• C) Treba ga je vzeti kot vrednost za en dan in do tega dne se ne sme preverjati.
• D) Senzorje je mogoče izklopiti, če je RUL visok

Opis: RUL je ocenjeni preostali čas delovanja komponente do okvare; Predstaviti ga je treba z razponom negotovosti in razlagati v skladu z načrtom vzdrževanja in varnostno mejo. Namesto da bi se slepo zanašali na eno točkovno oceno, sta upoštevana interval zaupanja in stroški lažnega alarma.

7. Kaj naj naredi inženir, ko umetna inteligenca v analizi testnih podatkov označi anomalijo v posnetku preskusa na cesti?

• A) Ko vidite anomalijo, se mora test samodejno šteti za neuspešnega.
• B) AI podatkov sploh ne bi smel pogledati, če jih ni označil
• C) Preverite anomalijo z neobdelanimi podatki, merilno negotovostjo in ponovljivostjo ✔
• D) Izbrišite anomalije in počistite poročilo

Pojasnilo: Anomalija, ki jo AI označi, je namig, ne sklep. Inženir mora preveriti merilno negotovost, možnost okvare senzorja in ponovljivost ter preveriti anomalijo z neobdelanimi podatki in merili sprejemljivosti. Samodejno sprejemanje ali zavrnitev ni primerno.

8. Katero preverjanje je obvezno za bistveno spremembo, ki jo predlaga umetna inteligenca v lažji študiji?

• A) Samo lažji mora biti
• B) Posamezna vrstica v bazi materialov se lahko vzame kot dokaz
• C) Obnašanje pri trčenju pri lahkih materialih ni pomembno
• D) Mehanske zahteve, zahteve glede utrujenosti, trkov, izdelljivosti in stroškovne zahteve je treba preskusiti skupaj ✔

Opomba: Priporočila o materialu ni mogoče sprejeti samo na podlagi razmerja med gostoto in trdnostjo; mehanske lastnosti, utrujenost, obnašanje pri trku, sposobnost izdelave, korozijo, stroške in varnostne zahteve je treba preveriti skupaj in potrditi s fizikalnim testiranjem.

9. Zakaj „tveganje enega samega vira“ v avtomobilski dobavni verigi zahteva posebno pozornost v priporočilih AI?

• A) Motnja pri enem dobavitelju lahko ustavi vso proizvodnjo; Drugi vir in medpomnilnik je treba ovrednotiti ✔
• B) En vir je vedno najvarnejša možnost
• C) Analiza tveganja je nepotrebna, če je predlagana umetna inteligenca
• D) Tveganje enega vira velja samo za pnevmatiko

Pojasnilo: Če del prihaja od enega samega dobavitelja, se proizvodnja ustavi, ko pride do težave s tem dobaviteljem. AI lahko priporoči en sam vir optimizacije stroškov; Inženir/načrtovalec mora to uravnotežiti s sekundarnimi viri, blažilnikom zalog in analizo scenarijev. Stroški niso edino merilo.

10. Kaj pomeni 'uhajanje podatkov' pri izvajanju telemetrične analize s Pythonom in zakaj je nevarno?

• A) Podatki uhajajo z diska in se izbrišejo
• B) Model vidi v usposabljanju informacije, ki jih v času napovedovanja ni mogoče poznati; Napihne rezultat, sesuje na igrišču ✔
• C) Mešanje grafičnih barv
• D) Pojavlja se samo v slikovnih podatkih

Opis: Puščanje podatkov; To je takrat, ko model v usposabljanju vidi informacije, ki jih dejansko ni mogoče poznati v času napovedovanja (na primer prihodnja vrednost ali atribut, povezan s ciljem). To umetno zviša rezultat testa, vendar zruši uspešnost na terenu. Razlikovanje med preteklostjo in prihodnostjo je treba skrbno vzdrževati v časovni vrsti.

11. Kaj določa klasifikacija ASIL v kontekstu funkcionalne varnosti ISO 26262?

• A) Največja hitrost vozila
• B) Velikost nabora podatkov o usposabljanju modela
• C) ✔ Zahtevana raven varnosti glede na resnost, izpostavljenost in možnost nadzora nevarnosti.
• D) Bonitetna ocena dobavitelja

Opis: ASIL (Automotive Safety Integrity Level) določa raven varnostnih ukrepov (od A do D, D je najvišja), ki jih zahteva nevarnost na podlagi ocene resnosti, izpostavljenosti in možnosti nadzora. Visok ASIL zahteva strožji razvoj, preverjanje in dokumentacijo.

12. V čem se ISO 21448 (SOTIF) razlikuje od klasične funkcionalne varnosti (ISO 26262)?

• A) Obravnava le napake strojne opreme
• B) Ureja samo licenciranje programske opreme
• C) SOTIF je staro ime standarda ISO 26262
• D) Obravnava tveganja, ki izhajajo iz neustrezne funkcionalnosti in neprepoznanih scenarijev, tudi če ni napake ✔

Opis: medtem ko ISO 26262 obravnava tveganja, ki izhajajo iz okvar/napak strojne in programske opreme, SOTIF (varnost načrtovane funkcionalnosti) obravnava tveganja, ki izhajajo iz neustreznega zaznavanja, neprepoznanih scenarijev in funkcionalnih omejitev, tudi če sistem sploh ne deluje pravilno; je še posebej kritično pri odkrivanju na podlagi umetne inteligence.

13. Kateri je najboljši pristop v smislu zasebnosti pri delu s telemetričnimi podatki voznika in vozila?

• A) Skladnost s KVKK/GDPR z anonimizacijo, minimizacijo podatkov in omejitvijo namena ✔
• B) Pošiljanje vseh neobdelanih podatkov v javni model skupaj z VIN
• C) Zasebnost velja samo za tržne podatke
• D) Podatki o lokaciji se nikoli ne štejejo za osebne podatke

Opis: Podatki, kot so lokacija, obnašanje pri vožnji in številka šasije (VIN), lahko identificirajo osebo. Najbolj pravilen pristop; anonimizacija/psevdonimizacija podatkov, zbiranje le nujnega (minimizacija podatkov), omejitev namena in skladnost s KVKK/GDPR. Pošiljanje neobdelane številke VIN ali lokacije orodjem tretjih oseb je tvegano.

14. Zakaj je treba spremljati 'odmik podatkov' v modelu AI, ki je dan v proizvodnjo?

• A) Ko je model enkrat naučen, zagotavlja enako zmogljivost za nedoločen čas.
• B) Zmogljivost tiho pada, ko se vhodna porazdelitev sčasoma spreminja; treba je sprožiti prekvalifikacijo ✔
• C) Zanašanje je le fizično tresenje strojne opreme
• D) Spremljanje je nepotrebno, ker se model samodejno posodobi

Pojasnilo: Realni svet se spremeni (nov dobavitelj delov, sezona, nov model vozila); Zmogljivost modela se tiho zmanjšuje, ko se vhodna porazdelitev oddaljuje od časa usposabljanja. Preusposabljanje sprožijo spremljanje drifta in meritve uspešnosti. Pristop "nastavi in ​​pozabi" je v avtomobilski industriji tvegan.