Интеграција од крај до крај, MLOps и инженерска одговорност

Добивки:

• Способност да се дизајнира автомобилски проект поддржан со вештачка интелигенција од концепт до производство и да се одржува со циклус на мониторинг
• Способност да се процени управувањето со верзијата на моделот, да се пренесат податоци и потребите за преквалификација
• Способност за безбедно размерување на вештачката интелигенција додека се одржува одговорност, следливост и документација низ целиот проект

Во последната единица од овој модул, ги спојуваме сите делови. Видовме како вештачката интелигенција се користи во поединечни единици, од дизајн до производство, од тестирање до синџирот на снабдување. Но, во вистински проект тоа не се изолирани чекори, туку животен циклус: се собираат податоци, се гради моделот, се става во производство, се следи и кога ќе старее се обновува. Дисциплината за одржување на овој циклус се нарекува MLOps (Machine Learning Operations). Оваа единица опфаќа поставување, одржување и одржување на одговорност за автомобилски проект со вештачка интелигенција од крај до крај.

Животен циклус на проект за вештачка интелигенција

Типичен тек од крај до крај во автомобилски контекст:

1. Дефиниција на проблем и вредност: Кој деловен проблем го решаваме? Како се мери успехот? Дали е ова безбедносно-критична функција?
2. Собирање податоци и означување: Извори (CAN, тестирање, производство, телематика), квалитет, доверливост.
3. Развој на модел: Атрибут, модел, верификација (контрола на истекување, конзистентност на единицата).
4. Верификација и безбедносна проценка: Независно тестирање доколку е потребно ISO 26262/SOTIF.
5. Распоредување: распоредување на моделот во апаратот, на линија или во облакот.
6. Набљудување: перформанси, префрлање на податоци, точност на алармот.
7. Преквалификација: Ажурирање на моделот кога ќе стане стар.
8. Документација и следливост: Евиденција за секој чекор; кој, кога, зошто.

Овој циклус не завршува еднаш засекогаш; ротира постојано. Во автомобилската индустрија е опасно да се „постави и заборави“ модел.

Совет: При започнување на проектот, „кој ќе го следи овој модел откако ќе биде на терен, со која метрика и колку често?“ Ако не можете да одговорите на прашањето, моделот сè уште не е подготвен за производство.

Управување со верзијата на моделот и следливост

Следливоста во автомобилската индустрија не е луксуз, туку често е законска обврска. Кога ќе се појави проблем, треба да можете да одговорите на прашањето „каква верзија на моделот, со какви податоци е обучен, кој го одобрил?“. Добри практики:

• Верзија на моделот: Се запишуваат бројот на секој модел, податоците за обука и датумот.
• Верзија на податоци: Податоците за кои е обучен се замрзнати.
• Дневник на решенија: Одобрение е дадено од кого и со какви докази.
• План за враќање: Ако се покаже дека новиот модел е лош, можете да се вратите на стариот.

ставка

Зошто е потребно

Ризик ако недостасува

Модел верзија

Која верзија е на терен?

Проблемот не може да се следи

Верзија на податоци

Со што тренирал?

не може да се репродуцира

Запис за одобрување

Кој е одговорен?

не може да биде повикана на одговорност

поништи

Враќање од лоша верзија

Долг прекин на теренот

Лебдат податоци и распаѓање на моделот

Моделот е слика од светот во кој се тренира. Но, светот се менува: нов добавувач на делови носи различна толеранција на сензорите, излегува нов модел на возило, се менуваат годишните времиња, навиките за возење се менуваат. Перформансите на моделот тивко се намалуваат како што дистрибуцијата на влезните податоци се оддалечува од времето за обука. Ова поместување на податоците и резултирачкото намалување на перформансите се нарекува распаѓање на моделот.

Опасноста е во тоа што овој пад е тивок: моделот не колабира, не прави грешки, само станува се повеќе и повеќе погрешен. Затоа:

• Следење на влезната дистрибуција (откривање на лебдат).
• Следете ги метриките на перформансите со реални резултати (дали алармите беа точни?).
• Активирајте преквалификација кога ќе се надмине прагот.

Внимание: Претпоставката дека „штом моделот е обучен, тој ги дава истите перформанси засекогаш“ е погрешна и ризична во автомобилската индустрија. Моделот пуштен во производство без следење на дрифтот може несвесно да стане несигурен.

Сценарио за пример од крај до крај: флота за предвидливо одржување

Да го конкретизираме. Инсталирате систем за рано предупредување за дефект на турбо за товарен возен парк:

1. Вредност: Намалете ги застојот и трошоците за влечење; успех = фатен биланс на вистинска грешка/лажен аларм.
2. Податоци: CAN сигнали на 40 возила, историски записи за дефекти; VIN е анонимизиран.
3. Модел: Аномалија + RUL; Спречено истекување на временски серии; Прикажан е опсегот на несигурност.
4. Верификација: Беско-тестирање на минатите грешки; Трошоците за лажна тревога беа измерени.
5. Производство: Дневен резултат во облакот; панел до техничарот.
6. Набљудување: Контрола на нанос кога се додава нов модел на возило; точност на алармот неделно.
7. Преквалификација: Квартално ажурирање со нов тип на возило и нови примери за дефекти.
8. Документација: Модел верзија, верзија на податоци, регистриран инженер за потврдување.

Ниту еден чекор во овој тек не вели „Ви одлучи, заврши“; Едно лице е одговорно за секоја фаза.

Мини студии на случај

Случај 1 - Тивко распаѓање. Моделот за контрола на квалитетот работи добро една година, а потоа стапката на истекување полека се зголемува. Основна причина: Кога добавувачот се смени, површинската текстура на делот стана малку поинаква (дрифт), а моделот почна да мисли дека ова е „нормално“. Воспоставен е мониторинг на дрифт и моделот се преквалификува. Резултат: Без мониторинг, ранливоста би останала незабележана со месеци.

Случај 2 - Следливоста е зачувана. Пријава за лажна тревога доаѓа од терен. Од дневникот за одлуки, тимот дознава која верзија на моделот работи со кои податоци; Открива дека проблемот доаѓа од поставувањето на прагот во одредена верзија и ја враќа таа верзија назад. Резултат: Ако немаше верзија и запис за одлуки, проблемот не може да се следи.

Случај 3 - Дисциплина за преквалификација. Кога нов електричен модел се приклучува на возниот парк, постојниот модел за предвидливо одржување предизвикува многу лажни аларми на ова возило (погонски склоп што никогаш не го видел). Пред да го пушти во употреба новиот модел, тимот го доловува предупредувањето за наноси и го проширува моделот со нови податоци за возилото. Резултат: Следењето на наносот рано ја забележа деградацијата што настана со новиот производ.

промптни шаблони

Шаблон 1 - Нацрт план на проектот:

Улога: водач на проект за вештачка интелигенција (автомобилски).Задача: Помогни ми да планирам проект со вештачка интелигенција од крај до крај. Возен парк од 40 возила; VIN е анонимен. Ограничување: Размислете за чекорите за дефинирање на вредноста, податоци, модел, верификација, производство, следење, преквалификација и документација одделно; наведете кој е одговорен за секој чекор.Излез: Чекор | излез | одговорен | табела за ризик.

Шаблон 2 - План за следење:

Улога: Вие сте инженер за MLOps. Задача: Препорачај план за мониторинг за модел што се прикажува. Контекст: Дистрибуцијата на влезните податоци може да се промени со текот на времето (нов добавувач, нова алатка); перформансите може да се измерат со реални резултати.Излез: Метрички за следење | праг | акција што треба да се активира.

Шаблон 3 - рејтинг за дрифт:

Улога: научник за податоци. Задача: Објаснете како да откриете оддалечување на податоците и кога е потребна преквалификација. Контекст: Модел на визуелна инспекција на производна линија; Може да има промена на добавувачот. Излез: Сигнал | мерење | активирач за преквалификација.

Шаблон 4 - Список за проверка на следливост:

Улога: Вие сте ревизор за квалитет/усогласеност. Задача: Креирајте листа за проверка на следливост за модел. Контекст: Автомобилство; Кога ќе се појави проблем, треба да се одговори на прашањето „која верзија, кои податоци, кој го одобрил“. Излез: Ставка | зошто е потребно | како да зачувате графикон.

Слаб промпт / Силен промпт

Слаба навестување:

Ставете го моделот во производство.

Без следење, без верзии, без одговорност и без враќање назад; Тивкото распаѓање и неизбежните проблеми се неизбежни.

Моќен потсетник:

Улога: Вие сте MLOps и консултант за квалитет на автомобили. Задача: Креирај листа за проверка што ми е потребна за одговорно да ставам модел во производство. Контекст: Флота за предвидливо одржување; Новите типови возила се додаваат со текот на времето; VIN анонимен.Ограничување: Вклучете мониторинг, откривање на нанос, евиденција на верзии/податоци, потврда и план за враќање; Наведете кој е одговорен за секоја ставка; „Постави го и заборавај го“ предлогот.Излез: Фаза | неопходност | одговорен | табела за ризик.

Вообичаени грешки

• Пристап „Поставете го и заборавете го“. Без следење, моделот тивко се распаѓа.
• Не води евиденција за верзии/податоци. Проблемот не може да се следи или репродуцира.
• Нема план за враќање. Ако закрепнувањето од лошото издание трае долго, ќе има долг неуспех на теренот.
• Не чекајќи го Drift. Новиот добавувач/алатка/сезона го нарушува моделот; следењето е од суштинско значење.
• Оставајќи ја одговорноста нејасна. Одговорот „кој е одговорен“ треба да биде јасен на секој чекор.

Сумирано

• Автомобилски проект со погон на вештачка интелигенција не е еднократен, туку животен циклус на тркалање (MLOps).
• Верзијата на моделот и податоците, евиденцијата на одлуки и планирањето на враќање се од суштинско значење за следливоста.
• Податоците лебдат тивко го побива моделот; влезот и перформансите треба да се следат и преквалификуваат доколку е потребно.
• Во примерот од крај до крај, секој чекор има одговорен човек; Нема „Ви одлучи, готово е“.
• „Поставете го и заборавете го“ е ризично во автомобилската индустрија; мониторингот, документацијата и отчетноста се одржуваат во текот на целиот проект.

Задача за апликација

Комбинирајте го она што сте го научиле во овој модул во еден проект (на пример, визуелна инспекција на производната линија или предвидливо одржување). (1) Нацртај проектен план од крај до крај со Шаблон 1; Запишете го одговорното лице за секој чекор. (2) Дефинирајте план за следење и движечки предизвикувачи со Шаблон 2. (3) Подгответе листа за проверка за следливост со Шаблон 4. (4) Резимирајте во параграф како сте ги примениле трите прицврстувачки дисциплини од почетокот на модулот на овој проект.

листа за проверка

• [ ] Го планирав проектот како животен циклус од крај до крај.
• [ ] Го дефинирав записот за одлучување со верзии на модел и податоци.
• [ ] Поставив план за следење и повлекување предизвикувачи.
• [ ] Подготвив план за враќање.
• [ ] Јас појаснив кој е одговорен за секој чекор.
• [ ] Ги задржав трите дисциплини за валидација на сидро и валидацијата за човечката безбедност критична.

Модул испит

1. Која е улогата на излезот на вештачката интелигенција во одлука која е клучна за безбедноста на автомобилот (на пр. верификација на софтверот на сопирачките)?

• А) Ја забрзува анализата, но конечното одобрување и одговорност останува на надлежниот инженер ✔
• Б) Доколку има доволно податоци, може да се стави во производство без инженерско одобрение
• В) ВИ не може да се користи во која било фаза во критичните системи како што се сопирачките
• Г) Ако точноста на моделот надминува 99%, човечката проверка е непотребна

Опис: Вештачката интелигенција ја забрзува анализата, генерира кандидатски решенија и резимеа; Сепак, безбедносно-критичната одлука и конечното одобрение се одговорност на надлежниот инженер. ВИ не е замена за инженерска валидација.

2. Кои се трите независни проверки што се користат за тестирање на излезот на ВИ во трите дисциплини за валидација на сидро?

• А) Должина, јазик и формат на промптот
• Б) Доказ за редослед на големина, инженерска разумност и независно тестирање/мерење ✔
• В) Големина на моделот, време на обука и број на графички процесори
• Г) Марка на добавувачот, цена и време на испорака

Опис: Три сидра; редослед на големина (проверка на редот), инженерска веродостојност (физика/искуство) и вкрстена валидација со независен тест/мерен доказ. Овие три обезбедуваат доверба во доказите, а не доверба во вештачката интелигенција.

3. Која е најкритичната верификација за излезот на „сурогат модел“ што ја забрзува CFD или FEA симулацијата?

• А) Сурогатниот модел е секогаш попрецизен од вистинскиот решавач
• Б) Доволно е само рендерот да изгледа естетски пријатен
• В) Споредба со референтното решение и прифаќање на несигурност при движење надвор од просторот за обука ✔
• Г) Нема потреба да се разгледува независноста на мрежата ако се спои едно пуштање

Опис: Сурогатниот модел произведува брзи предвидувања наместо вистинскиот решавач; но е несигурен надвор од дизајнерскиот простор во кој се обучувал. Излезот треба да се потврди со означување на областа на екстраполација со референтна симулација со висока верност и физички гранични услови.

4. Кој е точниот израз за Ниво 2 (делумна автоматизација) во нивоата на автоматизација SAE?

• А) Возилото може да вози без возач во сите услови
• Б) Системот не презема никакви возачки должности, само дава предупредувања
• В) Во ред е ако не седи на возачкото седиште
• Г) Системот поддржува управување и брзина, но возачот задржува постојан надзор и одговорност ✔

Опис: Во Ниво 2, системот поддржува управување и брзина/растојание истовремено, но возачот го задржува постојан надзор и е подготвен да го преземе во секое време; Одговорноста е на возачот. На ниво 3 и погоре, системот ги презема возачките должности во одредени услови.

5. Зошто „стапката на бегство“ е критична метрика во откривањето на визуелните дефекти на производната линија?

• А) Одобрувањето на неисправниот дел и неговото испраќање на терен претставува безбедносен ризик и отповикување ✔
• Б) Тоа е важно само затоа што ја успорува брзината на линијата
• В) Стапката на истекување важи само за дефекти на бојата
• Г) Стапката на истекување го мери времето на обука на моделот

Опис: Нелегално; Неисправниот дел се смета за совршен и поминува низ линијата (лажно негативно). За автомобилскиот безбедносен дел, истекувањето е многу поскапо од лажното отфрлање бидејќи може да доведе до дефект или отповикување на терен; Прагот се прилагодува соодветно.

6. Која е најточната употреба на проценката на „преостанатиот корисен век“ (RUL) во предвидливото одржување?

• А) RUL се пресметува само за моторното масло
• Б) Треба да се претстави со опсег на несигурност и да се толкува според прозорецот за одржување и безбедносната маржа ✔
• В) Треба да се земе како единствена прецизна дневна вредност и до тој ден не треба да се прават проверки.
• Г) Сензорите може да се исклучат ако RUL е висок

Опис: RUL е проценетото преостанато време на работа на компонентата до дефект; Треба да се претстави со опсегот на несигурност и да се толкува според планот за одржување и безбедносната маржа. Наместо слепо да се потпираме на проценка на една точка, се земаат предвид интервалот на доверливост и трошоците за лажен аларм.

7. Што треба да направи инженерот кога вештачката интелигенција означува аномалија во снимањето на тест на патот во анализата на податоците од тестот?

• А) Кога ќе ја видите аномалијата, тестот автоматски треба да се смета за неуспешен.
• Б) ВИ воопшто не треба да ги гледа податоците ако не ги означила
• В) Потврдете ја аномалијата со необработени податоци, несигурност на мерењето и повторливост ✔
• Г) Избришете ги аномалиите и исчистете го извештајот

Објаснување: Аномалијата дека знаменцата со вештачка интелигенција е поим, а не заклучок. Инженерот мора да ја провери несигурноста на мерењето, можноста за дефект на сензорот и повторливоста и да ја потврди аномалијата со необработени податоци и критериуми за прифаќање. Автоматското прифаќање или отфрлање не е соодветно.

8. Која верификација е задолжителна за материјална промена предложена од вештачката интелигенција во студија со мала тежина?

• А) Само треба да биде полесен
• Б) Еден ред во базата на податоци за материјали може да се земе како доказ
• В) Однесувањето при судир е неважно кај лесните материјали
• Г) Механичките барања, заморот, падот, производноста и трошоците треба да се тестираат заедно ✔

Забелешка: Препораката за материјалот не може да се прифати само врз основа на односот густина/јачина; механичките својства, заморот, однесувањето при судир, производственоста, корозијата, трошоците и барањата за безбедност мора да се проверат заедно и да се потврдат со физичко тестирање.

9. Зошто „ризикот од еден извор“ во синџирот на снабдување на автомобили бара посебно внимание во препораките за вештачка интелигенција?

• А) Прекинот кај еден добавувач може да го запре целото производство; Вториот извор и баферот треба да се евалуираат ✔
• Б) Еден извор е секогаш најбезбедната опција
• В) Анализата на ризикот е непотребна доколку се предложи вештачката интелигенција
• Г) Ризикот од еден извор се однесува само на гумата

Објаснување: Ако некој дел доаѓа од еден добавувач, производството престанува кога има проблем со тој добавувач. ВИ може да препорача единствен извор на оптимизација на трошоците; Инженерот/планерот мора да го балансира ова со секундарни ресурси, тампон на залихи и анализа на сценарио. Цената не е единствениот критериум.

10. Што значи „истекување на податоци“ кога се врши телеметриска анализа со Python и зошто е тоа опасно?

• А) Податоците протекуваат од дискот и се бришат
• Б) Моделот гледа информации во обуката што не може да се знаат во моментот на предвидување; Го надува резултатот, пропаѓа на теренот ✔
• В) Мешање на графички бои
• Г) Се појавува само во податоците за сликата

Опис: Протекување податоци; Ова е кога моделот гледа во обуката информации кои всушност не можат да бидат познати во моментот на предвидување (на пример, идна вредност или атрибут поврзан со целта). Ова вештачки го зголемува резултатот од тестот, но ги урива перформансите на теренот. Разликата минато/идно мора прецизно да се одржува во временските серии.

11. Што одредува класификацијата ASIL во контекст на функционалната безбедност ISO 26262?

• А) Максимална брзина на возилото
• Б) Големина на збирот на податоци за обука на моделот
• В) ✔ Потребното ниво на безбедност според сериозноста, изложеноста и контролирањето на опасноста.
• Г) Кредитен рејтинг на добавувачот

Опис: ASIL (Automotive Safety Integrity Level) го одредува нивото на безбедносни мерки на претпазливост (од A до D, D е највисоко) што го бара опасноста врз основа на неговата проценка на сериозноста, изложеноста и контролирањето. Високиот ASIL бара построг развој, верификација и документација.

12. На кој начин ISO 21448 (SOTIF) се разликува од класичната функционална безбедност (ISO 26262)?

• А) Се справува само со хардверски дефекти
• Б) Го регулира само лиценцирањето софтвер
• В) SOTIF е старото име на ISO 26262
• Г) Адресира ризици кои произлегуваат од несоодветна функционалност и непризнаени сценарија, дури и во отсуство на неуспех ✔

Опис: Додека ISO 26262 се однесува на ризиците кои произлегуваат од дефекти/хардверско-софтверски грешки, SOTIF (Безбедност на предвидената функционалност) се однесува на ризиците кои произлегуваат од несоодветно откривање, непрепознаени сценарија и функционални граници, дури и ако системот воопшто не функционира дефект; е особено критично во откривањето базирано на вештачка интелигенција.

13. Кој е најдобриот пристап во однос на приватноста при работа со телеметриски податоци за возачот и возилото?

• А) Усогласеност со KVKK/GDPR со анонимизација, минимизирање на податоците и ограничување на целта ✔
• Б) Испраќање на сите необработени податоци до јавен модел заедно со VIN
• В) Приватноста се однесува само на маркетиншките податоци
• Г) Податоците за локација никогаш не се сметаат за лични податоци

Опис: Податоците како локација, однесување при возење и број на шасија (VIN) можат да идентификуваат лице. Најправилен пристап; анонимизирање/псевдонимизирање податоци, собирање само она што е неопходно (минимизирање на податоците), ограничување на целта и усогласеност со KVKK/GDPR. Испраќањето необработен VIN или локација до алатки од трети страни е ризично.

14. Зошто е неопходно да се следи „однесувањето на податоците“ во модел со вештачка интелигенција пуштен во производство?

• А) Откако моделот е обучен, тој ги дава истите перформанси на неодредено време.
• Б) Перформансите тивко се намалуваат како што дистрибуцијата на влезот се менува со текот на времето; мора да се активира преквалификација ✔
• В) Drift е само физичка вибрација на хардверот
• Г) Мониторингот е непотребен бидејќи моделот сам се ажурира автоматски

Објаснување: Реалниот свет се менува (добавувач на нови делови, сезона, нов модел на возило); Перформансите на моделот тивко се намалуваат додека влезната дистрибуција се оддалечува од времето за обука. Преквалификацијата се активира со следење на наноси и метрика на перформанси. Пристапот „постави го и заборави“ е ризичен во автомобилската индустрија.