Добици:
- Способност да објасни ИСО 26262 функционалну безбедност и ИСО 21448 (СОТИФ) оквире и њихове ефекте на системе који садрже вештачку интелигенцију
- Способност управљања приватношћу података, подацима возача, сајбер-безбедношћу (ИСО/САЕ 21434) и етичким ризицима у аутомобилском контексту
- Способност да се одржи људска одговорност за одлуке критичне за безбедност разумевањем да излаз вештачке интелигенције није замена за одобрење надлежног инжењера
Ви сте у најкритичнијој јединици овог модула. До сада смо АИ видели као акцелератор од дизајна до производње, од тестирања до ланца снабдевања. Али одлучујуће питање у аутомобилској индустрији је: да ли ће овај систем некоме наштетити и ко је одговоран? Ова јединица на једноставном језику покрива оквире за одговорно коришћење вештачке интелигенције у индустрији која је критична за безбедност — функционална безбедност, СОТИФ, сајбер безбедност, приватност и етика. Основни принцип остаје константан: АИ излаз никада не замењује одобрење компетентног инжењера; Безбедносно критична одлука и одговорност припада човеку.
ИСО 26262: функционална сигурност
ИСО 26262 је стандард функционалне безбедности за електричне/електронске системе друмских возила. Функционална сигурност; Брине се о томе да када систем откаже (сензор се поквари, софтвер откаже) то не доведе до опасне ситуације.
У срцу овог стандарда је АСИЛ (Ниво интегритета аутомобилске безбедности). Опасност се процењује у три димензије:
- Озбиљност: Колико би лоше било да се то догоди? (мање повреде или смрт)
- Изложеност: Колико често се то дешава?
- Управљивост: Колико возач може да контролише ситуацију?
Ова три комбинована резултирају нивоом од АСИЛ А (најнижи) до АСИЛ Д (највиши, нпр. кочење, управљање). Како се ниво повећава, захтеви за развој, тестирање и документацију постају строжи.
МАИН
систем узорка
Интензитет захтева
А.
Неисправност унутрашњег осветљења
ниско
Б.
задње светло
средње
Ц.
Неке функције АДАС-а
висока
Д.
Кочница, управљач, ваздушни јастук
највиши
Савет: Познавање ГЛАВНОГ нивоа функције говори вам колико пажње захтева коришћење вештачке интелигенције у тој функцији. НИЈЕДНА одлука заснована на АИ излазу у функцији не може бити прихваћена без независне безбедносне верификације.
ИСО 21448 (СОТИФ): безбедност предвиђене функције
Класична функционална безбедност (ИСО 26262) фокусира се на питање "шта се дешава ако систем откаже?" Али постоји нови проблем у системима за детекцију вештачке интелигенције: чак и ако систем никада не поквари, може бити неадекватан. Камера ради добро, али не може да препозна снежну плочу; Радар је солидан, али игнорише возило које мирује као сигнал духа. Овде нема хардверског/софтверског квара; Проблем је на граници предвиђеног обима функције.
ИСО 21448 – СОТИФ (Безбедност предвиђене функционалности) адресира управо овај јаз: управљање ризицима који произилазе из непрепознатих сценарија, граница детекције и непредвиђених ситуација, чак и ако систем функционише како је пројектовано. У АДАС/аутономној вожњи заснованој на вештачкој интелигенцији, СОТИФ је критичан колико и ИСО 26262.
Фраме
Фоцус
пример
ИСО 26262
Ризик због квара
Сензор се поквари, сигнал нестаје
ИСО 21448 (СОТИФ)
Ризик од неадекватности/непризнавања
Чврста камера не препознаје снежну плочу
ИСО/САЕ 21434
сајбер безбедност
Системски напад, манипулација подацима
Опрез: АИ модели су статистички; Не могу да гарантују да ће „сваку ситуацију тачно видети”. СОТИФ има за циљ да сузи непознате опасне сценарије у овим инхерентно ограниченим системима и смањи преостали ризик на прихватљив ниво. „Модел је 99,9% тачан“ није доказ сигурности.
ИСО/САЕ 21434: сајбер безбедност
Повезана и софтверски дефинисана возила су рањива на сајбер нападе. Даљински нападач може да промени команду кочнице, украсти телеметрију или превари модел детекције (конкурентни напад: натерати модел да га погрешно препозна постављањем мале налепнице на плочу). ИСО/САЕ 21434 је инжењерски оквир за сајбер безбедност возила. У контексту вештачке интелигенције издвајају се два ризика: обмањивање модела (контравенско) и тровање података о обуци (тровање подацима). Безбедносно критичне АИ системе треба тестирати на ове нападе.
Приватност и лични подаци
Модерно возило је „центар података на точковима“: локација, понашање у вожњи, аудио, чак и камера у кабини. Већина тога су лични подаци и покривени су КВКК (Турска) и ГДПР (Европа). ВИН (број шасије) може да идентификује возило и индиректно његовог власника. Основни принципи:
- Минимизација података: Прикупите само оно што је потребно.
- Ограничење сврхе: Немојте користити податке у друге сврхе осим сврхе за коју су прикупљени.
- Анонимизација/псеудонимизација: Уклоните или кодирајте личне информације.
- Експлицитна сагласност и транспарентност: Возач мора знати шта се прикупља.
- Сигурно складиштење и пренос.
Опрез: Слање необрађеног ВИН-а, историје локација или понашања у вожњи на алатку вештачке интелигенције у јавном облаку може бити и кршење приватности и уговорни ризик. Када радите са овим подацима, анонимизирајте их и користите институционално окружење заштићено подацима.
Етика и одговорност инжењера
Вештачка интелигенција носи са собом неке етичке ризике:
- Пристрасност: Ако подаци о обуци преовлађују у одређеним условима (нпр. дан, светла кожа, одређени регионални путеви), модел може бити лош у недовољно представљеним условима (ноћ, различити услови). Ово је рањивост.
- Претерано самопоуздање (пристрасност аутоматизације): Људи слепо верују аутоматизацији и поништавају сопствену процену. Ако тест инжењер престане да гледа необрађене податке само зато што АИ каже „прошло“, ово је опасан тренд.
- Губитак одговорности: „Модел је одлучио“ није одбрана. Увек треба да стоји особа која потписује одлуку.
Мини студије случаја
Случај 1 - СОТИФ граница. Систем за аутоматско кочење у случају нужде пролази све лабораторијске тестове, без кварова. У пољу, по слабом сунцу, бели камион замењује приколицу за небо и касно кочи. Ово није квар, већ СОТИФ рањивост: систем је нетакнут, али је сценарио изван границе детекције. Тим додаје овај сценарио библиотеци тестова и јача фузију радара. Закључак: „Нема квара“ није доказ сигурности; Инсуфицијенција је такође ризик.
Случај 2 – Пристрасни подаци. Модел детекције пешака је обучен претежно са дневним подацима; Ноћни опозив је знатно мањи. Тим балансира и поново обучава податке о ноћи и слабом осветљењу и одвојено извештава о ноћним сценаријима. Закључак: Неуравнотежени подаци стварају смртоносну рањивост у одређеним околностима.
Случај 3 – Превенција нарушавања приватности. Аналитичар се спрема да налепи податке о флоти у јавни АИ алат када примети да подаци садрже необрађене ВИН и ГПС локације. Ради у корпоративном окружењу анонимизирајући податке (вехицле_01..арац_50 уместо ВИН-а, код региона уместо локације). Резултат: Тренутак пажње спречио је озбиљан прекршај КВКК.
брзи шаблони
Шаблон 1 – ПРЕТХОДНА/прелиминарна процена ризика (нацрт):
Улога: Ви сте консултант за функционалну безбедност. Задатак: Припрема нацрт за помоћ у анализи опасности и ризика за функцију. Контекст: Функција: аутоматско кочење у нужди; градски и међуградски. Ограничење: тачна додела АСИЛ; Дајте листу питања и тачака пажње о димензијама озбиљности/изложености/контролисања; назначити да коначни задатак припада овлашћеном инжењеру безбедности.Излаз: Величина | евалуационо питање | пажња табеле.
Шаблон 2 - СОТИФ скенирање сценарија:
Улога: Ви сте стручњак за СОТИФ. Задатак: Наведите сценарије у којима би функција детекције могла бити „систем нетакнут, али неадекватан“. Контекст: Камера + радар; ниско сунце, снег, излаз из тунела, необични објекти. Исход: Сценарио | зашто неадекватност | препорука за смањење.
Шаблон 3 – Контрола приватности:
Улога: Ви сте консултант за заштиту података (КВКК/ГДПР). Задатак: Спроведите ревизију приватности пре дељења скупа података. Контекст: телеметрија флоте; Колоне садрже ВИН, ГПС, резултат вожње. Ограничење: Која поља су лични подаци, како треба да буду анонимизовани, шта уопште не треба да делим; сорт.Излаз: Поље | ризик | препоручени графикон трансакција.
Шаблон 4 – Провера пристрасности:
Улога: Ви сте ревизор безбедности и правичности у прању новца. Задатак: Реците ми како да потражим ризик од пристрасности у моделу детекције. Контекст: Детекција пешака; подаци о обуци пондерисани дан/град.Излаз: Услов за проверу | мерење | знак ризика.
Слаби промпт / Јаки промпт
Слабо обавештење:
Да ли је овај аутономни кочиони систем безбедан, потврдите.
Покушај да се добије АИ безбедносна дозвола је опасан; Одобрење припада овлашћеном инжењеру.
Снажан упит:
Улога: Ви сте консултант за функционалну безбедност и СОТИФ. Задатак: Наведите која питања треба да поставим и које доказе треба да прикупим у процени безбедности моје функције аутоматског кочења. Контекст: детекција заснована на вештачкој интелигенцији; камера+радар; АСИЛ може бити висок. Ограничење: 'Одобри' систем; Обезбедите посебне листе питања и доказа у смислу ИСО 26262 (дефект) и СОТИФ (недостатак); Нагласите да коначно одобрење има овлашћени инжењер безбедности.Исход: Оквир | питање | потребна табела доказа.
Уобичајене грешке
- Бркање "без квара" са "безбедним". Недостатак СОТИФ-а може убити без квара.
- Добијање АИ безбедносне дозволе. Одобрење и одговорност је на овлашћеном инжењеру.
- Погрешна тачност модела као доказ сигурности. Тачност од 99,9% не значи да је преостали ризик управљан.
- Не штити личне податке. ВИН/локација/понашање у вожњи је у оквиру КВКК/ГДПР.
- Игнорисање пристрасности и претераног самопоуздања. Неуравнотежени подаци и слепо поверење у аутоматизацију су рањивости.
Укратко
- ИСО 26262 управља ризиком услед отказа (са АСИЛ), док ИСО 21448/СОТИФ управља ризиком од отказа без отказа; Оба су критична у откривању АИ.
- ИСО/САЕ 21434 сајбер безбедност; непријатељски напади и напади тровањем података су претње специфичне за вештачку интелигенцију.
- Минимизација података, ограничење сврхе и анонимизација су обавезни у оквиру КВКК/ГДПР; ВИН/локација су лични подаци.
- Предрасуде, претерано самопоуздање и губитак одговорности су главни етички ризици.
- АИ излаз није замена за одобрење квалификованог инжењера; Безбедносно критична одлука и потпис увек припадају особи.
Задатак апликације
Изаберите функцију која се односи на безбедност (нпр. задржавање траке). (1) Разговарајте о томе зашто АСИЛ ниво ове функције може бити висок/низак дуж димензија озбиљности/изложености/контролисања. (2) Генеришите 5 „системских солидних, али неадекватних“ сценарија помоћу шаблона 2. (3) Ревизија поверљивости релевантног скупа података помоћу шаблона 3. (4) Објасните зашто изговарање „модел потврђен“ није одбрана.
контролна листа
- [ ] Проценио сам СТВАРНЕ димензије функције (тачан задатак сам оставио ауторитету).
- [ ] Направио сам разлику између ИСО 26262 (квар) и СОТИФ (недовољност).
- [ ] Узео сам у обзир ризик сајбер безбедности (конкурентност/тровање).
- [ ] Анонимизовао сам и минимизирао личне податке.
- [ ] Проверио сам ризике од пристрасности и претераног самопоуздања.
- [ ] Потврдио сам да је безбедносна дозвола код квалификованог инжењера.