Добивки:
- Способност да се објасни ISO 26262 функционална безбедност и ISO 21448 (SOTIF) рамки и нивните ефекти врз системите што содржат вештачка интелигенција
- Способност за управување со приватноста на податоците, податоците за возачот, сајбер безбедноста (ISO/SAE 21434) и етичките ризици во автомобилскиот контекст
- Способност да се одржи човечката одговорност за безбедносните критични одлуки со разбирање дека излезот на вештачката интелигенција не е замена за одобрение од компетентен инженер
Вие сте во најкритичната единица на овој модул. Досега ја гледавме вештачката интелигенција како забрзувач од дизајн до производство, од тестирање до синџир на снабдување. Но, одлучувачкото прашање во автомобилизмот е: дали овој систем некому ќе му наштети и кој е одговорен? Оваа единица ги опфаќа на едноставен јазик рамки за одговорно користење на вештачката интелигенција во индустријата која е критична за безбедноста - функционална безбедност, SOTIF, сајбер безбедност, приватност и етика. Основниот принцип останува константен: излезот на вештачката интелигенција никогаш не го заменува компетентното инженерско одобрение; Безбедносно-критичната одлука и одговорност му припаѓа на човекот.
ISO 26262: функционална безбедност
ISO 26262 е функционален безбедносен стандард за електрични/електронски системи на патни возила. Функционална безбедност; Се занимава со обезбедување дека кога системот ќе пропадне (сензорот ќе се расипе, софтверот не успее) тоа да не доведе до опасна ситуација.
Во срцето на овој стандард е ASIL (Ниво на интегритет на безбедност на автомобилот). Опасноста се оценува во три димензии:
- Тежина: Колку би било лошо ако се случи? (лесна повреда или смрт)
- Изложеност: Колку често се случува ова?
- Контролабилност: Колку возачот може да ја контролира ситуацијата?
Овие три комбинирани резултираат со ниво од ASIL A (најниско) до ASIL D (највисоко, на пр. сопирање, управување). Како што се зголемува нивото, барањата за развој, тестирање и документација стануваат построги.
ГЛАВНА
примерок систем
Потребен интензитет
А.
Неисправност на внатрешното осветлување
низок
Б.
задно светло
средно
В.
Некои функции на ADAS
високо
Д.
Кочница, волан, воздушно перниче
највисоко
Совет: Познавањето на ГЛАВНОТО ниво на функцијата ви кажува колку внимание бара користењето на вештачката интелигенција во таа функција. Ниту една одлука заснована на излез на ВИ во функција не може да се прифати без независна безбедносна проверка.
ISO 21448 (SOTIF): безбедност на предвидената функција
Класичната функционална безбедност (ISO 26262) се фокусира на прашањето "што се случува ако системот не успее?" Но, постои нов проблем во системите за откривање на вештачка интелигенција: дури и ако системот никогаш не функционира лошо, тој може да биде несоодветен. Камерата работи добро, но не може да препознае снежна плоча; Радарот е цврст, но игнорира возило што е во мирување како сигнал на духови. Тука нема хардверски/софтверски дефект; Проблемот е на границата на предвидениот опсег на функцијата.
ISO 21448 - SOTIF (Safety Of The Intended Functionality) се однесува токму на оваа празнина: управување со ризици кои произлегуваат од непризнаени сценарија, ограничувања за откривање и непредвидени ситуации, дури и ако системот работи како што е дизајниран. Во ADAS/автономното возење базирано на вештачка интелигенција, SOTIF е исто толку критичен како ISO 26262.
Рамка
Фокусирајте се
пример
ISO 26262
Ризик поради неуспех
Сензорот се распаѓа, сигналот исчезнува
ISO 21448 (SOTIF)
Ризик од несоодветност/непризнавање
Цврстата камера не препознава снежна плоча
ISO/SAE 21434
сајбер безбедност
Системски напад, манипулација со податоци
Внимание: моделите со вештачка интелигенција се статистички; Тие не можат да гарантираат дека „ќе ја согледаат правилно секоја ситуација“. SOTIF има за цел да ги намали непознатите опасни сценарија во овие инхерентно ограничени системи и да го намали преостанатиот ризик на прифатливо ниво. „Моделот е 99,9% точен“ не е доказ за безбедност.
ISO/SAE 21434: сајбер безбедност
Поврзаните и софтверски дефинирани возила се ранливи на сајбер напади. Далечински напаѓач може да ја смени командата за сопирачките, да ја украде телеметријата или да го измами моделот за откривање (противнички напад: правејќи го моделот погрешно да го препознае со ставање мала налепница на чинија). ISO/SAE 21434 е инженерска рамка за сајбер безбедноста на возилата. Во контекст на вештачката интелигенција, се издвојуваат два ризици: измама на моделот (противник) и труење на податоците за обуката (труење со податоци). Системите за вештачка интелигенција кои се критични за безбедноста треба да се тестираат против овие напади.
Приватност и лични податоци
Модерното возило е „центар за податоци на тркалата“: локација, однесување при возење, аудио, дури и камера во кабината. Повеќето од ова се лични податоци и се покриени со KVKK (Турција) и GDPR (Европа). VIN (број на шасија) може да го идентификува возилото и индиректно неговиот сопственик. Основни принципи:
- Минимизирање на податоците: Соберете го само она што е потребно.
- Ограничување на целта: Не користете податоци за други цели освен целта за која се собрани.
- Анонимизација/псевдонимизација: Отстранете ги или шифрирајте лични информации за идентификација.
- Експлицитна согласност и транспарентност: Возачот мора да знае што се собира.
- Безбедно складирање и пренос.
Внимание: Испраќањето необработен VIN, историја на локација или однесување при возење до алатка за вештачка интелигенција на јавен облак може да биде и повреда на приватноста и договорен ризик. Кога работите со овие податоци, анонимизирајте ги и користете институционална средина заштитена со податоци.
Етика и инженерска одговорност
Вештачката интелигенција носи со себе некои етички ризици:
- Пристрасност: Ако податоците за обуката преовладуваат одредени услови (на пр. дење, светла кожа, одредени регионални патишта), моделот може да има слаби перформанси во недоволно застапени услови (ноќ, различни услови). Ова е ранливост.
- Преголема самодоверба (пристрасност на автоматизацијата): Луѓето слепо и веруваат на автоматизацијата и го надминуваат сопственото расудување. Ако инженерот за тестирање престане да ги гледа необработените податоци само затоа што вештачката интелигенција вели „поминете“, ова е опасен тренд.
- Губење на одговорноста: „Моделот одлучи“ не е одбрана. Секогаш треба да има лице кое потпишува зад одлуката.
Мини студии на случај
Случај 1 - SOTIF ограничување. Автоматскиот систем за итно сопирање ги поминува сите лабораториски тестови, без дефекти. На полето, на ниско сонце, бел камион ја замислува својата приколка за небото и сопира доцна. Ова не е дефект, туку ранливост на SOTIF: системот е недопрен, но сценариото е надвор од ограничувањето за откривање. Тимот го додава ова сценарио во библиотеката за тестирање и ја зајакнува радарската фузија. Заклучок: „Без дефект“ не е доказ за безбедност; Ризик е и инсуфициенцијата.
Случај 2 - Пристрасни податоци. Моделот за детекција на пешаци беше обучен претежно со дневни податоци; Ноќното потсетување е значително помало. Тимот ги балансира и преквалификува податоците за ноќта и слабата осветленост и одделно ги известува ноќните сценарија. Заклучок: Неурамнотежените податоци создаваат смртоносна ранливост во одредени околности.
Случај 3 - Спречување на кршење на приватноста. Аналитичарот ќе залепи податоци за флотата во јавна алатка за вештачка интелигенција кога ќе забележи дека податоците содржат необработени VIN и GPS локации. Работи во корпоративна средина со анонимизирање на податоците (vehicle_01..arac_50 наместо VIN, код на регион наместо локација). Резултат: Момент на внимание спречи сериозно прекршување на КВКК.
промптни шаблони
Шаблон 1 - ПРЕТХОДНА / прелиминарна проценка на ризик (нацрт):
Улога: Вие сте консултант за функционална безбедност. Задача: Подготвува нацрт за да помогне во анализата на опасност и ризик за функцијата. Контекст: Функција: автоматско итно сопирање; градски и меѓуградски.Ограничување: точно доделување на АСИЛ; Дајте листа на прашања и точки на внимание за димензиите на сериозноста/изложеноста/контролабилноста; укажуваат на тоа дека конечната задача му припаѓа на овластениот инженер за безбедност.Излез: Големина | прашање за евалуација | табела за белешки за внимание.
Шаблон 2 - Скенирање на сценарио SOTIF:
Улога: Вие сте експерт на SOTIF. Задача: Наведете сценарија каде функцијата за откривање може да биде „непроменет систем, но несоодветна“. Контекст: Камера + радар; ниско сонце, снег, излез од тунел, необични предмети.Излез: Сценарио | зошто несоодветност | препорака за намалување.
Шаблон 3 - Контрола на приватност:
Улога: Вие сте консултант за заштита на податоци (KVKK/GDPR). Задача: Спроведете ревизија на приватноста пред да споделите збир на податоци. Контекст: Телеметрија на флота; Колоните содржат VIN, GPS, резултат за возење. Ограничување: Кои полиња се лични податоци, како треба да се анонимизираат, што воопшто не треба да споделувам; подредување.Излез: Поле | ризик | препорачана шема на трансакции.
Шаблон 4 - Проверка на пристрасност:
Улога: Вие сте ревизор за безбедност и правичност на ML. Задача: Кажи ми како да барам ризик од пристрасност во моделот за откривање. Контекст: Откривање на пешаци; податоци за обука пондерирана ден/град.Излез: Состојба за проверка | мерење | знак на ризик.
Слаб промпт / Силен промпт
Слаба навестување:
Дали овој автономен систем за сопирање е безбеден, потврдете.
Обидот да се добие безбедносен сертификат за вештачка интелигенција е опасен; Одобрението му припаѓа на овластениот инженер.
Моќен потсетник:
Улога: Вие сте консултант за функционална безбедност и SOTIF. Задача: Наведете кои прашања треба да ги поставам и какви докази треба да соберам при безбедносната проценка на мојата функција за автоматско сопирање. Контекст: откривање базирано на вештачка интелигенција; камера + радар; ASIL може да биде висок. Ограничување: 'Одобрување' на системот; Обезбедете посебни листи на прашања и докази во однос на ISO 26262 (дефект) и SOTIF (недостаток); Нагласете дека конечното одобрување го има овластениот инженер за безбедност.Излез: Рамка | прашање | потребна табела за докази.
Вообичаени грешки
- Збунувачки „без дефект“ со „безбедно“. Недостатокот на SOTIF може да убие без дефект.
- Добивање безбедносен сертификат за вештачка интелигенција. Одобрението и одговорноста лежи кај овластениот инженер.
- Грешка на точноста на моделот како доказ за безбедност. Точноста од 99,9% не покажува дека преостанатиот ризик е управуван.
- Не ги заштитува личните податоци. VIN/локацијата/однесувањето при возење е во опсегот на KVKK/GDPR.
- Игнорирање на пристрасност и прекумерна самодоверба. Неизбалансираните податоци и слепата доверба во автоматиката се ранливост.
Сумирано
- ISO 26262 управува со ризикот од дефект (со ASIL), додека ISO 21448/SOTIF управува со ризикот од неуспех без дефект; И двете се критични во откривањето на вештачката интелигенција.
- ISO/SAE 21434 сајбер безбедност; противничките напади и нападите со труење со податоци се закани специфични за вештачката интелигенција.
- Минимизирањето на податоците, ограничувањето на целта и анонимизацијата се задолжителни во опсегот на KVKK/GDPR; VIN/локацијата се лични податоци.
- Предрасудите, прекумерната самодоверба и губењето на одговорноста се главните етички ризици.
- Излезот со вештачка интелигенција не е замена за одобрение од квалификуван инженер; Безбедносно-критичната одлука и потписот секогаш му припаѓаат на личноста.
Задача за апликација
Изберете функција поврзана со безбедноста (на пр., одржување на лента). (1) Discuss why the ASIL level of this function may be high/low along the severity/exposure/controllability dimensions. (2) Создадете 5 „системски цврсти, но несоодветни“ сценарија со Шаблон 2. (3) Ревизија на доверливост на релевантната база на податоци со Шаблон 3. (4) Објаснете зошто да се каже „Моделот е потврден“ не е одбрана.
листа за проверка
- [ ] I evaluated the ACTUAL dimensions of the function (I left the exact assignment to the authority).
- [ ] Јас направив разлика помеѓу ISO 26262 (неисправност) и SOTIF (недоволност).
- [ ] Го зедов предвид ризикот од сајбер безбедност (противник/труење).
- [ ] Ги анонимизирав и минимизирав личните податоци.
- [ ] Проверив дали има ризици од пристрасност и прекумерна самодоверба.
- [ ] Потврдив дека безбедносната дозвола е кај квалификуваниот инженер.