이득:
- ISO 26262 기능 보안 및 ISO 21448(SOTIF) 프레임워크와 인공 지능이 포함된 시스템에 미치는 영향을 설명하는 능력
- 자동차 관련 데이터 개인 정보 보호, 운전자 데이터, 사이버 보안(ISO/SAE 21434) 및 윤리적 위험을 관리하는 능력
- AI 출력이 유능한 엔지니어 승인을 대체할 수 없다는 점을 이해함으로써 안전에 중요한 결정에 대해 인간의 책임을 유지할 수 있는 능력
귀하는 이 모듈의 가장 중요한 단위에 속해 있습니다. 지금까지 우리는 AI를 설계부터 제조, 테스트부터 공급망까지의 가속기로 보았습니다. 그러나 자동차 분야에서 결정적인 질문은 이 시스템이 누구에게 해를 끼치고 누가 책임을 지는가 하는 것입니다. 이 단원에서는 기능 안전, SOTIF, 사이버 보안, 개인정보 보호, 윤리 등 안전이 중요한 산업에서 AI를 책임감 있게 사용하기 위한 프레임워크를 일반 언어로 다룹니다. 핵심 원칙은 변함없이 유지됩니다. AI 출력은 유능한 엔지니어 승인을 대체하지 않습니다. 보안에 중요한 결정과 책임은 인간에게 있습니다.
ISO 26262: 기능 안전
ISO 26262는 도로 차량의 전기/전자 시스템에 대한 기능 안전 표준입니다. 기능적 안전성; 이는 시스템 오류(센서 고장, 소프트웨어 오류)가 발생할 때 위험한 상황으로 이어지지 않도록 보장하는 것과 관련이 있습니다.
이 표준의 핵심은 ASIL(자동차 안전 무결성 수준)입니다. 위험은 세 가지 차원으로 평가됩니다.
- 심각도: 그런 일이 발생한다면 얼마나 안타까울까요? (경미한 부상 또는 사망)
- 노출: 이런 일이 얼마나 자주 발생합니까?
- 제어가능성(Controllability): 운전자가 상황을 얼마나 통제할 수 있는가?
이 세 가지를 결합하면 ASIL A(최저)에서 ASIL D(최고(예: 제동, 조향)) 수준이 됩니다. 레벨이 높아질수록 개발, 테스트 및 문서화 요구 사항이 더욱 엄격해집니다.
메인
샘플 시스템
요구사항 강도
에이.
실내 조명 오작동
낮음
비.
후미등
중간
다.
일부 ADAS 기능
높다
디.
브레이크, 스티어링, 에어백
최고
팁: 기능의 MAIN 수준을 알면 해당 기능에서 AI를 사용하는 데 얼마나 많은 주의가 필요한지 알 수 있습니다. 독립적인 보안 검증 없이는 기능의 AI 출력을 기반으로 한 결정을 받아들일 수 없습니다.
ISO 21448(SOTIF): 의도된 기능의 안전성
기존 기능 안전(ISO 26262)은 "시스템에 장애가 발생하면 어떻게 됩니까?"라는 질문에 중점을 둡니다. 그러나 인공지능 탐지 시스템에는 새로운 문제가 있다. 시스템이 결코 오작동하지 않더라도 부적절할 수 있다는 점이다. 카메라는 잘 작동하지만 눈 덮인 석판을 인식할 수 없습니다. 레이더는 견고하지만 정지된 차량을 유령 신호로 무시합니다. 여기에는 하드웨어/소프트웨어 오류가 없습니다. 문제는 의도된 기능 범위의 한계에 있습니다.
ISO 21448 - SOTIF(의도된 기능의 안전성)는 이러한 격차를 정확하게 해결합니다. 즉, 시스템이 설계된 대로 작동하더라도 인식할 수 없는 시나리오, 감지 한계 및 예측하지 못한 상황에서 발생하는 위험을 관리하는 것입니다. AI 기반 ADAS/자율주행에서 SOTIF는 ISO 26262만큼 중요합니다.
프레임
초점
예
ISO 26262
실패로 인한 위험
센서가 고장나고 신호가 사라짐
ISO 21448(소티프)
부적절/인정 불인정 위험
견고한 카메라가 눈 덮인 슬래브를 인식하지 못합니다
ISO/SAE 21434
사이버 보안
시스템 공격, 데이터 조작
주의: AI 모델은 통계적입니다. 그들은 "모든 상황을 정확하게 본다"고 보장할 수 없습니다. SOTIF는 본질적으로 제한된 시스템에서 알려지지 않은 위험 시나리오의 범위를 좁히고 나머지 위험을 허용 가능한 수준으로 줄이는 것을 목표로 합니다. “모델은 99.9% 정확합니다”는 보안을 증명하지 않습니다.
ISO/SAE 21434: 사이버 보안
연결된 차량과 소프트웨어 정의 차량은 사이버 공격에 취약합니다. 원격 공격자는 브레이크 명령을 변경하거나, 원격 측정을 훔치거나, 감지 모델을 속일 수 있습니다(적대적 공격: 접시에 작은 스티커를 붙여 모델이 이를 오인식하게 만드는 것). ISO/SAE 21434는 차량 사이버 보안을 위한 엔지니어링 프레임워크입니다. 인공지능의 맥락에서 두 가지 위험이 두드러집니다. 모델을 속이는 것(적대적)과 훈련 데이터를 오염시키는 것(데이터 중독)입니다. 보안이 중요한 AI 시스템은 이러한 공격에 대해 테스트되어야 합니다.
개인 정보 보호 및 개인 데이터
현대 자동차는 위치, 운전 행동, 오디오, 실내 카메라까지 포함하는 "바퀴 달린 데이터 센터"입니다. 이 중 대부분은 개인 데이터이며 KVKK(터키) 및 GDPR(유럽)의 적용을 받습니다. VIN(섀시 번호)은 차량과 차량 소유자를 간접적으로 식별할 수 있습니다. 기본 원칙:
- 데이터 최소화: 꼭 필요한 것만 수집합니다.
- 목적 제한: 수집된 목적 이외의 목적으로 데이터를 사용하지 마십시오.
- 익명화/가명화: 개인 식별 정보를 제거하거나 인코딩합니다.
- 명시적 동의 및 투명성: 운전자는 수집되는 항목이 무엇인지 알아야 합니다.
- 안전한 보관 및 전송.
주의: 원시 VIN, 위치 기록 또는 운전 행동을 퍼블릭 클라우드 AI 도구로 보내는 것은 개인정보 침해이자 계약상 위험이 될 수 있습니다. 이 데이터로 작업할 때 이를 익명화하고 기관의 데이터 보호 환경을 사용하십시오.
윤리 및 엔지니어의 책임
인공 지능은 몇 가지 윤리적 위험을 가져옵니다.
- 편향: 학습 데이터가 특정 조건(예: 주간, 밝은 피부, 특정 지역 도로)을 지배하는 경우 모델은 과소대표된 조건(야간, 다른 조건)에서 성능이 저하될 수 있습니다. 이는 취약점입니다.
- 과신(자동화 편향): 사람들은 자동화를 맹목적으로 신뢰하고 자신의 판단을 무시합니다. AI가 '통과'라고 했다는 이유만으로 테스트 엔지니어가 원시 데이터 보기를 중단한다면 이는 위험한 추세입니다.
- 책임 상실: "결정된 모델"은 방어가 아닙니다. 결정 뒤에는 항상 서명하는 사람이 있어야 합니다.
미니 사례 연구
사례 1 - SOTIF 제한. 자동 비상 제동 시스템은 오작동 없이 모든 실험실 테스트를 통과했습니다. 낮은 태양 아래 들판에서 흰색 트럭이 트레일러를 하늘로 착각하고 늦게 브레이크를 밟습니다. 이는 오작동이 아니라 SOTIF 취약점입니다. 시스템은 손상되지 않았지만 시나리오는 탐지 한계를 벗어납니다. 팀은 이 시나리오를 테스트 라이브러리에 추가하고 레이더 융합을 강화합니다. 결론: "고장 없음"은 안전의 증거가 아닙니다. 부족함도 위험합니다.
사례 2 - 편향된 데이터. 보행자 감지 모델은 주로 주간 데이터를 사용하여 훈련되었습니다. 야간 회상률이 상당히 낮습니다. 팀은 야간 및 저조도 데이터의 균형을 맞추고 재교육하며 야간 시나리오를 별도로 보고합니다. 결론: 불균형한 데이터는 특정 상황에서 치명적인 취약점을 만듭니다.
사례 3 - 개인정보 침해 예방. 분석가는 차량 데이터를 공용 AI 도구에 붙여넣으려고 하는데 데이터에 원시 VIN 및 GPS 위치가 포함되어 있음을 발견했습니다. 데이터를 익명화하여 기업 환경에서 작동합니다(VIN 대신 vehicle_01..arac_50, 위치 대신 지역 코드). 결과: 한 순간의 주의가 심각한 KVKK 위반을 방지했습니다.
프롬프트 템플릿
템플릿 1 - 사전/위험 예비 평가(초안):
역할: 귀하는 기능 안전 컨설턴트입니다. 작업: 기능에 대한 위험 및 위험 분석을 지원하기 위한 초안을 준비합니다. 상황: 기능: 자동 비상 제동; 도시 및 도시 간.제약: ASIL의 정확한 할당; 심각도/노출/통제 가능성 차원에 대한 질문 및 주의 사항 목록을 제공합니다. 최종 할당은 승인된 보안 엔지니어에게 있음을 나타냅니다.출력: 크기 | 평가 질문 | 주의사항 테이블입니다.
템플릿 2 - SOTIF 시나리오 스캔:
역할: 귀하는 SOTIF 전문가입니다. 작업: 탐지 기능이 '시스템은 손상되지 않았지만 부적절'할 수 있는 시나리오를 나열합니다. 상황: 카메라 + 레이더; 낮은 태양, 눈, 터널 출구, 특이한 물체.출력: 시나리오 | 왜 부적절함 | 감소 추천.
템플릿 3 - 개인 정보 보호 제어:
역할: 귀하는 데이터 보호(KVKK/GDPR) 컨설턴트입니다. 작업: 데이터 세트를 공유하기 전에 개인 정보 보호 감사를 수행합니다. 맥락: 함대 원격 측정; 열에는 VIN, GPS, 운전 점수가 포함됩니다. 제약: 어떤 필드가 개인 데이터인지, 어떻게 익명화해야 하는지, 무엇을 전혀 공유하지 말아야 하는지, sort.Output: 필드 | 위험 | 추천 거래 차트.
템플릿 4 - 편향 검사:
역할: 귀하는 ML 안전 및 공정성 감사자입니다. 과제: 탐지 모델에서 편향 위험을 찾는 방법을 알려주세요. 상황: 보행자 감지; 훈련 데이터 가중 요일/도시.출력: 확인할 조건 | 측정 | 위험 신호.
약한 프롬프트 / 강한 프롬프트
약한 프롬프트:
이 자율 제동 시스템이 안전한지 확인하세요.
AI 보안 승인을 얻으려는 것은 위험합니다. 승인은 공인된 엔지니어에게 있습니다.
강력한 프롬프트:
역할: 귀하는 기능 안전 및 SOTIF 컨설턴트입니다. 작업: 자동 제동 기능의 안전성 평가에서 어떤 질문을 해야 하고 어떤 증거를 수집해야 하는지 나열하십시오. 맥락: AI 기반 탐지; 카메라+레이더; ASIL은 높을 수 있습니다.제약: 시스템을 '승인'합니다. ISO 26262(결함) 및 SOTIF(결함) 측면에서 별도의 질문 및 증거 목록을 제공합니다. 최종 승인은 승인된 보안 엔지니어에게 있음을 강조합니다.출력: 프레임워크 | 질문 | 필수 증거 테이블.
일반적인 실수
- "오작동 없음"과 "안전함"을 혼동합니다. SOTIF 결핍은 오작동 없이 사망할 수 있습니다.
- AI 보안 허가를 받고 있습니다. 승인과 책임은 공인된 엔지니어에게 있습니다.
- 보안의 증거로 모델 정확도를 착각합니다. 99.9%의 정확도는 나머지 위험이 관리되었음을 의미하지 않습니다.
- 개인정보를 보호하지 않습니다. VIN/위치/운전 행위는 KVKK/GDPR의 범위 내에 있습니다.
- 편견과 과신을 무시합니다. 불균형한 데이터와 자동화에 대한 맹목적인 신뢰는 취약점입니다.
요약하면
- ISO 26262는 ASIL을 사용하여 실패로 인한 위험을 관리하는 반면, ISO 21448/SOTIF는 실패 없이 실패의 위험을 관리합니다. 둘 다 AI 탐지에 중요합니다.
- ISO/SAE 21434 사이버 보안; 적대적 공격과 데이터 중독 공격은 AI에 특화된 위협입니다.
- KVKK/GDPR 범위 내에서는 데이터 최소화, 목적 제한 및 익명화가 필수입니다. VIN/위치는 개인 데이터입니다.
- 편견, 과신, 책임 상실이 주요 윤리적 위험입니다.
- AI 출력은 자격을 갖춘 엔지니어 승인을 대체할 수 없습니다. 보안에 중요한 결정과 서명은 항상 개인의 것입니다.
응용과제
안전 관련 기능(예: 차선 유지)을 선택합니다. (1) 이 기능의 ASIL 수준이 심각도/노출/제어 가능성 차원에 따라 높거나 낮을 수 있는 이유를 논의합니다. (2) 템플릿 2를 사용하여 5개의 "시스템이 견고하지만 부적절함" 시나리오를 생성합니다. (3) 템플릿 3을 사용하여 관련 데이터 세트에 대한 기밀성 감사를 수행합니다. (4) "모델이 확인되었습니다"라고 말하는 것이 방어가 아닌 이유를 설명합니다.
체크리스트
- [ ] 기능의 실제 크기를 평가했습니다(정확한 할당은 해당 기관에 맡겼습니다).
- [ ] ISO 26262(오작동)와 SOTIF(부족)를 구분했습니다.
- [ ] 사이버 보안(적대적/중독) 위험을 고려했습니다.
- [ ] 개인 데이터를 익명화하고 최소화했습니다.
- [ ] 편견과 과신의 위험을 확인했습니다.
- [ ] 자격을 갖춘 엔지니어에게 보안 허가가 있는 것을 확인했습니다.