利益:
- ISO 26262 機能セキュリティと ISO 21448 (SOTIF) フレームワーク、および人工知能を含むシステムに対するそれらの影響を説明する能力
- データ プライバシー、ドライバー データ、サイバーセキュリティ (ISO/SAE 21434)、および自動車関連の倫理リスクを管理する能力
- AI の出力が有能なエンジニアの承認に代わるものではないことを理解することで、安全性が重要な決定に対する人間の責任を維持する能力
あなたはこのモジュールの最も重要な単元にいます。これまで、AI が設計から製造、テストからサプライチェーンに至るまでのアクセラレーターとして見てきました。しかし、自動車業界における決定的な問題は、このシステムが誰かに害を及ぼすのか、そして誰が責任を負うのかということです。この単元では、機能安全、SOTIF、サイバーセキュリティ、プライバシー、倫理など、セーフティ クリティカルな業界で AI を責任を持って使用するためのフレームワークを平易な言葉で説明します。基本原則は変わりません。AI の出力が有能なエンジニアの承認に代わることはありません。セキュリティクリティカルな決定と責任は人間にあります。
ISO 26262: 機能安全
ISO 26262 は、道路車両の電気/電子システムの機能安全規格です。機能安全;システムに障害が発生した場合（センサーが壊れたり、ソフトウェアに障害が発生したり）、危険な状況に陥らないようにすることに重点を置いています。
この規格の中心となるのは ASIL (Automotive Safety Integrity Level) です。危険は 3 つの次元で評価されます。
- 重大度: それが起こった場合、どの程度の悪影響が及ぶでしょうか? （軽傷または死亡）
- 暴露: これはどのくらいの頻度で発生しますか?
- 制御性: ドライバーは状況をどの程度制御できるか?
これら 3 つを組み合わせると、ASIL A (最低) から ASIL D (最高、ブレーキ、ステアリングなど) のレベルになります。レベルが上がるにつれて、開発、テスト、文書化の要件が厳しくなります。
メイン
サンプルシステム
要件の強度
A.
室内照明の故障
低い
B.
テールライト
中程度
C.
一部のADAS機能
高い
D.
ブレーキ、ステアリング、エアバッグ
最高の
ヒント: 関数の MAIN レベルを知ることで、その関数で AI を使用するのにどれだけの注意が必要かがわかります。関数内の AI 出力に基づく「いいえ」の決定は、独立したセキュリティ検証がなければ受け入れられません。
ISO 21448 (SOTIF): 意図された機能の安全性
古典的な機能安全 (ISO 26262) は、「システムに障害が発生した場合に何が起こるか?」という質問に焦点を当てています。しかし、人工知能検出システムには新たな問題があります。システムが誤動作しない場合でも、不十分である可能性があります。カメラは正常に動作しますが、雪のスラブを認識できません。レーダーはしっかりしていますが、停止車両をゴースト信号として無視します。ここにはハードウェア/ソフトウェアの障害はありません。問題は、関数の意図された範囲の限界にあります。
ISO 21448 - SOTIF (意図された機能の安全性) は、システムが設計どおりに動作する場合でも、認識されていないシナリオ、検出限界、予期せぬ状況から生じるリスクを管理するという、まさにこのギャップに対処します。 AI ベースの ADAS/自動運転では、SOTIF は ISO 26262 と同じくらい重要です。
フレーム
フォーカス
例
ISO 26262
失敗によるリスク
センサーが壊れ、信号が消えます
ISO 21448 (SOTIF)
不備・未承認のリスク
頑丈なカメラが雪のスラブを認識しない
ISO/SAE 21434
サイバーセキュリティ
システム攻撃、データ操作
注意: AI モデルは統計的なものです。彼らは「あらゆる状況を正しく見る」ことを保証できません。 SOTIF は、これらの本質的に制限されたシステムにおける未知の危険なシナリオを絞り込み、残りのリスクを許容可能なレベルまで低減することを目的としています。 「モデルは 99.9% 正確です」は安全の証拠ではありません。
ISO/SAE 21434: サイバーセキュリティ
コネクテッド車両やソフトウェア デファインド車両はサイバー攻撃に対して脆弱です。リモート攻撃者は、ブレーキ コマンドを変更したり、テレメトリを盗んだり、検出モデルを騙したりすることができます (敵対的攻撃: プレートに小さなステッカーを貼り付けることでモデルに誤認識をさせる)。 ISO/SAE 21434 は、車両サイバーセキュリティのためのエンジニアリング フレームワークです。人工知能のコンテキストでは、モデルを欺く (敵対的) とトレーニング データを汚染する (データ ポイズニング) という 2 つのリスクが際立っています。セキュリティ クリティカルな AI システムは、これらの攻撃に対してテストする必要があります。
プライバシーと個人データ
現代の車両は、位置情報、運転動作、オーディオ、さらには車室内のカメラまで含めた「車輪の付いたデータセンター」です。このほとんどは個人データであり、KVKK (トゥルキエ) および GDPR (ヨーロッパ) によってカバーされています。 VIN (車台番号) は車両とその所有者を間接的に識別できます。基本原則:
- データの最小化: 必要なものだけを収集します。
- 目的の制限: データを収集した目的以外の目的に使用しないでください。
- 匿名化/仮名化: 個人を特定する情報を削除またはエンコードします。
- 明示的な同意と透明性: ドライバーは何が収集されているかを把握する必要があります。
- 安全な保管と転送。
注意: 生の VIN、位置履歴、または運転行動をパブリック クラウド AI ツールに送信すると、プライバシー侵害と契約上のリスクの両方が発生する可能性があります。このデータを扱う場合は、データを匿名化し、組織的にデータが保護された環境を使用してください。
倫理とエンジニアの責任
人工知能にはいくつかの倫理的リスクが伴います。
- バイアス: トレーニング データが特定の条件 (日中、肌の色が明るい、特定の地方の道路など) を優勢にしている場合、モデルは過小評価されている条件 (夜間、さまざまな条件) ではパフォーマンスが低下する可能性があります。これは脆弱性です。
- 自信過剰 (自動化バイアス): 人々は自動化を盲目的に信頼し、自分の判断を無効にします。 AIが「合格」と言ったからといって、テストエンジニアが生データを見るのをやめてしまったら、これは危険な傾向です。
- 責任の喪失: 「モデルは決まった」ということは防御にはなりません。決定には必ず署名する人がいるはずです。
ミニケーススタディ
ケース 1 - SOTIF 制限。自動緊急ブレーキ システムはすべての実験室テストに合格し、誤動作はありません。太陽が低い野原で、白いトラックがトレーラーを空と間違えてブレーキを遅らせた。これは誤動作ではなく、SOTIF の脆弱性です。システムは無傷ですが、シナリオは検出限界外です。チームはこのシナリオをテスト ライブラリに追加し、レーダー フュージョンを強化します。結論: 「故障しない」ということは安全の証拠ではありません。不足もリスクです。
ケース 2 - 偏ったデータ。歩行者検出モデルは、主に昼間のデータを使用してトレーニングされました。夜間の想起は大幅に減少します。チームは夜間と低照度のデータのバランスを調整して再トレーニングし、夜間のシナリオを個別に報告します。結論: 不均衡なデータは、特定の状況において致命的な脆弱性を生み出します。
ケース 3 - プライバシー侵害の防止。アナリストは、車両データを公開 AI ツールに貼り付けようとしているときに、データに生の VIN と GPS の位置が含まれていることに気づきました。データを匿名化することで企業環境で機能します (VIN の代わりに vehicle_01..arac_50、場所の代わりに地域コード)。結果: 一瞬の注意により、重大な KVKK 違反は回避されました。
プロンプトテンプレート
テンプレート 1 - PRIOR/リスク予備評価 (草案):
役割: あなたは機能安全コンサルタントです。タスク: 機能の危険性とリスクの分析を支援するための草案を準備します。コンテキスト: 機能: 自動緊急ブレーキ。都市部と都市間。制約: ASIL の正確な割り当て。重症度/暴露/制御可能性の側面に関する質問と注意点のリストを示します。最終的な割り当てが認定セキュリティ エンジニアに委ねられていることを示します。出力: サイズ |評価の質問 |注意書き表。
テンプレート 2 - SOTIF シナリオ スキャン:
役割: あなたは SOTIF の専門家です。タスク: 検出機能が「システムは正常だが不十分」である可能性があるシナリオをリストします。コンテキスト: カメラ + レーダー。低い太陽、雪、トンネルの出口、珍しい物体。出力: シナリオ |なぜ不十分なのか |削減推奨。
テンプレート 3 - プライバシー管理:
役割: あなたはデータ保護 (KVKK/GDPR) コンサルタントです。タスク: データセットを共有する前にプライバシー監査を実施します。コンテキスト: フリートテレメトリ。列には、VIN、GPS、運転スコアが含まれます。制約: どのフィールドが個人データであるか、どのように匿名化する必要があるか、何を共有すべきではないか。 sort.Output: フィールド |リスク |おすすめの取引チャート。
テンプレート 4 - バイアス チェック:
役割: あなたは ML の安全性と公平性の監査人です。課題: 検出モデルでバイアスのリスクを探す方法を教えてください。コンテキスト: 歩行者検知。トレーニング データに重み付けされた日/都市。出力: チェックする条件 |測定 |リスクサイン。
弱いプロンプト / 強いプロンプト
弱いプロンプト:
この自動ブレーキシステムは安全ですか、確認してください。
AI のセキュリティ許可を得ようとするのは危険です。承認は認定技術者に帰属します。
強力なプロンプト:
役割: あなたは機能安全および SOTIF コンサルタントです。タスク: 自動ブレーキ機能の安全性評価において、どのような質問をする必要があるか、またどのような証拠を収集する必要があるかをリストアップします。コンテキスト: AI ベースの検出。カメラ+レーダー; ASIL は高くなる可能性があります。制約: システムを「承認」します。 ISO 26262 (欠陥) と SOTIF (欠陥) に関する質問と証拠の個別のリストを提供します。最終的な承認は認定されたセキュリティ エンジニアが行うことを強調します。出力: フレームワーク |質問 |必要な証拠テーブル。
よくある間違い
- 「故障しない」と「安全」を混同している。 SOTIF欠乏症では、機能不全に陥ることなく死亡する可能性があります。
- AI セキュリティ クリアランスの取得。承認と責任は認定エンジニアにあります。
- モデルの精度を安全性の証明と誤解する。 99.9% の精度は、残りのリスクが管理されたことを示すものではありません。
- 個人データを保護していない。 VIN/場所/運転行動は KVKK/GDPR の範囲内です。
- 偏見や自信過剰を無視する。不均衡なデータと自動化に対する盲目的な信頼は脆弱性です。
要約すると
- ISO 26262 は障害によるリスクを (ASIL を使用して) 管理しますが、ISO 21448/SOTIF は障害なしで障害のリスクを管理します。どちらも AI 検出において重要です。
- ISO/SAE 21434 サイバーセキュリティ。敵対的攻撃やデータポイズニング攻撃は、AI 特有の脅威です。
- データの最小化、目的の制限、匿名化は、KVKK/GDPR の範囲内で必須です。 VIN/所在地は個人データです。
- 偏見、自信過剰、責任の喪失が主な倫理的リスクです。
- AI の出力は、資格のあるエンジニアの承認に代わるものではありません。セキュリティクリティカルな決定と署名は常にその個人に属します。
アプリケーションタスク
安全関連機能 (車線維持など) を選択します。 (1) この機能の ASIL レベルが重大度/危険性/制御性の観点から高い/低い理由を議論します。 (2) テンプレート 2 を使用して 5 つの「システムは安定しているが不十分」シナリオを生成します。 (3) テンプレート 3 を使用して関連するデータセットの機密性を監査します。 (4) 「モデルは確認されました」と言うことが防御にならない理由を説明します。
チェックリスト
- [ ] 私は関数の実際の次元を評価しました (正確な割り当ては権威者に任せました)。
- [ ] ISO 26262 (機能不全) と SOTIF (不十分さ) を区別しました。
- [ ] サイバーセキュリティ (敵対/毒殺) リスクを考慮しました。
- [ ] 個人データを匿名化し、最小限に抑えました。
- [ ] 偏見と自信過剰のリスクを調べました。
- [ ] 資格のあるエンジニアによるセキュリティ クリアランスがあることを確認しました。