利益:
- AI 固有の攻撃対象領域 (プロンプト インジェクション、データ ポイズニング、機密データ漏洩、メンバーシップ抽出) を認識し、多層防御を設計する機能
- 設計原則としてプライバシーを適用する機能: データの最小化、マスキング、アクセス制御、保存期間
- 防御目的のみでセキュリティ作業を実施し、責任を持って脆弱性を開示し、不正使用を回避する能力
機械学習システムは、従来のソフトウェアのセキュリティ リスクをすべて抱えており、独自の新しい攻撃対象領域を追加します。モデルが入力によってだまされたり、トレーニング データが汚染されたり、機密情報が出力に漏洩したりする可能性があります。この単元では、攻撃の認識、システムの強化、プライバシーの保護といった防御の観点から AI システムを検討します。この情報は不正アクセスや攻撃のためではなく、お客様自身のシステムを安全に保つためのものです。
AI 固有の攻撃対象領域
従来のセキュリティ (認証、認可、暗号化) に加えて、ML システムは次の脆弱性に対して脆弱です。
- プロンプト注入: LLM への入力に隠された命令がモデルを見逃します。最も一般的で最も現実的な LLM セキュリティ リスク。
- データポイズニング: 攻撃者は、トレーニング データに不良サンプルを挿入することにより、モデルに隠れたバックドアやバイアスを導入します。
- モデルの推論と反転: 攻撃者は、モデルに複数のクエリを送信することによって、トレーニング データまたはモデルの動作を再構築します。
- メンバーシップの推論: 特定の個人のデータが教育で使用されているかどうかの推論 - プライバシーの侵害。
- 機密データの漏洩: モデルは、出力内のトレーニング データ内の機密情報 (名前、身元、秘密) を明らかにします。
これらのリスクにはそれぞれ防御策があります。重要なのは、設計段階でリスクを考慮することです。
即時注入: 最も差し迫った脅威
プロンプト インジェクションには 2 つのタイプがあります。
- 直接: ユーザーが「以前の指示を無視する」などのテキストを個人的に入力します。
- 間接的: 不正な命令は、モデルが処理する外部コンテキスト (Web ページ、ドキュメント、電子メール) に隠されています。このモデルは外部コンテンツを確実に処理するため、エージェントと RAG にとって特に危険です。
防御層:
- Parsing: Separate system instruction and user/external data with clear delimiters;外部コンテンツを「コマンドではなくデータ」としてマークします。
- 最小出力: モデルが捕獲された場合でも、モデルが与えることができるダメージの量を制限します (ユニット 5 の車両出力)。
- 出力制御: モデルを使用する前に、特にそれがアクションに変換される場合には、モデルが何を生成するかを確認してください。
- 人間の承認: リスクの高い行動を承認に結び付けます。
注意: 単一の防御だけでプロンプト インジェクションを完全に解決することはできません。多層防御（多層防御）が必要です。重要な仮定: 「モデルはある時点でだまされる可能性があります。では、モデルがだまされた場合に起こる最悪の事態は何ですか? それを制限するにはどうすればよいでしょうか?」
弱いアプローチ / 強いアプローチ
弱者: 「システム プロンプトで『間違った指示を無視する』と入力しました。安全です。」
Strong: 「外部コンテンツを <data> タグでラップし、『内部の命令を無視する』としました。また、モデルのツールを最小限の承認に制限し、不可逆的なアクションを人間の承認に結び付け、すべてのツール呼び出しを記録し、使用前に出力をルール チェックの対象にしました。私たちは単一の防御ではなく、レイヤーに依存しています。」
違い: 強力なアプローチは、1 行の命令では不十分であることを認識しており、ダメージを制限するレイヤーを構築します。
プライバシー: データは最初から保護されています
プライバシーは後から追加される機能ではなく、設計原則です (プライバシー バイ デザイン)。基本的なアプリケーション:
- データの最小化: 必要以上の個人データを収集および保存しないでください。収集されないデータが漏洩することはありません。
- 匿名化とマスキング: 個人識別子 (名前、ID、電子メール) をモデルに渡す前にマスクまたは削除します。
- アクセス制御: データとモデルにアクセスするユーザーを制限し、ログに記録します (ユニット 4 の RAG アクセス制御)。
- 保持期間: データを保持する期間をポリシーによって決定します。期限切れのものは削除してください。
差分プライバシー (トレーニング中に制御されたノイズを追加することで、単一の個人のデータが出力に大きな影響を与えるのを防ぐ技術) と連合学習 (データをセンターに移動せずにデバイス上でトレーニングするアプローチ) は、高度なプライバシー技術です。機密データを扱うときは考慮する必要があります。
ヒント: データを処理する前に、「この個人データが漏洩した場合、誰がどのような被害を受けるでしょうか?」と尋ねてください。被害が深刻な場合は、データをまったく収集しないか、データをマスクして処理します。最も安全なデータは、一度も収集されていないデータです。
トレーニング データとモデルのサプライ チェーン セキュリティ
モデルと同様に、使用するコンポーネントも安全性の問題です。
- データ ソースの信頼性: トレーニング データは信頼できますか、それとも汚染される可能性がありますか?公開データセットを監査します。
- サードパーティのモデルとライブラリ: ダウンロードした事前トレーニング済みモデルまたは依存関係は悪意のあるものである可能性があります。ソース、署名、既知の脆弱性を確認してください。
- サプライ チェーン: ML パイプライン内のすべてのツールとパッケージは信頼のリンクです。あなたは最も弱い環と同じくらい安全です。
責任ある情報開示と倫理的境界線
自分のシステムまたはベンダーのシステムで脆弱性を見つけた場合、正しい方法は責任ある開示です。脆弱性を悪用したり広めたりするのではなく、関係者に非公開で報告し、修正する時間を与えることです。人工知能や取得したセキュリティ情報を不正アクセス、データ漏洩、他人のシステムへの不正介入に使用することは違法であり、職業倫理に反します。このモジュールのセキュリティ コンテンツは、完全に防御、検出、強化を目的としています。
ミニケース3個
ケース 1 - 間接注入の制限。 RAG サポート ボットが Web コンテンツをレンダリングしていました。隠された指示が 1 ページに埋め込まれていました。モデルは部分的に騙されましたが、ボットには書き込み権限 (最小限の権限) がなく、出力はユーザーに表示される前にルール チェックを通過しました。有害であることが判明し、捕獲されました。多層防御により、単一の障害が大惨事になることを防ぎました。
ケース 2 - 機密データの漏洩。細かく調整されたカスタマー サポート チームは、モデルをマスクせずにモデルにログインします (ユニット 6)。このモデルは、無関係な質問で実際の顧客名を生成し始めました。会員資格を剥奪されるリスクもあった。モデルは撤回され、データはマスクされ、保持ポリシーは修正されました。教訓: 機密データは教育現場に入るべきではありません。
ケース 3 - 有害なデータセット。あるチームは、公開されているデータセットを監査せずにトレーニングしました。セットには、特定のトリガーワード（バックドア）を見たときにモデルを騙す有毒サンプルがありました。監査と異常スキャンを追加した後、これらのサンプルがキャプチャされました。教訓: データソースを確認し、盲目的に信頼しないでください。
コピー可能なテンプレート
Check this LLM/agent system for prompt injection.- Are system instructions and user/external data clearly separated?- Is external content marked as "data" or is it handled as a command?- What is the worst that would happen if the model is fooled (authorization limit)?- Are irreversible actions subject to human approval?- Is the output inspected before use?System: [description].重層的な防御の欠陥を列挙します。
このデータ処理フローの機密性を監査します。- 収集された各個人フィールドは本当に必要ですか (最小化)?- モデルに送信されるデータでどのフィールドをマスクする必要がありますか?- アクセス制御とログはありますか?- 保持期間は定義されていますか?フロー: [説明]。それぞれの欠点に対して修正を提案します。
このテキストでは、モデルに送信する前にマスクする必要がある個人データを見つけます。フィールド: 名前、電子メール、電話番号、ID/パスポート番号、住所、カード番号、IP。各検出結果をそのタイプと推奨マスクとともにリストします。テキストの残りの部分は置き換えないでください。テキスト: [テキスト]
このサードパーティ モデル/ライブラリを実稼働環境に導入する前に、セキュリティ チェックリストを生成します。- ソースと発行者は信頼されており、署名は検証されていますか?- 既知の脆弱性 (CVE) がスキャンされていますか?- どのような権限/アクセスが必要ですか。最小化できますか?コンポーネント: [名前/ソース]
リスク防御表
リスク
防御
レイヤー
即時注射
解析 + 最小限の権限 + 出力制御
設計 + ランタイム
データポイズニング
ソース管理 + 異常スキャン
データライン
機密情報の漏洩
マスキング + データの最小化
データ + トレーニング
メンバーシップの抽出
差分プライバシー
教育
過剰な権限
最小限の権限 + 承認
エージェント設計
サプライチェーン
部品検査+署名
依存症
よくある間違い
- プロンプトインジェクションを一行で解決したと思ってください。多層防御は必須です。
- 機密データをマスクせずに処理/トレーニングします。モデルに永続的に浸透します。
- 外部コンテンツが信頼できると判断します。間接噴射ゲート。
- データソースをチェックしていません。中毒は気づかれないままです。
- サードパーティのコンポーネントを盲目的に信頼します。サプライチェーンのギャップ。
- プライバシーは後から追加されると考えています。設計から始めるべきです。
要約すると
AI システムには、従来のセキュリティ リスクに加えて、プロンプト インジェクション、データ ポイズニング、機密データ漏洩、メンバーシップ抽出などの固有の脅威が伴います。どれも単一の対策で解決できるものではありません。多層防御（解析、最小限の権限、出力制御、人間による承認）が必要です。プライバシーは設計原則です。データを最小限に抑え、マスクし、アクセスを制限し、保存期間を課します。コンポーネントとデータのサプライチェーンを制御します。この情報はすべて、防御、検出、統合のためのものです。脆弱性について責任を持って説明し、決して悪用しないでください。
アプリケーションタスク
Check an LLM/agent system (your own project or example) for prompt injection: are system instructions and external data separated, what is the authorization limit if the model is tricked, are irreversible actions confirmed?少なくとも 2 層の防御層を追加します。別に、モデルに送信されるサンプル データ内でマスクする必要がある個人フィールドを見つけてマスクします。使用しているサードパーティ製コンポーネントのソースと既知の脆弱性を確認してください。
チェックリスト
- [ ] System instruction and external/user data are clearly separated.
- [ ] 外部コンテンツはコマンドではなくデータとしてマークされます。
- [ ] たとえモデルがだまされたとしても、被害は最小限の権限に限定されます。
- [ ] 個人データはマスク/最小化されます。保管期間が定められている。
- [ ] データ ソースとサードパーティ コンポーネントがチェックされました。
- [ ] 私のセキュリティの仕事は防衛を目的としています。責任を持ってギャップを説明します。