ユニット 4 / 12

リスク評価のサポートとセキュリティ計画: 最も敏感なフロンティア

利益:

  • 人工知能を活用してリスクと防御要素のチェックリストとセキュリティ計画のスケルトンを作成し、どの領域もスキップせずに作業できる能力
  • リスクレベル/スコアとセキュリティの決定は専門家、チーム、監督、法的手続きによってのみ行われ、人工知能は決定を下すことができないことを理解してください。
  • 人工知能が組織的な偏見の原因を恵まれないグループに帰している可能性があることを認識し、その出力を意思決定として決して使用せず、最も機密性の高いデータは安全なシステムでのみ処理するという規律を適用する

ソーシャルワークの最も重大な責任はリスク評価であり、これは、子供が放置されているか虐待されているかどうか、個人が自分自身や他人に危害を加える可能性があるかどうか、高齢者が安全かどうか、暴力の被害者がどの程度危険にさらされているかなど、生命の安全に直接関係する判断である。この単元の最初の最も大胆なルールは次のとおりです。リスクに関する意思決定は AI に属さず、AI に属してはならないし、属すべきではありません。人の安全に関する決定。それには専門的な権限、臨床的判断、学際的なチームの意見、監督、法的責任が必要です。ここでの AI は単なる準備とリマインダーのツールです。どのリスクと保護要素を確認するかを思い出させ、メモを整理し、安全計画の概要を示します。スコアは与えられず、「リスクが低い/高い」とも言われず、決定を下すこともありません。

なぜこれをこれほど厳しく強調するのでしょうか。なぜなら、リスクの分野では、AI のミスの代償は取り返しのつかないものだからです。 AI がリスクを「低」と評価すると、子どもは保護されなくなります。リスクを不必要に「高い」と思わせると、家族が不当に引き離される可能性があります。さらに、AI はトレーニング データにバイアスをもたらします。つまり、特定の社会経済的グループ、民族、近隣地域に高いリスクを体系的に帰属させるアルゴリズムが世界中で文書化されています。したがって、AI の出力が入力であっても、それがユーザーの独立した判断を無効にすることはできません。

AI の正当な役割: 警告と規制

AI を危険にさらしても安全に使用できる場所は 3 つあります。

1. ファクターリマインダー。リスク評価で考慮すべきリスク要因(例:過去の暴力歴、薬物使用、社会的孤立、過去の入院)と保護要因(例:協力的な大人、定期的な学校出席、強力な社会的ネットワーク)は長い。 AI は、組織が使用しているフレームワークに適合するチェックリストを呼び出すことで、あらゆる領域の欠落を回避するのに役立ちます。

2. ノートの編集。これにより、観察内容やクライアントの発言が整理された事実に基づいたテキストに変換されるため、明確なデータに基づいて判断できるようになります。

3. セキュリティ計画の草案を作成します。セキュリティ計画(危険な場合に被害者が何をするか、誰に連絡するか、どこに行くかを決定する具体的な計画)には、一定の構造があります。 AI は、クライアントに記入してもらうための草案スケルトンを作成できます。ただし、あなたとクライアントは現実に応じて計画の内容を記入します。

注意: AI に「この場合のリスク レベルはどれですか?」と決して尋ねないでください。または「子供は家にいて安全ですか?」尋ねないでください。たとえ尋ねられたとしても、その出力を決定材料として使用しないでください。これらの質問には、認可された専門家、チーム、および機関の公式リスクツールを介した監督によってのみ回答されます。

ステップバイステップ: AI をリスクプロセスに正しく位置付ける

  1. 安全第一。差し迫った重大な危険(生命の安全)がある場合には、AIに対処するのではなく、機関の緊急手順を運用する必要があります。 AI は緊急性を遅らせてはなりません。
  2. 匿名化する。リスク評価は最も機密性の高いデータです。オープンツールには顧客を特定する情報は入力されず、安全な機関ツールのみが使用されます。
  3. 因子リストを思い出してください。制度的枠組みに適したリスクと保護要素のチェックリストを要求します。
  4. ご自身で判断してください。要素を比較検討し、チームで評価し、監督者に相談します。 AIに「評価」してほしくないのです。
  5. クライアントと一緒に安全計画を完成させます。ドラフトのスケルトンは AI から提供される可能性があります。コンテンツには、クライアントの実際のネットワーク、リソース、および設定が入力されます。

ミニケース3個

ケース 1 — 保護要素が欠落している。専門家は家庭内暴力事件の危険因子に焦点を当てました。彼が AI に依頼した要素チェックリストでは、「保護要素」セクションでクライアントの安全なサポート ネットワークが機能しているかどうかを尋ねていましたが、この領域は専門家が見逃していました。このネットワークはセキュリティ計画の中で最も現実的な部分となりました。決定は再び専門家に委ねられました。 AI は単にその質問を思い出させただけです。

ケース 2 — 間違ったスコアは信頼されませんでした。ある政府機関は、試用版の AI ツールがケースを「低リスク」とラベル付けしているのを確認しました。しかし、専門家の観察とクライアントの声明は、深刻な危険性を指摘していました。チームはAIラベルを拒否し、独自の評価に基づいて保護措置を開始しました。その後、その危険が実際にあったことが確認された。教訓: AI スコアは決定ではありません。人間の判断が優先されます。

ケース 3 — バイアスがかかっている。ある裁判では、同じ症例が 2 回 AI に与えられました。唯一の違いは、クライアントが住んでいる地域でした。 AIは、不利な立場にあることが知られている近隣地域に対して、より高い「リスク言語」を体系的に生成しました。これはAIのトレーニングデータに偏りがあることを実証し、リスクの意思決定にAIを使用しないという政府機関の方針を強化した。

コピー可能な 4 つのテンプレート

1) リスク/防御要素のリマインダー:

あなたの役割: ソーシャルワークスーパーバイザーのアシスタント。 [家庭内暴力] ケースのリスク評価で検討することが推奨される危険因子と保護因子のチェックリストを作成します。これをリマインダーのリストとして提示します。スコア、決定、または「リスクレベル」を生成しないでください。評価と決定は専門家に属します。

2) セキュリティ計画草案の骨子:

あなたの役割: 編集者。家庭内暴力の被害者が記入する安全計画の白紙の概要を準備します。警告標識、安全な場所、連絡すべき人や機関、重要な書類、子供向けの計画、デジタル安全性などです。コンテンツを入力する。各見出しの下に空白スペースを残して、クライアントに記入してもらいます。

3) リスクノートを編集する (決定を行わない):

以下の観察と発言のメモを、事実に基づいた、整理された文章に翻訳してください。所見とクライアントの声明を別々にラベル付けします。リスクレベルを述べ、決定を下し、コメントを追加します。メモの内容のみを編集し、不足している領域や不明瞭な領域にマークを付けます。注: [匿名化されたメモを貼り付け]

4) バイアス自己制御:

以下のリスクノート草案の中に、クライアントの社会経済的地位、民族、近隣地域、または同様の特徴に起因する証明されていない偏見を伝える記述はありますか?証拠ではなく固定観念に基づいている各文にマークを付けます。テキストは変更せず、警告するだけです。注: [メモを貼り付け]

弱いプロンプト / 強いプロンプト

弱いプロンプト:

この事例を読んで、子供が家にいるのが安全かどうか、またリスクレベルはどのくらいかを判断してください。

これは、人命に関する最も重要な決定をソフトウェアにアウトソーシングすることです。これは非倫理的であり、職業上の責任に反し、AI の偏見を子供の運命に直接持ち込むものです。

強力なプロンプト:

あなたの役割: リマインダーアシスタント。以下の匿名化されたメモを読む前に、[児童ネグレクト] ケースの評価で検討するリスクと保護要因のチェックリストを作成してください。意思決定、スコア、またはリスクレベルの生成。私のチームと一緒に評価を行います。どの領域をスキップしてはいけないかを思い出させるだけです。

違いは、決定を求めるのではなく、「どの質問を忘れてはいけないか」と言うことで、AI を安全で倫理的なフロンティアに保つということです。

リスク分野における役割の境界

クエスト

AIにそれができるのか?

誰がやるの?

要素チェックリストのリマインダー

はい

AI(リマインダー)

事実に基づいてメモを編集する

はい

AI + 専門家の承認

セキュリティ計画の空白のスケルトン

はい

AI;コンテンツクライアント+エキスパート

リスクレベル/スコアの決定

いいえ

専門家 + チーム + 監督

「安全ですか?」決断

いいえ

有能な専門家、法的手続き

保護措置の開始

いいえ

機関、管轄当局

よくある間違い

  • AI にリスク スコア/決定を依頼します。最も危険な間違い。決定には専門的な権限と法的責任が必要です。
  • AIラベルを信頼します。 「リスクが低い」という結論によって、反対の観察が無効になることはありません。
  • 偏見を無視する。 AI は、恵まれないグループに体系的な高リスクを帰属させる可能性があります。自制心は不可欠です。
  • 緊急性の遅れ。生命の安全がある場合は、まず緊急処置を行ってください。 AIへの対応は待ったなしだ。
  • 最も機密性の高いデータをオープン ツールに提供します。リスクノートは安全な機関ツールでのみ処理されます。

要約すると

リスク評価はソーシャルワークの最も重大な責任であり、決定は専門家、チーム、監督、法的当局など、個人に直接委ねられます。ここで、AI は、思い出させ (リスク/防御要素リスト)、整理し (事実のメモ)、草案 (安全計画の骨子) を作成するためのツールにすぎません。得点もしないし、決定もしない。 AI にはバイアスがあり、その出力を意思決定として決して使用せず、最も機密性の高いデータは安全なシステムでのみ処理することを忘れないでください。

アプリケーションタスク

架空のケース タイプを選択します。 「リスク/防御要素リマインダー」テンプレートを含むチェックリストを取得し、AI が「リスク レベル」を生成しないことを確認します。次に、「セキュリティ計画のアウトラインのスケルトン」テンプレートを使用して、空の計画のスケルトンを取得します。 AIに「リスクレベルはどれくらいですか?」と意識的に尋ねます。そして、その出力を決定として使用すべきではない理由を一文で書きます。

チェックリスト

  • [ ] 私は AI に決定事項やスコアではなく、要素のリマインダーを要求しただけです。
  • [ ] 最も機密性の高いデータは、セキュア エンタープライズ ツールでのみ処理しました。
  • [ ] 警備計画の内容をお客様と一緒に記入する予定でした。
  • [ ] AI 出力のバイアスを確認しました。
  • [ ] 私は、最終的なリスクの決定はチーム、監督、および適正手続きに委ねられることを確認しました。