이득:
- 위험 및 보호 요소 체크리스트와 보안 계획 골격을 인공지능으로 작성하고, 어떤 영역도 건너뛰지 않고 작업할 수 있는 능력
- 위험 수준/점수 및 보안 결정은 전문가, 팀, 감독 및 법적 프로세스에 의해서만 이루어지며 인공 지능은 결정을 내릴 수 없다는 점을 이해하십시오.
- 인공 지능이 소외 계층에 체계적 편견을 부여할 수 있음을 확인하고 그 결과를 절대 의사 결정으로 사용하지 않고 가장 민감한 데이터를 안전한 시스템에서만 처리한다는 규율을 적용합니다.
사회사업의 가장 심각한 책임은 위험 평가입니다. 즉, 아동이 방치되거나 학대당하는지, 개인이 자신이나 다른 사람에게 해를 끼칠 가능성이 있는지, 노인이 안전한지, 폭력 피해자가 얼마나 위험에 처해 있는지 등 생명 안전과 직접적으로 관련된 판단입니다. 이 단위의 첫 번째이자 가장 대담한 규칙은 다음과 같습니다. 위험 의사 결정은 AI에 속하지도, 할 수도 없고, 있어서도 안 됩니다. 개인의 안전에 관한 결정 이를 위해서는 전문적 권위, 임상적 판단, 다학문적 팀 의견, 감독 및 법적 책임이 필요합니다. 여기서 AI는 단지 준비 및 알림 도구일 뿐입니다. 검토해야 할 위험 및 보호 요소를 상기시키고, 메모를 정리하고, 안전 계획의 개요를 설명합니다. 점수를 주지도 않고 "위험이 낮음/높음"이라고 말하지 않으며 결정을 내리지도 않습니다.
우리는 왜 이것을 그렇게 가혹하게 강조합니까? 위험 분야에서는 AI 실수로 인한 비용이 되돌릴 수 없기 때문입니다. AI가 위험을 "낮음"으로 평가하면 어린이는 보호받지 못합니다. 위험이 불필요하게 "높은" 것처럼 보이면 가족이 부당하게 분리될 수 있습니다. 또한 AI는 훈련 데이터에 편향을 가져옵니다. 특정 사회 경제적 그룹, 민족 또는 이웃에 더 높은 위험을 체계적으로 부여하는 알고리즘이 전 세계적으로 문서화되었습니다. 따라서 AI의 출력이 입력이더라도 이는 결코 사용자의 독립적인 판단을 무시할 수 없습니다.
AI의 정당한 역할: 알림 및 규제
위험 속에서도 AI를 안전하게 사용할 수 있는 곳은 세 곳이 있습니다.
1. 요인 알림. 위험 평가에서 고려해야 하는 위험 요소(예: 과거 폭력 이력, 약물 사용, 사회적 고립, 이전 입학)와 보호 요소(예: 지지하는 성인, 정규 학교 출석, 강력한 사회적 네트워크)는 오래되었습니다. AI는 조직에서 사용하는 프레임워크에 맞는 체크리스트를 불러와서 어떤 영역도 놓치지 않도록 도와줍니다.
2. 노트 편집. 관찰 내용과 고객 진술을 체계적이고 사실에 근거한 텍스트로 변환하므로 명확한 데이터를 바탕으로 판단할 수 있습니다.
3. 보안 계획 초안. 보안 계획(위험 시 피해자가 무엇을 할 것인지, 누구에게 연락할 것인지, 어디로 갈 것인지를 결정하는 구체적인 계획)은 특정한 구조를 가지고 있습니다. AI는 클라이언트가 채울 초안 뼈대를 생성할 수 있습니다. 그러나 귀하와 고객은 현실에 따라 계획의 내용을 작성합니다.
주의: 절대로 AI에게 "이 경우 위험 수준은 무엇입니까?"라고 묻지 마십시오. 또는 “아이가 집에 있으면 안전한가요?” 묻지 마세요. 요청하더라도 결과를 결정으로 사용하지 마십시오. 이러한 질문은 기관의 공식 위험 도구를 통해 승인된 전문가, 팀 및 감독자에 의해서만 답변됩니다.
단계별: 위험 프로세스에 AI를 올바르게 배치
- 안전이 최우선입니다. 즉각적이고 심각한 위험(인명안전)이 발생할 경우 AI 대응이 아닌 기관의 비상절차 운영이 필요하다. AI는 긴급 상황을 지연시켜서는 안 됩니다.
- 신원을 확인하지 마십시오. 위험 등급은 가장 민감한 데이터입니다. 클라이언트를 식별하는 정보는 공개 도구에 입력되지 않으며 보안 기관 도구만 사용됩니다.
- 요인 목록을 기억해 주세요. 제도적 틀에 적합한 위험 및 보호 요소 체크리스트를 요청합니다.
- 스스로 판단하십시오. 요인을 평가하고, 팀과 함께 평가하고, 감독자와 상담합니다. AI가 "평가"하는 것을 원하지 않습니다.
- 고객과 함께 안전 계획을 완료합니다. 초안 뼈대는 AI에서 나올 수 있습니다. 콘텐츠는 클라이언트의 실제 네트워크, 리소스 및 기본 설정으로 채워집니다.
세 개의 미니 케이스
사례 1 — 보호 요소가 누락되었습니다. 가정폭력 사건의 위험요인에 초점을 맞춘 전문가입니다. 그가 AI에게 요청한 요소 체크리스트는 전문가가 놓친 영역인 "보호 요소" 섹션에서 작업 중인 클라이언트의 보안 지원 네트워크에 대해 질문하도록 했습니다. 이 네트워크는 보안 계획에서 가장 현실적인 부분이 되었습니다. 결정은 다시 전문가의 몫이었습니다. AI는 단지 그 질문을 상기시켰을 뿐이다.
사례 2 - 잘못된 점수를 신뢰하지 않았습니다. 한 기관에서는 시험용 AI 도구가 사례에 '낮은 위험'이라는 라벨을 붙인 것을 확인했습니다. 그러나 전문가의 관찰과 고객의 진술은 심각한 위험을 지적했습니다. 팀은 AI 라벨을 거부하고 자체 평가에 따라 보호 조치에 착수했습니다. 나중에 그 위험이 진짜라는 것이 확인되었습니다. 교훈: AI 점수는 결정이 아닙니다. 인간의 판단이 우선이다.
사례 3 — 편견이 포착되었습니다. 한 재판에서는 같은 사건이 AI에게 두 번 주어졌다. 유일한 차이점은 의뢰인이 살았던 동네였습니다. AI는 취약한 것으로 알려진 동네에 대해 더 높은 '위험 언어'를 체계적으로 생성했습니다. 이는 AI 훈련 데이터의 편견을 입증하고 위험 의사 결정에 AI를 사용하지 않는다는 기관의 정책을 강화했습니다.
복사 가능한 템플릿 4개
1) 위험/보호 요소 알림:
귀하의 역할: 사회 복지 감독관 보조자. [가정폭력] 사례의 위험 평가에서 검토하도록 권장되는 위험 요소 및 보호 요소에 대한 체크리스트를 준비합니다. 이것을 알림 목록으로 제시하십시오. 점수, 결정 또는 "위험 수준"을 생성하지 않습니다. 평가와 결정은 전문가의 몫입니다.
2) 보안 계획 초안 뼈대:
귀하의 역할: 편집자. 가정 폭력 피해자가 작성해야 할 안전 계획의 빈 개요(경고 표시, 안전한 장소, 연락할 사람 및 기관, 중요 문서, 어린이를 위한 계획, 디지털 안전)를 준비합니다. 내용을 작성하는 단계; 고객과 함께 입력할 각 제목 아래에 공백을 남겨두세요.
3) 위험 메모 편집(결정하지 않음):
다음 관찰 내용과 진술 메모를 사실에 근거하고 정리된 텍스트로 번역하세요. 관찰 내용과 고객 진술 내용을 별도로 라벨링하십시오. 위험 수준을 명시하고, 결정을 내리고, 의견을 추가합니다. 메모에 있는 내용만 편집하고 누락되거나 모호한 부분을 표시하세요. 참고: [식별되지 않은 메모 붙여넣기]
4) 편견 자기 통제:
아래 위험 메모 초안에 고객의 사회 경제적 지위, 민족, 이웃 또는 유사한 특성으로 인해 입증되지 않은 편견을 전달하는 진술이 있습니까? 증거보다는 고정관념에 근거한 각 문장에 표시하세요. 텍스트를 변경하지 말고 경고만 하세요. 참고: [메모 붙여넣기]
약한 프롬프트 / 강한 프롬프트
약한 프롬프트:
이 사례를 읽고 아이가 집에 머무르는 것이 안전한지, 위험 수준은 어느 정도인지 판단해 보세요.
인간의 생명에 관한 가장 중요한 결정을 소프트웨어에 아웃소싱하는 것입니다. 이는 직업적 책임에 반하는 비윤리적이며 AI의 편견을 어린이의 운명에 직접적으로 영향을 미칩니다.
강력한 프롬프트:
귀하의 역할: 알림 도우미. 아래의 비식별 메모를 읽기 전, [아동 방치] 사례 평가 시 검토할 위험 및 보호 요소에 대한 체크리스트를 준비하세요. 결정, 점수 또는 위험 수준을 생성합니다. 나는 우리 팀과 함께 평가할 것입니다. 내가 건너뛰면 안 되는 부분이 무엇인지 상기시켜 주네요.
차이점은 결정을 요구하는 대신 “어떤 질문을 잊어서는 안 됩니까”라고 말하는 것이 AI를 안전하고 윤리적인 최전선에 유지한다는 것입니다.
위험 분야의 역할 경계
퀘스트
AI가 할 수 있을까?
누가 그러나요?
요인 체크리스트 알림
예
AI(알림)
사실대로 메모 편집하기
예
AI + 전문가 승인
보안 계획 빈 뼈대
예
AI; 콘텐츠 클라이언트+전문가
위험 수준/점수 결정
아니
전문가 + 팀 + 감독
"안전합니까?" 결정
아니
유능한 전문가, 법적 절차
보호 조치 시작
아니
기관, 주무관청
일반적인 실수
- AI에게 위험 점수/결정을 요청합니다. 가장 위험한 실수; 결정에는 전문적인 권한과 법적 책임이 필요합니다.
- AI 라벨을 신뢰합니다. "낮은 위험" 결론은 반대의 관찰을 결코 무효화하지 않습니다.
- 편견을 무시합니다. AI는 체계적으로 높은 위험을 소외 계층에 돌릴 수 있습니다. 자제력이 필수적이다.
- 긴급함을 지연합니다. 생명의 안전이 있는 경우에는 응급처치 우선, AI를 다루는 것은 기다릴 수 없습니다.
- 공개 도구에 가장 민감한 데이터를 제공합니다. 위험 메모는 보안 기관 도구에서만 처리됩니다.
요약하면
위험 평가는 사회 사업의 가장 중요한 책임이며 결정은 전문가, 팀, 감독, 법적 권한 등 개인에게 있습니다. 여기서 AI는 알림(위험/보호 요소 목록), 구성(사실 메모) 및 초안 작성(안전 계획 기본)을 위한 도구일 뿐입니다. 점수도 얻지 못하고 결정도 내리지 않습니다. AI는 편견을 가지고 있다는 점을 기억하고 그 결과를 결정으로 사용하지 말고 가장 민감한 데이터는 보안 시스템에서만 처리하십시오.
응용과제
가상의 케이스 유형을 선택하세요. "위험/보호 요소 알림" 템플릿이 포함된 체크리스트를 받고 AI가 "위험 수준"을 생성하지 않는지 확인하세요. 그런 다음 "보안 계획 개요 뼈대" 템플릿을 사용하여 빈 계획 뼈대를 가져옵니다. 의식적으로 AI에게 “위험 수준은 어느 정도인가?”라고 묻는다. 그리고 그 결과를 결정으로 사용해서는 안 되는 이유를 한 문장으로 적어보세요.
체크리스트
- [ ] AI에게 결정/점수가 아닌 요소 알림만 요청했습니다.
- [ ] 가장 민감한 데이터는 안전한 기업용 도구에서만 처리했습니다.
- [ ] 보안계획의 내용을 고객과 함께 작성하기로 했습니다.
- [ ] AI 출력의 편향성을 확인했습니다.
- [ ] 최종 리스크 결정은 팀, 감독 및 적법한 절차에 있음을 확인했습니다.