Đơn vị 4 / 12

Hỗ trợ đánh giá rủi ro và lập kế hoạch bảo mật: Biên giới nhạy cảm nhất

Lợi nhuận:

  • Khả năng chuẩn bị danh sách kiểm tra rủi ro và yếu tố bảo vệ cũng như khung kế hoạch bảo mật bằng trí tuệ nhân tạo và làm việc mà không bỏ qua bất kỳ lĩnh vực nào
  • Hiểu rằng mức độ/điểm rủi ro và các quyết định về bảo mật chỉ được đưa ra bởi các chuyên gia, nhóm, quy trình giám sát và pháp lý và trí tuệ nhân tạo không thể đưa ra quyết định.
  • Nhận thấy rằng trí tuệ nhân tạo có thể gán sự thiên vị có hệ thống cho các nhóm thiệt thòi và áp dụng kỷ luật không bao giờ sử dụng kết quả đầu ra của nó làm quyết định và chỉ xử lý dữ liệu nhạy cảm nhất trong một hệ thống an toàn

Trách nhiệm nghiêm trọng nhất của công tác xã hội là đánh giá rủi ro - những phán đoán liên quan trực tiếp đến an toàn tính mạng, chẳng hạn như liệu một đứa trẻ có bị bỏ rơi hoặc lạm dụng hay không, liệu một cá nhân có khả năng làm hại chính mình hoặc người khác hay không, liệu người già có an toàn hay không, hoặc nạn nhân của bạo lực có nguy cơ bị đe dọa như thế nào. Nguyên tắc đầu tiên và táo bạo nhất của đơn vị này là: Việc ra quyết định rủi ro không, không thể và không nên thuộc về AI. Quyết định về sự an toàn của một người; Nó đòi hỏi thẩm quyền chuyên môn, phán đoán lâm sàng, ý kiến ​​của nhóm đa ngành, sự giám sát và trách nhiệm pháp lý. AI ở đây chỉ là một công cụ chuẩn bị và nhắc nhở: nó nhắc nhở bạn những yếu tố rủi ro và bảo vệ nào cần xem xét, sắp xếp các ghi chú của bạn, vạch ra kế hoạch an toàn. Nó không cho điểm, không nói "rủi ro thấp/cao", nó không đưa ra quyết định.

Tại sao chúng tôi nhấn mạnh điều này một cách gay gắt như vậy? Bởi vì trong lĩnh vực rủi ro, cái giá phải trả cho một sai lầm AI là không thể thay đổi được. Việc AI xếp hạng rủi ro ở mức "thấp" khiến trẻ không được bảo vệ; Việc tạo ra rủi ro tưởng chừng như “cao” một cách không cần thiết có thể dẫn đến việc gia đình bị chia cắt một cách bất công. Ngoài ra, AI mang đến những thành kiến ​​trong dữ liệu đào tạo: các thuật toán quy định rủi ro cao hơn một cách có hệ thống đối với một số nhóm kinh tế xã hội, sắc tộc hoặc khu vực lân cận nhất định đã được ghi nhận trên khắp thế giới. Vì vậy, ngay cả khi đầu ra của AI là đầu vào, nó không bao giờ có thể lấn át khả năng phán đoán độc lập của bạn.

Vai trò hợp pháp của AI: nhắc nhở và điều tiết

Có ba nơi bạn có thể sử dụng AI một cách an toàn khi gặp rủi ro:

1. Nhắc nhở yếu tố. Các yếu tố rủi ro (ví dụ: tiền sử bạo lực, sử dụng chất gây nghiện, cách ly xã hội, từng nhập viện) và các yếu tố bảo vệ (ví dụ: người lớn hỗ trợ, đi học đều đặn, mạng lưới xã hội mạnh mẽ) cần được xem xét trong đánh giá rủi ro là dài; AI giúp bạn tránh bỏ sót bất kỳ lĩnh vực nào bằng cách gọi lại danh sách kiểm tra phù hợp với khuôn khổ mà tổ chức của bạn sử dụng.

2. Chỉnh sửa ghi chú. Nó chuyển những nhận định quan sát và khách hàng của bạn thành một văn bản có tổ chức, thực tế — để bạn có thể đưa ra phán đoán dựa trên dữ liệu rõ ràng.

3. Dự thảo phương án bảo mật. Một kế hoạch an ninh (một kế hoạch cụ thể xác định nạn nhân sẽ làm gì trong trường hợp nguy hiểm, anh ta sẽ liên lạc với ai, anh ta sẽ đi đâu) có một cấu trúc nhất định. AI có thể tạo ra một khung phác thảo để điền vào với khách hàng; Nhưng bạn và khách hàng hãy điền nội dung kế hoạch theo thực tế.

Thận trọng: Đừng bao giờ hỏi AI "mức độ rủi ro trong trường hợp này là bao nhiêu?" hoặc “đứa trẻ ở nhà có an toàn không?” Đừng hỏi. KHÔNG sử dụng kết quả đầu ra làm quyết định, ngay cả khi bạn yêu cầu. Những câu hỏi này chỉ được trả lời bởi chuyên gia, nhóm và giám sát được ủy quyền thông qua công cụ quản lý rủi ro chính thức của tổ chức.

Từng bước: định vị AI chính xác trong quy trình xử lý rủi ro

  1. An toàn là trên hết. Nếu có nguy cơ trước mắt và nghiêm trọng (an toàn tính mạng) thì cần vận hành quy trình khẩn cấp của cơ quan, không được xử lý bằng AI. AI không nên trì hoãn bất kỳ sự khẩn cấp nào.
  2. Không xác định được. Xếp hạng rủi ro là dữ liệu nhạy cảm nhất; Thông tin nhận dạng khách hàng không được nhập vào công cụ mở, chỉ sử dụng công cụ tổ chức bảo mật.
  3. Nhắc tôi về danh sách yếu tố. Yêu cầu danh sách kiểm tra rủi ro và yếu tố bảo vệ phù hợp với khuôn khổ thể chế.
  4. Hãy đưa ra phán xét của riêng bạn. Bạn cân nhắc các yếu tố, đánh giá cùng nhóm và tham khảo ý kiến ​​của người giám sát. Bạn không muốn AI “đánh giá”.
  5. Hoàn thành kế hoạch an toàn với khách hàng. Bộ xương dự thảo có thể đến từ AI; Nội dung được điền với mạng, tài nguyên và tùy chọn thực tế của khách hàng.

ba trường hợp nhỏ

Trường hợp 1 - Thiếu yếu tố bảo vệ. Chuyên gia tập trung vào các yếu tố nguy cơ trong một vụ bạo lực gia đình. Danh sách kiểm tra yếu tố mà anh ấy yêu cầu AI cung cấp đã yêu cầu anh ấy hỏi về mạng lưới hỗ trợ an toàn của khách hàng tại nơi làm việc trong phần "các yếu tố bảo vệ"—một lĩnh vực mà chuyên gia đã bỏ sót. Mạng này đã trở thành phần thực tế nhất của kế hoạch bảo mật. Quyết định một lần nữa thuộc về chuyên gia; AI chỉ nhắc nhở câu hỏi.

Trường hợp 2 - Điểm không chính xác không được tin cậy. Một cơ quan nhận thấy công cụ AI dùng thử đã gắn nhãn một trường hợp là “rủi ro thấp”. Tuy nhiên, quan sát của chuyên gia và nhận định của khách hàng đã chỉ ra mối nguy hiểm nghiêm trọng. Nhóm đã từ chối nhãn AI và bắt đầu hành động bảo vệ dựa trên đánh giá của chính mình. Sau đó người ta xác nhận rằng mối nguy hiểm là có thật. Bài học: Điểm AI không phải là quyết định; sự phán xét của con người được ưu tiên.

Trường hợp 3 - Bị phát hiện sai lệch. Trong một phiên tòa, trường hợp tương tự đã được giao cho AI hai lần; Sự khác biệt duy nhất là khu vực nơi khách hàng sống. AI tạo ra “ngôn ngữ rủi ro” cao hơn một cách có hệ thống cho khu vực lân cận được biết là có hoàn cảnh khó khăn. Điều này thể hiện sự thiên vị trong dữ liệu đào tạo của AI và củng cố chính sách của cơ quan về việc không sử dụng AI trong việc ra quyết định rủi ro.

Bốn mẫu có thể sao chép

1) Nhắc nhở về yếu tố rủi ro/bảo vệ:

Vai trò của bạn: trợ lý cho người giám sát công tác xã hội. Chuẩn bị danh sách kiểm tra các yếu tố rủi ro và yếu tố bảo vệ được khuyến nghị xem xét khi đánh giá rủi ro trong các vụ việc [bạo lực gia đình]. Trình bày đây dưới dạng danh sách NHẮC NHỞ; KHÔNG đưa ra bất kỳ điểm số, quyết định hoặc "mức độ rủi ro" nào. Đánh giá và quyết định thuộc về chuyên gia.

2) Khung dự thảo kế hoạch bảo mật:

Vai trò của bạn: biên tập viên. Chuẩn bị một bản phác thảo TRỐNG về kế hoạch an toàn dành cho nạn nhân bạo lực gia đình: biển cảnh báo, nơi an toàn, người và tổ chức cần liên hệ, tài liệu quan trọng, kế hoạch dành cho trẻ em, an toàn kỹ thuật số. Điền nội dung; Để lại những khoảng trống dưới mỗi tiêu đề để khách hàng điền vào.

3) Chỉnh sửa ghi chú rủi ro (không đưa ra quyết định):

Dịch các ghi chú quan sát và phát biểu sau đây thành một văn bản có tính thực tế, có tổ chức. Dán nhãn quan sát và tuyên bố khách hàng một cách riêng biệt. NỔI BẬT mức độ rủi ro, ĐƯA RA quyết định, THÊM nhận xét. Chỉ chỉnh sửa những gì có trong ghi chú và đánh dấu những vùng bị thiếu/tối. Lưu ý: [dán ghi chú không xác định]

4) Tự chủ thiên kiến:

Trong bản dự thảo lưu ý rủi ro bên dưới, có tuyên bố nào thể hiện sự thiên vị chưa được chứng minh do tình trạng kinh tế xã hội, dân tộc, khu vực lân cận hoặc đặc điểm tương tự của khách hàng không? Đánh dấu mỗi câu dựa trên khuôn mẫu hơn là bằng chứng. Đừng thay đổi văn bản, chỉ cảnh báo. Lưu ý: [dán ghi chú]

Dấu nhắc yếu / Dấu nhắc mạnh

Dấu nhắc yếu:

Hãy đọc trường hợp này và quyết định xem việc trẻ ở nhà có an toàn hay không và mức độ rủi ro là bao nhiêu.

Đây là việc đưa ra quyết định quan trọng nhất về cuộc sống con người cho một phần mềm. Điều đó là phi đạo đức, trái với trách nhiệm nghề nghiệp và mang sự thiên vị của AI trực tiếp vào số phận của một đứa trẻ.

Lời nhắc mạnh mẽ:

Vai trò của bạn: trợ lý nhắc nhở. Trước khi đọc ghi chú không được xác định dưới đây, hãy chuẩn bị danh sách kiểm tra các yếu tố rủi ro và bảo vệ để xem xét khi đánh giá các trường hợp [bỏ rơi trẻ em]. ĐƯA RA quyết định, điểm số hoặc mức độ rủi ro. Tôi sẽ cùng nhóm của mình đánh giá; Bạn chỉ cần nhắc nhở tôi những lĩnh vực nào tôi không nên bỏ qua.

Sự khác biệt: nói “những câu hỏi nào tôi không nên quên” thay vì yêu cầu đưa ra quyết định giúp AI luôn ở mức an toàn và có đạo đức.

Ranh giới vai trò trong lĩnh vực rủi ro

Nhiệm vụ

AI có thể làm được điều đó không?

Ai làm?

Nhắc nhở danh sách kiểm tra yếu tố

AI (nhắc nhở)

Chỉnh sửa ghi chú thực tế

AI + phê duyệt của chuyên gia

Bộ xương trống của kế hoạch bảo mật

AI; khách hàng nội dung+chuyên gia

Xác định mức độ/điểm rủi ro

không

Chuyên gia + nhóm + giám sát

"Có an toàn không?" quyết định

không

Chuyên gia có năng lực, thủ tục pháp lý

Bắt đầu các biện pháp bảo vệ

không

Cơ quan, cơ quan có thẩm quyền

Những lỗi thường gặp

  • Yêu cầu AI cho điểm/quyết định rủi ro. Sai lầm nguy hiểm nhất; Quyết định này đòi hỏi thẩm quyền chuyên môn và trách nhiệm pháp lý.
  • Tin tưởng vào nhãn AI. Một kết luận "rủi ro thấp" sẽ không bao giờ làm mất hiệu lực quan sát ngược lại của bạn.
  • Bỏ qua định kiến. AI có thể quy rủi ro cao mang tính hệ thống cho các nhóm thiệt thòi; tự chủ là điều cần thiết.
  • Trì hoãn sự khẩn cấp. Nếu có an toàn tính mạng thì phải làm thủ tục cấp cứu trước; Đối phó với AI không thể chờ đợi.
  • Cung cấp dữ liệu nhạy cảm nhất cho công cụ mở. Ghi chú rủi ro chỉ được xử lý trong công cụ tổ chức an toàn.

Tóm lại

Đánh giá rủi ro là trách nhiệm nghiêm trọng nhất của công tác xã hội và quyết định hoàn toàn thuộc về con người - chuyên gia, nhóm, người giám sát, cơ quan pháp luật. Ở đây, AI chỉ là công cụ nhắc nhở (danh sách yếu tố rủi ro/bảo vệ), tổ chức (ghi chú thực tế) và soạn thảo (khung kế hoạch an toàn); Nó không ghi bàn, nó không đưa ra quyết định. Hãy nhớ rằng AI mang tính thiên vị, không bao giờ sử dụng kết quả đầu ra của nó làm quyết định và chỉ xử lý dữ liệu nhạy cảm nhất trong hệ thống bảo mật.

Nhiệm vụ ứng dụng

Chọn một loại trường hợp hư cấu. Nhận danh sách kiểm tra có mẫu “nhắc nhở yếu tố rủi ro/bảo vệ” và xác minh rằng AI không tạo ra bất kỳ “mức rủi ro” nào. Sau đó lấy một khung kế hoạch trống với mẫu "khung phác thảo kế hoạch bảo mật". Hỏi AI một cách có ý thức “mức độ rủi ro là gì?” và viết bằng một câu tại sao bạn KHÔNG nên sử dụng kết quả đầu ra làm quyết định.

danh sách kiểm tra

  • [ ] Tôi chỉ yêu cầu AI đưa ra lời nhắc về yếu tố chứ không phải quyết định/điểm số.
  • [ ] Tôi chỉ xử lý dữ liệu nhạy cảm nhất trong công cụ bảo mật dành cho doanh nghiệp.
  • [ ] Tôi dự định điền nội dung của kế hoạch bảo mật cùng với khách hàng.
  • [ ] Tôi đã kiểm tra độ lệch của đầu ra AI.
  • [ ] Tôi xác nhận rằng quyết định rủi ro cuối cùng thuộc về nhóm, sự giám sát và quy trình hợp pháp.