Keuntungan:
- Kemampuan untuk menyiapkan daftar periksa risiko dan faktor pelindung serta kerangka rencana keamanan dengan kecerdasan buatan dan bekerja tanpa melewatkan area apa pun
- Memahami bahwa keputusan tingkat/skor risiko dan keamanan hanya dibuat oleh para ahli, tim, pengawasan, dan proses hukum, dan bahwa kecerdasan buatan tidak dapat menghasilkan keputusan.
- Melihat bahwa kecerdasan buatan dapat mengaitkan bias sistematis pada kelompok yang kurang beruntung dan menerapkan disiplin untuk tidak pernah menggunakan keluarannya sebagai keputusan dan memproses data yang paling sensitif hanya dalam sistem yang aman
Tanggung jawab pekerjaan sosial yang paling serius adalah penilaian risiko—penilaian yang secara langsung berkaitan dengan keselamatan hidup, seperti apakah seorang anak ditelantarkan atau dianiaya, apakah seseorang akan membahayakan dirinya sendiri atau orang lain, apakah orang lanjut usia aman, atau seberapa terancamnya korban kekerasan. Aturan pertama dan paling berani dari unit ini adalah: Pengambilan keputusan risiko tidak, tidak bisa, dan tidak seharusnya menjadi milik AI. Keputusan tentang keselamatan seseorang; Hal ini memerlukan otoritas profesional, penilaian klinis, pendapat tim multidisiplin, pengawasan dan tanggung jawab hukum. AI hanyalah alat persiapan dan pengingat: AI mengingatkan Anda faktor risiko dan perlindungan mana yang harus ditinjau, mengatur catatan Anda, menguraikan rencana keselamatan. Tidak memberi skor, tidak mengatakan “risiko rendah/tinggi”, tidak mengambil keputusan.
Mengapa kami menekankan hal ini dengan sangat keras? Karena dalam bidang risiko, kerugian akibat kesalahan AI tidak dapat diubah. AI menilai risiko sebagai “rendah” sehingga menyebabkan seorang anak tidak terlindungi; Membuat risiko tampak terlalu "tinggi" dapat menyebabkan pemisahan keluarga secara tidak adil. Selain itu, AI membawa bias dalam data pelatihan: algoritma yang secara sistematis mengaitkan risiko lebih tinggi pada kelompok sosial ekonomi, etnis, atau lingkungan tertentu telah didokumentasikan di seluruh dunia. Jadi meskipun keluaran AI adalah sebuah masukan, hal itu tidak akan pernah bisa mengesampingkan penilaian independen Anda.
Peran sah AI: pengingat dan regulasi
Ada tiga tempat di mana Anda dapat menggunakan AI dengan aman jika ada risiko:
1. Pengingat faktor. Faktor-faktor risiko (misalnya, riwayat kekerasan di masa lalu, penggunaan narkoba, isolasi sosial, pernah masuk rumah sakit sebelumnya) dan faktor-faktor pelindung (misalnya, orang dewasa yang suportif, kehadiran di sekolah secara teratur, jaringan sosial yang kuat) yang harus dipertimbangkan dalam penilaian risiko adalah faktor-faktor yang panjang; AI membantu Anda menghindari kehilangan area apa pun dengan mengingat daftar periksa yang sesuai dengan kerangka kerja yang digunakan organisasi Anda.
2. Pengeditan catatan. Ini menerjemahkan pengamatan Anda dan pernyataan klien menjadi teks faktual yang terorganisir — sehingga Anda dapat mendasarkan penilaian Anda pada data yang jelas.
3. Rancangan rencana keamanan. Rencana keamanan (rencana konkrit yang menentukan apa yang akan dilakukan korban jika terjadi bahaya, siapa yang akan dihubungi, kemana ia akan pergi) mempunyai struktur tertentu. AI dapat menghasilkan rancangan kerangka untuk diisi bersama klien; Namun Anda dan klien mengisi isi rencana sesuai kenyataan.
Perhatian: Jangan pernah bertanya kepada AI “berapa tingkat risiko dalam kasus ini?” atau “apakah anak itu aman di rumah?” Jangan bertanya. JANGAN gunakan hasilnya sebagai keputusan, meskipun Anda memintanya. Pertanyaan-pertanyaan tersebut hanya dijawab oleh ahli yang berwenang, tim dan pengawas melalui alat risiko resmi lembaga.
Langkah demi langkah: memposisikan AI dengan benar dalam proses risiko
- Keselamatan adalah yang utama. Jika ada bahaya yang mendesak dan serius (keselamatan jiwa), maka perlu dilakukan prosedur darurat institusi, bukan penanganan AI. AI tidak boleh menunda segala hal yang mendesak.
- Disidentifikasi. Peringkat risiko adalah data yang paling sensitif; Informasi identifikasi klien tidak dimasukkan ke dalam alat terbuka, hanya alat institusi aman yang digunakan.
- Ingatkan saya pada daftar faktor. Meminta daftar risiko dan faktor perlindungan yang sesuai dengan kerangka kelembagaan.
- Buatlah penilaian Anda sendiri. Anda mempertimbangkan faktor-faktornya, mengevaluasinya dengan tim, dan berkonsultasi dengan supervisor. Anda tidak ingin AI "mengevaluasi".
- Lengkapi rencana keselamatan dengan klien. Rancangan kerangka mungkin berasal dari AI; Konten diisi dengan jaringan, sumber daya, dan preferensi klien yang sebenarnya.
tiga kasus mini
Kasus 1 — Faktor pelindung tidak ada. Seorang ahli fokus pada faktor risiko dalam kasus kekerasan dalam rumah tangga. Daftar periksa faktor yang dia tanyakan kepada AI membuatnya bertanya tentang jaringan dukungan aman klien yang bekerja di bagian "faktor perlindungan"—sebuah area yang terlewatkan oleh pakar tersebut. Jaringan ini menjadi bagian paling realistis dari rencana keamanan. Keputusan sekali lagi berada di tangan ahli; AI hanya mengingatkan pertanyaan itu.
Kasus 2 — Skor yang salah tidak dipercaya. Salah satu lembaga melihat uji coba alat AI memberi label sebuah kasus sebagai “berisiko rendah.” Namun pengamatan ahli dan pernyataan klien menunjukkan adanya bahaya yang serius. Tim menolak label AI dan memulai tindakan perlindungan berdasarkan penilaian mereka sendiri. Belakangan dipastikan bahwa bahaya itu nyata. Pelajaran: Skor AI bukanlah sebuah keputusan; penilaian manusia diutamakan.
Kasus 3 — Bias tertangkap. Dalam satu persidangan, kasus yang sama diberikan kepada AI sebanyak dua kali; Satu-satunya perbedaan adalah lingkungan tempat tinggal klien. AI secara sistematis menghasilkan “bahasa berisiko” yang lebih tinggi untuk lingkungan yang diketahui kurang beruntung. Hal ini menunjukkan bias dalam data pelatihan AI dan memperkuat kebijakan lembaga tersebut untuk tidak menggunakan AI dalam pengambilan keputusan yang berisiko.
Empat templat yang dapat disalin
1) Pengingat faktor risiko/protektif:
Peran Anda: asisten supervisor pekerjaan sosial. Siapkan daftar faktor risiko dan faktor perlindungan yang direkomendasikan untuk ditinjau dalam penilaian risiko dalam kasus [kekerasan dalam rumah tangga]. Sajikan ini sebagai daftar PENGINGAT; JANGAN menghasilkan skor, keputusan, atau "tingkat risiko" apa pun. Evaluasi dan keputusan ada di tangan ahlinya.
2) Kerangka rancangan rencana keamanan:
Peran Anda: editor. Siapkan garis besar KOSONG dari rencana keselamatan yang harus diisi oleh korban kekerasan dalam rumah tangga: tanda peringatan, tempat aman, orang dan institusi yang harus dihubungi, dokumen penting, rencana untuk anak-anak, keamanan digital. Mengisi konten; Sisakan ruang kosong di bawah setiap judul untuk diisi oleh klien.
3) Mengedit catatan risiko (tanpa mengambil keputusan):
Terjemahkan catatan observasi dan pernyataan berikut ke dalam teks faktual dan terorganisir. Beri label observasi dan pernyataan klien secara terpisah. MENYATAKAN tingkat risiko, MEMBUAT keputusan, MENAMBAHKAN komentar. Edit hanya apa yang ada dalam catatan dan tandai area yang hilang/tidak jelas. Catatan: [tempelkan catatan yang tidak teridentifikasi]
4) Bias pengendalian diri:
Dalam draf catatan risiko di bawah ini, apakah ada pernyataan yang menyampaikan bias yang tidak terbukti karena status sosial ekonomi, etnis, lingkungan, atau karakteristik serupa klien? Tandai setiap kalimat yang didasarkan pada stereotip, bukan bukti. Jangan ubah teksnya, cukup peringatkan. Catatan: [tempel catatan]
Perintah lemah / Perintah kuat
Perintah yang lemah:
Baca kasus ini dan putuskan apakah aman bagi anak untuk tinggal di rumah dan berapa tingkat risikonya.
Ini adalah outsourcing keputusan paling penting tentang kehidupan manusia ke perangkat lunak. Ini tidak etis, bertentangan dengan tanggung jawab profesional, dan membawa bias AI langsung ke dalam nasib seorang anak.
Perintah yang kuat:
Peran Anda: asisten pengingat. Sebelum membaca catatan yang tidak teridentifikasi di bawah ini, siapkan daftar risiko dan faktor protektif untuk ditinjau dalam evaluasi kasus [penelantaran anak]. MENGHASILKAN keputusan, skor atau tingkat risiko. Saya akan melakukan evaluasi dengan tim saya; Anda hanya mengingatkan saya area mana yang tidak boleh saya lewati.
Perbedaannya: mengatakan “pertanyaan mana yang tidak boleh saya lupakan” daripada meminta keputusan membuat AI tetap berada di garis depan yang aman dan etis.
Batasan peran di bidang risiko
Pencarian
Bisakah AI melakukannya?
Siapa yang melakukannya?
Pengingat daftar periksa faktor
Ya
AI (pengingat)
Mengedit catatan secara faktual
Ya
Persetujuan ahli AI +
Kerangka kosong rencana keamanan
Ya
AI; klien konten+ahli
Penentuan tingkat/skor risiko
tidak
Pakar + tim + pengawasan
“Apakah ini aman?” keputusan
tidak
Ahli yang kompeten, proses hukum
Memulai tindakan perlindungan
tidak
Institusi, otoritas yang berwenang
Kesalahan umum
- Meminta AI untuk skor/keputusan risiko. Kesalahan paling berbahaya; Keputusan tersebut memerlukan otoritas profesional dan tanggung jawab hukum.
- Mempercayai label AI. Kesimpulan "berisiko rendah" tidak akan pernah membatalkan observasi Anda.
- Mengabaikan prasangka. AI mungkin mengaitkan risiko tinggi yang sistematis pada kelompok yang kurang beruntung; pengendalian diri sangatlah penting.
- Menunda urgensi. Jika ada keselamatan jiwa, prosedur darurat terlebih dahulu; Berurusan dengan AI tidak bisa menunggu.
- Memberikan data paling sensitif ke alat terbuka. Catatan risiko hanya diproses di alat institusi aman.
Singkatnya
Penilaian risiko adalah tanggung jawab pekerjaan sosial yang paling berat, dan keputusan sepenuhnya berada di tangan orang tersebut – profesional, tim, pengawasan, dan otoritas hukum. Di sini, AI hanyalah alat untuk mengingatkan (daftar faktor risiko/protektif), pengorganisasian (catatan faktual) dan penyusunan (kerangka rencana keselamatan); Ia tidak mencetak gol, tidak membuat keputusan. Ingatlah bahwa AI mengandung bias, jangan pernah menggunakan keluarannya sebagai keputusan dan memproses data paling sensitif hanya dalam sistem yang aman.
Tugas aplikasi
Pilih jenis kasus fiksi. Dapatkan daftar periksa dengan templat “pengingat faktor risiko/pelindung” dan verifikasi bahwa AI tidak menghasilkan “tingkat risiko” apa pun. Kemudian ambil kerangka rencana kosong dengan templat "kerangka kerangka rencana keamanan". Secara sadar bertanya kepada AI “berapa tingkat risikonya?” dan tulis dalam satu kalimat mengapa Anda TIDAK boleh menggunakan output sebagai keputusan.
daftar periksa
- [ ] Saya hanya meminta AI untuk mengingatkan faktor, bukan keputusan/skor.
- [ ] Saya memproses data paling sensitif hanya di alat perusahaan yang aman.
- [ ] Saya berencana untuk mengisi isi rencana keamanan bersama klien.
- [ ] Saya memeriksa keluaran AI untuk melihat adanya bias.
- [ ] Saya menegaskan bahwa keputusan akhir mengenai risiko berada di tangan tim, pengawasan, dan proses hukum.