Satuan 10 / 12

Prasangka, Diskriminasi dan Etika: Penggunaan yang Adil dan Responsif terhadap Budaya

Keuntungan:

  • Mengenali kapan AI menghasilkan bias melalui data pelatihan, pembingkaian, standar ganda, dan sanjungan
  • Kemampuan untuk mengendalikan bias dengan pertanyaan netral, diskriminasi bukti-stereotip, dan tes sudut terbalik
  • Kemampuan untuk menerjemahkan bahasa yang menstigmatisasi ke dalam bahasa yang deskriptif dan penuh hormat dengan menggunakan pengetahuan budaya sebagai titik perhatian dan bukan sebagai aturan yang pasti

Alasan utama pekerjaan sosial adalah keadilan dan martabat manusia; Inti dari profesi ini adalah komitmen bahwa setiap individu memiliki nilai yang sama, diskriminasi ditentang, dan kelompok rentan dilindungi. Kecerdasan buatan membawa risiko yang secara diam-diam dapat merugikan nilai-nilai berikut: bias. AI belajar dari data historis; Jika data tersebut mencakup kesenjangan, stereotip, dan diskriminasi dalam masyarakat, AI akan mempelajarinya dan mereproduksinya dalam bahasa yang fasih dan tampak “objektif”. Di tangan pekerja sosial, hal ini dapat mengakibatkan penilaian yang secara sistematis lebih negatif terhadap suatu kelompok, stereotip terhadap sebuah keluarga, atau kesalahpahaman terhadap suatu budaya. Dalam unit ini, Anda akan belajar mengenali bias AI, mengendalikannya, dan menggunakan AI dengan keadilan dan kepekaan budaya.

Fakta sejak awal: AI tidaklah netral, ia tampak netral. Bias yang paling berbahaya adalah bias yang disajikan dalam bahasa yang percaya diri dan profesional; karena diterima tanpa pertanyaan. Tugas Anda sebagai pekerja sosial adalah membuat bias yang tidak terlihat ini terlihat dan memantau apakah hasilnya bertentangan dengan nilai-nilai profesional Anda.

Dari mana asal bias AI dan seperti apa bentuknya?

  • Bias data pelatihan. AI belajar dari teks yang mencerminkan kesenjangan dalam masyarakat. Stereotip mengenai kelompok etnis tertentu, masyarakat miskin, penyandang disabilitas, lingkungan sekitar, atau gender tertentu dapat mempengaruhi hasil penelitian ini.
  • Bias bahasa dan pembingkaian. AI dapat membingkai suatu kelompok sebagai kelompok yang pasif, “bermasalah”, atau “objek yang membutuhkan bantuan”; kelompok lain sebagai subjek. Perilaku yang sama mungkin saja ditafsirkan sebagai “budaya” oleh satu kelompok dan “bermasalah” oleh kelompok lain.
  • Kurangnya representasi. AI mungkin secara tidak akurat atau dangkal memahami kelompok yang kurang terwakili dalam data (populasi kecil, kasus yang jarang terjadi).
  • Sanjungan (menjilat). AI cenderung mengonfirmasi pandangan tersirat Anda; Pertanyaan yang bias menghasilkan konfirmasi yang bias.

Bias-bias ini sangat berbahaya dalam pekerjaan sosial karena hasilnya langsung menyentuh kehidupan masyarakat nyata—sebuah penilaian, laporan, rujukan.

Perhatian: "AI mengevaluasinya seperti itu" adalah tanda peringatan, bukan pembenaran. Ketika Anda melihat keluaran yang menggambarkan suatu kelompok atau individu secara negatif, pertanyaan pertama yang muncul adalah “apakah berdasarkan bukti atau berdasarkan stereotip?” seharusnya.

Langkah demi langkah: mengaudit terhadap bias

  1. Tanyakan netral. Ajukan pertanyaan yang tidak menyiratkan atau mengarahkan; Bukan “menjelaskan mengapa keluarga ini lalai,” namun “apa maksud pengamatan ini, apa penjelasan alternatifnya?” bertanya.
  2. Bedakan antara bukti dan stereotip. Untuk setiap pernyataan negatif, tanyakan: apakah berdasarkan bukti nyata yang ada di hadapan saya, atau berdasarkan asumsi umum tentang suatu kelompok?
  3. Uji dari sudut yang berlawanan. Pertimbangkan situasi yang sama untuk kelompok yang berbeda: “Jika klien berasal dari latar belakang sosial ekonomi/etnis yang berbeda, apakah AI akan menulisnya dalam bahasa yang sama?”
  4. Carilah kepekaan budaya. Tanyakan tentang konteks budaya suatu perilaku; tapi jadikan pengetahuan budaya sebagai sebuah kemungkinan dan peringatan, bukan sebagai aturan mutlak (hindari stereotip).
  5. Bersihkan lidah yang membekas. Terjemahkan ke dalam bahasa yang menggambarkan situasinya, bukan orangnya, dan juga melihat kelebihannya.

tiga kasus mini

Kasus 1 - Sudut sebaliknya menunjukkan bias. Seorang ahli meminta AI merangkum dua kasus serupa; satu-satunya perbedaan adalah status sosial ekonomi keluarga. YZ menulis dengan nada "risiko tinggi pengabaian" untuk keluarga berpenghasilan rendah, dan dengan nada "orang tua terpaksa berperilaku" untuk keluarga berpenghasilan tinggi. Pakar tersebut mengakui standar ganda ini dan menyaring kedua penilaian tersebut ke dalam bahasa yang berbasis bukti dan setara.

Kasus 2 — Salah tafsir budaya diperbaiki. YZ menggambarkan situasi seorang anak yang tinggal bersama keluarga besar sebagai “masalah batas dan lingkungan rumah yang bercampur”. Pakar tersebut mengetahui bahwa dalam konteks budaya keluarga, keluarga besar merupakan sumber dukungan dan perlindungan yang kuat. AI telah mengubah kekuatan budaya menjadi sebuah masalah. Tinjauan ini telah diperbaiki untuk mengakui dukungan ini sebagai sumber daya.

Kasus 3 - Pertanyaan utama menghasilkan bias. “Tuliskan mengapa ayah ini tidak dapat dipercaya,” seorang pekerja magang bertanya kepada AI. AI menghasilkan teks yang menggambarkan sang ayah secara negatif (sanjungan) tanpa bukti apapun. Supervisor memodifikasi pertanyaan: “Apa pengamatan terhadap ayah, apa kelebihan dan kekurangannya?” Outputnya menjadi seimbang dan berbasis bukti. Pelajaran: pertanyaan yang bias menghasilkan jawaban yang bias.

Empat templat yang dapat disalin

1) Meminta evaluasi yang netral dan seimbang:

Dalam meringkas pengamatan berikut, Anda menyajikan kemungkinan kekuatan dan kekhawatiran dengan cara yang SEIMBANG dan HANYA berdasarkan bukti. Jangan membuat kesimpulan berdasarkan stereotip. Jika suatu komentar tidak bergantung pada observasi, tuliskan "bukti tidak cukup". Pengamatan: [tempelkan pengamatan]

2) Pemeriksaan bias (uji sudut berlawanan):

Simak teks ulasannya di bawah ini. Apakah ada pernyataan yang menyampaikan stereotip yang tidak berdasar karena status sosial ekonomi, etnis, agama, gender, disabilitas, atau lingkungan tempat tinggal klien? Untuk setiap kasus, tanyakan: "Apakah ini akan ditulis dalam bahasa yang sama jika klien berasal dari kelompok yang berbeda?" Tandai kalimat bermasalah. Teks: [tempel teks]

3) Konteks budaya (non-stereotip):

Berikan KEMUNGKINAN mengenai arti dari perilaku/situasi berikut dalam konteks budaya yang berbeda. Berikan ini sebagai poin-poin yang perlu dipertimbangkan, bukan sebagai aturan mutlak; Tekankan bahwa ada perbedaan individu di setiap komunitas. Jangan menggeneralisasikan satu kelompok saja. Situasi: [tulis situasi]

4) Mencetak pembersihan lidah:

Dalam teks di bawah ini, temukan kata sifat yang menghakimi atau menstigmatisasi seseorang (misalnya, "lalai", "tidak kooperatif", "bermasalah"). Untuk masing-masing kasus, gantikan fakta yang sama dengan alternatif yang deskriptif, penuh hormat, dan mengakui kelebihannya. Menambahkan informasi baru. Teks: [tempel teks]

Perintah lemah / Perintah kuat

Perintah yang lemah:

Jelaskan mengapa keluarga ini tidak mampu membesarkan anak.

Pertanyaan ini mengasumsikan hasil dari awal (“tidak mencukupi”). AI, dengan kecenderungannya yang menyanjung, akan menghasilkan teks yang bebas bukti dan bias yang menegaskan asumsi tersebut. Jika pertanyaannya bias maka jawabannya juga akan bias.

Perintah yang kuat:

Berdasarkan pengamatan berikut, buatlah daftar kekuatan dan bidang yang menjadi perhatian keluarga ini dengan cara yang SEIMBANG dan hanya berdasarkan bukti. Jangan berasumsi hasilnya sejak awal; Jika buktinya tidak cukup, nyatakan demikian. Hindari stereotip. Pengamatan: [tempel pengamatan]

Perbedaannya: pertanyaan seimbang yang tidak mengasumsikan hasil dan meminta bukti akan mencegah bias.

Jenis bias dan tindakan penanggulangannya

Jenis bias

Seperti apa bentuknya

tindakan balasan

data pelatihan

stereotip kelompok

Perbedaan pola bukti

pembingkaian

Bahasa pasif/negatif

Bahasa yang seimbang dan berpusat pada subjek

standar ganda

Perilaku yang sama, nada yang berbeda

tes sudut terbalik

kebutaan budaya

Mengubah kekuatan budaya menjadi masalah

Pertanyaan konteks budaya

sanjungan

mengkonfirmasi implikasinya

Jangan mengajukan pertanyaan netral

kurangnya representasi

Dangkal/kesalahpahaman

Konfirmasi lokal/ahli

Kesalahan umum

  • Mengajukan pertanyaan yang berprasangka buruk. Sebuah pertanyaan yang mengasumsikan suatu kesimpulan menghasilkan jawaban yang bias; masalah netral.
  • Mengandalkan bahasa percaya diri. Nada profesional tidak membuat bias menjadi benar; lihat buktinya.
  • Menganggap pengetahuan budaya sebagai aturan yang pasti. Anggap saja sebagai titik kemungkinan dan perhatian; Hindari stereotip.
  • Tidak memperhatikan standar ganda. Uji bagaimana perilaku yang sama ditulis dalam kelompok yang berbeda.
  • Salah mengira stempel sebagai bukti. Ini adalah keputusan yang “lalai”; Jelaskan fenomenanya, jangan menilai orangnya.

Singkatnya

AI tidaklah netral, namun tampak netral; Ini mereproduksi kesenjangan dan stereotip dalam data pendidikan dalam bahasa yang fasih. Dalam pekerjaan sosial, hal ini dapat menyebabkan penilaian yang tidak adil terhadap orang-orang nyata. Kenali bias (data pelatihan, pembingkaian, standar ganda, kebutaan budaya, sanjungan), periksa terhadapnya (pertanyaan netral, pemisahan pola-bukti, pengujian sudut pandang, kepekaan budaya, pembersihan stigma), dan saring setiap keluaran melalui nilai-nilai keadilan dan kehormatan profesi. Filter etika terakhir adalah Anda.

Tugas aplikasi

Minta AI untuk merangkum kumpulan pengamatan fiksi yang sama dengan dua profil kelompok yang berbeda (misalnya status sosial ekonomi yang berbeda) dan bandingkan dengan “tes sudut terbalik” apakah nada/bahasa berbeda. Kemudian cobalah pertanyaan netral dengan pertanyaan yang bias secara sadar (“jelaskan mengapa pertanyaan tersebut tidak memadai”) dan periksa perbedaan hasilnya. Terakhir, terapkan template “pembersihan bahasa watermarker” ke teks.

daftar periksa

  • [ ] Saya menyusun pertanyaan saya secara netral, tanpa berasumsi hasilnya.
  • [ ] Saya memeriksa setiap pernyataan negatif menggunakan pembedaan bukti-stereotip.
  • [ ] Saya memeriksa standar ganda dengan tes sudut terbalik.
  • [ ] Saya menggunakan pengetahuan budaya sebagai peringatan, bukan aturan mutlak.
  • [ ] Saya mengganti bahasa yang menstigmatisasi dengan bahasa yang deskriptif dan penuh hormat.