Keuntungan:
- Kemampuan untuk mendeteksi diskriminasi tersembunyi dengan memahami bahwa bias berasal dari data (historis, representasi, pengukuran, agregasi) dan mengevaluasi model berdasarkan subkelompok
- Kemampuan untuk memberikan penjelasan, pengawasan manusia dan akuntabilitas dalam keputusan berdampak tinggi dan mendokumentasikan transparansi dengan kartu model
- Kemampuan untuk mengelola biaya keuangan dan lingkungan tanpa mengorbankan kualitas dengan model terkecil yang memadai, pemendekan yang cepat, cache dan batch
Suatu model mungkin secara teknis berfungsi dengan baik, namun tetap saja salah — jika model tersebut tidak adil bagi sebagian orang, tidak dapat dijelaskan, atau menimbulkan biaya yang tidak berkelanjutan. Dalam unit ini, kami membahas tiga dimensi rekayasa ML yang "tidak terlihat" namun menentukan: bias dan keadilan, etika dan transparansi, biaya dan keberlanjutan. Ini bukanlah ornamen yang ditambahkan kemudian, namun merupakan bagian integral dari kualitas teknik.
Dari mana datangnya prasangka?
Bias model (perlakuan sistematis model terhadap kelompok tertentu secara berbeda/tidak adil) biasanya berasal dari data, bukan model. Sumber:
- Bias sejarah: Data mencerminkan ketidakadilan di masa lalu. Jika kelompok tertentu kurang mendapat penghargaan di masa lalu, model yang dilatih berdasarkan data tersebut akan mempelajari dan melanggengkan diskriminasi ini.
- Bias keterwakilan: Beberapa kelompok kurang terwakili dalam data; model tersebut memiliki kinerja yang buruk bagi mereka (misalnya, akurasi yang rendah dalam demografi sampel yang kecil).
- Bias pengukuran: Label itu sendiri bersifat bias (misalnya, jika definisi “karyawan yang baik” didasarkan pada keputusan promosi di masa lalu).
- Bias agregasi: Karena data berasal dari saluran tertentu, maka data tersebut tidak mewakili alam semesta.
Model ini tidak hanya mempelajari bias-bias ini; ditingkatkan dengan mengotomatiskannya. Keputusan bias seseorang berdampak pada orang lain; Keputusan dari model yang bias adalah jutaan.
Perhatian: Jangan sampai salah mengatakan "modelnya netral karena ini hanya matematika". Model ini mempelajari dan mengotomatiskan bias manusia dalam data. Netralitas bukanlah sebuah kegagalan, namun sebuah hasil yang harus diukur dan dipastikan.
mengukur keadilan
Untuk mengelola keadilan, perlu dilakukan pengukuran terlebih dahulu. Untuk melakukan hal ini, evaluasi model berdasarkan subkelompok: apakah metrik seperti akurasi, perolehan, rasio positif palsu sama di seluruh kelompok demografi yang berbeda? Beberapa konsep keadilan:
- Keadilan kelompok: Apakah model tersebut memperlakukan kelompok yang berbeda secara benar/salah dengan tingkat yang sama?
- Kesetaraan peluang: Apakah model tersebut menangkap hal-hal yang benar-benar positif secara merata di semua kelompok (equal recall)?
Fakta penting: definisi keadilan yang berbeda mungkin tidak dapat dipenuhi pada saat yang sama (ini adalah konsekuensi matematis). Definisi keadilan mana yang diprioritaskan dalam konteks ini adalah keputusan etis dan bisnis, bukan keputusan teknis, dan dibuat bersama dengan pemangku kepentingan.
Pendekatan lemah / Pendekatan kuat
Buruk: "Keakuratan model secara keseluruhan adalah 88%, dan ini termasuk wajar."
Güçlü: "Akurasi keseluruhannya adalah 88%, namun saat kami membaginya ke dalam subkelompok, penarikan kembali terjadi di satu kelompok sebesar 91% dan 67% di kelompok lain — model tersebut secara sistematis tidak memasukkan kelompok tersebut. Kami mendokumentasikan alasannya (kurangnya keterwakilan), mengumpulkan data untuk kelompok tersebut, dan mengevaluasinya kembali dengan tujuan penarikan yang sama. Kami memutuskan bersama para pemangku kepentingan definisi keadilan mana yang akan kami prioritaskan."
Perbedaannya: pendekatan yang kuat tidak bersembunyi di balik metrik umum, pendekatan ini memisahkan subkelompok dan memperlakukan keadilan sebagai keputusan terbuka.
Etika dan transparansi
Prinsip inti AI yang bertanggung jawab adalah:
- Penjelasan: Dapatkah dijelaskan mengapa model mengambil keputusan ini? Dalam pengambilan keputusan yang berdampak besar (kredit, perekrutan, layanan kesehatan), seseorang mempunyai hak atas penjelasan. Model yang tidak dapat dijelaskan sebaiknya tidak digunakan dalam bidang ini atau harus didukung dengan metode yang dapat dijelaskan.
- Pengawasan manusia: Keputusan yang berdampak besar tidak boleh dibuat secara otomatis; Modelnya menyarankan, manusia menegaskan.
- Akuntabilitas: Harus jelas siapa yang bertanggung jawab ketika model melakukan kesalahan. “Model telah memutuskan” bukanlah sebuah alasan.
- Transparansi: Pengguna harus mengetahui bahwa mereka berinteraksi dengan AI dan bagaimana data mereka digunakan.
Di banyak negara dan sektor, prinsip-prinsip ini juga tertanam dalam undang-undang (transparansi, audit, dan kewajiban pengawasan manusia untuk sistem AI yang berisiko tinggi). Insinyur bertanggung jawab untuk mengetahui peraturan di bidangnya.
Tips: Simpanlah "kartu model" untuk setiap model yang berdampak tinggi: apa yang dilakukan model tersebut, data apa yang digunakan untuk melatih model tersebut, seberapa baik/buruknya model tersebut bekerja pada kelompok mana, berapa batasan yang diketahui. Dokumen ini merupakan alat transparansi dan akuntabilitas.
Biaya dan keberlanjutan
AI tidaklah murah. Biaya dikelola dalam dua dimensi:
Biaya keuangan:
- Biaya token (LLM): Setiap permintaan dan respons memerlukan token; Seiring bertambahnya volume, tagihan pun bertambah. Permintaan yang terlalu panjang dan tidak perlu, pemilihan model yang terlalu banyak, dan putaran agen yang tidak terkendali (unit 5) meningkatkan biaya.
- Pelatihan dan hosting: Penyempurnaan dan presentasi model memerlukan biaya perangkat keras.
- Optimasi: Jangan gunakan model besar jika model kecil sudah cukup; cache pertanyaan yang sering diajukan; mempersingkat perintahnya; Batch apa yang bisa diproses.
Biaya lingkungan: Pelatihan dan inferensi model besar menghabiskan banyak energi. Keberlanjutan menjadikan menghindari perhitungan yang tidak perlu (model ukuran yang benar, arsitektur yang efisien) menjadi tanggung jawab profesional.
Tip: Aturan pertama optimasi biaya: "Apa model terkecil yang memadai untuk pekerjaan ini?" Menempatkan model paling kuat di mana pun ibarat memalu paku dengan palu godam — mahal dan tidak diperlukan.
tiga kasus mini
Kasus 1 - Diskriminasi tersembunyi. Model penyaringan rekrutmen secara keseluruhan terlihat bagus. Analisis subkelompok menemukan bahwa model tersebut secara sistematis menggarisbawahi kandidat perempuan karena data historis didominasi laki-laki—model ini mempelajari bias historis. Model dihentikan, data diseimbangkan, dan metrik keadilan dipantau. Kebenaran umum menutupi diskriminasi yang tersembunyi.
Kasus 2 - Penolakan yang tidak dapat dijelaskan. Model kredit menolak permohonan, tapi tidak ada yang bisa menjelaskan alasannya. Ketika pelanggan meminta klarifikasi hukum, tim tidak dapat menanggapi. Model tersebut ditarik dari penggunaan keputusan berdampak tinggi sampai metode yang dapat dijelaskan ditambahkan dan pembenaran dihasilkan untuk setiap penolakan. Pelajaran: kemampuan menjelaskan sangat penting dalam pengambilan keputusan yang berdampak besar.
Kasus 3 - Kejutan tagihan. Satu tim menggunakan LLM terbesar dan permintaan yang sangat panjang untuk setiap permintaan. Tagihan bulanan meningkat secara tak terduga. Analisis pasca: sebagian besar permintaan dapat diselesaikan dengan model kecil, setengah dari permintaan bersifat mubazir, dan pertanyaan yang sering diajukan dapat disimpan dalam cache. Ketiga pengoptimalan ini mengurangi biaya secara signifikan, tanpa mengurangi kualitas. Pelajaran: model yang paling kuat tidak diperlukan di semua tempat.
Templat yang dapat disalin
Bantu saya mengevaluasi model ini untuk mengetahui bias/keadilan. Subkelompok (demografis/segmen) mana yang harus saya bagi dan ukur? Metrik apa (akurasi, perolehan, tingkat positif palsu berdasarkan kelompok) yang harus saya bandingkan? Apakah definisi keadilan yang berbeda dapat menimbulkan konflik, mana yang harus saya prioritaskan dalam konteks ini dan apa alasannya? Konteks model/keputusan: [penjelasan]
Buatlah rancangan kartu model untuk model berdampak tinggi ini. Harus mencakup: tujuan, data dan tanggal pelatihan, kinerja dalam subkelompok, batasan yang diketahui, penggunaan yang sesuai/tidak pantas, status yang dapat dijelaskan, titik pengawasan manusia. Model: [deskripsi]
Bantu saya mengurangi biaya implementasi LLM ini, tanpa mengurangi kualitasnya.Tersedia: ukuran model, panjang prompt rata-rata, volume permintaan, apakah ada cache?Evaluasi:1) Apakah model yang lebih kecil cukup (untuk tugas apa)?2) Bisakah prompt dipersingkat?3) Bisakah permintaan yang sering di-cache?4) Apakah ada pekerjaan yang tersedia untuk batch?Tuliskan perkiraan dampak dari setiap saran.
Buatlah daftar periksa etika/tanggung jawab untuk sistem keputusan berdampak tinggi ini.- Penjelasan: dapatkah justifikasi keputusan dibuat?- Pengawasan manusia: apakah keputusan berdampak besar harus mendapat persetujuan?- Akuntabilitas: siapa yang bertanggung jawab jika terjadi kesalahan?- Transparansi: apakah pengguna mengetahui bahwa AI sedang digunakan?- Regulasi: apa saja kewajiban hukum yang terlibat?Sistem: [deskripsi]
Tabel sumber bias
Sumber
gejala
tindakan pencegahan
bias sejarah
Diskriminasi di masa lalu terus berlanjut
Audit data + metrik keadilan
bias representasi
Akurasi rendah pada kelompok sampel kecil
Analisis subgrup + penyeimbangan
bias pengukuran
label yang bias
Tinjauan proses label
Bias agregasi
Alam semesta tidak terwakili
Diversifikasi sumber daya
Kesalahan umum
- Mengandalkan metrik keseluruhan. Diskriminasi tersembunyi tidak dapat dilihat tanpa analisis subkelompok.
- Dengan asumsi "model netral". Model ini mempelajari dan memperkuat bias dalam data.
- Membiarkan keputusan berdampak besar pada model yang tidak dapat dijelaskan. Risiko hukum dan etika.
- Melewati pengawasan manusia. "Model memutuskan" bukanlah alasan.
- Menempatkan model terbesar di mana pun. Biaya dan tenaga yang tidak diperlukan.
- Tidak melacak biaya. Tagihannya membengkak secara diam-diam.
Singkatnya
Model yang benar secara teknis akan tetap gagal jika tidak adil, tidak dapat dijelaskan, dan berkelanjutan. Bias sebagian besar berasal dari data dan model memperbesarnya dalam skala besar; Ukur keadilan berdasarkan subkelompok dan sepakati dengan pemangku kepentingan definisi keadilan mana yang harus diprioritaskan. Penjelasan, pengawasan manusia, dan akuntabilitas sangat penting dalam pengambilan keputusan yang berdampak besar; Transparansi dokumen dengan kartu model. Kelola biaya dan energi: pilih model terkecil yang memadai, persingkat prompt, gunakan cache dan batch. Dimensi ini merupakan bagian integral dari kualitas teknik, bukan embel-embel yang ditambahkan kemudian.
Tugas aplikasi
Bagilah model menjadi setidaknya dua subkelompok dan bandingkan perolehan kembali dan tingkat positif palsu berdasarkan kelompok; Jika terdapat perbedaan yang nyata, tuliskan alasan dan tindakan pencegahannya. Buat draf kartu model singkat untuk model berdampak tinggi (tujuan, data, kinerja subkelompok, batasan, kemampuan menjelaskan). Identifikasi setidaknya dua optimasi konkret (pemotongan minimum/cepat/cache/batch) untuk mengurangi biaya penerapan LLM dan tuliskan perkiraan dampaknya.
daftar periksa
- [ ] Saya mengevaluasi model berdasarkan subgrup, saya tidak mengandalkan metrik umum.
- [ ] Saya memutuskan bersama para pemangku kepentingan definisi keadilan mana yang akan saya prioritaskan.
- [ ] Keputusan berdampak besar dapat dijelaskan dan harus mendapat persetujuan manusia.
- [ ] Saya mendokumentasikan transparansi dan batasan dengan kartu pola.
- [ ] Saya memilih model terkecil yang memadai; Saya mengoptimalkan prompt/cache/batch.
- [ ] Saya memantau dampak biaya dan energi.