Yayasan MLOps, Etika, Privasi, dan Analisis yang Bertanggung Jawab — Kecerdasan Buatan dalam Ilmu Data dan Analisis

Keuntungan:

Kemampuan untuk memahami fase MLOps (rilis, penerapan, pemantauan, pelatihan ulang, rollback) dan penyimpangan model serta merencanakan penerapan yang dipantau
Kemampuan untuk menerapkan prinsip-prinsip model keadilan, transparansi dan akuntabilitas serta membedakan akurasi statistik dari penerimaan etis
Kemampuan untuk melindungi data pribadi dengan prinsip KVKK/GDPR dan memberikan tanggung jawab akhir kepada manusia dalam pengambilan keputusan yang berdampak besar

Melatih seorang model dan mendapatkan nilai tinggi bukanlah akhir, melainkan pertengahan. Nilai sebenarnya diperoleh ketika model tersebut diproduksi dan berfungsi dengan baik, dipantau dari waktu ke waktu tanpa kerusakan, dan seluruh proses dilakukan dalam batas-batas etika dan hukum. Unit penutup ini menggabungkan tiga topik: MLOps (disiplin dalam menjalankan model, memantau dan memelihara model), etika (keadilan, transparansi, non-maleficence) dan privasi (melindungi data pribadi). AI menghasilkan kode, daftar periksa, dan cetak biru di area ini; Namun manusialah yang menentukan apakah suatu model dapat diterapkan, siapa yang akan terkena dampaknya, dan data apa yang dapat digunakan. Keputusan-keputusan ini bukanlah keputusan teknis, melainkan keputusan tanggung jawab.

MLOps: model hidup seperti sebuah produk

MLOps (Machine Learning Operations - praktik menjalankan, memantau, dan memperbarui model pembelajaran mesin dalam produksi) adalah adaptasi DevOps dalam pengembangan perangkat lunak hingga ilmu data. Ide dasarnya: model bukanlah file yang dilatih sekali dan dilupakan, namun merupakan produk hidup yang memerlukan pemeliharaan terus-menerus. Tahapan utama:

1. Pembuatan Versi: Kode (Git), data dan model dibuat versinya bersama-sama; Dicatat model mana yang diproduksi dengan data dan kode apa.

2. Penerapan: Model ditayangkan sebagai API atau tugas batch. Biasanya diberikan kepada khalayak kecil terlebih dahulu (pendistribusian shade/canary).

3. Pemantauan: Kinerja model dan data masukan dipantau secara konstan.

4. Pelatihan ulang: Saat performa turun, model dilatih ulang dengan data yang diperbarui.

Pergeseran pola: distorsi senyap

Bahaya terbesar dalam produksi adalah penyimpangan model (model drift/data drift). Dunia berubah; Kondisi saat Anda melatih model Anda (perilaku pelanggan, harga, musim, undang-undang) berubah seiring waktu dan model tersebut mulai menjadi usang. Misalnya, model permintaan yang dilatih sebelum pandemi salah total selama pandemi. Drift terjadi dalam dua bentuk: data drift (distribusi perubahan data input) dan konsep drift (hubungan antara input dan perubahan target). Cara untuk menangkapnya adalah dengan memantau: terus-menerus melacak distribusi masukan, distribusi prediksi, dan (jika mungkin) kinerja dibandingkan dengan hasil sebenarnya.

Perhatian: Model yang dimasukkan ke dalam produksi akan rusak dengan sendirinya; Ini bukan soal "jika" tapi "kapan". Menerapkan model tanpa menyiapkan pemantauan seperti mengendarai mobil tanpa pernah mengendalikan mesinnya; Suatu hari ia hanya diam di sana dan Anda tidak menyadarinya.

elemen MLOps

Tujuan

Jika diabaikan

Pembuatan versi

Mengetahui apa yang diproduksi

Tidak dapat direproduksi, tidak dapat dilacak

Pemantauan

Melihat slip lebih awal

Model itu diam-diam rusak

pelatihan ulang

tetap up to date

Prediksi menjadi tua

Kembalikan

kembali ke model yang buruk

Model yang salah tetap aktif

Dokumentasi

transparansi, pergantian

Informasi terjebak pada satu orang

Etika: keputusan model mempengaruhi orang

Model data semakin banyak digunakan dalam pengambilan keputusan yang mempengaruhi kehidupan masyarakat: kredit, perekrutan, asuransi, keadilan. Dengan kekuatan ini muncullah tanggung jawab. Risiko etika utama:

Bias dan diskriminasi: Model ini dapat mempelajari dan melanggengkan ketidakadilan dalam data sejarah. Jika kelompok tertentu kurang mendapat penghargaan di masa lalu, model ini berasumsi bahwa ini adalah sebuah "aturan" dan otomatis melakukan diskriminasi. Oleh karena itu, analisis keadilan – memeriksa apakah model memiliki kinerja yang sama untuk kelompok yang berbeda (gender, usia, wilayah) – sangatlah penting.

Transparansi dan penjelasan: Anda harus bisa menjelaskan mengapa model menolak seseorang. “Kotak hitam mengatakan demikian” seringkali tidak dapat diterima secara etis dan hukum. Itu sebabnya alat penjelasan (kepentingan fitur, nilai SHAP) sangat berharga.

Akuntabilitas: Siapa yang bertanggung jawab jika model mengambil keputusan yang salah? Jawabannya selalu orang/lembaga, bukan model. Pengawasan manusia (human-in-the-loop — manusia yang menyetujui keputusan akhir) harus dipertahankan dalam pengambilan keputusan yang berdampak besar.

Perhatian: Suatu model mungkin “benar” secara statistik, namun secara etika tidak dapat diterima. Model yang sangat akurat dan secara sistematis merugikan satu kelompok bukanlah model yang baik. Kejujuran bukanlah pengganti keadilan.

Privasi: data pribadi dilindungi dengan cermat

Bahan mentah ilmu data seringkali berupa data pribadi, dan data ini dilindungi oleh hukum: KVKK di Türkiye, GDPR di Eropa. Prinsip dasarnya adalah: pembatasan tujuan (data tidak digunakan untuk tujuan selain tujuan pengumpulannya), minimalisasi data (data tidak dikumpulkan/disimpan lebih dari yang diperlukan), anonimisasi (informasi identitas dihapus) dan keamanan (data tetap terenkripsi dan akses dibatasi). Aturan penting saat bekerja dengan alat AI: jangan pernah menempelkan data pribadi asli ke alat AI publik. Seringkali, diagram dan sampel anonim/sintetis sudah cukup untuk analisis.

Penekanan tambahan dalam konteks keamanan informasi: gunakan alat dan teknik ilmu data hanya pada data dan sistem yang Anda miliki wewenangnya, untuk tujuan analisis yang defensif dan sah. Akses tidak sah ke data orang lain, identifikasi ulang individu (mengekstraksi identitas dari data anonim) atau pembuatan profil tidak sah adalah tindakan ilegal dan tidak etis.

tiga kasus mini

Kasus 1 — Keruntuhan yang tidak terlacak. Sebuah perusahaan e-niaga meluncurkan model rekomendasinya dan tidak menyiapkan pelacakan. Setelah 4 bulan, katalog produk telah banyak berubah; model tersebut terus merekomendasikan produk usang, dan tingkat konversi secara diam-diam turun sebesar 30%. Tidak ada yang menyadarinya selama berbulan-bulan. Pelajaran: penerapan tanpa pemantauan akan sia-sia.

Kasus 2 – Diskriminasi tersembunyi. Model penyaringan perekrutan mempelajari tentang ketidakseimbangan gender dalam data historis dan secara sistematis meremehkan kandidat perempuan. Hal ini tidak diperhatikan karena tidak ada analisis kewajaran; Hal ini terungkap dalam audit dan lembaga tersebut menghadapi risiko reputasi/hukum yang serius. Pelajaran: Pengendalian keadilan berbasis kelompok sangat penting dalam model berdampak tinggi.

Kasus 3 — Pelanggaran kerahasiaan. Seorang analis memuat file yang berisi email pelanggan nyata dan riwayat pembelian ke dalam alat AI publik dan berkata, “ringkas segmen.” Data pribadi telah meninggalkan institusi; Proses KVKK telah dimulai. Cara yang benar adalah dengan menghapus bidang identitas dan hanya membagikan properti anonim. Pelajaran: data pribadi asli tidak masuk ke alat terbuka.

Empat templat yang dapat disalin

1) Daftar periksa pra-penerapan:

Peran Anda: konsultan MLOps. Buat daftar hal-hal yang perlu saya periksa sebelum memasukkan model ke dalam produksi: pembuatan versi, metrik pemantauan, rencana rollback, ambang batas kinerja, peringatan penyimpangan data, orang yang bertanggung jawab. Tambahkan satu kalimat penjelasan "mengapa itu penting" untuk setiap item. saya akan memutuskan.

2) Desain pelacakan pergeseran model:

Sarankan rencana pemantauan penyimpangan untuk model klasifikasi dalam produksi: (1) distribusi input apa yang harus saya pantau, (2) alarm apa untuk distribusi prediksi, (3) bagaimana membandingkan kinerja ketika hasil sebenarnya tiba, (4) pada ambang batas berapa pelatihan ulang harus dipicu. Berikan juga kerangka kode.

3) Pengendalian kewajaran:

Tulis kode yang membandingkan kinerja model saya untuk kelompok yang berbeda (misalnya kelompok usia, wilayah): perolehan/presisi dan tingkat keputusan positif untuk setiap kelompok. Peringatkan jika ada perbedaan yang signifikan antar kelompok. Membuat interpretasi kausal/politis; Tunjukkan saja perbedaannya dan saya akan mempertimbangkan keputusannya.

4) Pra-pemeriksaan privasi:

Sebelum memberikan data ke alat AI, periksa: apakah ada data pribadi/identitas (nama, email, ID, telepon, alamat, IP) pada daftar kolom di bawah? Jika ya, sebutkan mana yang harus dihapus atau dianonimkan. Kolom: [daftar]. Tujuan: untuk membagikan skema anonim saja.

Perintah lemah / Perintah kuat

Perintah yang lemah:

Model saya sudah siap, tayang langsung.

Penerapan bukanlah sebuah langkah tunggal; Melakukan siaran langsung tanpa pemantauan, rollback, keadilan, dan kontrol privasi adalah undangan diam-diam untuk terjadinya bencana.

Perintah yang kuat:

Peran Anda: konsultan MLOps yang bertanggung jawab. Model saya sudah dilatih, saya ingin persiapan penuh sebelum ditayangkan. Hasilkan: (1) daftar periksa pra-penerapan, (2) rencana pemantauan penyimpangan, (3) kode pemeriksaan keadilan berbasis grup, (4) pemeriksaan privasi (apakah ada data pribadi). Juga sarankan cara melindungi persetujuan manusia dalam pengambilan keputusan yang berdampak besar. Keputusan akhir ada di tangan saya.

Di sini distribusi, pemantauan, keadilan, dan privasi diperlakukan sebagai satu proses yang bertanggung jawab.

Kesalahan umum

Menyebarkan model tanpa menyiapkan pemantauan. Model diam-diam tergelincir dan terdistorsi; Perlu waktu berbulan-bulan untuk menyadarinya.
Melewati pemeriksaan keadilan. Model dengan ketelitian tinggi mungkin secara sistematis merugikan suatu kelompok.
Membuat keputusan kotak hitam yang tidak dapat dijelaskan. Keputusan yang berdampak besar harus dapat dijelaskan; "Model mengatakan demikian" tidaklah cukup.
Memberikan data pribadi nyata untuk membuka alat AI. Pelanggaran KVKK/GDPR; Diagram dan contoh anonim sudah cukup.
Mendelegasikan keputusan kepada model. Tanggung jawab selalu ada pada seseorang; Pengawasan terhadap manusia yang berdampak tinggi tetap dipertahankan.

Tips: Sebelum Anda melakukan live streaming dengan masing-masing model, ajukan satu pertanyaan dengan lantang: “Jika model ini secara diam-diam rusak besok atau memberikan sanksi yang tidak adil kepada suatu grup, bagaimana saya akan memperhatikan dan mengembalikannya?” Jika Anda tidak memiliki jawaban yang jelas atas pertanyaan ini, model tersebut belum siap untuk diproduksi.

Singkatnya

Pekerjaan seorang model tidak berakhir dengan skor tinggi, tetapi dengan bekerja secara andal dan bertanggung jawab dalam produksi. MLOps adalah disiplin untuk melakukan siaran langsung, memantau penyimpangan, melatih ulang, dan mengembalikan model; Penerapan tanpa pelacakan adalah keruntuhan diam-diam. Etika memerlukan keadilan, transparansi dan akuntabilitas model; keakuratan statistik bukanlah pengganti penerimaan etis. Privasi berarti melindungi data pribadi dengan prinsip KVKK/GDPR dan menjauhkan data nyata dari alat terbuka. Semua keputusan ini bukanlah keputusan teknis melainkan keputusan tanggung jawab dan selalu menjadi milik manusia.

Tugas aplikasi

Bayangkan seolah-olah Anda akan memasukkan model yang telah Anda buat (atau hipotetis) ke dalam produksi dan mengisi empat daftar: (1) daftar periksa pra-penerapan, (2) metrik penyimpangan yang akan Anda lacak, (3) rencana kendali keadilan berbasis grup, (4) kendali privasi. Kemudian tulislah jawaban konkrit atas pertanyaan "Bagaimana saya akan memperhatikan jika besok rusak secara diam-diam dan mendapatkannya kembali?"

daftar periksa

[ ] Apakah saya menerapkan model dengan pemantauan (peringatan slip) dan rencana rollback?
[ ] Sudahkah saya memeriksa kesenjangan keadilan/kinerja untuk kelompok yang berbeda?
[ ] Sudahkah saya tetap terlibat dalam pengambilan keputusan yang berdampak besar?
[ ] Sudahkah saya melindungi data pribadi dengan prinsip KVKK/GDPR dan menjauhkannya dari alat terbuka?
[ ] Apakah saya sudah menempatkan tanggung jawab utama pada manusia, bukan pada modelnya?

Ujian Modul

1. Seorang ilmuwan data bertanya kepada kecerdasan buatan, "Seberapa akurat hutan acak pada data ini?" tanpa melatih model sama sekali, dan langsung memasukkan jawaban "89%" ke dalam presentasi. Apa kesalahan mendasar dalam pendekatan ini?

A) Menunggu metrik tanpa memberikan data dan model ke kecerdasan buatan; Mengabaikan bahwa angka yang dihasilkannya palsu dan metrik sebenarnya hanya dapat ditemukan melalui pelatihan dan pengujian ✔
B) Harus menggunakan regresi logistik daripada hutan acak
C) Tingkat akurasi harus selalu di atas 90%.
D) Dilarang keras memasukkan metrik dalam presentasi

Penjelasan: Kecerdasan buatan tidak dapat menghasilkan metrik tanpa mengakses model dan data; Angka yang diberikannya merupakan halusinasi (dibuat-buat). Metrik tersebut diperoleh melalui penghitungan data scientist sendiri hanya setelah model benar-benar dilatih dan diuji. Keluaran yang belum diverifikasi seperti laporan yang tidak ditandatangani.

2. Kolom 'alasan penutupan akun' disertakan saat mengumpulkan data untuk perkiraan churn; Kolom ini diisi hanya setelah pelanggan keluar. Model ini memberikan 97% pada set pengujian, tetapi tidak berfungsi dalam produksi. Apa nama dan penyebab kondisi tersebut?

A) Pembelajaran berlebihan; Modelnya terlalu rumit
B) Kebocoran data; ✔ Menggunakan informasi yang tidak akan tersedia pada saat prediksi, namun merupakan hasil dari target, sebagai fitur
C) Pembelajaran yang tidak memadai; Modelnya terlalu sederhana
D) Bias seleksi; ukuran sampel kecil

Penjelasan: Ini adalah kebocoran data klasik: 'alasan penutupan' adalah hasil dari target dan masih kosong pada saat prediksi. Model melakukan trik dengan pengetahuan masa depan ini, terlihat bagus di set pengujian tetapi mengalami error saat produksi karena kolom tersebut kosong. Pertanyaan 'apakah saya memilikinya pada saat prediksi' harus ditanyakan pada setiap kolom.

3. Seorang analis mengisi nilai yang hilang pada kolom pendapatan dengan mean; namun orang hilang tersebut sebenarnya termasuk dalam segmen masyarakat berpendapatan rendah yang tidak pernah menyatakan penghasilannya (hilang secara sistematis). Mengapa pengisian ini salah?

A) Nilai mean selalu lebih besar dari median, sehingga salah
B) Nilai yang hilang tidak boleh diisi, melainkan harus selalu dihapus
C) Mengisi kesenjangan sistematis dengan mean akan mendistorsi data dengan merepresentasikan kelompok tersebut secara artifisial; Pengisian dilakukan tanpa menanyakan pertanyaan 'kenapa kosong?' ✔
D) Menghitung rata-rata menimbulkan masalah kinerja karena terlalu lambat

Penjelasan: Penyebab kekurangan menentukan solusinya. Ketika kesenjangan sistematis (kesenjangan terkonsentrasi pada kelompok tertentu) diisi dengan rata-rata, kelompok tersebut menjadi 'pendapatan rata-rata' yang dibuat-buat dan datanya terdistorsi. Sebelum mengisinya, sebaiknya ditanyakan pertanyaan 'mengapa kosong'; mean yang hilang secara sistematis/signifikan tidak boleh diisi.

4. Sebuah tim menemukan korelasi 0,78 antara 'belanja iklan' dan 'penjualan' dan menggandakan anggarannya; Namun, sebenarnya yang menjadi pemicu keduanya adalah kampanye musiman. Prinsip statistik apa yang menjelaskan kesalahan ini?

A) Korelasi bukanlah sebab-akibat; Variabel ketiga yang tersembunyi mungkin mempengaruhi kedua variabel ✔
B) Karena korelasi 0,78 terlalu rendah, maka hubungan tersebut harus diabaikan
C) Korelasi selalu membuktikan sebab akibat, tim melakukannya dengan benar
D) Korelasi antara periklanan dan penjualan tidak dapat dihitung secara matematis.

Penjelasan: Korelasi bukanlah sebab-akibat. Kedua variabel tersebut dapat bertindak bersamaan karena variabel ketiga yang tersembunyi (di sini kampanye musiman) mempengaruhi keduanya. Kesimpulan bahwa yang satu menyebabkan yang lain hanya dapat ditentukan melalui eksperimen dan pengetahuan lapangan; Jumlah korelasi saja bukanlah bukti kausalitas.

5. Model deteksi penipuan menunjukkan akurasi 99,2% dan tim merayakannya; Namun, tingkat transaksi palsu dalam data hanya 0,8% dan penarikan model sebesar 6%. Apa yang ditunjukkan tabel ini?

A) Modelnya sempurna karena akurasinya lebih dari 99%
B) Akurasi menyesatkan dengan data yang tidak seimbang; Model ini melewatkan hampir semua kepalsuan (recall rendah), metrik yang sesuai harus dilihat ✔
C) Tidak ada masalah karena recall modelnya tinggi
D) Tidak perlu membuat model karena tingkat palsunya rendah

Penjelasan: 'Akurasi' menyesatkan jika data tidak seimbang. Ketika model menyebut hampir setiap transaksi 'bersih', ia memperoleh akurasi tinggi karena sangat sedikit transaksi palsu, namun gagal menangkap transaksi palsu, yang merupakan tujuan utamanya (recall 6%). Oleh karena itu, dalam masalah yang tidak seimbang, fokusnya bukan pada akurasi, namun pada matriks konfusi dan metrik yang sesuai dengan tujuan pekerjaan, seperti perolehan/presisi.

6. Dalam proyek perkiraan permintaan, data yang bergantung pada waktu dibagi secara acak menjadi pelatihan/pengujian. Model ini memberikan akurasi 93% tetapi mengalami error dalam produksi. Apa pendekatan pembagian yang benar?

A) Memperbesar set pengujian, mis. pemisahan 50%/50%
B) Menggunakan model yang lebih kompleks
C) Hapus partisi sepenuhnya dan latih dengan semua data
D) Pemisahan kronologis: pelatihan dengan periode lama dan pengujian dengan periode baru, sehingga mencegah model melihat masa depan ✔

Penjelasan: Jika pembagian acak dilakukan pada data deret waktu, model melihat masa depan dan memprediksi masa lalu dalam pelatihan; itu adalah sebuah kebocoran dan menghasilkan kesuksesan yang sebenarnya tidak ada. Pendekatan yang benar adalah pemisahan kronologis: pelatihan dengan periode lama dan pengujian dengan periode baru, meniru situasi nyata dalam produksi (memprediksi dari masa lalu ke masa depan).

7. Dari data apa parameter penskalaan (StandardScaler) harus dihitung dalam rekayasa fitur dan bagaimana penerapannya?

A) Sebaiknya dihitung dari seluruh data (pelatihan + pengujian bersama-sama) agar lebih akurat
B) Ini harus dihitung secara terpisah untuk setiap baris, dari nilai baris itu sendiri
C) Harus dihitung dari data uji saja
D) Ini harus dihitung hanya dari data pelatihan, kemudian parameter yang sama harus diterapkan pada data pengujian; jika tidak maka akan bocor ✔

Penjelasan: Parameter semua transformasi (rata-rata, deviasi standar, dll.) seperti penskalaan, pengkodean, dan padding harus dipelajari hanya dari data pelatihan, kemudian hal yang sama harus diterapkan pada data pengujian. Mempertimbangkan data pengujian juga menyebabkan informasi pengujian mengganggu pelatihan, yaitu kebocoran, dan membuat model terlihat lebih baik dari aslinya. Menggunakan Pipeline memastikan hal ini.

8. Sebuah model memberikan akurasi 98% pada set pelatihan dan akurasi 72% pada set pengujian. Apa yang ditunjukkan oleh gejala ini dan apa yang harus dilakukan?

A) Pembelajaran yang tidak memadai; modelnya harus dibuat lebih kompleks
B) Kebocoran data; set pengujian harus diubah
C) Kelebihan; model harus disederhanakan, regularisasi dan validasi silang harus diterapkan ✔
D) Situasi normal; Bagaimanapun, skor pendidikan selalu lebih tinggi, tindakan pencegahan tidak diperlukan

Penjelasan: Skor yang sangat tinggi dalam pelatihan dan skor yang sangat rendah dalam pengujian adalah gejala klasik overfitting: model telah mengingat gangguan data pelatihan, bukan pola sebenarnya. Solusinya termasuk menyederhanakan model, lebih banyak data, regularisasi, dan memverifikasi status dengan validasi silang. Hanya mengandalkan nilai pendidikan menyembunyikan jebakan ini.

9. Dalam presentasi manajemen, sumbu y pada diagram batang dimana peningkatan penjualan dari 1.000 menjadi 1.020 dimulai pada 980 untuk membuat peningkatan tersebut tampak besar. Peningkatan sebenarnya adalah 2%. Mengapa ini merupakan masalah etika?

A) Sumbu y yang terpotong secara visual membesar-besarkan perbedaan kecil dan menyesatkan pemirsa; Agar adil, sumbu pada bilah perbandingan harus dimulai dari 0 ✔
B) Diagram batang tidak pernah dapat digunakan untuk data penjualan
C) Tidak ada masalah; Itu selalu bagus untuk membuat grafik terlihat mengesankan
D) Sumbu Y harus selalu dimulai dari nilai data terbesar

Penjelasan: Dalam diagram batang untuk tujuan perbandingan, sumbu y umumnya harus dimulai dari 0. Memotong sumbu dan memulai dari 980 membuat perbedaan kecil sebesar 2% tampak besar secara visual dan menyesatkan pemirsa. Tanggung jawab etis profesional data adalah membuat grafik yang jujur dan tidak melebih-lebihkan atau meremehkan data.

10. Seorang analis menemukan total omset 3 kali setelah MENGGABUNGKAN pesanan dengan tabel produk; Jumlah antrean bertambah dari 240 ribu menjadi 690 ribu. Apa yang seharusnya dilakukan untuk mencegah kesalahan diam-diam ini?

A) Bagi total omset dengan 3
B) Selalu gunakan kueri terpisah alih-alih GABUNG
C) Menghapus tabel produk sepenuhnya
D) Memeriksa jumlah baris setelah penggabungan/GABUNG dan memverifikasi bahwa baris tersebut digabungkan melalui kunci yang benar; Menangkap replikasi lebih awal ✔

Penjelasan: Jika ada beberapa baris untuk setiap produk (warna berbeda, misalnya) di tabel produk, GABUNG melalui kunci yang salah akan menduplikasi setiap pesanan dan menambah totalnya. Kode berjalan tanpa kesalahan tetapi hasilnya salah. Cara untuk menghindari hal ini adalah dengan memeriksa jumlah baris setelah setiap penggabungan/GABUNG dan menggabungkan dengan kunci yang benar.

11. Model penyaringan perekrutan mempelajari tentang ketidakseimbangan gender dalam data historis dan secara sistematis menilai kandidat perempuan, namun keakuratannya secara keseluruhan tinggi. Apa artinya ini?

A) Tidak ada masalah karena model memiliki akurasi yang tinggi
B) Akurasi statistik bukanlah pengganti penerimaan etis; model telah belajar tentang diskriminasi di masa lalu, diperlukan pemeriksaan keadilan berbasis kelompok ✔
C) Meningkatkan akurasi model lebih lanjut akan memecahkan masalah
D) Keadilan berada di luar cakupan ilmu data

Penjelasan: Sekalipun suatu model benar secara statistik, model tersebut mungkin tidak dapat diterima secara etis. Model ini mempelajari ketidakadilan dalam data masa lalu dan mengotomatiskan diskriminasi. Integritas yang tinggi tidak bisa menggantikan keadilan; Dalam model berdampak tinggi, kontrol keadilan, yang mengukur perbedaan kinerja/keputusan untuk berbagai kelompok, sangatlah penting dan tanggung jawab utama berada di tangan manusia.

12. Seorang karyawan mengunggah file yang berisi email pelanggan nyata dan riwayat pembelian ke alat AI publik dan mengatakan 'ringkas segmen'. Mengapa ini merupakan kesalahan serius dan bagaimana cara yang benar?

A) Tidak ada masalah; Alat AI tidak pernah menyimpan data
B) Kesalahannya adalah file tersebut terlalu besar; seharusnya dikurangi
C) Memberikan data pribadi nyata ke alat terbuka merupakan pelanggaran KVKK/GDPR; bidang identitas seharusnya dihapus dan hanya skema/properti anonim yang dibagikan ✔
D) CSV seharusnya digunakan, bukan hanya Excel

Penjelasan: Ketika data pribadi nyata (seperti email, nama, dll.) diberikan kepada alat kecerdasan buatan yang tersedia untuk umum, akan terjadi pelanggaran privasi dalam lingkup KVKK/GDPR; data meninggalkan organisasi. Seringkali, diagram dan sampel anonim/sintetis sudah cukup untuk analisis. Cara yang benar adalah dengan menghapus bidang identitas dan hanya membagikan properti anonim.

13. Model rekomendasi dimasukkan ke dalam produksi tetapi pelacakan tidak dilakukan; Ketika katalog produk berubah setelah 4 bulan, model tersebut terus merekomendasikan produk lama dan tingkat konversi secara diam-diam turun sebesar 30%. Apa nama fenomena ini?

A) Pembelajaran berlebihan; Model mengingat set pelatihan
B) Penyimpangan model; Seiring dengan perubahan dunia, model tersebut menjadi usang secara diam-diam, tanpa disadari karena pemantauan tidak dilakukan ✔
C) Bias seleksi; bias sampel
D) Pelanggaran minimalisasi data

Penjelasan: Ini adalah penyimpangan model (pergeseran model/data): ketika dunia berubah (katalog, perilaku, musim), kondisi saat model dilatih bergeser dan model diam-diam rusak. Sebuah model yang dimasukkan ke dalam produksi akan rusak dengan sendirinya; Ini masalah 'kapan'. Penerapan tanpa pemantauan (pelacakan masukan dan kinerja) membuat degradasi tidak dapat dideteksi.

14. Model yang memperoleh akurasi 88% dalam satu pelatihan/tes terpisah memiliki skor validasi silang 5 kali lipat yaitu 88%, 71%, 83%, 64%, 79%. Apa yang ditunjukkan hal ini dan mengapa validasi silang penting?

A) Modelnya stabil; 88% adalah kinerja nyata
B) Validasi silang tidak diperlukan; Satu kompartemen sudah cukup
C) Volatilitas skor yang besar menunjukkan bahwa model tidak stabil; validasi silang mendasarkan kinerja pada rata-rata dan distribusi beberapa bin, bukan satu bin beruntung ✔
D) Yang terbaik adalah melaporkan skor tertinggi (88%)

Penjelasan: Satu kompartemen bisa membawa keberuntungan atau kesialan; 88% hanyalah hasil pembagian yang mudah itu. Validasi silang membagi data beberapa kali, mendasarkan kinerja pada rata-rata (di sini ~77%) dan menunjukkan volatilitas skor. Volatilitas yang tinggi di sini menunjukkan bahwa model tersebut tidak stabil; Mengandalkan satu kompartemen adalah hal yang menyesatkan.