Reproduksibilitas dan Proyek End-to-End: Menggabungkan Segalanya

Keuntungan:

• Kemampuan untuk memastikan reproduktifitas dengan empat pilar (fiksasi benih, pembuatan versi data, pembekuan media, pemantauan eksperimen) dan menghasilkan hasil yang sama ketika mengulangi proses yang sama
• Kemampuan untuk menggabungkan semua perhentian modul (metrik, data, model, komponen LLM, eval, keadilan, keamanan, distribusi, pemantauan) dalam rantai end-to-end
• Kemampuan untuk memverifikasi bahwa keputusan penting tetap ada pada manusia di setiap pemberhentian dan mendokumentasikan proyek dengan cara yang dapat diaudit

Kegagalan proyek ML yang paling berbahaya bukanlah kerusakan; “Tidak mendapatkan hasil yang sama lagi.” Jika Anda tidak dapat mereproduksi skor hari ini dari model yang Anda produksi tiga bulan lalu, Anda tidak benar-benar mengontrol model tersebut. Dalam unit penutup ini, kami memperdalam reprodusibilitas: kemampuan untuk memperoleh hasil yang sama secara andal dengan input yang sama dan menggabungkan seluruh modul dalam disiplin proyek end-to-end.

Mengapa reproduktifitas itu sulit

Dalam perangkat lunak biasa, kode yang sama memberikan keluaran yang sama. Di ML masih banyak lagi variabel yang menentukan hasil:

• Keacakan: Pengacakan data, inisialisasi bobot, pemisahan data — semuanya bergantung pada keacakan.
• Data: Kode yang sama menghasilkan model berbeda dengan versi data berbeda.
• Lingkungan: Versi perpustakaan, perangkat keras (CPU/GPU), bahkan sistem operasi dapat mengubah hasilnya.
• Kasus tersembunyi: Hyperparameter yang belum disimpan, langkah prapemrosesan manual, pilihan yang tidak diberi catatan.

Reproduksibilitas bukanlah sesuatu yang “bagus untuk dimiliki” namun merupakan suatu keharusan ilmiah dan rekayasa. Akibat yang tidak dapat direproduksi adalah suatu tuntutan yang tidak dapat dibuktikan.

Empat pilar reproduktifitas

1. Perbaiki keacakan. Letakkan semua seed acak di satu tempat: pemisahan data, inisialisasi model, pengacakan data. Benih tetap adalah dasar dari jaminan "hasil yang sama ketika Anda mengulangi proses yang sama".

2. Versi datanya. Catat versi data mana yang digunakan untuk setiap eksperimen (pembuatan versi data di unit 2). “Data terbaru” tidak jelas; "data versi v3, hash abc123" tepat.

3. Bekukan medianya. Sematkan semua dependensi ke versi persisnya (misalnya versi persisnya seperti numpy==1.26.4 di persyaratan.txt, atau gambar container). "Versi terbaru" akan menghancurkan segalanya suatu hari nanti.

4. Lacak semuanya (pelacakan eksperimen). Simpan secara otomatis untuk setiap eksperimen: versi kode (git commit), versi data, semua hyperparameter, metrik, dan struktur keluaran. Alat pelacakan eksperimen seperti MLflow, Weights & Bias melakukan ini secara sistematis. Tanpa registrasi, pertanyaan "pengaturan mana yang terbaik" tetap tidak terjawab.

Perhatian: "Saya akan mengingatnya nanti" adalah kesalahan yang paling mahal. Dua minggu kemudian Anda tidak akan mengingat seed yang mana, data yang mana, hyperparameter mana yang Anda gunakan. Pelacakan otomatis menghilangkan ketergantungan pada memori.

Pendekatan lemah / Pendekatan kuat

Lemah: "Saya menemukan model terbaik, ada di notebook, menurut saya skornya 89%."

Kuat: "Jalankan #147 di alat pelacakan eksperimen: git commit a3f9c, data versi v3 (hash abc123), seed 42, semua hyperparameter terdaftar, uji PR-AUC 0,887. Saat saya menjalankan perintah yang sama lagi, saya mendapatkan hasil yang sama sedikit demi sedikit. Model bergantung pada proses ini di registri."

Perbedaannya: pada pendekatan kuat, hasilnya tidak berdasarkan pada memori, namun pada rantai yang tetap dan terpantau. Setiap orang dapat menghasilkan hasil yang sama setiap saat.

Proyek ujung ke ujung: kombinasi modul

Sekarang mari gabungkan seluruh modul menjadi satu alur proyek. Sistem ML yang sebenarnya melewati perhentian ini, dan setiap perhentian dibangun berdasarkan perhentian sebelumnya:

1. Definisi masalah: Apa yang kita pecahkan, bagaimana mengukur kesuksesan (unit 3: metrik yang tepat, konteks bisnis). Metrik dan ambang batasnya jelas sejak awal.
2. Saluran data: Pengumpulan, validasi, pembersihan, partisi bebas kebocoran, pembuatan versi (unit 2).
3. Pengembangan model: Pelatihan, perbandingan dasar, validasi silang, hard seed (unit 3 + unit ini).
4. Komponen LLM (jika ada): RAG (unit 4) dan/atau agen (unit 5); penyempurnaan jika perlu (unit 6).
5. Evaluasi: evaluasi cluster dengan kasus edge dan keamanan, evaluasi multi-layer dalam sistem LLM (unit 8).
6. Audit keadilan dan etika: Analisis subkelompok, kartu model, kemampuan menjelaskan (unit 10).
7. Audit keamanan: Injeksi cepat, privasi, rantai pasokan (unit 9).
8. Distribusi: Pengemasan, distribusi bertahap, rollback, registrasi model (unit 7).
9. Pemantauan: Pemantauan tiga lapis, alarm penyimpangan (unit 8).
10. Reproduksibilitas: Benih, versi data, media, dan pelacakan eksperimen di seluruh rantai (unit ini).

Dalam aliran ini, AI adalah akselerator dan pembuat cetak biru di setiap pemberhentian; namun pemilihan metrik, keputusan data, prioritas keadilan, ambang batas penerapan, dan persetujuan rilis — keputusan penting tetap berada di tangan manusia. Inilah inti dari modul ini.

Dokumentasi: masa depan akan berterima kasih

Proyek ML yang bagus mendokumentasikan dirinya sendiri. Minimal, hal-hal berikut harus ditulis: kriteria masalah dan keberhasilan, sumber dan versi data, pemilihan dan pembenaran model, hasil evaluasi (termasuk subkelompok), batasan dan risiko yang diketahui, prosedur penerapan dan pengambilan, rencana pemantauan. Dokumen ini adalah sahabat orang (mungkin Anda) yang kembali ke proyek setelah enam bulan.

tiga kasus mini

Kasus 1 - Hasil hilang. Seorang insinyur melatih model yang hebat, tetapi dia tidak memperbaiki benihnya dan tidak menyimpan versi datanya. Ketika dia meninggalkan pekerjaannya, tidak ada yang bisa meniru hasil itu; model tersebut menjadi "legenda kotak hitam" dan akhirnya dibuat dari awal. Minggu-minggu terbuang sia-sia. Pelajaran: hasil yang tidak dapat direproduksi adalah hasil yang tidak ada.

Kasus 2 - Runtuhnya lingkungan. Satu tim belum memperbaiki ketergantungannya. Ketika perpustakaan diperbarui secara otomatis, keluaran model berubah secara diam-diam dan produksi terganggu. Butuh waktu berhari-hari untuk menemukan masalahnya. Ketika dependensi dibekukan dan dimasukkan ke dalam container dengan versi definitif, masalah tidak terjadi lagi. Pelajaran: membekukan lingkungan.

Kasus 3 – Kekuatan pemantauan. Sebuah tim secara otomatis memantau setiap eksperimen. Tiga bulan kemudian, selama audit peraturan, mereka menjawab pertanyaan “dengan data apa, dengan pengaturan apa, kinerja apa yang didapat di kelompok mana?” dengan rekaman penuh dalam beberapa menit. Pemeriksaan berjalan lancar. Pelajaran: pemantauan adalah alat kepatuhan, bukan sekadar alat rekayasa.

Templat yang dapat disalin

Lakukan pemeriksaan reproduktifitas untuk proyek ML ini.- Apakah semua benih keacakan sudah diperbaiki (dipisah, diinisialisasi, diacak)?- Apakah data sudah diversi?- Apakah dependensi dibekukan ke versi yang sama?- Apakah setiap eksperimen (penerapan kode, data, hyperparameter, metrik) dilacak? Tulis langkah konkrit tentang cara memperbaikinya untuk setiap kolom yang hilang. Struktur proyek: [deskripsi]

Buat kerangka rencana untuk proyek ML end-to-end ini. Masalah: [deskripsi] Tutupi perhentian berikut dan tandai di mana keputusan MANUSIA berada di setiap perhentian: masalah/metrik, saluran pipa, model, (RAG/agen/penyempurnaan?), evaluasi, keadilan, keamanan, distribusi, pemantauan, reproduktifitas. Tulis risiko utama dan langkah verifikasi untuk setiap pemberhentian.

Buat templat dokumentasi teknis untuk proyek ini. Bagian: masalah+kriteria keberhasilan, data (sumber+versi), pemilihan model+pembenaran, evaluasi (termasuk subgrup), batasan+risiko yang diketahui, penerapan+pengembalian, rencana pemantauan. Berikan kolom yang harus diisi untuk setiap bagian sebagai pertanyaan.

Periksa pengaturan pemantauan eksperimen saya: Apakah disimpan secara otomatis pada setiap proses: git commit, versi data/hash, semua hyperparameter, semua metrik, lingkungan (versi perpustakaan)? Apakah saya mendapatkan hasil yang sama ketika saya menjalankan proses yang sama lagi? Pengaturan: [deskripsi]. Sebutkan kekurangan dan koreksinya.

Tabel kolom reproduksibilitas

kolom

Apa yang diperbaiki

Contoh kendaraan

keacakan

semua benih

pengaturan benih

Data

Versi data/hash

DVC

lingkungan

Versi perpustakaan

pin persyaratan, Docker

Pemantauan

Kode+data+pengaturan+metrik

MLflow, W&B

Kesalahan umum

• Tidak memperbaiki benih. Hasilnya tidak bisa terulang kembali.
• Tidak menyimpan versi data. “Dengan data apa?” tetap tidak terjawab.
• Bukan membekukan kecanduan. Pembaruan secara diam-diam akan menghancurkan segalanya.
• Meninggalkan eksperimen dalam ingatan. Dua minggu kemudian tidak ada yang diingat.
• Menyerahkan keputusan penting pada kecerdasan buatan. Keputusan tentang metrik, keadilan, dan distribusi harus tetap berada di tangan masyarakat.
• Menunda dokumentasi. Tim masa depan (dan Anda) harus membayar harganya.

Singkatnya

Reproduksibilitas adalah ciri khas rekayasa ML yang serius: hasil yang tidak dapat direproduksi adalah klaim yang tidak dapat dibuktikan. Muncul dengan empat kolom — memperbaiki keacakan, versi data, membekukan lingkungan, melacak setiap eksperimen. Proyek end-to-end menggabungkan semua penghentian modul ini (metrik, data, model, komponen LLM, eval, keadilan, keamanan, distribusi, pemantauan) dalam rantai yang saling berhubungan; Kecerdasan buatan adalah sebuah akselerator dalam segala hal, namun keputusan penting tetap berada di tangan manusia. Dokumentasikan semuanya — untuk tim dan audit di masa mendatang. Disiplin ini adalah kerangka kerja yang menopang semua yang Anda pelajari sepanjang modul.

Tugas aplikasi

Periksa proyek ML berdasarkan empat pilar reproduktifitas: apakah benihnya tidak dapat diubah, apakah datanya sudah diversi, apakah lingkungannya dibekukan, apakah eksperimennya dilacak? Perbaiki kolom yang hilang dan buktikan bahwa Anda dapat menjalankan proses yang sama dua kali dan mendapatkan hasil yang sama. Kemudian tampilkan alur proyek end-to-end (10 perhentian) pada satu halaman dan tandai "di mana keputusan manusia berada" di setiap perhentian. Terakhir, tulis draf dokumentasi teknis singkat.

daftar periksa

• [ ] Semua benih keacakan telah diperbaiki.
• [ ] Versi data/hash dicatat pada setiap eksperimen.
• [ ] Ketergantungan dibekukan ke versi perusahaan (pin/kontainer).
• [ ] Setiap eksperimen dipantau secara otomatis (kode+data+pengaturan+metrik).
• [ ] Ketika saya mengulangi proses yang sama, saya mendapatkan hasil yang sama.
• [ ] Saya memverifikasi dan mendokumentasikan bahwa keputusan penting dalam alur end-to-end dibuat oleh manusia.

Ujian Modul

1. Sebagai seorang ML engineer, pendekatan apa yang terbaik saat memposisikan kecerdasan buatan dalam alur kerja?

• A) AI adalah akselerator dalam bisnis berisiko rendah; Keputusan penting seperti metrik, data, dan produksi tetap divalidasi dan diserahkan kepada manusia ✔
• B) Selama keluaran AI terlihat bagus, verifikasi tidak diperlukan
• C) Menyerahkan keputusan untuk memasukkan model ke dalam produksi pada kecerdasan buatan akan menghemat waktu.
• D) Kecerdasan buatan hanya berguna untuk menulis teks, tidak ada hubungannya dengan data dan pekerjaan model

Deskripsi: AI adalah akselerator yang kuat untuk tugas-tugas berisiko rendah dan mudah diverifikasi seperti kode, intisari data, dan dokumen; Namun, tanggung jawab atas keputusan yang memengaruhi uang, kerahasiaan, dan tanggung jawab hukum, seperti pemilihan metrik, data mana yang dimasukkan ke dalam pelatihan, dan penerapan model ke dalam produksi, terletak pada teknisi dan tim yang berkualifikasi. Setiap keluaran tidak boleh digunakan tanpa verifikasi.

2. Mengapa validasi skema ditempatkan di awal saluran data?

• A) Karena secara langsung meningkatkan keakuratan model
• B) Karena itu membuat pembuatan versi data tidak diperlukan
• C) Karena ia menangkap data yang rusak pada titik paling awal dan termurah serta mencegahnya bocor ke langkah selanjutnya ✔
• D) Karena menghilangkan kebutuhan akan pelabelan

Penjelasan: Semakin dini data korup tertangkap, semakin murah biaya perbaikannya. Validasi skema mencegah data yang rusak bocor secara diam-diam ke dalam pelatihan atau produksi dengan menolak data di luar jenis dan rentang yang diharapkan di awal baris (misalnya perubahan harga 100x dengan perubahan unit); Kesalahan yang sama terjadi dalam produksi berkali-kali lipat lebih mahal.

3. Bagaimana pendekatan yang benar ketika membagi data menjadi pelatihan dan pengujian dalam suatu masalah yang melibatkan waktu (time series)?

• A) Menggunakan pemisahan acak karena ini selalu merupakan metode yang paling adil
• B) Menggunakan pemisahan temporal: mencegah kebocoran dengan berlatih dengan masa lalu dan menguji di masa depan ✔
• C) Menggunakan semua data sebagai pelatihan dan pengujian
• D) Memasukkan data pengujian ke dalam parameter penskalaan sebelum pelatihan

Penjelasan: Pemisahan acak pada rangkaian waktu memberi model keuntungan 'melihat masa depan' yang tidak akan pernah terjadi dalam produksi dan secara artifisial meningkatkan metrik (kebocoran sementara). Yang benar adalah pembagian temporal: berlatih dengan masa lalu, menguji di masa depan. Ini mengukur kinerja aktual yang mempertahankannya dalam produksi.

4. Mengapa akurasi menyesatkan dalam model deteksi penipuan dengan tingkat kelas positif sebesar 1,5%?

• A) Karena Akurasi selalu rendah pada data yang tidak seimbang
• B) Karena Akurasi hanya dapat digunakan pada masalah regresi
• C) Karena perhitungan Akurasi memerlukan daya pemrosesan yang besar
• D) Bahkan model remeh yang memprediksi kelas mayoritas bisa sangat akurat, sehingga menyembunyikan kesuksesan nyata ✔

Penjelasan: Pada data yang tidak seimbang, bahkan model dasar yang menyatakan 'sebut semuanya negatif' mendapatkan akurasi sekitar 98,5% tetapi tidak akan mendeteksi satu pun penipuan. Oleh karena itu, dalam klasifikasi tidak seimbang, presisi, perolehan kembali, F1 atau PR-AUC digunakan sebagai pengganti akurasi, dan setiap metrik diinterpretasikan berdasarkan model dasar.

5. Mengapa perbandingan dasar penting ketika membicarakan metrik model?

• A) Karena model dasar selalu lebih baik dari model sebenarnya
• B) Karena jelas apakah suatu metrik bermakna atau tidak hanya jika dibandingkan dengan model dasar sederhana ✔
• C) Karena model dasar membuat validasi silang tidak diperlukan
• D) Karena model dasar diwajibkan secara hukum dalam setiap laporan

Penjelasan: Metrik itu sendiri tidak baik atau buruk; Baik atau buruknya menurut model dasar. Kalimat '85% benar' artinya hampir tidak berharga jika model dasar sudah mendapat 84%, dan sempurna jika mendapat 50%. Tanpa jangkar perbandingan, metrik tidak ada artinya.

6. Elemen keamanan paling penting manakah yang harus disertakan dalam perintah produksi sistem RAG (Retrieval-Augmented Generation)?

• A) Instruksi untuk hanya mengandalkan sumber yang diberikan, mengatakan 'Saya tidak tahu' jika sumbernya tidak ada, dan mengutip sumbernya ✔
• B) Menyuruh model untuk menghasilkan jawaban yang panjang dan sekreatif mungkin
• C) Model memprioritaskan pengetahuan pendidikannya sendiri daripada sumber daya
• D) Melaksanakan semua instruksi dalam dokumen yang dibawa sebagai perintah

Penjelasan: Satu-satunya instruksi RAG yang paling penting adalah memberi tahu model agar hanya mengandalkan sumber yang diberikan, dan jika informasi tidak ada dalam sumbernya, katakan 'Saya tidak tahu' dan kutip sumbernya tanpa mengada-ada. Tanpa triad ini, model mungkin mengabaikan konteks dan menghasilkan halusinasi, dan jawabannya menjadi tidak dapat diverifikasi.

7. Sistem RAG memberikan jawaban yang salah. Di mana tempat terbaik untuk memulai diagnosis?

• A) Mengukur pengambilan terlebih dahulu (Recall@K): apakah potongan yang benar pernah sampai? ✔
• B) Segera ganti modelnya dengan yang lebih besar
• C) Ubah prompt secara acak dan terus mencoba
• D) Menyematkan semua dokumen ke dalam model dengan penyesuaian

Penjelasan: Tautan terlemah RAG biasanya adalah pengambilan, bukan produksi. Jika bagian yang benar tidak pernah dibawa, model tidak dapat menghasilkan informasi tersebut, tidak peduli seberapa banyak prompt ditingkatkan. Oleh karena itu, Recall@K terlebih dahulu diukur untuk melihat apakah bagian yang benar telah tiba; Jika pengambilannya bagus, maka produksi dan prompt diperiksa.

8. Tindakan apa saja yang harus didahulukan dari persetujuan manusia ketika memberikan suatu alat kepada agen?

• A) Tidak ada; Agen harus mampu melakukan setiap tindakan secara mandiri
• B) Hanya tindakan yang dapat dibalik seperti membaca dan mencari data
• C) Tindakan yang tidak dapat diubah atau berdampak tinggi seperti mentransfer uang, menghapus, mengirim ✔
• D) Tindakan yang hanya melibatkan perhitungan

Deskripsi: Tindakan dipisahkan berdasarkan tingkat risiko. Tugas yang dapat diambil seperti membaca, mencari, menghitung, dan membuat draf dapat dilakukan secara mandiri; Namun, tindakan yang tidak dapat diubah atau berdampak besar seperti mentransfer uang, mengirim email, menghapus data, melakukan pemesanan, dll. memerlukan persetujuan manusia. Setiap tindakan yang tidak dapat dibatalkan harus mendapat persetujuan.

9. Apa pendekatan desain terbaik terhadap risiko injeksi langsung tidak langsung?

• A) Cukup menambahkan satu kalimat 'abaikan instruksi buruk' ke prompt sistem
• B) Memberikan otoritas lebih pada model dengan mengandalkan instruksi pada konten eksternal
• C) Tidak mengambil tindakan pencegahan karena injeksi tidak dapat dicegah
• D) Mengisolasi konten eksternal sebagai data yang tidak dapat diandalkan dan membangun pertahanan berlapis dengan otorisasi, persetujuan, dan kontrol keluaran minimal ✔

Deskripsi: Konten eksternal yang diproses oleh agen atau RAG, seperti halaman web, dokumen, email, dll., merupakan data yang tidak tepercaya dan mungkin berisi instruksi rahasia. Pendekatan yang benar adalah pertahanan berlapis: mengisolasi konten eksternal sebagai 'data, bukan perintah' dengan pembatas yang jelas, menerapkan otorisasi minimal, mengikat tindakan yang tidak dapat diubah dengan persetujuan manusia, dan mengaudit hasilnya. Satu baris instruksi saja tidak cukup.

10. Apa perbedaan utama ketika memutuskan apakah suatu masalah harus diselesaikan dengan fine-tuning atau RAG?

• A) Masalah informasi lebih baik diselesaikan dengan RAG, masalah perilaku/format lebih baik diselesaikan dengan penyesuaian ✔
• B) Setiap masalah harus selalu diselesaikan dengan penyempurnaan
• C) RAG hanya digunakan untuk pembuatan kode, fine-tuning hanya digunakan untuk terjemahan
• D) Penyempurnaan selalu dapat diperbarui dengan lebih murah dan lebih cepat daripada RAG

Penjelasan: Penyempurnaan adalah hal yang lemah dan berisiko dalam mengajarkan model informasi baru; tetapi kuat dalam mengajarkan perilaku, format, nada dan gaya. 'Perusahaan model tidak mengetahui data kami' adalah masalah informasi dan milik RAG. 'Biarkan model selalu menghasilkan output dalam format ketat kami' adalah masalah perilaku dan merupakan kandidat untuk penyesuaian. Selain itu, pengambilan gambar yang cepat dan beberapa kali harus dilakukan sebelum melakukan penyesuaian.

11. Manakah yang wajib untuk penerapan yang aman saat memasukkan model baru ke dalam produksi?

• A) Jika model bagus dalam pengujian, buka langsung untuk lalu lintas 100%.
• B) Tidak menyiapkan pemantauan sama sekali setelah penerapan
• C) Penerapan bertahap (shadow/canary) dan rencana rollback yang telah diuji sebelumnya ✔
• D) Menerbitkan model meskipun ambang batas evaluasi tidak terpenuhi

Penjelasan: Membuka model baru secara langsung ke semua lalu lintas berisiko; Jika salah, semua orang akan terkena dampaknya. Hal yang benar adalah distribusi bertahap (shadow, canary) dan setiap distribusi memiliki rencana rollback yang teruji. Distribusi tidak lengkap tanpa rencana kembali; Kemampuan untuk kembali ke versi sebelumnya dalam hitungan menit akan melindungi pengguna ketika model berperilaku tidak terduga dalam produksi.

12. Bagaimana model ML bisa gagal 'secara diam-diam' dalam produksi dan bagaimana cara mengatasinya?

• A) Modelnya runtuh; log server menunjukkan ini
• B) Dengan menghasilkan prediksi yang salah tanpa membuat kesalahan; ✔ Ini menangkap pemantauan berlapis operasional, input dan output
• C) Model tidak pernah gagal secara diam-diam, selalu alarm
• D) Memantau latensi saja sudah cukup untuk mengetahui adanya degradasi

Penjelasan: Model bisa gagal hanya dengan menghasilkan prediksi yang salah tanpa mengalami error atau memberikan kesalahan; Alasan utamanya adalah penyimpangan data dan penyimpangan konsep. Memantau metrik operasional saja (latensi, tingkat kesalahan) tidaklah cukup; distribusi input dan distribusi output/prediksi juga harus dipantau. Penyimpangan masukan memberikan peringatan dini jika hasil sebenarnya tertunda.

13. Prinsip apa yang penting ketika menggunakan LLM sebagai juri untuk mengevaluasi sistem LLM?

• A) Wasit LLM selalu benar, verifikasi manusia tidak diperlukan
• B) Wasit harus mengambil keputusan hanya berdasarkan panjang jawaban.
• C) Kontrol berbasis aturan dan evaluasi manusia harus dibuang sepenuhnya ketika wasit digunakan
• D) Nilai juri harus dikalibrasi dengan sampel yang diberi label manusia dan biasnya diukur sebelum dapat dipercaya ✔

Deskripsi: Wasit LLM juga seorang model; Ini bisa berupa halusinasi, bias (menyukai jawaban yang panjang dan percaya diri), dan tidak konsisten. Oleh karena itu, skor wasit harus dikalibrasi dengan sampel berlabel manusia dan bias sistematisnya harus diukur sebelum keputusan produksi dibuat. Wasit yang tidak terverifikasi memberikan kepercayaan palsu.

14. Mengapa akurasi keseluruhan tidak memadai saat menilai bias model?

• A) Akurasi keseluruhan cukup karena selalu mencerminkan kinerja kelompok terburuk
• B) Akurasi keseluruhan saja tidak cukup karena dapat mengaburkan perbedaan sistematis (diskriminasi tersembunyi) antar subkelompok ✔
• C) Karena akurasi adalah metrik yang tidak ada hubungannya dengan bias
• D) Bias hanya berasal dari model dan tidak ada hubungannya dengan data.

Penjelasan: Akurasi keseluruhan mungkin mengaburkan perbedaan sistematis antar subkelompok. Misalnya, meskipun akurasi keseluruhan adalah 88%, perolehan kembali mungkin 91% pada satu kelompok dan 67% pada kelompok lain; Model tersebut secara sistematis mengabaikan kelompok tersebut. Oleh karena itu, model tersebut harus dievaluasi berdasarkan subkelompok (demografi/segmen) dan definisi keadilan mana yang harus diprioritaskan harus diputuskan bersama para pemangku kepentingan.

15. Empat hal apa yang harus diperbaiki agar hasil ML dapat direproduksi?

• A) Hanya nama model, ukuran, harga dan tanggal rilis
• B) Hanya merek GPU dan kecepatan internet
• C) Hanya skor akurasi akhir model; sisanya dapat disimpan dalam memori
• D) Benih keacakan, versi data, lingkungan (versi ketergantungan) dan pelacakan eksperimen ✔

Deskripsi: Reproduksibilitas dicapai melalui empat pilar: memperbaiki benih keacakan, membuat versi data (versi/hash), membekukan lingkungan (versi/kontainer perpustakaan yang tepat), dan melacak setiap eksperimen (komit kode, data, hyperparameter, metrik). Tanpa rantai ini, hasil yang sama tidak mungkin dihasilkan; Hasil yang tidak dapat direproduksi adalah suatu klaim yang tidak dapat dibuktikan.