Keuntungan:
- Kemampuan untuk memilih metrik yang sesuai dengan jenis masalah dan konteks bisnis (PR-AUC/recall dalam data tidak seimbang, MAE/RMSE dalam regresi) dan mengenali pembelajaran berlebih/kurang
- Kemampuan untuk menafsirkan setiap metrik berdasarkan garis dasar dan mengukur penyimpangan serta memisahkan gangguan dari kemajuan dengan validasi silang
- Kemampuan untuk melaporkan hasil yang tidak optimis dengan menyetel hyperparameter dengan set validasi dan menggunakan set pengujian hanya di akhir
Pelatihan model (pelatihan: proses mempelajari pola dari data) adalah langkah rekayasa ML yang paling terlihat tetapi paling menyesatkan. Tampaknya karena menghasilkan angka yang memuaskan seperti “akurasi 95%”. Menyesatkan karena angka tersebut seringkali merupakan jawaban yang tepat untuk pertanyaan yang salah. Pada unit ini pendidikan dan evaluasi dibahas dengan disiplin ilmu teknik; Kami menggunakan kecerdasan buatan sebagai mitra dalam desain eksperimental dan mendasarkan keputusan pada pengukuran.
Logika siklus pelatihan
Model mempelajari pola dalam data dengan meminimalkan fungsi kerugian: fungsi yang mengukur kesalahan model secara numerik. Algoritme pengoptimalan (misalnya penurunan gradien) mengurangi kerugian dengan menyesuaikan parameter langkah demi langkah. Tujuannya bukan untuk menghafal data pelatihan, namun untuk menggeneralisasikannya menjadi data yang belum pernah ada sebelumnya.
Dua bahaya utama:
- Overfitting: Model mengingat data pelatihan dan gagal pada data baru. Keberhasilan pelatihan tinggi, keberhasilan verifikasi rendah.
- Underfitting: Model tidak dapat menangkap polanya; Keberhasilan pelatihan dan validasi rendah.
Menemukan keseimbangan adalah seni pendidikan. Kumpulan validasi ada untuk memantau keseimbangan ini: jika keberhasilan validasi mulai menurun sementara keberhasilan pelatihan meningkat, pembelajaran berlebihan telah dimulai.
Tip: Plot kerugian pelatihan dan validasi bersama-sama di setiap langkah. Titik dimana kedua kurva mulai menyimpang merupakan titik dimana overlearning dimulai dan merupakan momen yang tepat untuk “berhenti lebih awal”.
Pemilihan metrik: keputusan paling penting
Metrik yang salah membuat model yang bagus terlihat buruk dan model yang buruk terlihat bagus. Masalahnya menentukan metrik:
- Klasifikasi tidak seimbang (sangat jarang terjadi satu kelas, misalnya penipuan): Akurasi menyesatkan. Model yang mengatakan "sebut semuanya normal" akan mendapatkan akurasi 99% tetapi tidak akan menangkap satu pun penipuan. Sebaliknya, presisi (seberapa banyak yang saya tangkap benar-benar positif), perolehan (seberapa banyak yang saya tangkap benar-benar positif) dan keseimbangannya F1 atau PR-AUC digunakan.
- Klasifikasi seimbang: Akurasi dan ROC-AUC mungkin sesuai.
- Regresi (estimasi angka): MAE (rata-rata kesalahan absolut), RMSE (menghukum kesalahan besar), MAPE (persentase kesalahan).
- Peringkat/rekomendasi: NDCG, MRR, Recall@K.
Pentingnya presisi atau perolehan kembali bergantung pada konteks bisnis. Recall (tidak melewatkan satu pasien pun) merupakan prioritas dalam skrining kanker; Ketepatan dalam memfilter spam (tidak mengirimkan email penting ke spam) adalah hal yang penting. Ini adalah keputusan bisnis, bukan keputusan teknis, dan dibuat bersama oleh insinyur dan pemilik.
Perintah lemah / Perintah kuat
Perintah lemah: "Evaluasi performa model saya, akurasi 0,97."
Perintah yang kuat: "Saya memiliki model deteksi penipuan; tingkat kelas positif adalah 1,5%. Akurasi dilaporkan sebesar 0,97. Jelaskan mengapa metrik ini mungkin menyesatkan, beri tahu saya metrik mana (presisi, perolehan, PR-AUC) yang sebaiknya saya pilih dan alasannya. Hitung juga seberapa akurat model dasar 'sebut semuanya negatif' pada data ini, sehingga saya dapat melihat nilai tambah yang sebenarnya."
Perbedaan: perintah yang kuat memberikan rasio kelas dan konteks bisnis; ini juga meminta perbandingan model dasar — ini adalah jangkar paling penting untuk mengetahui apakah suatu metrik bermakna.
Dasar: metrik tanpa perbandingan tidak ada artinya
Metrik itu sendiri tidak baik atau buruk; Baik atau buruknya menurut model dasar. Model dasarnya adalah solusi paling sederhana yang terlintas dalam pikiran: "selalu beri tahu kelas mayoritas", "ulangi nilai minggu lalu", "tebak meannya". Jika model Anda tidak dapat melewati solusi sederhana ini dengan jelas, semua kerumitan akan sia-sia.
Perhatian: Kalimat "Model saya 85% akurat" tidak berarti apa-apa. Jika model dasar sudah mendapatkan 84%, model Anda hampir tidak berharga; Jika model dasar mendapat 50%, model Anda sempurna. Selalu berbicara dalam kerangka model dasar.
Validasi silang dan kepercayaan
Perpecahan pelatihan/pengujian mungkin terjadi secara kebetulan. Validasi silang: membagi data menjadi k bagian dan menguji setiap bagian secara berurutan menunjukkan seberapa stabil kinerjanya. Dalam validasi silang 5 kali lipat Anda mendapatkan lima skor berbeda; Rata-rata dan deviasi standarnya penting. Jika rata-ratanya adalah 80% tetapi deviasinya ±12%, model Anda tidak stabil — model mungkin akan berperilaku sangat berbeda pada kumpulan data berikutnya.
Hal ini juga penting untuk "perbandingan dua model". Jika Model A mendapat 81% dan Model B mendapat 82%, apakah B lebih baik? Jika deviasinya ±3%, perbedaan ini mungkin merupakan noise. Pertimbangkan apakah perbedaannya signifikan sebelum memutuskan.
Penyetelan hyperparameter: dengan validasi, bukan pengujian
Hyperparameter (pengaturan ditentukan secara manual sebelum pelatihan—kecepatan pembelajaran, kedalaman pohon, dll.) diatur dengan set validasi. Set tes hanya digunakan di akhir, satu kali. Jika Anda memilih hyperparameter dengan melihat set pengujian, set pengujian akan terkontaminasi dan kinerja yang Anda laporkan akan optimis, padahal kenyataannya tidak demikian.
Kecerdasan buatan adalah penolong yang baik dalam merancang ruang pencarian hyperparameter dan menulis kode pencarian (pencarian grid, pencarian acak, optimasi Bayesian). Namun Anda masih memutuskan "metrik mana yang akan kami optimalkan?"
tiga kasus mini
Kasus 1 - Jebakan akurasi. Sebuah tim medis bangga dengan model yang mendeteksi penyakit langka: akurasi 98%. Ketika perbandingan model dasar dibuat, kebenaran muncul: karena tingkat penyakit adalah 2%, model yang mengatakan "sebut semua orang sehat" juga menerima 98%. Penarikan kembali model tersebut hanya 11% — tidak ada pada sebagian besar pasien. Setelah metrik diubah menjadi PR-AUC, kinerja sebenarnya diukur dan model didesain ulang.
Kasus 2 - Mengira kebisingan sebagai kemajuan. Sebuah tim menghabiskan waktu berbulan-bulan untuk meningkatkan model dari 86,2% menjadi 86,9%. Validasi silang menunjukkan bahwa biasnya adalah ±1,4% — jadi “peningkatan” 0,7 poin merupakan gangguan statistik. Tim telah membuang waktu tiga minggu untuk mendapatkan penghasilan yang tidak nyata. Hikmahnya: jangan mendeklarasikan kemenangan tanpa membuktikan bahwa peningkatannya lebih besar daripada penyimpangannya.
Kasus 3 - Kontaminasi set pengujian. Seorang insinyur berulang kali melihat set pengujian untuk memilih hyperparameter terbaik. 91% yang dilaporkan turun menjadi 83% dalam produksi. Mengapa: dia tanpa sadar telah memilih model yang sesuai dengan melihat set tes berulang kali (pembelajaran berlebihan pada set tes). Kinerja yang dilaporkan dan aktual tumpang tindih ketika set validasi terpisah digunakan.
Templat yang dapat disalin
Bantu saya memilih metrik yang tepat untuk masalah klasifikasi ini. Masalah: [apa yang diprediksi] Distribusi kelas: [rate positif
Evaluasi perbandingan dua model berikut. Validasi silang Model A: [daftar skor] Validasi silang Model B: [daftar skor] Hitung mean dan deviasi standar. Apakah perbedaannya signifikan secara statistik atau hanya sekedar gangguan dalam deviasi? Manakah yang Anda rekomendasikan agar saya pilih dan mengapa?
Periksa kode pelatihan ini untuk hal-hal berikut:1) Apakah hyperparameter dipilih dengan set pengujian atau set validasi?2) Apakah penghentian awal dipantau dengan set yang benar?3) Apakah ada tanda-tanda pembelajaran berlebihan (perbedaan kerugian pelatihan/validasi)?Kode: [kode]
MAE, RMSE, dan MAPE manakah yang harus saya laporkan untuk masalah regresi ini? Skala variabel target: [rentang] Apakah kesalahan besar sangat buruk (RMSE), atau semuanya sama (MAE)? Apakah ada nilai yang mendekati nol (apakah merusak MAPE)? Sarankan dengan justifikasi singkat.
Tabel pemilihan metrik
Jenis masalah
Metrik yang sesuai
Untuk dihindari
Mengapa
Klasifikasi tidak seimbang
PR-AUC, F1, ingat
Akurasi
Kelas mayoritas meningkatkan metriknya
Klasifikasi seimbang
Akurasi, ROC-AUC
—
Dapat diandalkan dalam data seimbang
Regresi (pencilan signifikan)
RMSE
MAPE (jika nol)
Menghukum kesalahan besar
Regresi (bobot yang sama)
MAE
—
Mudah untuk ditafsirkan
Peringkat/rekomendasi
NDCG, Ingat @ K
Akurasi
Keteraturan itu penting
Kesalahan umum
- Menggunakan akurasi pada data yang tidak seimbang. Kesalahan metrik yang paling umum.
- Tidak membuat perbandingan model dasar. Itu membuat metrik kehilangan maknanya.
- Melihat set pengujian untuk hyperparameter. Hasil yang optimis dan tidak realistis.
- Mengandalkan satu kompartemen. Tanpa validasi silang Anda tidak akan melihat biasnya.
- Mengira kebisingan sebagai kemajuan. "Perbaikan" kecil dari penyimpangan sebagian besar adalah keberuntungan.
- Mengabaikan konteks bisnis. Keseimbangan presisi/penarikan kembali adalah keputusan bisnis.
Singkatnya
Keterampilan sebenarnya dalam pelatihan model bukanlah menghasilkan angka yang tinggi, tetapi mengetahui apa arti angka tersebut. Masalah dan konteks bisnis menentukan metrik yang tepat; menafsirkan setiap metrik berdasarkan model dasar; ukur bias dengan validasi silang dan jangan salah mengira kebisingan sebagai kemajuan; Gunakan set pengujian hanya di bagian akhir, satu kali. AI adalah mitra Anda dalam desain eksperimen, namun keputusan “cukup baik” ada di tangan Anda dan Anda sendiri.
Tugas aplikasi
Untuk model klasifikasi: (1) tulis distribusi kelas, (2) buat model dasar yang sesuai dan ukur skornya, (3) evaluasi model Anda dengan validasi silang 5 kali lipat dan laporkan mean dan deviasi standar, (4) hitung metrik yang sesuai dengan permasalahan (misalnya PR-AUC), bukan akurasi. Tuliskan apakah model Anda mengalahkan model dasar dengan selisih yang besar tanpa bias.
daftar periksa
- [ ] Saya memilih metrik berdasarkan jenis masalah dan konteks bisnis.
- [ ] Saya membuat model dasar dan membandingkannya.
- [] Saya melaporkan mean dan deviasi dengan validasi silang.
- [ ] Saya menegaskan bahwa peningkatannya lebih besar daripada penyimpangannya.
- [] Saya memilih hyperparameter dengan set validasi.
- [ ] Saya hanya menggunakan set pengujian satu kali, di bagian paling akhir.