Keuntungan:
- Kemampuan untuk memilih dan menafsirkan metrik klasifikasi dan regresi (matriks kebingungan, presisi/recall/F1, MAE/RMSE/R²) sesuai dengan tujuan pekerjaan
- Kemampuan untuk mendeteksi pembelajaran berlebih dengan membandingkan skor pelatihan dan tes serta memperoleh kinerja yang andal dengan validasi silang
- Kemampuan untuk mengevaluasi apakah setiap model memberikan nilai tambah yang nyata dengan membandingkannya dengan garis dasar
Sangat mudah untuk menyiapkan model; Sulit untuk mengukur secara jujur apakah ini benar-benar berhasil. Subjek unit ini adalah keterampilan paling penting yang dimiliki seorang data scientist: mengevaluasi model dengan metrik yang tepat, mencapai performa prediktif yang andal, dan menangkap jebakan paling berbahaya: pembelajaran berlebihan (menghafal). AI menghitung, menafsirkan, dan membandingkan metrik; namun terserah pada manusia untuk memutuskan metrik mana yang tepat untuk bisnis Anda dan apakah modelnya "cukup baik". Sebuah tim yang melihat metrik yang salah dapat salah mengira model yang buruk selama berbulan-bulan sebagai “sukses”.
Mengapa akurasi saja tidak cukup: matriks kebingungan
Metrik pertama yang terlintas dalam pikiran dalam klasifikasi adalah akurasi (akurasi — rasio total prediksi yang benar). Namun seperti yang kita lihat di Unit 6, keakuratannya menyesatkan karena datanya tidak seimbang. Awal yang lebih baik adalah matriks konfusi — tabel yang membagi prediksi menjadi empat kelompok:
- Benar positif (TP): Kami menyebut palsu apa yang benar-benar palsu. (Bagus)
- Negatif sebenarnya (TN): Kami bilang sangat bersih. (Bagus)
- False Positive (FP): Kita keliru mengatakan bahwa yang bersih itu palsu. (Alarm palsu)
- Negatif palsu (FN): Kami melewatkan yang palsu dan menyebutnya bersih. (Ancaman yang terlewatkan)
Dua metrik utama berasal dari empat kotak ini. Presisi: "Seberapa banyak hal yang saya sebut palsu sebenarnya palsu?" — penting jika biaya alarm palsu tinggi. Sensitivitas (ingat dalam bahasa Inggris): "Berapa banyak barang palsu asli yang saya tangkap?" — penting ketika menghilangkan ancaman itu mahal. Keduanya sering bertentangan satu sama lain: jika Anda menurunkan ambang batas dan lebih sering mengatakan "palsu", perolehan meningkat tetapi presisi menurun. Skor F1 adalah rata-rata seimbang (rata-rata harmonik) dari keduanya.
Perhatian: Jawaban atas pertanyaan "Metrik mana yang penting" adalah keputusan bisnis, bukan keputusan teknis. Hilangnya satu kasus (recall rendah) dalam skrining kanker adalah sebuah bencana; Mengirim email penting ke spam (presisi rendah) di filter spam sangat menjengkelkan. Biaya menentukan metrik.
Metrik regresi
Jika keluarannya berupa angka, metrik yang berbeda akan digunakan. MAE (Mean Absolute Error): seberapa besar perkiraan menyimpang dari rata-rata sebenarnya, dalam satuan yang sama (misalnya, "kami salah rata-rata sebesar 4.200 TL"). RMSE (Root Mean Squared Error): memberikan hukuman yang lebih berat pada kesalahan besar dan sensitif terhadap outlier. R² (R-kuadrat — koefisien determinasi): seberapa besar variabilitas target yang dijelaskan model (mendekati 1 berarti baik, 0 sama buruknya dengan memprediksi mean, negatif bahkan lebih buruk).
Jebakan paling berbahaya: belajar berlebihan
Overfitting — saat model mengingat data pelatihan tetapi gagal pada data baru — adalah kesalahan paling umum dalam ilmu data. Gejalanya jelas: modelnya bagus di set pelatihan (98%), buruk di set pengujian (72%). Model telah mengingat noise dari sampel tertentu, bukan pola sebenarnya dalam data. Ada juga yang sebaliknya: underfitting—model tersebut buruk baik dalam pelatihan maupun pengujian karena terlalu sederhana untuk menangkap polanya.
Cara untuk mengatasi pembelajaran berlebihan: menyederhanakan model, lebih banyak data, regularisasi — rem matematis yang menjaga model agar tidak menjadi terlalu rumit — dan yang terpenting, validasi silang.
Validasi silang: jangan percaya satu panel
Sebuah pod pelatihan/pengujian mungkin beruntung atau tidak beruntung; Anda bisa mendapatkan nilai tinggi untuk set tes hanya karena sampelnya mudah. Validasi silang (disingkat CV) memecahkan masalah ini. Bentuk yang paling umum adalah k-fold CV: data dibagi menjadi k bagian (misalnya 5); Di setiap babak, satu bagian adalah ujian dan sisanya adalah latihan; ini bergulir 5 kali dan 5 skor dirata-rata. Jadi, Anda akan melihat bahwa kinerja didasarkan pada rata-rata beberapa pembagian, bukan satu pembagian keberuntungan. Distribusi skor juga informatif: skor yang sangat fluktuatif (85% di satu lantai, 62% di lantai lain) menunjukkan bahwa model tersebut tidak stabil.
K-fold normal tidak digunakan dalam deret waktu (membocorkan masa depan); Sebaliknya, Anda melakukan "rantai maju" (pemisahan rangkaian waktu): selalu berlatih dengan masa lalu dan menguji masa depan.
metrik
Jenis masalah
Kapan itu penting?
Akurasi
Klasifikasi
Jika kelasnya seimbang
Presisi
Klasifikasi
Alarm palsu itu mahal
Sensitivitas (ingat)
Klasifikasi
Jika sayang untuk dilewatkan
F1
Klasifikasi
Jika keseimbangan diperlukan
MAE
regresi
Kesalahan yang dapat ditafsirkan
RMSE
regresi
Jika kesalahan besar itu penting
R²
regresi
kekuatan penjelasan
tiga kasus mini
Kasus 1 — Ilusi akurasi tinggi. Salah satu model penipuan menunjukkan akurasi 99,2% dan tim merayakannya. Melihat matriks konfusi, tingkat kepalsuan yang sebenarnya dalam data adalah 0,8%; model tersebut hampir tidak menemukan barang palsu, hanya mengatakan "semuanya aman". Penarikan kembali adalah 6%. Pelajaran: lihat metriknya, bukan akurasinya.
Kasus 2 - Pembelajaran berlebihan yang laten. Satu tim mengirimkan dan meningkatkan XGBoost hingga 97% pada set pelatihan. Set pengujiannya adalah 69%, tetapi tidak ada yang melihatnya. Model tersebut gagal dalam produksi. Jika dilakukan validasi silang, perbedaan besar antar lipatan (overlearning) akan terlihat sejak awal. Pelajaran: percayalah pada CV dan nilai ujian, bukan nilai pendidikan.
Kasus 3 — Perpecahan keberuntungan. Seorang analis senang mendapatkan 88% dalam sekali pembagian. Saat rekannya membuat CV 5 kali lipat, skornya adalah 88%, 71%, 83%, 64%, 79% — rata-ratanya adalah 77%, namun sangat fluktuatif. Modelnya tidak stabil; Kompartemen tunggal itu menyesatkan. Pelajaran: lihat rata-rata dan distribusi CV, bukan pada masing-masing wadah.
Empat templat yang dapat disalin
1) Laporan klasifikasi lengkap:
Saya telah melatih model dan set pengujian. Hasilkan: matriks kebingungan, presisi, perolehan kembali, F1 (untuk setiap kelas) dan jumlah dukungan. Saya menyimpulkan, tapi terserah saya: Saya akan memberi tahu Anda metrik mana yang penting. Perhatikan bahwa keakuratan dapat menyesatkan jika data tidak seimbang.
2) Kontrol pembelajaran berlebihan:
Cetak skor model saya dalam set PELATIHAN dan UJI secara berdampingan. Hitung perbedaan di antara keduanya dan peringatkan karena perbedaan yang besar merupakan tanda pembelajaran berlebihan. Jika perbedaannya besar, sarankan regularisasi atau penyederhanaan.
3) Validasi silang:
Lakukan validasi silang 5 kali lipat (untuk bertingkat, klasifikasi). Cetak skor, mean, dan deviasi standar setiap lipatan. Jika skornya sangat fluktuatif (std tinggi), menunjukkan bahwa model tersebut tidak stabil. Gunakan alur sehingga transformasi hanya dipelajari dari bagian pelatihan di setiap lapisan.
4) Perbandingan dasar:
Letakkan metrik model saya berdampingan dengan garis dasar DummyClassifier. Apakah model tersebut secara signifikan mengalahkan baseline? Jika tidak lulus, jelaskan bahwa model tersebut tidak memberikan nilai nyata apa pun.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Apakah model saya bagus?
"Bagus" tidak terdefinisi; Tidak jelas metrik yang mana, ambang batas yang mana, dan garis dasar yang mana. AI dapat memberikan satu angka akurasi dan menyesatkan.
Perintah yang kuat:
Peran Anda: asisten penilai. Klasifikasi, data tidak seimbang (12% positif). Prioritas: recall (tidak melewatkan hal positifnya). Tugas: (1) matriks konfusi, (2) presisi/recall/F1, (3) rata-rata dan std CV bertingkat 5 kali lipat, (4) perbandingan dasar DummyClassifier. Fokus pada perolehan kembali dan perbedaan dasar, bukan akurasi. Beri komentar, tapi saya membuat keputusan akhir.
Di sini, prioritas metrik, CV, dan kondisi dasar jelas.
Kesalahan umum
- Mempercayai keakuratan pada data yang tidak seimbang. Akurasi 99% mungkin tidak menangkap kelas minoritas sama sekali; Lihatlah matriks kebingungan.
- Hanya melihat nilai pendidikan Anda. Pendidikan tinggi, nilai ujian rendah berarti pembelajaran berlebihan; Selalu bandingkan dua skor.
- Mengandalkan satu kompartemen. Pembagian keberuntungan itu menyesatkan; Lihatlah mean dan distribusi dengan validasi silang.
- Tidak membandingkan dengan baseline. Anda tidak bisa mengatakan "baik" tanpa mengetahui apakah model tersebut mengalahkan prediktor bodoh.
- Menggunakan k-fold normal pada deret waktu. Ini membocorkan masa depan; pemisahan deret waktu diperlukan.
Tip: Tulis tiga angka di samping setiap model: skor pelatihan, rata-rata validasi silang, dan skor dasar. Trio ini sekilas mengungkap overlearning (pelatihan >> CV) dan undervaluing (CV ≈ baseline).
Singkatnya
Membangun sebuah model itu mudah, tapi mengevaluasinya dengan jujur itu sulit. Dalam klasifikasi, matriks konfusi, presisi, dan perolehan kembali jauh lebih informatif daripada akurasi; Biaya pekerjaan menentukan mana yang penting. MAE, RMSE dan R² digunakan dalam regresi. Jebakan yang paling berbahaya adalah pembelajaran berlebihan: selalu bandingkan nilai pelatihan dan ujian. Mengandalkan rata-rata dan distribusi validasi silang, bukan pemisahan tunggal; Bandingkan semuanya dengan garis dasar. AI menghitung semua ini, tetapi manusialah yang memutuskan metrik mana yang akan digunakan.
Tugas aplikasi
Ekstrak matriks konfusi, presisi, perolehan kembali, dan F1 untuk model klasifikasi; Kemudian lakukan validasi silang 5 kali lipat dan lihat distribusi skor di seluruh lipatan. Terakhir, tuliskan skor pelatihan, rata-rata CV, dan skor dasar secara berdampingan. Beri komentar dalam satu kalimat apakah model Anda belajar berlebihan dan melewati garis dasar.
daftar periksa
- [ ] Sudahkah saya melihat metrik pekerjaan yang sebenarnya (presisi/recall/F1, dll.) dan bukan akurasinya?
- [ ] Sudahkah saya memeriksa matriks konfusi?
- [ ] Sudahkah saya membandingkan pelatihan dan nilai ujian serta memeriksa pembelajaran berlebih?
- [ ] Sudahkah saya melihat mean dan distribusi dengan validasi silang?
- [ ] Sudahkah saya membandingkan model dengan garis dasar?