Kazanimlar:
- Sınıflandırma ve regresyon metriklerini (karışıklık matrisi, precision/recall/F1, MAE/RMSE/R²) işin amacına göre seçip yorumlayabilme
- Eğitim ve test skorunu karşılaştırarak aşırı öğrenmeyi yakalayıp çapraz doğrulama ile güvenilir performans elde edebilme
- Her modeli bir baseline ile kıyaslayarak gerçek değer katıp katmadığını değerlendirebilme
Bir model kurmak kolaydır; onun gerçekten işe yarayıp yaramadığını dürüstçe ölçmek zordur. Bu ünitenin konusu, bir veri bilimcinin en kritik becerisidir: modeli doğru metriklerle değerlendirmek, güvenilir bir tahmin performansı elde etmek ve en sinsi tuzak olan aşırı öğrenmeyi (ezberlemeyi) yakalamak. Yapay zeka metrikleri hesaplar, yorumlar ve karşılaştırır; ama hangi metriğin işiniz için doğru olduğuna ve bir modelin "yeterince iyi" olup olmadığına insan karar verir. Yanlış metriğe bakan bir ekip, kötü bir modeli aylarca "başarılı" sanabilir.
Doğruluk neden yetmez: karışıklık matrisi
Sınıflandırmada ilk akla gelen metrik doğruluktur (accuracy — doğru tahminlerin toplama oranı). Ama Ünite 6'da gördüğümüz gibi, dengesiz veride doğruluk yanıltıcıdır. Daha iyi bir başlangıç, karışıklık matrisidir (İngilizcesiyle confusion matrix — tahminleri dört kutuya ayıran tablo):
- Doğru pozitif (TP): Gerçekten sahte olanı sahte dedik. (İyi)
- Doğru negatif (TN): Gerçekten temizi temiz dedik. (İyi)
- Yanlış pozitif (FP): Temizi yanlışlıkla sahte dedik. (Yanlış alarm)
- Yanlış negatif (FN): Sahteyi kaçırıp temiz dedik. (Kaçırılan tehdit)
Bu dört kutudan iki kilit metrik türer. Kesinlik (İngilizcesiyle precision): "Sahte dediklerimin ne kadarı gerçekten sahte?" — yanlış alarm maliyeti yüksekse önemlidir. Duyarlılık (İngilizcesiyle recall): "Gerçek sahtelerin ne kadarını yakaladım?" — bir tehdidi kaçırmak pahalıysa önemlidir. İkisi genellikle birbiriyle çelişir: eşiği düşürüp daha çok "sahte" derseniz recall artar ama precision düşer. F1 skoru, bu ikisinin dengeli ortalamasıdır (harmonik ortalama).
Dikkat: "Hangi metrik önemli" sorusunun cevabı teknik değil iş kararıdır. Kanser taramasında bir vakayı kaçırmak (düşük recall) felakettir; spam filtresinde önemli bir maili spam'e atmak (düşük precision) can sıkıcıdır. Metriği maliyet belirler.
Regresyon metrikleri
Çıktı sayıysa farklı metrikler kullanılır. MAE (İngilizcesiyle Mean Absolute Error — ortalama mutlak hata): tahminlerin gerçekten ortalama ne kadar saptığı, aynı birimde (örneğin "ortalama 4.200 TL yanılıyoruz"). RMSE (İngilizcesiyle Root Mean Squared Error): büyük hataları daha ağır cezalandırır, aykırılara duyarlıdır. R² (İngilizcesiyle R-squared — belirleme katsayısı): modelin, hedefteki değişkenliğin ne kadarını açıkladığı (1'e yakın iyi, 0 ortalamayı tahmin etmek kadar kötü, negatif ondan da kötü).
En sinsi tuzak: aşırı öğrenme
Aşırı öğrenme (İngilizcesiyle overfitting — modelin eğitim verisini ezberlemesi, ama yeni veride başarısız olması) veri biliminin en yaygın hatasıdır. Belirtisi nettir: model eğitim setinde muhteşem (%98), test setinde kötü (%72). Model, verideki gerçek örüntüyü değil, o özel örneklemin gürültüsünü ezberlemiştir. Tersi de vardır: yetersiz öğrenme (İngilizcesiyle underfitting) — model hem eğitimde hem testte kötüdür, çünkü örüntüyü yakalayamayacak kadar basittir.
Aşırı öğrenmeyle savaşmanın yolları: modeli sadeleştirmek, daha çok veri, düzenlileştirme (İngilizcesiyle regularization — modeli aşırı karmaşıklaşmaktan alıkoyan matematiksel fren) ve en önemlisi çapraz doğrulama.
Çapraz doğrulama: tek bölmeye güvenme
Tek bir eğitim/test bölmesi şanslı ya da şanssız olabilir; test setine sırf o örneklem kolay diye yüksek not alabilirsiniz. Çapraz doğrulama (İngilizcesiyle cross-validation, kısaca CV) bunu çözer. En yaygın biçimi k-katlı CV (İngilizcesiyle k-fold): veri k parçaya (örneğin 5) bölünür; her turda bir parça test, kalanı eğitim olur; bu 5 kez döner ve 5 skorun ortalaması alınır. Böylece performansın tek bir şanslı bölmeye değil, birden çok bölmenin ortalamasına dayandığını görürsünüz. Skorların dağılımı da bilgi verir: çok oynak skorlar (bir katta %85, ötekinde %62) modelin kararsız olduğunu gösterir.
Zaman serisinde normal k-fold kullanılmaz (geleceği sızdırır); bunun yerine "ileri doğru zincirleme" (İngilizcesiyle time series split) yapılır: hep geçmişle eğitip geleceği test edersiniz.
Metrik
Problem tipi
Ne zaman önemli
Doğruluk (accuracy)
Sınıflandırma
Sınıflar dengeliyse
Kesinlik (precision)
Sınıflandırma
Yanlış alarm pahalıysa
Duyarlılık (recall)
Sınıflandırma
Kaçırmak pahalıysa
F1
Sınıflandırma
Denge gerekiyorsa
MAE
Regresyon
Yorumlanabilir hata
RMSE
Regresyon
Büyük hatalar kritikse
R²
Regresyon
Açıklama gücü
Üç mini vaka
Vaka 1 — Yüksek doğruluk yanılsaması. Bir dolandırıcılık modeli %99,2 doğruluk gösterdi ve ekip kutladı. Karışıklık matrisine bakınca gerçek: veride sahte oran %0,8'di; model neredeyse hiçbir sahteyi yakalamıyor, sadece "hepsi temiz" diyordu. Recall %6'ydı. Ders: doğruluğa değil, işin metriğine bakın.
Vaka 2 — Gizli aşırı öğrenme. Bir ekip, XGBoost'u eğitim setinde %97'ye çıkardı ve teslim etti. Test seti %69'du ama kimse bakmamıştı. Üretimde model çöktü. Çapraz doğrulama yapılmış olsaydı, katlar arası büyük fark (aşırı öğrenme) baştan görünürdü. Ders: eğitim skoruna değil, CV ve test skoruna güvenin.
Vaka 3 — Şanslı bölme. Bir analist tek bölmede %88 aldı, sevindi. Meslektaşı 5-katlı CV yapınca skorlar %88, %71, %83, %64, %79 çıktı — ortalama %77, ama çok oynak. Model kararsızdı; tek bölme yanıltmıştı. Ders: tek bölmeye değil, CV ortalamasına ve dağılımına bakın.
Dört kopyalanabilir şablon
1) Tam sınıflandırma raporu:
Eğitilmiş modelim ve test setim var. Şunları üret: karışıklık matrisi,precision, recall, F1 (her sınıf için) ve destek sayıları. Çıktıyıyorumla ama karar bende: hangi metriğin önemli olduğunu ben söyleyeceğim.Doğruluğun dengesiz veride yanıltıcı olabileceğini de not et.
2) Aşırı öğrenme kontrolü:
Modelimin hem EĞİTİM hem TEST setindeki skorunu yan yana yazdır.Aralarındaki farkı hesapla ve büyük fark aşırı öğrenme işareti olduğuiçin uyar. Fark büyükse düzenlileştirme veya sadeleştirme öner.
3) Çapraz doğrulama:
5-katlı çapraz doğrulama yap (stratified, sınıflandırma için).Her katın skorunu, ortalamayı ve standart sapmayı yazdır. Skorlar çokoynaksa (yüksek std) modelin kararsız olduğunu belirt. Dönüşümlerinher katta yalnızca eğitim parçasından öğrenilmesi için pipeline kullan.
4) Baseline karşılaştırması:
Modelimin metriğini, bir DummyClassifier baseline ile yan yana koy.Model baseline'ı anlamlı ölçüde geçiyor mu? Geçmiyorsa modelin gerçekbir değer katmadığını açıkça söyle.
Zayıf prompt / Güçlü prompt
Zayıf prompt:
Modelim iyi mi?
"İyi" tanımsız; hangi metrik, hangi eşik, hangi baseline belli değil. YZ tek bir doğruluk sayısı verip yanıltabilir.
Güçlü prompt:
Rolün: değerlendirme asistanı. Sınıflandırma, dengesiz veri (%12 pozitif).Öncelik: recall (pozitifleri kaçırmamak). Görev: (1) karışıklık matrisi,(2) precision/recall/F1, (3) 5-katlı stratified CV ortalaması ve std,(4) DummyClassifier baseline karşılaştırması. Doğruluğa değil, recallve baseline farkına odaklan. Yorumla ama son kararı ben veririm.
Burada metrik önceliği, CV ve baseline şartı nettir.
Sık yapılan hatalar
- Dengesiz veride doğruluğa güvenmek. %99 doğruluk azınlık sınıfı hiç yakalamıyor olabilir; karışıklık matrisine bakın.
- Sadece eğitim skoruna bakmak. Yüksek eğitim, düşük test skoru aşırı öğrenmedir; iki skoru daima karşılaştırın.
- Tek bölmeye güvenmek. Şanslı bölme yanıltır; çapraz doğrulama ile ortalama ve dağılıma bakın.
- Baseline ile karşılaştırmamak. Modelin aptal bir tahminciyi geçip geçmediğini bilmeden "iyi" diyemezsiniz.
- Zaman serisinde normal k-fold kullanmak. Geleceği sızdırır; time series split gerekir.
İpucu: Her modelin yanına üç sayı yazın: eğitim skoru, çapraz doğrulama ortalaması ve baseline skoru. Bu üçlü, aşırı öğrenmeyi (eğitim >> CV) ve değersizliği (CV ≈ baseline) tek bakışta ele verir.
Özetle
Model kurmak kolay, dürüstçe değerlendirmek zordur. Sınıflandırmada karışıklık matrisi, precision ve recall doğruluktan çok daha bilgilidir; hangisinin önemli olduğunu işin maliyeti belirler. Regresyonda MAE, RMSE ve R² kullanılır. En sinsi tuzak aşırı öğrenmedir: eğitim ve test skorunu daima karşılaştırın. Tek bir bölmeye değil, çapraz doğrulamanın ortalamasına ve dağılımına güvenin; her şeyi bir baseline'la kıyaslayın. YZ tüm bunları hesaplar, ama hangi metriğin karar vereceğine insan karar verir.
Uygulama görevi
Bir sınıflandırma modeli için karışıklık matrisi, precision, recall ve F1 çıkarın; ardından 5-katlı çapraz doğrulama yapıp katlar arası skor dağılımına bakın. Son olarak eğitim skoru, CV ortalaması ve bir baseline skorunu yan yana yazın. Modelinizin aşırı öğrenip öğrenmediğini ve baseline'ı geçip geçmediğini bir cümleyle yorumlayın.
Kontrol listesi
- [ ] Doğruluk yerine işin gerçek metriğine (precision/recall/F1 vb.) baktım mı?
- [ ] Karışıklık matrisini inceledim mi?
- [ ] Eğitim ve test skorunu karşılaştırıp aşırı öğrenmeyi kontrol ettim mi?
- [ ] Çapraz doğrulama ile ortalama ve dağılıma baktım mı?
- [ ] Modeli bir baseline ile karşılaştırdım mı?