Kazanimlar:
- Problem tipine ve iş bağlamına uygun metriği (dengesiz veride PR-AUC/recall, regresyonda MAE/RMSE) seçebilme ve aşırı/yetersiz öğrenmeyi tanıyabilme
- Her metriği bir temel modele (baseline) göre yorumlayabilme ve çapraz doğrulama ile sapmayı ölçüp gürültüyü ilerlemeden ayırabilme
- Hiperparametreleri doğrulama kümesiyle ayarlayıp test kümesini yalnızca en sonda kullanarak iyimser olmayan sonuç raporlayabilme
Model eğitimi (training: verinden örüntü öğrenme süreci), ML mühendisliğinin en görünür ama en yanıltıcı adımıdır. Görünür, çünkü "doğruluk %95" gibi tatmin edici bir sayı üretir. Yanıltıcı, çünkü o sayı çoğu zaman yanlış soruya verilmiş doğru cevaptır. Bu ünitede eğitimi ve değerlendirmeyi (evaluation) mühendislik disipliniyle ele alıyor; yapay zekayı deney tasarımında bir ortak olarak kullanıp kararı ölçüye dayandırıyoruz.
Eğitim döngüsünün mantığı
Bir model, verideki örüntüyü bir kayıp fonksiyonunu (loss function: modelin hatasını sayısal ölçen fonksiyon) küçülterek öğrenir. Optimizasyon algoritması (ör. gradyan inişi, gradient descent) parametreleri adım adım ayarlayarak kaybı düşürür. Amaç, eğitim verisini ezberlemek değil, görülmemiş veriye genellemektir (generalization).
İki temel tehlike:
- Aşırı öğrenme (overfitting): Model eğitim verisini ezberler, yeni veride başarısız olur. Eğitim başarısı yüksek, doğrulama başarısı düşük.
- Yetersiz öğrenme (underfitting): Model örüntüyü yakalayamaz; hem eğitim hem doğrulama başarısı düşük.
Aradaki dengeyi bulmak eğitimin sanatıdır. Doğrulama kümesi (validation set) bu dengeyi izlemek için vardır: eğitim başarısı artarken doğrulama başarısı düşmeye başladıysa, aşırı öğrenme başlamıştır.
Ipucu: Eğitim ve doğrulama kaybını her adımda birlikte çizin. İki eğri ayrışmaya başladığı nokta, aşırı öğrenmenin başladığı yerdir ve "erken durdurma" (early stopping) için doğru andır.
Metrik seçimi: en kritik karar
Yanlış metrik, iyi bir modeli kötü, kötü bir modeli iyi gösterir. Metriği problem belirler:
- Dengesiz sınıflandırma (bir sınıf çok nadir, ör. dolandırıcılık): Accuracy yanıltıcıdır. "Her şeye normal de" diyen bir model %99 doğruluk alır ama tek dolandırıcılığı yakalamaz. Bunun yerine precision (yakaladıklarımın ne kadarı gerçekten pozitif), recall (gerçek pozitiflerin ne kadarını yakaladım) ve bunların dengesi olan F1 ya da PR-AUC kullanılır.
- Dengeli sınıflandırma: Accuracy ve ROC-AUC uygun olabilir.
- Regresyon (sayı tahmini): MAE (ortalama mutlak hata), RMSE (büyük hataları cezalandırır), MAPE (yüzdesel hata).
- Sıralama/öneri: NDCG, MRR, Recall@K.
Precision mı recall mı önemli, iş bağlamına bağlıdır. Kanser taramasında recall (hiçbir hastayı kaçırmama) önceliklidir; spam filtresinde precision (önemli maili spam'e atmama) önemlidir. Bu, teknik değil iş kararıdır ve mühendisle iş sahibi birlikte verir.
Zayıf prompt / Güçlü prompt
Zayıf prompt: "Modelimin performansını değerlendir, accuracy 0.97."
Güçlü prompt: "Dolandırıcılık tespiti modelim var; pozitif sınıf oranı %1.5. Accuracy 0.97 rapor edildi. Bu metriğin neden yanıltıcı olabileceğini açıkla, hangi metrikleri (precision, recall, PR-AUC) neden tercih etmem gerektiğini söyle. Ayrıca bir 'her şeye negatif de' temel modelinin (baseline) bu veride ne kadar accuracy alacağını hesapla, ki gerçek katma değeri görebileyim."
Fark: güçlü prompt sınıf oranını ve iş bağlamını verir; ayrıca temel model karşılaştırması ister — bu, bir metriğin anlamlı olup olmadığını gösteren en önemli çıpadır.
Temel model (baseline): karşılaştırmasız metrik anlamsızdır
Bir metrik tek başına iyi ya da kötü değildir; bir temel modele göre iyi ya da kötüdür. Temel model, akla gelen en basit çözümdür: "her zaman çoğunluk sınıfını söyle", "geçen haftanın değerini tekrarla", "ortalamayı tahmin et". Modeliniz bu basit çözümü net biçimde geçemiyorsa, tüm karmaşıklık boşadır.
Dikkat: "Modelim %85 doğru" cümlesi tek başına hiçbir şey söylemez. Temel model zaten %84 alıyorsa modeliniz neredeyse değersiz; temel model %50 alıyorsa modeliniz mükemmeldir. Her zaman temel modele göre konuşun.
Çapraz doğrulama ve güven
Tek bir eğitim/test bölmesi şansa bağlı olabilir. Çapraz doğrulama (cross-validation: veriyi k parçaya bölüp her parçayı sırayla test yapma), performansın ne kadar kararlı olduğunu gösterir. 5 katlı çapraz doğrulamada beş farklı skor elde edersiniz; bunların ortalaması ve standart sapması önemlidir. Ortalama %80 ama sapma ±%12 ise modeliniz kararsızdır — bir sonraki veri partisinde çok farklı davranabilir.
Bu, "iki model karşılaştırması" için de kritiktir. Model A %81, Model B %82 aldıysa, B gerçekten daha mı iyi? Sapma ±%3 ise bu fark gürültü olabilir. Karar vermeden önce farkın anlamlı olup olmadığını değerlendirin.
Hiperparametre ayarı: doğrulama ile, test ile değil
Hiperparametreler (hyperparameters: eğitimden önce elle belirlenen ayarlar — öğrenme oranı, ağaç derinliği gibi) doğrulama kümesiyle ayarlanır. Test kümesi yalnızca en sonda, tek sefer kullanılır. Test kümesine bakarak hiperparametre seçerseniz, test kümesi kirlenir ve bildirdiğiniz performans gerçekte olmayan bir iyimserlik taşır.
Yapay zeka, hiperparametre arama uzayını (search space) tasarlamada ve arama kodunu (grid search, random search, Bayesian optimizasyon) yazmada iyi bir yardımcıdır. Ama "hangi metriği optimize edeceğiz" kararını yine siz verirsiniz.
Üç mini vaka
Vaka 1 - Accuracy tuzağı. Bir sağlık ekibi nadir bir hastalığı tespit eden modelle gurur duyuyordu: accuracy %98. Temel model karşılaştırması yapılınca gerçek ortaya çıktı: hastalık oranı %2 olduğu için "herkese sağlıklı de" diyen model de %98 alıyordu. Modelin recall'u ise sadece %11'di — hastaların çoğunu kaçırıyordu. Metrik PR-AUC'ye çevrilince gerçek performans ölçüldü ve model yeniden tasarlandı.
Vaka 2 - Gürültüyü ilerleme sanmak. Bir ekip aylarca uğraşıp modeli %86.2'den %86.9'a çıkardı. Çapraz doğrulama yapılınca sapmanın ±%1.4 olduğu görüldü — yani 0.7 puanlık "iyileşme" istatistiksel gürültüydü. Ekip gerçek olmayan bir kazanç için üç hafta harcamıştı. Ders: iyileşmenin sapmadan büyük olduğunu doğrulamadan zafer ilan etme.
Vaka 3 - Test kümesinin kirlenmesi. Bir mühendis, en iyi hiperparametreleri seçmek için defalarca test kümesine baktı. Rapor ettiği %91, üretimde %83'e düştü. Neden: test kümesine tekrar tekrar bakarak farkında olmadan ona göre model seçmişti (test kümesine aşırı öğrenme). Ayrı bir doğrulama kümesi kullanıldığında rapor edilen ve gerçek performans örtüştü.
Kopyalanabilir şablonlar
Bu sınıflandırma problemi için doğru metriği seçmeme yardım et.Problem: [ne tahmin ediliyor]Sınıf dağılımı: [pozitif oranı %X]İş bağlamı: [yanlış pozitifin maliyeti mi, yanlış negatifin maliyeti mi ağır?]Bir temel model (baseline) öner ve o baseline'ın bu veride alacağı skoru tahmin et.Hangi metriği neden önerdiğini ve hangi eşiği (threshold) nasıl seçeceğimi açıkla.
Şu iki modelin karşılaştırmasını değerlendir.Model A çapraz doğrulama: [skorlar listesi]Model B çapraz doğrulama: [skorlar listesi]Ortalama ve standart sapmayı hesapla. Aradaki fark istatistiksel olarak anlamlı mı,yoksa sapma içinde gürültü mü? Hangisini seçmemi önerirsin ve neden?
Bu eğitim kodunu şu açılardan denetle:1) Hiperparametreler test kümesiyle mi doğrulama kümesiyle mi seçiliyor?2) Erken durdurma (early stopping) doğru kümeyle mi izleniyor?3) Aşırı öğrenme belirtisi var mı (eğitim/doğrulama kayıp farkı)?Kod: [kod]
Bu regresyon problemi için MAE, RMSE ve MAPE'den hangisini raporlamalıyım?Hedef değişkenin ölçeği: [aralık]Büyük hatalar orantısız kötü mü (RMSE), yoksa hepsi eşit mi (MAE)?Sıfıra yakın değerler var mı (MAPE'yi bozar mı)?Kısa gerekçeyle öner.
Metrik seçim tablosu
Problem tipi
Uygun metrik
Kaçınılacak
Neden
Dengesiz sınıflandırma
PR-AUC, F1, recall
Accuracy
Çoğunluk sınıfı metriği şişirir
Dengeli sınıflandırma
Accuracy, ROC-AUC
—
Dengeli veride güvenilir
Regresyon (aykırı önemli)
RMSE
MAPE (sıfır varsa)
Büyük hatayı cezalandırır
Regresyon (eşit ağırlık)
MAE
—
Yorumlanması kolay
Sıralama/öneri
NDCG, Recall@K
Accuracy
Sıra önemlidir
Sık yapılan hatalar
- Dengesiz veride accuracy kullanmak. En yaygın metrik hatası.
- Temel model karşılaştırması yapmamak. Metriğin anlamını kaybettirir.
- Test kümesine hiperparametre için bakmak. İyimser, gerçek olmayan sonuç.
- Tek bölmeye güvenmek. Çapraz doğrulama olmadan sapmayı görmezsiniz.
- Gürültüyü ilerleme sanmak. Sapmadan küçük "iyileşmeler" çoğunlukla şanstır.
- İş bağlamını yok saymak. Precision/recall dengesi iş kararıdır.
Ozetle
Model eğitiminde asıl beceri, yüksek sayı üretmek değil, o sayının ne anlama geldiğini bilmektir. Doğru metriği problem ve iş bağlamı belirler; her metriği bir temel modele göre yorumlayın; çapraz doğrulama ile sapmayı ölçün ve gürültüyü ilerleme sanmayın; test kümesini yalnızca en sonda, tek sefer kullanın. Yapay zeka deney tasarımında ortağınızdır, ama "yeterince iyi mi" kararı ölçüye ve size aittir.
Uygulama gorevi
Bir sınıflandırma modelin için: (1) sınıf dağılımını yaz, (2) uygun bir temel model kur ve skorunu ölç, (3) modelini 5 katlı çapraz doğrulama ile değerlendirip ortalama ve standart sapmayı raporla, (4) accuracy yerine probleme uygun metriği (ör. PR-AUC) hesapla. Modelinin temel modeli sapmadan büyük bir farkla geçip geçmediğini yaz.
Kontrol listesi
- [ ] Metriği problem tipine ve iş bağlamına göre seçtim.
- [ ] Bir temel model kurdum ve ona göre karşılaştırdım.
- [ ] Çapraz doğrulama ile ortalama ve sapmayı raporladım.
- [ ] İyileşmenin sapmadan büyük olduğunu doğruladım.
- [ ] Hiperparametreleri doğrulama kümesiyle seçtim.
- [ ] Test kümesini yalnızca en sonda, bir kez kullandım.