Kazanimlar:
- Belirsizliği ensemble, duyarlılık analizi, çapraz doğrulama ve kör testle ölçüp raporlayabilme
- Veri sızıntısını kuyu/saha bazında ayırarak önleyip raporlanan doğruluğun gerçek genellemeyi yansıtmasını sağlayabilme
- Yapay zeka güven skorunu güvenilirlik diyagramıyla kalibre edip kalibre edilmemiş bir skoru olasılık gibi kullanmama disiplinini uygulayabilme
Bu modülün her ünitesinde tekrar eden bir tema var: jeofizikte "kesin cevap" yoktur, yalnızca belirsizlikle sınırlanmış modeller vardır. Bu ünite, o temayı bir disipline dönüştürüyor. Model belirsizliği, aynı veriyi açıklayabilen farklı yeraltı modellerinin var olması ve her modelin bir güven aralığı taşımasıdır. Doğrulama (validation), bir modelin veya YZ çıktısının gerçekten geçerli olup olmadığını bağımsız kanıtla sınamaktır. Kalibrasyon (calibration), bir modelin verdiği güven/olasılık değerlerinin gerçek sonuçlarla örtüşmesini sağlamaktır. Bu ünitede yapay zekanın (YZ) belirsizliği nasıl hem ölçebildiğini hem gizleyebildiğini; ve sağlam bir doğrulama-kalibrasyon çerçevesinin YZ'yi neden güvenilir kıldığını göreceğiz.
Belirsizliğin kaynakları
Jeofizik belirsizliği birkaç katmandan gelir:
- Veri belirsizliği: Ölçüm gürültüsü, sınırlı kapsama, kalibrasyon hatası.
- Model belirsizliği (çok anlamlılık): Aynı veriye birden çok yeraltı yapısının uyması.
- Yöntem/parametre belirsizliği: İşleme, ters çözüm ve düzenlileştirme seçimlerinin sonucu değiştirmesi.
- YZ'ye özgü belirsizlik: Modelin eğitim dağılımı dışına çıkınca (dağılım kayması — distribution shift) güvenini koruyup yanılması.
İyi bir jeofizikçinin işi bu belirsizliği yok etmek değil, ölçmek, iletmek ve daraltmaktır. YZ bunu kolaylaştırabilir (çok sayıda senaryo üretmek) ama tek kendinden emin cevap üreterek de kolayca gizleyebilir.
Belirsizliği ölçmenin yolları
Birkaç pratik araç:
- Topluluk (ensemble): Farklı başlangıçlar, parametreler veya modellerle çoklu koşu; sonuçların yayılımı belirsizliği verir.
- Duyarlılık analizi: Bir girdiyi (parametre, veri alt kümesi) değiştirip sonucun ne kadar oynadığına bakmak.
- Çapraz doğrulama (cross-validation): Veriyi parçalara bölüp bir kısmıyla eğitip diğeriyle test etmek; genelleme gücünü ölçer.
- Kör test: Modeli, eğitiminde hiç görmediği bağımsız bir kuyu/saha ile sınamak.
- Olasılıksal çıktı: Sonucu tek değer değil, dağılım/güven aralığı olarak vermek.
İpucu: YZ bir sonuç verdiğinde ona hep şu soruyu sorun: "Bu sonucu değiştirmek için girdide neyi ne kadar oynatmam gerekir?" Sonuç küçük bir parametre değişimiyle tersine dönüyorsa, o sonuç kırılgandır ve belirsizlik yüksektir.
Kalibrasyon: güven skoru gerçeği tutuyor mu?
YZ modelleri sık sık bir güven/olasılık verir ("%90 fay"). Ama bu sayı kalibre değilse yanıltıcıdır: model "%90" dediği durumların gerçekte belki %60'ında haklıdır. Kalibrasyon, bu sayıyı gerçek sonuç oranına hizalamaktır. Pratikte bir güvenilirlik diyagramı (reliability diagram — modelin verdiği olasılık ile gerçek doğruluk oranını karşılaştıran grafik) çizilir: iyi kalibre model, "%90" dediğinde gerçekten %90 haklıdır. Jeofizikte, YZ güven skorunu karar dayanağı yapmadan önce bağımsız veriyle kalibre etmek şarttır.
Dikkat: Yüksek doğruluk ile iyi kalibrasyon aynı şey değildir. Bir model genelde doğru ama aşırı özgüvenli olabilir; kritik kararlarda önemli olan, "%95" dediğinde gerçekten güvenilir olmasıdır. Kalibre edilmemiş bir güven skorunu olasılık gibi hesaba katmayın.
Doğrulamanın altın kuralları
Sağlam doğrulama için: (1) Bağımsızlık — test verisi eğitim/ayar sürecine hiç karışmamalı (veri sızıntısı — data leakage — sonucu şişirir). (2) Kör test — modelin görmediği saha/kuyu. (3) Fiziksel tutarlılık — sonuç fizik ve jeolojiyle çelişmemeli. (4) Tekrarlanabilirlik — aynı girdiyle aynı sonuç, ve başkası tarafından üretilebilir olması. (5) Belgeleme — hangi veri, hangi parametre, hangi model sürümü kullanıldığının kaydı.
Üç mini vaka
Vaka 1 — Veri sızıntısı yanılgısı. Bir ekip, fasiyes sınıflayıcısının %94 doğruluk verdiğini raporladı. İnceleme, aynı kuyudan komşu örneklerin hem eğitim hem teste girdiğini (veri sızıntısı) gösterdi. Kuyu bazında ayrılınca doğruluk %71'e düştü — gerçek genelleme buydu. Sızıntı, modeli olduğundan iyi göstermişti.
Vaka 2 — Aşırı özgüvenli model. Bir fay dedektörü işaretlerine "%95 güven" veriyordu. Güvenilirlik diyagramı, "%95" işaretlerinin gerçekte %70'inin doğru olduğunu gösterdi. Model kalibre edilince güven skorları gerçekçileşti ve yorumcular hangi işarete ne kadar güveneceğini doğru ayarladı.
Vaka 3 — Kırılgan ters çözüm. Bir gravite modeli çok ikna edici görünüyordu. Duyarlılık analizinde, düzenlileştirme ağırlığı %20 değişince ana yapının kaybolduğu görüldü: yapı veriden değil, parametre seçiminden geliyordu. Ekip yapıyı "düşük güven" olarak işaretleyip ek veri istedi.
Dört kopyalanabilir şablon
1) Belirsizlik ölçüm planı:
Rolün: jeofizik belirsizlik danışmanı. Bir [ters çözüm /sınıflama / kestirim] sonucum var. Belirsizliği ölçmek içinhangi yöntemleri (ensemble, duyarlılık, çapraz doğrulama, körtest) hangi sırayla uygularım? Her birinin bana ne söylediğinive sonucu nasıl raporlayacağımı açıkla.
2) Kalibrasyon kontrolü:
YZ modelim güven/olasılık skoru veriyor. Bu skorun kalibreolup olmadığını nasıl test ederim? Güvenilirlik diyagramınınasıl kurar, "aşırı özgüven" veya "aşırı temkin" durumununasıl tanır ve skoru gerçek sonuç oranına nasıl hizalarım?
3) Veri sızıntısı denetimi:
Bir jeofizik sınıflayıcı eğittim. Veri sızıntısı (aynıkuyu/saha örneklerinin hem eğitim hem teste girmesi) riskininasıl bulur ve önlerim? Kuyu/saha bazında ayırmayı nasılkurarım? Raporlanan doğruluğun gerçek genellemeyi yansıtıpyansıtmadığını nasıl anlarım?
4) Sonuç kırılganlık sınaması:
Bir ters çözüm/model sonucum var. Bu sonucun ne kadar kırılganolduğunu anlamak istiyorum. Hangi parametreleri ne kadaroynatınca ana yapı değişir? Yapı veriden mi yoksa parametre/öncülden mi geliyor, nasıl ayırırım? Bir duyarlılık protokolüver.
Zayıf prompt / Güçlü prompt
Zayıf prompt:
Modelimin doğruluğu yüksek mi, bir bak.
Tek bir doğruluk sayısı; sızıntı, kalibrasyon ve genellemeyi gizler, yanlış güven verir.
Güçlü prompt:
Rolün: model doğrulama uzmanı. Girdi: [sınıflayıcı, N kuyu,güven skoru üretiyor]. Görev: (1) veri sızıntısına karşıkuyu-bazlı ayırma öner; (2) kör kuyu testi kur; (3) güvenskorunu güvenilirlik diyagramıyla kalibre et; (4) sonucunparametreye ne kadar duyarlı olduğunu sına. Tek doğruluksayısına indirgeme; genelleme, kalibrasyon ve kırılganlığıayrı ayrı raporla.
Sızıntı, kör test, kalibrasyon ve duyarlılık talebi, doğrulamayı dürüst kılar.
Belirsizlik araçları
Araç
Ne ölçer?
Ana risk
Çıktı
Ensemble
Model yayılımı
Hesap maliyeti
Aralık/dağılım
Duyarlılık
Parametre etkisi
Kaçırılan girdi
Kırılganlık
Çapraz doğrulama
Genelleme
Veri sızıntısı
Gerçekçi doğruluk
Kör test
Bağımsız başarı
Yetersiz test seti
Güven
Kalibrasyon
Güven gerçekliği
Aşırı özgüven
Hizalı olasılık
Sık yapılan hatalar
- Veri sızıntısını fark etmemek. Doğruluğu şişirir; kuyu/saha bazında ayırın.
- Güven skorunu kalibre etmeden kullanmak. "%90" gerçekte %90 olmayabilir.
- Tek doğruluk sayısına güvenmek. Genelleme ve kalibrasyon ayrı şeylerdir.
- Kırılganlığı sınamamak. Parametreyle kaybolan yapı gerçek bilgi değildir.
- Belirsizliği raporlamamak. Sonucu güven aralığı olmadan sunmak yanıltır.
Özetle
Belirsizlik, jeofiziğin ortadan kaldırılamayan gerçeğidir; iş, onu ölçmek, iletmek ve daraltmaktır. YZ bunu ensemble, duyarlılık ve olasılıksal çıktıyla kolaylaştırır, ama tek kendinden emin cevapla gizleyebilir de. Sağlam bir çerçeve; veri sızıntısını önlemek, kör testle genellemeyi ölçmek, güven skorunu kalibre etmek ve sonucun kırılganlığını sınamaktan geçer. Kalibre edilmemiş bir güven, doğrulanmamış bir doğruluk ve gizlenmiş bir belirsizlik, en tehlikeli üç yanılsamadır. Güvenilir jeofizik, belirsizliğini dürüstçe gösteren jeofiziktir.
Uygulama görevi
Bir YZ destekli jeofizik sonucu (sınıflama, ters çözüm veya kestirim) seçin. "Belirsizlik ölçüm planı" şablonuyla ensemble/duyarlılık/kör test adımlarını planlayın. Sonra "Veri sızıntısı denetimi" şablonuyla eğitim-test ayrımınızı sınayın. Eğer model bir güven skoru veriyorsa "Kalibrasyon kontrolü" şablonuyla skorun gerçekçi olup olmadığını değerlendirin ve sonucunuzu bir güven aralığıyla yazın.
Kontrol listesi
- [ ] Belirsizliği ensemble/duyarlılık ile ölçtüm.
- [ ] Veri sızıntısını kuyu/saha bazında ayırarak önledim.
- [ ] Genellemeyi kör testle sınadım.
- [ ] Güven skorunu kalibre edip gerçekçiliğini denetledim.
- [ ] Sonucu tek değer değil güven aralığıyla raporladım.