Ünite 9 / 11

Halüsinasyon, Yaygın Matematiksel Hatalar ve Doğrulama Disiplini

Kazanimlar:

  • Yapay zekanın matematikte neden hata yaptığını (dil modeli olması, mantığı denetlememesi) ve yedi ana hata türünü tanıyabilme
  • Matematikte hatanın yayıldığını ve doğruluğun ikili olduğunu kavrayarak her adımı doğrulamanın neden zorunlu olduğunu açıklayabilme
  • Sağduyu testi, büyüklük mertebesi kontrolü, sağlama, çapraz kontrol ve bağımsız yöntemlerle çok katmanlı bir doğrulama disiplini uygulayabilme

Bu ünite, modülün kalbindeki fikri derinleştiriyor: yapay zeka matematikte neden ve nasıl hata yapar, bu hataların türleri nelerdir ve bunları sistematik olarak nasıl yakalarız? Önceki ünitelerde her konu için doğrulama yöntemleri gördük; burada hataların anatomisini tek bir çatı altında topluyoruz. Amaç, bir YZ çıktısına baktığınızda "burada nasıl bir hata olabilir?" diye refleks olarak düşünen bir doğrulama zihniyeti kazanmaktır.

Hatırlatma: halüsinasyon, YZ'nin gerçekte doğru olmayan bir bilgiyi özgüvenle üretmesidir. Matematikte halüsinasyon çoğu zaman "ikna edici ama yanlış" biçiminde görünür. YZ neden hata yapar? Çünkü o bir mantık motoru değil, bir dil modelidir — yani metni istatistiksel örüntülerle üretir, adımların mantıksal geçerliliğini denetlemez. "3 basamaklı bir çarpma" ile "geçerli bir ispat" onun için aynı türden metin üretme görevidir; doğruluğu garanti eden bir iç mekanizması yoktur.

Matematiksel hataların anatomisi: yedi tür

Aşağıdaki tür listesi, YZ çıktılarında en sık karşılaşacağınız hataları ve her birinin panzehirini özetler.

Hata türü

Nasıl görünür

Panzehir

Aritmetik hata

7×8=54 gibi sayı hatası

Hesap makinesi/SymPy

İşaret hatası

−(a−b)=−a−b

Adımı elle açmak

Uydurma teorem

Var olmayan teorem adı

Kaynaktan teyit

Kural yanlış uygulama

Zincir kuralını unutma

"Hangi kural?" sorusu

Atlanan durum

Negatif kökü yok sayma

Tüm durumları listeleme

İspat boşluğu

Gerekçesiz "dolayısıyla"

Her geçişi sorgulama

Eski/yanlış veri

Güncel olmayan bilgi

Kaynak sağlama

Neden matematik özel bir dikkat ister?

Çoğu alanda küçük bir hata küçük bir sonuç doğurur. Matematikte ise hata yayılır ve büyür. Bir denklemin ilk satırındaki bir işaret hatası, sonraki on satırı ve nihai sonucu tümüyle yanlış kılar. Bir ispatın ortasındaki bir boşluk, bütün ispatı geçersiz yapar. Bu "kırılganlık", matematikte her adımı doğrulamayı zorunlu kılar — "genel olarak doğru görünüyor" yeterli değildir.

Ayrıca matematikte doğruluk ikilidir: bir sonuç ya doğrudur ya yanlıştır, arası yoktur. Bir metin özetinde "yüzde seksen doğru" kabul edilebilir; bir integralde "yüzde seksen doğru" diye bir şey yoktur — ya doğru sonuçtur ya değildir. Bu ikili doğa, doğrulamayı hem daha kritik hem de (neyse ki) daha mümkün kılar: sonuç ya sağlamayı geçer ya geçmez.

Adım adım: sistematik doğrulama disiplini

1. Her sayısal sonucu bir araçla teyit et. Aritmetiği asla YZ'ye güvenerek bırakma; SymPy, hesap makinesi ya da elle.

2. Her sembolik sonucu SymPy ile kontrol et. İntegral, türev, sadeleştirme, denklem — hepsi SymPy ile doğrulanabilir.

3. Her teoremi/formülü kaynaktan teyit et. Ad ve ifade doğru mu? Uydurma teoremler en sinsi tuzaktır.

4. Her ispatta her geçişi sorgula. "Bu gerçekten önceki adımdan çıkıyor mu?" Temel durum, örtük varsayım, boşluk kontrolü.

5. Sağlama ve karşı kontrol yap. Ters işlem, yerine koyma, sınır durumları, boyut analizi.

6. Sağduyu testinden geçir. Sonuç makul mü? Bir olasılık 1'den büyük çıktıysa, bir uzunluk negatif çıktıysa bir hata vardır.

İpucu: En hızlı sağduyu testi "büyüklük mertebesi" (order of magnitude) kontrolüdür. Sonuç kabaca beklenen aralıkta mı? Bir sınıfın ortalaması 250 çıktıysa (100 üzerinden), ya da bir olasılık 3.5 çıktıysa, ayrıntıya bakmadan bir hata olduğunu anlarsınız. Bu 5 saniyelik kontrol birçok saçma sonucu daha başında eler.

Üç mini vaka

Vaka 1 — Zincirleme işaret hatası. Bir öğrenci, 8 satırlık bir cebirsel sadeleştirmede YZ'nin 2. satırda yaptığı bir işaret hatasının sonraki 6 satıra yayıldığını gördü. Nihai sonuç tümüyle yanlıştı, ama YZ tam bir özgüvenle sunmuştu. Öğrenci SymPy ile baştan sadeleştirince doğru sonuç çıktı ve YZ'ye 2. satırdaki hatayı buldurdu. Tek bir işaret, 6 satırı çürüttü.

Vaka 2 — Sağduyu testi kurtardı. Bir öğretmen, bir olasılık problemini YZ'ye çözdürdü; sonuç 1.4 çıktı. Öğretmen ayrıntıya bakmadan "olasılık 1'den büyük olamaz" dedi ve hatayı aradı: YZ, ayrık olmayan olayları ayrıkmış gibi toplamıştı. Sağduyu testi, hatayı saniyeler içinde işaret etti.

Vaka 3 — Uydurma formül. Bir mühendis, bir seri toplamı için YZ'den "kapalı formül" istedi. YZ ikna edici bir formül verdi. Mühendis formülü küçük bir n değeri için (n=3) hem formülle hem elle toplayarak test etti; sonuçlar uyuşmadı. Formül uydurmaydı. Küçük bir sağlama, saatlerce yanlış kullanımı önledi.

Dört kopyalanabilir şablon

1) Çok katmanlı doğrulama isteği:

Şu sonucu buldun: [sonuç]. Şimdi bunu ÜÇ farklı yolla doğrula:(1) ters işlemle sağlama, (2) basit bir özel değerde test,(3) SymPy ile kontrol edecek bir kod (çıktıyı ben göreceğim).Üç yol da tutarlıysa söyle; değilse hangi adımda hata var göster.

2) Sağduyu/mertebe testi:

Şu sonucu buldun: [sonuç]. Bu sonucun MAKUL olup olmadığınısağduyu testinden geçir: beklenen büyüklük mertebesi ne, işaretidoğru mu, sınırlar içinde mi (ör. olasılık 0-1)? Makul değilsenerede hata olabileceğini araştır.

3) Teorem/formül teyidi:

Kullandığın [teorem/formül] gerçekten standart ve doğru mu?Standart ifadesini ve koşullarını yaz. Bunu küçük bir örnekle(ör. n=3) test eden bir hesap göster. Eğer uydurma ya da eminolmadığın bir formülse açıkça söyle.

4) Hata türü teşhisi:

Aşağıdaki çözümde bir hata olduğunu biliyorum. Şu hata türlerinitek tek kontrol et: aritmetik, işaret, yanlış kural, atlanan durum,tanım kümesi. Hangi türden hata olduğunu ve hangi adımda olduğunusöyle. Çözüm: [buraya]

Zayıf prompt / Güçlü prompt

Zayıf: "Bu sonuç doğru mu?" [sonucu yapıştırıp]
Sonuç: YZ genellikle "evet doğru" der (kendi çıktısını onaylama eğilimi); bağımsız bir denetim olmadığı için güvenilmez.
Güçlü: "Bu sonucu bağımsız bir yöntemle DENETLE: farklı bir çözüm yolu kullan veya SymPy koduyla kontrol et (kodu ben çalıştıracağım). Sadece 'doğru/yanlış' deme; hangi kontrolü yaptığını ve sonucunu göster. Sağlama başarısızsa hatayı bul."
Sonuç: Bağımsız bir kontrol yöntemi zorlanır; YZ'nin kendi çıktısını körü körüne onaylaması engellenir.

Sık yapılan hatalar

  • YZ'ye kendi çıktısını onaylatmak. "Bu doğru mu?" diye sorunca YZ sıkça kendi hatasını onaylar; bağımsız yöntem şart.
  • Sağduyu testini atlamak. Olasılık 1'den büyük, uzunluk negatif gibi saçmalıklar ayrıntıya bakmadan yakalanabilir.
  • Tek bir doğrulamaya güvenmek. Kritik sonuçlarda birden çok bağımsız yol (sağlama + SymPy + özel değer) kullanın.
  • Formülleri küçük örnekle test etmemek. Uydurma formüller n=2, n=3 gibi küçük değerlerde hemen çöker.
  • Hatanın yayıldığını unutmak. İlk satırdaki bir hata tüm sonucu bozar; hata bulunca en baştan kontrol edin.
Dikkat: YZ'nin özgüveni ile doğruluğu arasında hiçbir ilişki yoktur. En kararlı, en akıcı, en "emin" görünen cümle pekâlâ tamamen yanlış olabilir. Tonuna değil, bağımsız doğrulamaya güvenin. Bir sonucu ancak deterministik bir araçla ya da elle teyit ettiğinizde "doğru" sayın — YZ "eminim" dediği için değil.

Özetle

YZ matematikte hata yapar çünkü mantığı denetleyen bir motor değil, metni istatistiksel üreten bir dil modelidir. Hatalar yedi ana türde toplanır: aritmetik, işaret, uydurma teorem, kural yanlış uygulama, atlanan durum, ispat boşluğu, eski veri. Matematikte hata yayılır ve büyür, doğruluk ikilidir — bu yüzden her adım doğrulanmalıdır. Sistematik disiplin: her sayısalı araçla, her sembolik sonucu SymPy ile, her teoremi kaynaktan, her ispat geçişini sorgulayarak teyit et; sağlama, karşı kontrol ve sağduyu testi uygula. YZ'nin özgüveni doğruluk kanıtı değildir.

Uygulama görevi

Orta uzunlukta (en az 6-8 adım) bir çözüm içeren bir problem seçin ve YZ'ye çözdürün. Sonra bu üniteden 1. ve 4. şablonları kullanarak çok katmanlı doğrulama yapın: (a) sağduyu/mertebe testi, (b) SymPy ile kontrol, (c) bir özel değerde test. Ardından çözümü kasıtlı olarak "hata avı" gözüyle satır satır inceleyin ve yedi hata türünden hangilerinin olabileceğini kontrol edin. Bulduğunuz her hatayı türüyle birlikte kaydedin.

Kontrol listesi

  • [ ] Her sayısal sonucu deterministik bir araçla teyit ettim.
  • [ ] Her sembolik sonucu SymPy ile kontrol ettim.
  • [ ] Kullanılan teorem/formülü kaynaktan veya küçük örnekle doğruladım.
  • [ ] Sağduyu/büyüklük mertebesi testini uyguladım.
  • [ ] Bağımsız bir yöntemle (YZ'nin kendi onayına güvenmeden) denetledim.
  • [ ] Hata bulunca çözümü en baştan yeniden kontrol ettim.