Kazanimlar:
- Halüsinasyonun dil modelinin doğasında olduğunu kavrayıp her çıktı türü için uygun doğrulama yöntemini seçebilme
- Üçgenleme ile kritik değerleri iki bağımsız yoldan doğrulayıp akıcılığı doğrulukla karıştırmama
- Şeffaflık, izlenebilirlik, veri dürüstlüğü ve insan sorumluluğunu bilimsel bütünlüğün temeli olarak uygulayabilme
Bu modül boyunca tek bir cümle tekrar tekrar döndü: "YZ üretir, insan doğrular." Bu ünitede o cümleyi bir sisteme dönüştürüyoruz. Amaç, YZ'nin en tehlikeli davranışı olan halüsinasyonu (kendinden emin bir dille yanlış/uydurma bilgi üretmesini) tanımak, her çıktı türü için somut bir doğrulama yöntemi kurmak ve tüm bunları bilimsel bütünlük (dürüstlük, şeffaflık, izlenebilirlik) çerçevesine oturtmaktır. Kimyada doğrulanmamış bir YZ çıktısı sadece bir hata değil; patlayan bir deney, zehirlenen bir kişi ya da geri çekilen bir makale olabilir.
Halüsinasyon neden kaçınılmaz?
Büyük dil modeli "bir sonraki en olası kelimeyi" üretir; doğruyu değil, olası olanı hedefler. Bu yüzden bir molekül ağırlığını, bir DOI'yi ya da bir kaynama noktasını "makul görünen" bir değerle doldurabilir — gerçek olup olmadığını kontrol etmeden. Halüsinasyon bir arıza değil, bu teknolojinin doğasının bir sonucudur. Çözüm modeli "düzeltmeye çalışmak" değil, her çıktının etrafına bir doğrulama kabuğu örmektir.
Halüsinasyonun en sinsi yanı kendinden emin dilidir. Yanlış bir molekül ağırlığı, doğru olanla tıpatıp aynı güvenle sunulur. Bu yüzden "kendinden emin görünüyor" hiçbir zaman "doğru" demek değildir.
Dikkat: YZ'nin bir konuda ne kadar akıcı ve emin konuştuğu, o bilginin doğruluğuyla ilgili değildir. Akıcılık ikna eder; doğruluğu yalnızca bağımsız kaynak belirler.
Kimyada çıktı türüne göre doğrulama
Her çıktı türünün kendi doğrulama yöntemi vardır. Ezber tek bir kural yerine, çıktıya uygun aracı kullanın:
Çıktı türü
Doğrulama yöntemi
Araç
Molekül ağırlığı, formül
Formülden yeniden hesap
RDKit / elle
SMILES/yapı
Ayrıştır + kanonikleştir
RDKit
Atıf/DOI
Veritabanında çöz
doi.org, Crossref
Fiziksel sabit (kn, pKa)
Referans veritabanı
PubChem, el kitabı
Sayısal hesap
Kod yaz+çalıştır
Python
Reaksiyon/koşul
Literatür teyidi
Reaxys, makale
Güvenlik iddiası
SDS/GHS
Resmi SDS
Spektrum atama
Çoklu teknik + insan
Deneysel spektrum
Bu tablo aslında bu modülün özetidir: her ünite bir satırdır.
Üçgenleme: üç bağımsız yol
En güçlü doğrulama tekniği "üçgenlemedir" (triangulation): aynı sonuca üç bağımsız yoldan varmak. Örneğin bir molekül ağırlığı için: (1) YZ'nin dediği, (2) RDKit'in hesabı, (3) elle formülden hesap. Üçü örtüşüyorsa güven yüksektir; biri sapıyorsa dur ve araştır. Kimyada tek kaynağa asla güvenmeyin; en az iki bağımsız yol arayın.
Adım adım: doğrulama iş akışı
- Çıktıyı sınıflandır: Bu bir sayı mı, yapı mı, atıf mı, güvenlik iddiası mı?
- Uygun aracı seç: Yukarıdaki tablodan çıktı türüne uygun doğrulama yolunu al.
- Bağımsız hesapla/ara: Aracı YZ'den bağımsız çalıştır; sonucu karşılaştır.
- Sapma varsa dur: Değerler örtüşmüyorsa, hangisinin doğru olduğunu araştırmadan ilerleme.
- İzini bırak: Neyi nasıl doğruladığını kaydet (bilimsel bütünlük).
- Belirsizliği belirt: Doğrulanamayan bir şeyi "doğrulanmamış" olarak işaretle, gizleme.
Dört kopyalanabilir şablon
1) Kendi kendini doğrulatma:
Az önce şu çıktıyı verdin: [ÇIKTI].Görev: Bu çıktının her sayısal/olgusal iddiasını ayrı satırda listele.Her iddia için: "nasıl bağımsız doğrulanır?" yöntemini yaz(hangi araç/veritabanı). İddianın doğru olduğunu İDDİA ETME;sadece doğrulama yolunu ver.
2) Üçgenleme kontrolü:
Şu molekülün ağırlığını üç yolla kontrol etmek istiyorum: [SMILES].Görev: 1) Molekül formülünü çıkar.2) Atom atom molekül ağırlığı hesabını göster (her elementin katkısı).Not: Ayrıca RDKit'te de hesaplayıp üçüncü olarak senin verdiğinlekarşılaştıracağım. Üçü örtüşmezse uyar.
3) Belirsizlik işaretleme:
Aşağıdaki metinde birden çok olgusal iddia var:[METİN]Görev: Her iddianın yanına güven düzeyi etiketi koy:[DOĞRULANDI] / [DOĞRULANMALI] / [BELİRSİZ].Emin olmadığın hiçbir şeyi [DOĞRULANDI] işaretleme.
4) Tutarlılık çapraz sorgusu:
Aynı soruyu iki farklı biçimde soracağım; cevapların tutarlı mı bak.Soru A: X bileşiğinin molekül formülü nedir?Soru B: X bileşiği hangi atomlardan kaçar tane içerir?Görev: İki cevabı ver, sonra kendi aralarında çelişki var mı kontrol et.
Zayıf prompt / Güçlü prompt
Zayıf:
Bu bileşik hakkında bildiğin her şeyi yaz.
YZ doğrulanabilir ve uydurma bilgiyi ayırt etmeden karıştırır; hangisinin gerçek olduğu belirsizdir.
Güçlü:
Bu bileşik hakkında bilgi ver ama her iddiayı şöyle etiketle:[DETERMİNİSTİK - araçla doğrulanır] örn. molekül formülü,[DENEYSEL - kaynak gerekir] örn. erime noktası,[BELİRSİZ - emin değilim].Etiketsiz hiçbir iddia yazma.
Fark: YZ'yi kendi belirsizliğini işaretlemeye zorladık; doğrulama işini planlanabilir hale getirdik.
Bilimsel bütünlük: dürüstlük ve izlenebilirlik
Doğrulama sadece teknik bir adım değil, bir etik meseledir. Bilimsel bütünlük şunları gerektirir:
- Şeffaflık: YZ kullandığınızı gizlemeyin; yayın/rapor politikanıza göre belirtin.
- İzlenebilirlik: Hangi çıktının YZ'den geldiğini ve nasıl doğrulandığını kaydedin.
- Veri dürüstlüğü: Sonuçları YZ'yle "güzelleştirmek", aykırı değerleri gerekçesiz atmak sahteciliktir.
- Sorumluluk: Nihai sonuçtan siz sorumlusunuz; "YZ öyle dedi" bir mazeret değildir.
İpucu: "YZ öyle dedi" cümlesini bir rapor veya savunmada asla kullanamayacağınızı baştan kabul edin. Bu kabul, her çıktıyı doğrulama alışkanlığını kendiliğinden getirir.
Mini vakalar
Vaka 1 — Üçgenleme bir hatayı yakaladı. Bir öğrenci bir molekül ağırlığını üç yolla kontrol etti: YZ 178,2 dedi, elle hesap 180,16 verdi, RDKit 180,16 verdi. İki bağımsız yol örtüşüp YZ'yi eledi. Ders: iki bağımsız doğrulama, bir yanlış çıktıyı sessizce yener.
Vaka 2 — Emin dil, yanlış bilgi. YZ bir reaksiyonun "oda sıcaklığında kendiliğinden yürüdüğünü" çok emin bir dille yazdı. Literatür bunun ısıtma ve katalizör gerektirdiğini gösterdi. Öğrenci emin dile değil kaynağa güvendi. Ders: akıcılık doğruluk değildir.
Vaka 3 — Şeffaflık kazandırdı. Bir araştırmacı makalesinin yöntem kısmında YZ'yi hangi adımlarda (metin düzenleme, kod taslağı) kullandığını açıkça belirtti ve tüm sayısal sonuçları bağımsız doğruladığını yazdı. Hakem süreci sorunsuz geçti. Ders: şeffaflık güven inşa eder, gizlemek risk üretir.
Sık yapılan hatalar
- Emin dile güvenmek. YZ'nin kendinden emin tonu doğruluk göstergesi değildir.
- Tek kaynağa dayanmak. Üçgenleme yapmadan tek çıktıyı kabul etmek.
- Çıktı türünü ayırmamak. Sayıyı, atfı ve güvenlik iddiasını aynı yöntemle "kontrol ettim" sanmak.
- Belirsizliği gizlemek. Doğrulanamayan bir şeyi kesinmiş gibi raporlamak.
- YZ kullanımını saklamak. Şeffaflık eksikliği bilimsel bütünlüğü zedeler.
- Sorumluluğu devretmek. "YZ öyle dedi" mazereti geçersizdir; sorumluluk insandadır.
Özetle
- Halüsinasyon dil modelinin doğasında vardır; çözüm her çıktının etrafına doğrulama kabuğu örmektir.
- Her çıktı türünün kendi doğrulama yöntemi vardır; çıktıyı sınıflandırıp uygun aracı kullanın.
- Üçgenleme (iki bağımsız yol) en güçlü kontroldür; tek kaynağa güvenmeyin.
- Akıcılık ve emin dil, doğrulukla ilgili değildir.
- Bilimsel bütünlük şeffaflık, izlenebilirlik, veri dürüstlüğü ve insan sorumluluğu gerektirir.
Uygulama görevi
Bir YZ oturumunda bilerek çeşitli çıktılar üretin: bir molekül ağırlığı, bir atıf, bir fiziksel sabit, bir güvenlik iddiası, bir sayısal hesap. Her birini doğru yöntemle (tabloya bakın) bağımsız doğrulayın. En az bir halüsinasyon yakalamaya çalışın. Sonra bir "doğrulama matrisi" hazırlayın: satırlar çıktılar, sütunlar (YZ değeri / bağımsız değer / örtüştü mü / nasıl doğruladım). Bilimsel bütünlük açısından bu oturumu nasıl raporlardınız?
Kontrol listesi
- [ ] Halüsinasyonun neden kaçınılmaz olduğunu anlıyorum.
- [ ] Her çıktıyı türüne göre sınıflandırıp uygun yöntemle doğruluyorum.
- [ ] Kritik değerlerde üçgenleme (iki bağımsız yol) yapıyorum.
- [ ] Emin dile değil kaynağa güveniyorum.
- [ ] Doğrulanamayanı "belirsiz" olarak işaretliyorum.
- [ ] YZ kullanımımda şeffafım ve sonuçtan kendimi sorumlu tutuyorum.