Ünite 9 / 11

Halüsinasyon ve Doğrulama Disiplini: Uydurma Gen, Dizi, Varyant ve Atıflar

Kazanimlar:

  • Halüsinasyonun (yapay zekanın özgüvenle yanlış üretmesi) genetikte hangi biçimlerde (uydurma gen/dizi/varyant/atıf) ortaya çıktığını tanıyabilme
  • Yapay zekanın 'kendinden emin' tonunun doğruluk kanıtı olmadığını kavrayıp her çıktıyı bağımsız kaynakla çapraz doğrulayabilme
  • Kaynak zorunlu kılma, koordinat/sürüm teyidi ve 'bilmiyorsan uydurma' talimatlarıyla halüsinasyonu azaltan bir iş akışı uygulayabilme

Bu modülün her ünitesinde bir tehlike tekrar ediyor: yapay zekanın (YZ) halüsinasyonu — yani gerçekte var olmayan bir bilgiyi tam bir özgüvenle üretmesi. Bu ünite, o tehlikeyi tek başına ele alıyor: moleküler biyoloji ve genetikte YZ neyi, nasıl uydurur; bunu nasıl fark edersiniz; ve her çıktı türü için hangi doğrulama refleksini geliştirmelisiniz. Amaç, halüsinasyonu "bazen olan bir kaza" değil, her zaman beklenen ve sistematik olarak yakalanan bir olgu olarak görmenizdir.

Neden halüsinasyon kaçınılmazdır? Çünkü LLM, "doğruyu bilen" bir sistem değil, "bir sonraki en olası kelimeyi üreten" bir sistemdir. Eğitim verisinde bir gen adının, bir varyant biçiminin ya da bir künye kalıbının nasıl göründüğünü öğrenmiştir; bu yüzden gerçeğe çok benzeyen ama gerçek olmayan çıktılar üretebilir. Genetikte bu benzerlik özellikle tehlikelidir, çünkü uydurma bir "c.1234A>G" ile gerçek bir varyant gözle ayırt edilemez.

YZ genetikte neyi uydurur? Bir harita

Uydurulan şey

Nasıl görünür

Nasıl yakalanır

Gen adı/sembolü

Gerçekçi ama olmayan sembol

HGNC / NCBI Gene

Dizi

Doğru harflerle yanlış dizi

NCBI/Ensembl FASTA

Varyant koordinatı

HGVS biçiminde ama yanlış/olmayan

VariantValidator, ClinVar

Popülasyon sıklığı

Makul bir yüzde

gnomAD

İşlevsel çalışma

İkna edici künye

PubMed/DOI

Klinik iddia

"Patojeniktir"

ACMG kanıt zinciri

Protein koordinatı

Ondalıklı 3B sayılar

PDB/AlphaFold dosyası

İstatistik sonucu

Düzeltmesiz p-değeri

Kodu yeniden çalıştırma

Halüsinasyonu azaltan (ama bitirmeyen) teknikler

1. Bağlam verin. Ne kadar çok doğru bağlam (genom sürümü, transkript, gerçek dizi) verirseniz, YZ o kadar az uydurur. Ama sıfırlamaz.

2. "Bilmiyorsan söyle" talimatı. "Emin değilsen 'doğrulanmalı' de, uydurma" talimatı uydurmayı azaltır — yine de tümüyle güvenmeyin.

3. Kaynağı zorunlu kılın. Her iddia için doğrulanabilir kaynak (DOI, PMID, veri tabanı kaydı) isteyin.

4. Kendi kendine kontrol ettirin. "Bu çıktıda hangi öğeler bağımsız doğrulama gerektirir?" diye sorun; YZ genelde riskli öğeleri işaretleyebilir.

5. En önemlisi: bizzat doğrulayın. Yukarıdakiler olasılığı düşürür; kesinliği yalnızca sizin birincil kaynak kontrolünüz sağlar.

İpucu: Bir "doğrulama bütçesi" belirleyin: her YZ çıktısında, karar için kritik olan olguları (dizi, varyant, sıklık, atıf) mutlaka doğrulayın; düşük riskli açıklamaları (bir kavramın tanımı) daha gevşek karşılayın. Kaynağınızı, en çok zarar verebilecek yanlışa yöneltin.

Üç mini vaka

Vaka 1 — Var olmayan gen. Bir öğrenci, YZ'nin bahsettiği bir "gen"i araştırmaya çalıştı ama HGNC'de bulamadı. YZ, iki gerçek genin adını birleştirerek olmayan bir sembol üretmişti. HGNC kontrolü olmasa, öğrenci saatlerce hayalet bir geni araştıracaktı.

Vaka 2 — Zincirleme halüsinasyon. Bir araştırmacı, YZ'ye bir varyant sordu; YZ uydurma bir sıklık verdi, sonra bu sıklığa dayanarak yanlış bir ACMG kodu önerdi, sonra bu kodu destekleyen sahte bir makale ekledi. Tek bir uydurma değer, üç katmanlı bir yanlış zincir doğurdu. Araştırmacı gnomAD'yi açınca zincirin ilk halkası kırıldı ve hepsi çöktü.

Vaka 3 — Doğrulama kazandırdı. Bir teknisyen, YZ'den bir dizi analizi kodu aldı; kod içine YZ, "referans dizi" olarak uydurma bir dizgi gömmüştü. Teknisyen kodu okuyup diziyi NCBI'den gelen gerçek diziyle değiştirdi. Kodu körlemesine çalıştırsa, sonuç sessizce yanlış olacaktı.

Doğrulama refleksleri: çıktı türüne göre

DİZİ gördüğünde -> NCBI/Ensembl FASTA ile karşılaştırVARYANT gördüğünde -> VariantValidator + ClinVar + gnomADSIKLIK gördüğünde -> gnomAD'de bizzat araATIF gördüğünde -> DOI/PMID'i aç, başlık-yazar tutGEN ADI gördüğünde -> HGNC / NCBI GeneKOORDİNAT gördüğünde -> genom sürümü + liftOverİSTATİSTİK gördüğünde -> kodu kendin çalıştır, düzeltmeyi kontrol et

Dört kopyalanabilir şablon

1) Öz-denetim istemi:

Az önce verdiğin çıktıda, hangi öğeler (dizi, varyant, sıklık, gen adı,atıf, sayı) bağımsız doğrulama gerektirir? Her birini "kesin/olası/emindeğilim" diye etiketle ve hangi kaynakta kontrol edeceğimi yaz.

2) Kaynak zorunlu yanıt:

Şu soruyu yanıtla ama HER olgusal iddia için doğrulanabilir bir kaynak(veri tabanı kaydı, DOI, PMID) belirt. Kaynak veremediğin hiçbir iddiayıkesin sunma; "doğrulanmalı" yaz: [soru].

3) Uydurma dizi taraması:

Aşağıdaki kodda gömülü olan tüm dizileri, sabitleri ve varyantları listele:[kod]. Her biri için bunun gerçek bir kaynaktan mı geldiği yoksa seninürettiğin bir yer tutucu mu olduğu belirsizse, açıkça "doğrulanmalı" işaretle.

4) Zincir kontrolü:

Şu akıl yürütmede her adım bir öncekine dayanıyor: [zincir].İlk halka (temel veri) yanlışsa hangi sonraki adımlar çöker? Zincirindoğrulanması gereken TEMEL veri noktalarını sırala.

Zayıf prompt / Güçlü prompt

Zayıf: "Bu varyant hakkında bildiğin her şeyi anlat."

Sorun: YZ hafızadan sıklık, atıf, klinik iddia uydurur; hiçbir doğrulama kancası yok.

Güçlü: "Bu varyant hakkında yanıt ver; her olgusal iddia için hangi kaynakta doğrulayacağımı belirt, emin olmadıklarını 'doğrulanmalı' diye işaretle, hiçbir sıklık ya da atıf uydurma."

Neden güçlü: Uydurma alanı daraltılır, her iddia doğrulama kancasına bağlanır.

Sık yapılan hatalar

  • Akıcılığı doğruluk sanmak. En ikna edici cümleler en tehlikeli halüsinasyonlar olabilir.
  • Tek bir değeri doğrulamadan üstüne inşa etmek. Zincirleme halüsinasyon böyle doğar.
  • Koda gömülü sabitleri okumamak. YZ, kod içine uydurma dizi/sabit gömebilir.
  • "Bilmiyorsan söyle" ile yetinmek. Bu talimat olasılığı düşürür, kesinlik sağlamaz.
  • Doğrulama bütçesini yanlış yere harcamak. En kritik olguları değil, önemsizleri kontrol etmek.
Dikkat: Halüsinasyon oranı model sürümüne, soruya ve alana göre değişir; ama "bu model artık uydurmuyor" demek yanlıştır. Doğrulama disiplini, modelin ne kadar iyi olduğundan bağımsız olarak korunmalıdır. Sorumluluk her zaman insandadır.

Derinlik: RAG ve "araç kullanımı" halüsinasyonu neden bitirmez

Son yıllarda birçok yapay zeka aracı, cevabını gerçek kaynaklara "bağlamak" için RAG (Retrieval-Augmented Generation — modelin cevap üretmeden önce bir veri tabanından ilgili belgeleri çekip bunları kullandığı yöntem) ya da doğrudan araç çağırma (örneğin gerçekten PubMed'de arama yapma) kullanır. Bu yaklaşımlar halüsinasyonu azaltır ama iki nedenle bitirmez. Birincisi, model çekilen belgeyi yanlış özetleyebilir ya da belgede olmayan bir sonucu belgeye yakıştırabilir; kaynak gerçek olsa da yorumu uydurma olabilir. İkincisi, arama yanlış ya da alakasız belge getirebilir ve model bunu yine de otoriter bir cevaba dönüştürür. Yani "kaynaklı" görünen bir cevap bile, kaynağın gerçekten o iddiayı desteklediğini açıp okumadan güvenilir sayılmamalıdır.

Somut bir örnek: RAG tabanlı bir asistan, bir varyant için gerçek bir ClinVar sayfası getirdi ama sayfayı "patojenik" diye özetledi; oysa sayfada varyant "çelişkili yorumlar (conflicting)" olarak işaretliydi. Kaynak doğruydu, özet yanlıştı — ve klinik ağırlığı olan bir yanlıştı. İkinci örnek: bir literatür aracı gerçek bir makale çekti ama makale farklı bir gen hakkındaydı; model başlık benzerliğine aldanıp sonucu sorulan gene atfetti.

Pratik kural: bağlantı verilmişse bağlantıyı açın, alıntı verilmişse alıntının kaynakta birebir geçtiğini görün. "Kaynaklı yapay zeka" doğrulamayı kolaylaştırır, ortadan kaldırmaz. Doğrulama refleksiniz, aracın ne kadar "bağlı" olduğundan bağımsız olarak aynı kalır.

5) Kaynaklı cevap denetim şablonu:

Bu cevapta verdiğin her kaynak bağlantısı/alıntı için, iddianın kaynaktaBİREBİR geçip geçmediğini kontrol edebileceğim tam cümleyi/pasajı göster.Kaynak gerçek olsa da senin özetin kaynaktan sapıyorsa bunu işaretle.

Özetle

  • Halüsinasyon, LLM'in çalışma biçiminin doğal sonucudur; "kaza" değil, beklenen ve sistematik yakalanması gereken bir olgudur.
  • YZ genetikte gen, dizi, varyant, sıklık, atıf, koordinat, istatistik ve klinik iddia uydurabilir.
  • Bağlam, kaynak zorunluluğu ve öz-denetim halüsinasyonu azaltır ama bitirmez; kesinliği yalnızca birincil kaynak kontrolü sağlar.
  • Çıktı türüne özgü doğrulama refleksleri (dizi→FASTA, atıf→DOI) geliştirin; doğrulama bütçenizi en kritik olgulara yöneltin.

Uygulama görevi

YZ'ye bir genetik konu hakkında bilgi sorun ve gelen çıktıdaki her olgusal iddiayı (gen, dizi, varyant, sıklık, atıf) yukarıdaki refleks listesine göre bizzat doğrulayın. Kaç iddianın gerçek, kaçının yanlış/uydurma, kaçının belirsiz çıktığını sayın. Sonucu bir tabloyla özetleyip hangi tür iddianın en çok uydurulduğunu not edin.

Kontrol listesi

  • [ ] Her çıktı türü için doğrulama refleksimi uyguladım.
  • [ ] Kritik olguları bizzat birincil kaynakta kontrol ettim.
  • [ ] Zincirleme akıl yürütmede temel veri noktasını doğruladım.
  • [ ] Koda gömülü dizi/sabitleri okudum ve teyit ettim.
  • [ ] Akıcı ve emin tonu doğruluk kanıtı saymadım.
  • [ ] Doğrulama bütçemi en yüksek riskli iddialara yönelttim.