Ünite 9 / 11

Kanıt Tarama ve Güncel Bilgi: Kaynak Doğrulama ve Halüsinasyon

Kazanimlar:

  • Yapay zekayı güncel gelişim bilgisini ve yaklaşımları hızlı taramak için kullanıp her iddiayı güvenilir kaynağa bağlayarak doğrulayabilme
  • Uydurma kaynak, eski bilgi ve moda-yöntem (kanıtı zayıf yaklaşım) tuzaklarını fark edip kanıt düzeyini sorgulayabilme
  • Yapay zeka çıktısının bir başlangıç noktası olduğunu, nihai kaynağın hakemli literatür ve resmi kılavuzlar olduğunu kavrayabilme

Çocuk gelişimi hızla gelişen bir alandır: yeni tarama araçları, güncellenen kilometre taşı kılavuzları, gelişen müdahale yaklaşımları. Bir uzmanın güncel kalması meslek sorumluluğudur. Yapay zeka bu güncelliği yakalamada baştan çıkarıcı derecede hızlı bir araçtır: bir konuyu saniyeler içinde özetler, yaklaşımları karşılaştırır, "en son ne biliniyor" sorusuna akıcı bir cevap verir. Ama tam da bu hız, en büyük tuzağı gizler. Yapay zeka uydurabilir: var olmayan bir çalışmayı, gerçek olmayan bir istatistiği, hatta düzmece bir kaynağı, gerçek bir bilim insanının adını ekleyerek, tıpkı doğruymuş gibi sunabilir. Bu ünitede yapay zekayı bir tarama başlangıç noktası olarak kullanmayı ve her iddiayı güvenilir kaynağa bağlayarak doğrulamayı işleyeceğiz.

Önce en kritik kavram: halüsinasyon. Dil modelinin, gerçekte olmayan bir bilgiyi, kaynağı ya da çalışmayı doğruymuş gibi üretmesidir. Model "gerçeği hatırlamaz"; olası kelime dizilerini üretir. Bu yüzden gerçek bir kaynağa çok benzeyen ama var olmayan bir referans ("Yılmaz ve ark., 2019, Çocuk Gelişimi Dergisi") üretmesi son derece olasıdır. Bir çocuk gelişimi uzmanı için sahte kaynağa dayanmak, mesleki güvenilirliği ve çocuğun iyiliğini riske atar.

Yapay zeka nerede yardımcı, nerede tehlikeli

Yapay zeka bir konuyu anlamak ve çerçevelemek için iyi bir başlangıçtır: bir kavramı basitleştirir, arama yapmanız için terimler önerir, bir metni özetler, karşıt görüşleri sıralar. Ama bir olgu kaynağı değildir: sayılar, tarihler, çalışma sonuçları, kesme puanları ve kaynaklar için ona güvenmeyin. Kural: YZ'yi haritayı çizmek için kullan, hazineyi kazmak için değil. Hazine (gerçek kanıt), hakemli literatür ve resmi kılavuzlardadır.

YZ'nin güvenli kullanımı

YZ'nin tehlikeli kullanımı

Bir kavramı sade dille açıklamak

Bir istatistiği kesin doğru sanmak

Arama terimi ve konu haritası önermek

Bir kaynağı doğrulamadan alıntılamak

Uzun bir metni özetlemek

Kilometre taşı yaşını ondan öğrenmek

Karşıt yaklaşımları çerçevelemek

Bir yöntemin kanıtını sorgusuz kabul etmek

Kanıt düzeyi ve moda-yöntem tuzağı

Her iddia eşit değildir; kanıt düzeyi önemlidir. Tek bir vaka anlatısı ile çok sayıda çocukta yapılmış, tekrarlanmış, hakemli bir çalışma aynı ağırlıkta değildir. Çocuk gelişiminde sık karşılaşılan bir tehlike moda-yöntem (kanıtı zayıf ama popüler yaklaşım) tuzağıdır: "şu yeni yöntem tüm gelişimsel gecikmeleri hızla düzeltir" gibi abartılı ve kesin vaatler, neredeyse her zaman zayıf kanıt işaretidir. Gerçek bilim temkinlidir; "kesin çözer", "mucize", "tüm çocuklarda işe yarar" ifadeleri uyarı bayrağıdır.

Doğrulama disiplini:

  1. İddiayı ayır. YZ metnindeki her olgusal iddiayı ve kaynağı işaretle.
  2. Kaynağı bağımsız doğrula. Kaynak gerçekten var mı? Hakemli mi? Güncel mi? Doğrudan bak.
  3. Kanıt düzeyini sorgula. Vaka mı, çalışma mı, sistematik derleme mi?
  4. Abartıyı yakala. Kesin ve mucizevi vaatlere kuşkuyla yaklaş.
  5. Resmi kaynağa dön. Ulusal/uluslararası kılavuz ve hakemli literatür son sözü söyler.
Dikkat: Yapay zekanın verdiği bir kaynağı "doğrulamak" için başka bir yapay zekaya sormak doğrulama değildir; iki model de aynı hatayı üretebilir. Doğrulama, kaynağın kendisine (dergi, kılavuz, resmi kurum) bakmakla olur.
İpucu: YZ'den bir konuyu özetlerken açıkça "kaynak uydurma; emin olmadığın yeri 'doğrulanmalı' diye işaretle; kesin kaynak veremiyorsan verme" talimatını verin. Bu, uydurma kaynak riskini azaltır ama ortadan kaldırmaz — yine de siz doğrularsınız.

Güncellik, bilgi tazeliği ve çıkar çatışması

Yapay zekanın bir başka sınırı bilgi tazeliğidir. Dil modelleri belirli bir tarihe kadar olan veriyle eğitilir; o tarihten sonra değişen bir kılavuz, güncellenen bir kilometre taşı listesi ya da yeni bir yaklaşım, modelin "bildiği" dünyada olmayabilir. Model bunu size söylemeden eski bilgiyi güncelmiş gibi sunabilir. Bu yüzden özellikle "en güncel", "son kılavuz", "yeni öneri" gibi konularda modele değil, resmi kurumun güncel yayınına bakın. Model bir başlangıç haritası verir; tarih damgası taşıyan gerçek kaynak son sözü söyler.

Bir diğer kritik süzgeç çıkar çatışmasıdır. Bir yöntemi, ürünü ya da programı öven bir içeriğin arkasında ticari bir çıkar olabilir. Yapay zeka, eğitim verisindeki pazarlama dilini farkında olmadan tekrarlayabilir ve bir markanın ya da yöntemin iddialarını tarafsız bilgiymiş gibi aktarabilir. Bir iddiayı değerlendirirken sorun: bunu kim, neden söylüyor; bağımsız ve hakemli bir kaynak mı, yoksa satış yapan taraf mı? Bağımsız kanıt ile üretici iddiası aynı ağırlıkta değildir. Çocuk ve aile söz konusu olduğunda, ticari yönlendirmeye karşı en iyi koruma, kanıt düzeyi ve kaynak bağımsızlığını her seferinde sorgulamaktır.

Dikkat: "Yeni ve devrimsel" olarak sunulan bir yöntem, hem bilgi tazeliği hem çıkar çatışması açısından çift risklidir: model onu ya hiç bilmiyordur ya da pazarlama diliyle biliyordur. Böyle iddiaları resmi kılavuz ve bağımsız hakemli literatürle teyit etmeden aileye taşımayın.

Dört kopyalanabilir prompt

1) Güvenli konu özeti promptu:

Rolün: taslak asistan. Şu konuyu bir uzmana yönelik sade biçimde özetle:[konu]. KAYNAK UYDURMA; kesin kaynak veremiyorsan verme. Emin olmadığınher olgusal iddiayı "[doğrulanmalı]" diye işaretle. Sonunda, bu konuyugüvenilir kaynaklarda aramam için 5 arama terimi öner.

2) İddia-kaynak ayıklama promptu:

Aşağıdaki metindeki her OLGUSAL İDDİAYI (sayı, tarih, çalışma sonucu,kaynak) ayrı ayrı listele. Her birinin yanına "bağımsız doğrulanmalı"notu koy. Metinde kaynak gösterilmişse, kaynağın gerçekten var olupolmadığını benim kontrol etmem gerektiğini hatırlat.Metin: [YZ çıktısı]

3) Moda-yöntem / abartı denetimi:

Aşağıdaki yaklaşım açıklamasını denetle: içinde abartılı ya da kesiniyileşme vaadi ("kesin çözer", "tüm çocuklarda", "hızla düzeltir", "mucize")var mı? Her birini işaretle. Yaklaşımın kanıt düzeyini (vaka / çalışma /derleme / bilinmiyor) tahmin et ve "resmi kaynaktan doğrula" uyarısı ekle.Metin: [yaklaşım açıklaması]

4) Kanıt düzeyi sorgulama promptu:

Şu iddia için bana, güvenilir bir değerlendirme yaparken sormam gereken5 KRİTİK SORU listele (örn. kaç çocukta test edildi, hakemli mi, tekrarlandımı, Türk örneklemi var mı, çıkar çatışması var mı). Cevapları uydurma;yalnızca soruları ver.İddia: [metin]

Üç mini vaka

Vaka 1 — Uydurma kaynak. Bir uzman YZ'ye bir müdahale yönteminin etkinliğini sorar. YZ akıcı bir özet verir ve "bu, 2021'de yapılan bir meta-analizde gösterilmiştir (Demir ve ark.)" der. Uzman kaynağı 2. promptla işaretler ve bağımsız arar; böyle bir meta-analiz yoktur. Kaynak uydurmadır. Uzman iddiayı gerçek, hakemli kaynaklarla doğrulanana kadar kullanmaz.

Vaka 2 — Moda-yöntem. YZ, sosyal medyada popüler bir yöntemin "tüm gelişimsel gecikmeleri birkaç haftada düzelttiğini" aktarır. Uzman 3. promptla abartıyı yakalar; bu kesinlik ve genelleme zayıf kanıt işaretidir. Resmi kılavuzlara ve hakemli literatüre bakar; yöntemin iddia edilen etkiyi destekleyen güçlü kanıtı yoktur. Aileye önermez.

Vaka 3 — Doğru kullanım. Bir uzman yeni bir tarama yaklaşımını öğrenmek ister. YZ'yi 1. promptla konuyu çerçevelemek ve arama terimleri almak için kullanır; sonra bu terimlerle resmi kılavuzlara ve hakemli kaynaklara gider. YZ haritayı çizdi, uzman hazineyi güvenilir kaynaktan kazdı. Sonuç: hem hızlı hem güvenilir.

Zayıf prompt / Güçlü prompt

Zayıf prompt:

Şu gelişim yönteminin işe yaradığını kanıtlayan çalışmaları kaynağıyla yaz.

Sorun: YZ'yi kaynak uydurmaya doğrudan davet ediyor; "işe yaradığını kanıtla" yanlılık yüklü; doğrulama öngörülmemiş.

Güçlü prompt:

Şu yöntemi tarafsız biçimde özetle: [yöntem]. Lehte ve aleyhtenoktaları ayır. KAYNAK UYDURMA; kesin kaynak veremiyorsan verme; herolgusal iddiayı "[doğrulanmalı]" işaretle. Sonunda hakemli literatürdearamam için 5 arama terimi ve kanıt düzeyini sorgulayacağım 3 soru ver.

Sık yapılan hatalar

  • Uydurma kaynağa güvenmek: Her kaynağı bağımsız, doğrudan doğrulayın.
  • YZ'yi olgu kaynağı sanmak: Sayı/tarih/kesme puanı için ona güvenmeyin.
  • Abartıyı görmezden gelmek: "Kesin çözer/mucize" ifadeleri zayıf kanıt işaretidir.
  • İki modelle "doğrulama": Başka bir YZ'ye sormak doğrulama değildir.
  • Kanıt düzeyini atlamak: Tek vaka ile sistematik derleme aynı ağırlıkta değildir.

Özetle

Yapay zeka güncel bilgiyi çerçevelemek, sadeleştirmek ve arama başlatmak için güçlü bir başlangıç noktasıdır; ama bir olgu ve kaynak otoritesi değildir. Halüsinasyon nedeniyle sahte kaynak ve istatistik üretebilir. Her olgusal iddiayı ve kaynağı bağımsız olarak, doğrudan hakemli literatür ve resmi kılavuzlardan doğrulayın; kanıt düzeyini sorgulayın; abartılı ve kesin vaatleri (moda-yöntem) uyarı bayrağı olarak görün. YZ haritayı çizer; hazineyi güvenilir kaynaktan siz kazarsınız.

Uygulama görevi

Güncel bir konu ya da yöntem seçin. 1. promptla güvenli bir özet ve arama terimleri alın. 2. promptla YZ çıktısındaki olgusal iddiaları ve kaynakları ayıklayın; en az bir kaynağı bağımsız arayıp gerçek olup olmadığını kontrol edin. 3. promptla abartı/moda-yöntem denetimi yapın. Bulduğunuz en az bir uydurma/doğrulanamayan kaynağı ve bir abartılı ifadeyi not edin; sonra gerçek, güvenilir bir kaynakla iddiayı teyit edin.

Kontrol listesi

  • [ ] Her olgusal iddiayı ve kaynağı işaretledim.
  • [ ] Kaynakları bağımsız ve doğrudan (dergi/kılavuz/kurum) doğruladım.
  • [ ] Kanıt düzeyini sorguladım (vaka mı, çalışma mı, derleme mi).
  • [ ] Abartılı/kesin vaatleri moda-yöntem uyarısıyla ele aldım.
  • [ ] YZ'yi olgu kaynağı değil, çerçeveleme aracı olarak kullandım.
  • [ ] Başka bir YZ'yi "doğrulama" için kullanmadım.
  • [ ] Nihai bilgiyi hakemli literatür ve resmi kılavuza dayandırdım.