Uçtan Uca Uygulama: Değerlendirme, Doğrulama, Etik ve Sınırlar

Kazanimlar:

• Bir modeli kendi verinizle değerlendiren küçük bir test seti (eval) kurabilme
• İnsan doğrulaması, sınırlar ve sorumlu kullanım politikasını iş akışına yerleştirme
• Halüsinasyon, gizlilik ve etik risklerini tanıyıp azaltıcı önlemleri uygulama

Doğru modeli seçtiniz; iş bitti mi? Hayır, asıl iş şimdi başlıyor. Bir modeli işinize koymak, onu kendi verinizle sınamak, çıktısını doğrulamak ve sorumlu bir çerçeveye oturtmakla tamamlanır. Bu son ünite, tüm modülü uçtan uca bir uygulamaya dönüştürüyor: küçük bir test seti (eval) kurmayı, insan doğrulamasını iş akışına yerleştirmeyi, halüsinasyon ve gizlilik risklerini yönetmeyi ve etik sınırları çizmeyi öğreneceksiniz. Ünite bittiğinde, bir modeli yalnızca seçmekle kalmayıp güvenle devreye alabilecek donanıma sahip olacaksınız.

Değerlendirme (Eval): Kendi Verinizle Sınamak

Bir modelin sizin işinize uyup uymadığını, reklamların değil yalnızca gerçek verinizin söyleyebileceğini artık biliyorsunuz. Bunu ölçmenin yolu bir değerlendirme seti (eval) kurmaktır: işinizden alınmış, doğru cevabı bilinen küçük bir örnek koleksiyonu.

Basit bir eval şöyle kurulur:

1. 10-30 gerçek örnek toplayın. İşinizde tipik olan girdileri seçin (zor ve kolay karışık olsun).
2. Her örnek için "doğru/beklenen çıktıyı" belirleyin. Bir uzman ne cevap verirdi?
3. Adayları aynı örneklerle çalıştırın. Karşılaştırdığınız modelleri tek tek aynı setle test edin.
4. Sonuçları puanlayın. Kaç örnekte doğru? Nerede hata yaptı? Hatalar kabul edilebilir mi?
5. Karşılaştırıp seçin. En yüksek genel puanı değil, sizin için en kritik örneklerde en güvenilir olanı seçin.

İpucu: Genel sıralama tablolarına (leaderboard) körü körüne güvenmeyin. Bir model dünya genelinde birinci olabilir ama sizin özel Türkçe hukuk metinlerinizde ikinci sıradakinden daha kötü performans gösterebilir. 20 örneklik kendi eval'iniz, yüzlerce genel testten daha değerlidir.

Halüsinasyon: Modelin En Sinsi Riski

Halüsinasyon, modelin gerçekte doğru olmayan bir bilgiyi kendinden emin bir dille üretmesidir. Model "bilmiyorum" demek yerine, olmayan bir kanun maddesi, uydurma bir istatistik ya da yanlış bir tarih üretebilir; üstelik bunu son derece ikna edici bir dille yapar. Bu, yapay zekânın en tehlikeli tarafıdır çünkü hata, doğruymuş gibi görünür.

Halüsinasyonu tamamen ortadan kaldıramazsınız, ama azaltabilir ve yakalayabilirsiniz:

• Kaynağa dayandırın: Modelin kendi "hafızasından" değil, verdiğiniz belgelerden cevap üretmesini isteyin (RAG mantığı).
• Kaynak talep edin: "Her iddianın yanına dayandığı belge/bölümü yaz" deyin; kaynak veremiyorsa şüphelenin.
• Emin olmadığını söyletmek: "Emin değilsen 'net değil' yaz" talimatı, modelin uydurmasını azaltır.
• İnsan doğrulaması: Kritik çıktıları mutlaka bir insan teyit etsin.

Dikkat: Hukuki, tıbbi ve finansal kararlarda model çıktısını asla doğrulamadan kullanmayın. Modelin ürettiği bir "kanun maddesi" ya da "doz bilgisi" tamamen uydurma olabilir. Bu alanlarda AI bir taslak/ön eleme aracıdır; son sözü her zaman yetkin bir insan söyler.

İnsan Doğrulaması Zorunluluğu

Yapay zekâ, insanı işten çıkaran değil, insanı hızlandıran bir araç olarak en iyi çalışır. Doğru kurgu şöyledir: model taslağı üretir ya da ön eleme yapar; insan gözden geçirir, düzeltir ve onaylar. Doğrulamanın ne kadar sıkı olması gerektiği, hatanın bedeline bağlıdır.

Görev

Hata bedeli

İnsan doğrulaması

Ürün açıklaması taslağı

Düşük

Örneklem denetimi yeter

Müşteri e-postası yanıtı

Orta

Gönderim öncesi gözden geçirme

Sözleşme risk analizi

Yüksek

Madde madde uzman teyidi

Tıbbi/finansal öneri

Çok yüksek

Tam uzman doğrulaması, AI yalnızca destek

Bu tablo, "her çıktıyı elle kontrol etmek" ile "hiç kontrol etmemek" arasındaki dengeyi kurar. Düşük bedelli işlerde örneklem denetimi yeterken, yüksek bedelli işlerde her çıktı doğrulanmalıdır.

Etik ve Sorumlu Kullanım

Model seçimi teknik bir karar gibi görünse de, arkasında etik sorumluluklar vardır:

• Şeffaflık: Müşterilerinize ya da çalışanlarınıza, AI kullandığınızı uygun yerlerde bildirin. Bir müşteri, bir insanla mı yoksa AI ile mi konuştuğunu bilme hakkına sahiptir.
• Önyargı (bias): Modeller, eğitildikleri veriden önyargı miras alabilir. İşe alım, kredi değerlendirme gibi hassas alanlarda çıktıların adil olup olmadığını izleyin.
• Gizlilik: 8. ünitede öğrendiğiniz veri koruma ilkelerini iş akışına gömün; kişisel veriyi düşünmeden göndermeyin.
• Hesap verebilirlik: Bir hata olduğunda "AI yaptı" savunması yeterli değildir. Sorumluluk, aracı kullanan kurumdadır. Bu yüzden doğrulama süreçlerini belgeleyin.

İpucu: İş akışınıza küçük bir "sorumlu kullanım politikası" yazın: hangi işlerde AI kullanılabilir, hangi verilerin gönderilemeyeceği, kimin doğrulayacağı ve hataların nasıl raporlanacağı. Bir sayfalık bu belge, ileride büyük sorunları önler.

Üç Gerçekçi Vaka

Vaka 1 — Eval kurmadan pişmanlık. Bir sigorta ekibi, en popüler modeli test etmeden hasar taleplerini özetlemeye başlıyor. İki hafta sonra fark ediyorlar ki model, Türkçe teknik terimlerde sık hata yapıyor ve bazı tutarları yanlış okuyor. 20 örneklik bir eval kurup üç modeli karşılaştırdıklarında, en popüler olmayan ama Türkçe teknik metinlerde daha isabetli olan modele geçiyorlar. Kayıp: iki hafta ve düzeltme emeği. Ders: önce eval, sonra devreye alma.

Vaka 2 — Halüsinasyonu yakalayan süreç. Bir hukuk asistanı, model çıktısında bir "Yargıtay kararı" referansı görüyor. Süreçlerinde "her referansı teyit et" kuralı olduğu için kararı arıyor ve böyle bir kararın var olmadığını buluyor; model uydurmuş. İnsan doğrulaması sayesinde uydurma bilgi müvekkile hiç ulaşmıyor. Doğrulama kuralı olmasaydı, itibar kaybı ciddi olabilirdi.

Vaka 3 — Şeffaflıkla güven. Bir e-ticaret firması, müşteri destek yanıtlarını AI ile üretiyor ama her yanıtın altına "Bu yanıt yapay zekâ desteğiyle hazırlanmış olup bir temsilcimiz tarafından gözden geçirilmiştir" notunu ekliyor. Müşteriler, hem hızlı yanıt hem de bir insanın devrede olduğunu görmenin güveniyle daha memnun. Şeffaflık, gizlenecek bir zayıflık değil, güven kaynağı oluyor.

Zayıf Prompt / Güçlü Prompt: Doğrulanabilir Çıktı

Zayıf prompt:

Bu sözleşmenin riskli maddelerini söyle.

Model uydurabilir; kaynak yok, belirsizlik işareti yok.

Güçlü prompt:

Rolün: sözleşme analisti (nihai karar bir avukatındır).Görev: Aşağıdaki sözleşmede riskli olabilecek maddeleri işaretle.Her bulgu için: (1) madde numarası ve birebir alıntı, (2) neden riskli olduğu,(3) güven düzeyin (yüksek/orta/düşük).Sadece metinde geçen maddelere dayan; metinde olmayan hiçbir madde uydurma.Emin olmadığın yerde "avukat teyidi gerekir" yaz.[sözleşme]

Güçlü prompt, her iddiayı kaynağa (madde numarası + alıntı) bağlar, güven düzeyi ister ve uydurmayı yasaklar; bu, halüsinasyonu yakalanabilir kılar.

Kopyalanabilir Şablonlar

1. Eval seti tasarımı:

Şu görev için [GÖREV] bir değerlendirme seti tasarla. 15 örnek girdi öner(kolay-orta-zor karışık), her biri için "beklenen doğru çıktı"nın nasıltanımlanacağını ve bir puanlama ölçütü (1-5) belirle.

2. Halüsinasyon azaltıcı sarma:

Şu prompt'u, uydurmayı azaltacak şekilde yeniden yaz: "[PROMPT]".Kaynağa dayanma, güven düzeyi belirtme ve "emin değilsen söyle" kurallarını ekle.

3. Doğrulama akışı tasarımı:

Şu iş akışında [İŞ AKIŞI] AI çıktısı için bir insan doğrulama adımı tasarla.Hatanın bedeline göre doğrulamanın ne kadar sıkı olması gerektiğini belirle;kim, neyi, ne zaman kontrol edecek yaz.

4. Sorumlu kullanım politikası taslağı:

[SEKTÖR] alanında bir ekip için bir sayfalık "sorumlu AI kullanım politikası"taslağı çıkar. Şu başlıkları içersin: izin verilen kullanımlar, yasak veriler,doğrulama sorumluluğu, şeffaflık bildirimi, hata raporlama.

Sık yapılan hatalar

• Eval'siz devreye almak: Modeli kendi verinizle test etmeden işe koyup, hataları müşteriye/işe yansıdıktan sonra fark etmek.
• Halüsinasyona güvenmek: Modelin kendinden emin dilini doğruluk sanıp referansları teyit etmeden kullanmak.
• İnsan doğrulamasını atlamak: Yüksek bedelli kararlarda çıktıyı denetimsiz bırakmak; "AI yaptı" savunmasına yaslanmak.
• Şeffaflıktan kaçınmak: AI kullandığını gizlemek; ortaya çıktığında güven kaybı yaşamak.
• Etik ve önyargıyı görmezden gelmek: Hassas kararlarda (işe alım, kredi) çıktının adilliğini izlemeden kullanmak.

Özetle

• Bir modeli devreye almadan önce kendi verinizle küçük bir eval seti kurup adayları sınayın; genel sıralamalar sizin işinizi temsil etmez.
• Halüsinasyon, modelin kendinden emin bir dille yanlış üretmesidir; kaynağa dayandırma, güven düzeyi ve insan teyidiyle yakalanır.
• İnsan doğrulamasının sıkılığı hatanın bedeline göre ayarlanır; kritik alanlarda AI yalnızca destek, karar insanındır.
• Şeffaflık, önyargı denetimi, gizlilik ve hesap verebilirlik; sorumlu AI kullanımının dört sütunudur. Bir sayfalık politika büyük riskleri önler.

Uygulama görevi

Modül boyunca seçtiğiniz aday model(ler) için bu ünitedeki 1. şablonla (eval seti tasarımı) 15 örneklik bir değerlendirme seti kurun ve en az iki modeli bu setle karşılaştırın. Ardından 3. şablonla (doğrulama akışı) çıktının nasıl insan tarafından teyit edileceğini tasarlayın ve 4. şablonla (sorumlu kullanım politikası) ekibiniz için bir sayfalık politika taslağı çıkarın. Bu üç çıktı, tüm modülü uygulanabilir bir devreye alma planına dönüştürür.

Kontrol listesi

• [ ] Kendi verimle küçük bir eval seti kurup modelleri karşılaştırabiliyorum.
• [ ] Halüsinasyonu tanıyıp azaltıcı ve yakalayıcı önlemleri uygulayabiliyorum.
• [ ] İnsan doğrulamasının sıkılığını hatanın bedeline göre ayarlayabiliyorum.
• [ ] Şeffaflık, önyargı, gizlilik ve hesap verebilirlik ilkelerini iş akışına gömebiliyorum.
• [ ] Bir sayfalık sorumlu AI kullanım politikası taslağı çıkarabiliyorum.

Modul Sinavi

1. Bir AI 'sağlayıcısı' ile 'model ailesi' arasındaki fark nedir?

• A) Sağlayıcı modeli geliştiren şirket, model ailesi ise o şirketin bir marka altındaki model grubudur ✔
• B) İkisi tamamen aynı şeydir ve birbirinin yerine kullanılır
• C) Sağlayıcı modelin fiyatı, model ailesi ise modelin hızıdır
• D) Model ailesi şirketi, sağlayıcı ise tek bir model sürümünü ifade eder

Aciklama: Sağlayıcı modeli geliştiren şirkettir (örneğin Anthropic); model ailesi ise o şirketin bir marka altında topladığı model grubudur (örneğin Claude). Model sürümü ise aile içindeki belirli bir versiyondur.

2. Bir modelin 'ağırlıkları' (weights) en doğru şekilde nasıl tanımlanır?

• A) Modelin dakikada üretebildiği token sayısıdır
• B) Modelin eğitim sırasında öğrendiği ve bilgisini sakladığı milyarlarca sayısal parametredir ✔
• C) Modelin aylık abonelik ücretidir
• D) Modelin desteklediği dil sayısıdır

Aciklama: Ağırlıklar, modelin eğitim sırasında öğrendiği milyarlarca sayısal parametredir; modelin 'bildiği her şeyin' saklandığı yerdir. Kapalı/açık ağırlık ayrımı, bu parametrelerin indirilip çalıştırılabilir olup olmadığıyla ilgilidir.

3. 'Açık ağırlık' (open-weight) ile 'açık kaynak' (open-source) hakkında hangi ifade doğrudur?

• A) Tamamen aynı kavramlardır ve her ikisi de sınırsız ticari kullanım verir
• B) Açık ağırlık her zaman eğitim verisini de kamuya açar
• C) Aynı şey değildir; açık ağırlıkta genelde yalnızca parametreler paylaşılır ve lisans şartları ticari kullanımı sınırlayabilir ✔
• D) Açık kaynak modeller indirilemez, açık ağırlık modeller indirilebilir

Aciklama: Açık ağırlıkta yalnızca model parametreleri paylaşılır; eğitim verisi ve süreç genellikle açıklanmaz ve bazı lisanslar ticari kullanımı sınırlar. Bu yüzden 'açık ağırlık' ile tam anlamıyla 'açık kaynak' aynı şey değildir.

4. Uzun sözleşmeleri okuyup analiz eden bir hukuk ekibi için en belirleyici model özelliği aşağıdakilerden hangisidir?

• A) En düşük token fiyatına sahip olması
• B) Görsel (multimodal) işleme yeteneği olması
• C) Açık ağırlık lisansına sahip olması
• D) Geniş bir bağlam penceresine sahip olması ✔

Aciklama: Uzun belgeleri bir bütün olarak işleyebilmek için modelin geniş bir bağlam penceresine (context window) ihtiyacı vardır; bağlam penceresi, modelin bir seferde aklında tutabildiği toplam token miktarıdır.

5. Kapalı ağırlık modellerin token fiyatlandırması hakkında hangisi doğrudur?

• A) Çıktı token'ı genellikle girdi token'ından belirgin biçimde daha pahalıdır ✔
• B) Girdi ve çıktı her zaman tam olarak aynı fiyattadır
• C) Yalnızca sabit aylık ücret alınır, kullanım miktarı önemsizdir
• D) Girdi token'ı çıktıdan her zaman kat kat pahalıdır

Aciklama: Fiyat token başına hesaplanır ve modelin ürettiği çıktı token'ı, gönderdiğiniz girdi token'ından genellikle birkaç kat daha pahalıdır. Bu yüzden uzun ve gereksiz çıktılar maliyeti hızla artırır.

6. Fatura görsellerinden otomatik veri çıkarmak isteyen bir muhasebe ekibi için bir modelde hangi özellik şarttır?

• A) Mümkün olan en geniş bağlam penceresi
• B) Multimodalite (görsel işleyebilme yeteneği) ✔
• C) Açık ağırlık lisansı
• D) En yüksek akıl yürütme (reasoning) seviyesi

Aciklama: Görsel içeriği anlamak için modelin metin dışında görüntü de işleyebilmesi, yani multimodal olması gerekir. Multimodalite, modelin metin, görsel ve bazen ses gibi birden çok veri türünü işleyebilme yeteneğidir.

7. Yüksek hacimli ve basit bir görev için (örneğin binlerce yorumun olumlu/olumsuz sınıflandırması) en mantıklı seçim hangisidir?

• A) Her zaman en güçlü ve en pahalı akıl yürütme modeli
• B) Yalnızca açık ağırlık ve kendi sunucuda çalışan bir model
• C) Hafif ve düşük maliyetli bir model, çünkü görev basit ve hacim yüksektir ✔
• D) En geniş bağlam penceresine sahip model

Aciklama: Basit ve yüksek hacimli görevlerde hafif ve düşük maliyetli bir model işi görür; en güçlü ve en pahalı modeli kullanmak burada gereksiz maliyet yaratır. Doğru yaklaşım, görevin zorluğuyla model kademesini eşleştirmektir.

8. Kişisel veri içeren metni, yurt dışı merkezli bir AI sağlayıcısına göndermek KVKK açısından neyi tetikler?

• A) Hiçbir yasal yükümlülük doğurmaz
• B) Yalnızca sağlayıcı AB'deyse önemlidir, başka hiçbir durumda önemli değildir
• C) Verinin anonim olup olmadığına bakılmaksızın her koşulda kesinlikle yasaktır
• D) Yurt dışına veri aktarımı sayılır ve KVKK'nın özel şartlarına tabidir ✔

Aciklama: Veriyi yurt dışındaki bir sağlayıcının sunucularında işletmek 'yurt dışına veri aktarımı' sayılır ve KVKK'nın bu konudaki özel şartlarına (açık rıza, yeterlilik kararı, uygun güvenceler gibi) tabidir.

9. Bir modelin 'akıl yürütme' (reasoning) modu ne işe yarar ve maliyeti nasıl etkiler?

• A) Karmaşık problemlerde doğruluğu artırır, ancak daha fazla token ürettiği için maliyeti ve gecikmeyi yükseltir ✔
• B) Modeli her zaman ücretsiz hale getirir
• C) Yalnızca modelin desteklediği dil sayısını artırır
• D) Cevapları her zaman kısaltıp maliyeti düşürür

Aciklama: Akıl yürütme modu, model cevabı vermeden önce adım adım 'düşünmesine' izin verir; çok adımlı ve karmaşık problemlerde doğruluğu artırır ancak daha fazla token ürettiği için maliyeti ve gecikmeyi de yükseltir.

10. Bir modeli kendi işiniz için değerlendirirken (eval) en güvenilir yaklaşım hangisidir?

• A) Yalnızca en popüler modeli seçip test etmeden kullanmak
• B) Kendi gerçek görevlerinizden oluşan küçük bir test seti kurup modelleri onunla karşılaştırmak ✔
• C) Sadece reklamlarda geçen kıyaslama (benchmark) puanına bakmak
• D) En yüksek bağlam penceresine sahip modeli otomatik en iyi kabul etmek

Aciklama: Genel sıralama tablolarına (leaderboard) körü körüne güvenmek yerine, kendi gerçek görevlerinizden oluşan küçük bir test seti hazırlayıp modelleri bu set üzerinde karşılaştırmak, işinize gerçekten uyanı ortaya çıkarır.

11. Model çıktısının 'halüsinasyon' içerebileceği bilgisi, iş akışınızı nasıl şekillendirmelidir?

• A) Çıktı her zaman doğru kabul edilip doğrudan yayınlanmalıdır
• B) Halüsinasyon yalnızca ücretsiz modellerde görülür, ücretlilerde görülmez
• C) Kritik kararlarda çıktı mutlaka bir insan tarafından doğrulanmalı, kaynaklar teyit edilmelidir ✔
• D) Sadece modeli değiştirerek halüsinasyon tamamen ortadan kaldırılabilir

Aciklama: Halüsinasyon, modelin gerçekte doğru olmayan bir bilgiyi kendinden emin bir dille üretmesidir. Bu risk nedeniyle, özellikle hukuki, tıbbi ve finansal kararlarda çıktının bir insan tarafından doğrulanması zorunlu tutulmalıdır.

12. Olgun kurumların benimsediği 'model portföyü' yaklaşımının temel mantığı nedir?

• A) Her işi tek ve en pahalı modele yaptırarak basitlik sağlamak
• B) Yalnızca en ucuz modeli kullanıp kaliteyi tamamen göz ardı etmek
• C) Hiç model kullanmayıp tüm işleri elle yapmak
• D) Göreve göre farklı modeller kullanarak maliyeti optimize etmek ve tek sağlayıcıya bağımlılığı azaltmak ✔

Aciklama: Model portföyü, göreve göre farklı modeller kullanmaktır: basit ve hacimli işlere ucuz model, karmaşık işlere güçlü model, gizli verilere açık ağırlık/bölgesel model. Bu hem maliyeti optimize eder hem de tek sağlayıcıya bağımlılığı azaltır.

13. Menşe ülkesi ve veri saklama politikası, model seçiminde neden bir kriter olabilir?

• A) Yasal düzenleme, veri egemenliği ve gizlilik gereksinimlerini doğrudan etkilediği için ✔
• B) Yalnızca modelin cevap hızını belirlediği için
• C) Modelin desteklediği dosya biçimlerini belirlediği için
• D) Hiçbir pratik etkisi olmadığı, sadece bir pazarlama detayı olduğu için

Aciklama: Modelin geliştiricisinin bulunduğu ülke ve verinin nerede/ne kadar saklandığı; yasal düzenleme, veri egemenliği ve gizlilik açısından belirleyicidir. Örneğin AB sınırları içinde barındırma isteyen bir kurum için bölgesel bir sağlayıcı veya sıfır saklama seçeneği önem kazanır.

14. Bir görevde 'tek en iyi model' aramanın neden yanıltıcı olduğunu en iyi hangisi açıklar?

• A) Tüm modeller aslında birebir aynı yeteneklere sahiptir
• B) Modeller farklı boyutlarda güçlüdür, bu yüzden 'en iyi' işin gereksinimine göre değişir ✔
• C) En pahalı model her görevde otomatik olarak en iyisidir
• D) Model seçimi tamamen rastgele yapılmalıdır

Aciklama: Modeller hız, maliyet, bağlam, multimodalite, gizlilik ve akıl yürütme gibi farklı boyutlarda güçlüdür. Bir boyutta lider olan model başka bir boyutta zayıf olabilir; bu yüzden 'en iyi' her zaman işin gereksinimine göre değişir.