Kazanimlar:
- RAG'in yanıtı kurumun gerçek belgelerine bağlayıp kaynak göstererek halüsinasyonu nasıl azalttığını kavrayıp temiz bir belge tabanının önemini uygulayabilme
- RAG çıktısının kaynağını, tarihini ve güncelliğini kontrol edip çelişkili sürümleri ayırt edebilme
- Erişim denetimiyle yetkisiz belgelerden yanıt üretimini engelleyip kurumsal gizliliği koruyabilme
Bir kurumun belleği, dağınık binlerce belgede yaşar: raporlar, kılavuzlar, tutanaklar, prosedürler, e-postalar. Bir çalışan basit bir soruyu ("bu prosedür nasıl işliyor?") yanıtlamak için saatlerce belge arayabilir. Bilgi yöneticisinin hayali, bu belleğin sorulara doğrudan, ama kaynağa dayalı yanıt vermesidir. İşte RAG tam da bunu vaat eder. Bu ünitede RAG'in ne olduğunu, kurumsal bilgi yönetiminde nasıl kullanılacağını ve doğruluk, gizlilik ve güncellik açısından nasıl güvence altına alınacağını öğreneceksiniz.
Kavramı tanımlayalım. RAG (Retrieval-Augmented Generation — erişimle güçlendirilmiş üretim), bir YZ'nin bir soruyu yanıtlarken önce kurumun kendi belgelerinden ilgili parçaları bulup (erişim), sonra yanıtı yalnızca bu parçalara dayanarak üretmesidir. Bu, genel bir YZ'nin belleğinden cevap üretmesinden temelde farklıdır: RAG, yanıtı gerçek, izlenebilir belgelere bağlar ve kaynak gösterir. Böylece halüsinasyon büyük ölçüde azalır, çünkü YZ "kafasından" değil, kurumun belgesinden konuşur.
Adım adım: bir kurumsal RAG sistemini anlamak
1. Belge tabanını hazırla. Kurumun güvenilir, güncel belgeleri toplanır, temizlenir ve parçalara (chunk — bir belgenin anlamlı küçük bölümleri) ayrılır. Kötü, eski ya da çelişkili belgeler sisteme girerse, yanıtlar da kötü olur: "çöp girerse çöp çıkar."
2. Gömme ve indeksleme yap. Her parça, anlamını temsil eden bir vektöre (gömme) dönüştürülür ve aranabilir bir dizine konur. Bir soru geldiğinde, sistem anlamca en yakın parçaları bulur.
3. İlgili parçaları getir. Soru sorulduğunda sistem, belge tabanından en ilgili birkaç parçayı çeker. Bu adım kritiktir: yanlış parça getirilirse yanıt da yanlış olur.
4. Kaynağa dayalı yanıt üret. YZ, yalnızca getirilen parçalara dayanarak yanıt üretir ve hangi belgeden aldığını gösterir. Kaynak göstermeyen bir yanıt, RAG'in amacına aykırıdır.
5. Doğrula ve geri bildir. Kullanıcı, gösterilen kaynağa gidip yanıtı teyit edebilmelidir. Yanlış ya da eksik yanıtlar, belge tabanını iyileştirmek için geri bildirime dönüşür.
İpucu: RAG'in kalitesi büyük ölçüde belge tabanının kalitesine bağlıdır. Sisteme koymadan önce belgeleri güncelleyin, çelişkili/eski sürümleri ayıklayın ve her belgeye tarih ve köken bilgisi ekleyin. İyi düzenlenmiş 500 belge, dağınık 5.000 belgeden daha iyi yanıt üretir.
RAG'in sınırları ve güvence noktaları
RAG halüsinasyonu azaltır ama sıfırlamaz. Sistem yanlış parça getirirse, YZ o yanlış parçaya "sadık" kalarak yine de yanlış yanıt verebilir. Ayrıca YZ, getirilen parçaları yanlış yorumlayabilir ya da birden çok parçayı çelişkili biçimde birleştirebilir. Bu yüzden RAG çıktısı da, özellikle kritik kararlar için, kaynağa gidilerek doğrulanmalıdır.
Gizlilik, kurumsal RAG'de merkezi bir konudur. Belge tabanı hassas bilgiler (personel, sözleşme, strateji) içerebilir. Sistem, kullanıcının yetkisi olmayan belgelerden yanıt üretmemelidir; erişim denetimi (kimin hangi belgeyi görebileceği) RAG'e de uygulanmalıdır. Aksi halde bir çalışan, göremeyeceği bir bilgiye RAG üzerinden ulaşabilir.
Dikkat: RAG bir belgeden alıntı yaparken bile, o belgenin güncel ve doğru olduğunu garanti etmez. Sistem, üç yıl önceki eski bir prosedür belgesinden yanıt verebilir. Kaynak belgenin tarihini ve geçerliliğini kontrol etmek, kullanıcının ve bilgi yöneticisinin sorumluluğudur.
Üç mini vaka
Vaka 1 — Prosedür soruları hızlandı. Bir kurum, 1.200 sayfalık iç prosedür kılavuzları için RAG sistemi kurdu. Çalışanların "bu işlem nasıl yapılır" soruları, kaynağı gösteren yanıtlarla saniyeler içinde çözüldü; ortalama arama süresi 25 dakikadan 2 dakikaya indi. Her yanıt, dayandığı belge bölümüne bağlantı verdiği için çalışanlar teyit edebildi.
Vaka 2 — Eski belge yakalandı. Bir RAG sistemi, bir izin prosedürü sorusuna 2021 tarihli eski bir belgeden yanıt verdi; oysa 2024'te güncel bir sürüm yayınlanmıştı. Kaynak bağlantısını açan çalışan, tarihin eski olduğunu fark etti ve güncel belgeyi buldu. Bilgi yöneticisi, eski sürümü belge tabanından çıkardı.
Vaka 3 — Yetkisiz erişim önlendi. İlk kurulumda RAG, tüm belgeleri herkese açık şekilde tarıyordu; bir çalışan, görmemesi gereken bir bordro belgesinden yanıt aldı. Ekip, erişim denetimini RAG'e ekledi: sistem artık yalnızca kullanıcının yetkili olduğu belgelerden yanıt üretiyor.
Değerlendirme, geri bildirim ve sürekli iyileştirme
Bir RAG sistemi bir kez kurulup unutulacak bir araç değildir; sürekli değerlendirme ve iyileştirme ister. Bunun temeli, sistemin gerçek sorulara verdiği yanıtların düzenli olarak ölçülmesidir. İki soru kritiktir: sistem doğru belge parçalarını getiriyor mu (erişim kalitesi) ve getirilen parçalardan doğru yanıtı üretiyor mu (üretim kalitesi)? Bu iki katmanı ayrı ayrı değerlendirmek gerekir; çünkü doğru belgeyi getirip yanlış yorumlamak ile yanlış belgeyi getirip onu sadık biçimde aktarmak farklı sorunlardır ve farklı çözümler gerektirir. İyi bir uygulama, bilinen doğru yanıtlara sahip bir "test soruları" kümesi tutmak ve sistemi her güncellemede bu kümeyle sınamaktır. Ayrıca kullanıcıların "bu yanıt yardımcı oldu mu / kaynak doğru muydu" geri bildirimi, hem belge tabanındaki boşlukları hem de yanlış getirilen parçaları ortaya çıkarır. YZ, bu geri bildirimleri toplulaştırıp en sık başarısız olan soru türlerini özetlemede yardımcı olabilir; ama hangi belgenin ekleneceği, güncelleneceği ya da çıkarılacağı kararı bilgi yöneticisine aittir. Sistem canlı bir organizma gibi bakım ister; bakımsız bir RAG, zamanla eskiyen belgeler yüzünden giderek daha yanıltıcı hale gelir.
İpucu: RAG sistemini kurar kurmaz, 20-30 gerçek soru ve bilinen doğru yanıtlarından oluşan küçük bir test seti hazırlayın. Her belge güncellemesinde bu seti çalıştırmak, bir değişikliğin sistemi iyileştirdiğini mi yoksa bozduğunu mu anında gösterir.
Dört kopyalanabilir şablon
1) Kaynağa dayalı yanıt istemi:
Rolün: kurumsal bilgi asistanı. Aşağıda soruyla ilgili getirilenbelge parçaları var. Yanıtı YALNIZCA bu parçalara dayanarak verve her bilgi için hangi belge/parçadan olduğunu belirt. Parçalardayanıt yoksa "verilen belgelerde bu bilgi yok" de, tahmin etme.Soru: [buraya] / Parçalar: [buraya]
2) Çelişki ve güncellik kontrolü:
Aşağıdaki getirilen parçalar arasında çelişki veya farklı tarihlisürümler var mı? Varsa işaretle ve hangisinin daha güncelgöründüğünü belirt. Parçalar (tarihleriyle): [buraya]
3) Belge tabanı temizlik denetimi:
Aşağıdaki belge listesinde, bir RAG sistemine konmadan önceayıklanması gereken eski, çelişkili veya kaynağı belirsiz belgelervar mı? İşaretle ve nedenini yaz. Liste (tarih/kaynak ile): [buraya]
4) Gizlilik ve erişim ön kontrolü:
Aşağıdaki belge parçalarında hassas bilgi (kişisel veri, gizlisözleşme, strateji) var mı? Her birini "genel / kısıtlı erişim"olarak sınıfla ve gerekçe ver. Parçalar: [buraya]
Zayıf prompt / Güçlü prompt
Zayıf prompt:
Kurumumuzun izin prosedürünü anlat.
Belge verilmezse YZ, genel belleğinden ya da başka kurumların uygulamasından uydurma bir prosedür üretir; kurumun gerçek kuralıyla ilgisiz olabilir.
Güçlü prompt:
Rolün: kurumsal bilgi asistanı. Aşağıda kurumun izin prosedürüyleilgili getirilen belge parçaları (tarihleriyle) var. Soruyu yalnızcabu parçalara dayanarak yanıtla, her adımda kaynak belgeyi ve tarihinibelirt. Parçalar çelişiyorsa en güncelini kullan ve bunu söyle.Belgede yoksa "bilgi yok" de. Soru: [buraya] / Parçalar: [buraya]
Güçlü prompt; yanıtı gerçek kurum belgelerine bağlar, kaynak ve tarih ister, çelişkiyi ve boşluğu dürüstçe ele alır.
RAG bileşen ve risk tablosu
Bileşen
İşlevi
Ana risk
Güvence
Belge tabanı
Yanıtın kaynağı
Eski/çelişkili belge
Temizlik, tarih, köken
Erişim (retrieval)
İlgili parçayı bulma
Yanlış parça
Kalite testi, geri bildirim
Üretim
Yanıt yazma
Yanlış yorum
Kaynak gösterme, doğrulama
Erişim denetimi
Yetki kontrolü
Yetkisiz ifşa
Kullanıcı bazlı kısıt
Sık yapılan hatalar
- Kirli belge tabanı kurmak. Eski/çelişkili belge, kötü yanıt üretir.
- Kaynak göstermeyen yanıt kabul etmek. RAG'in amacı izlenebilirliktir.
- Belge tarihini kontrol etmemek. Eski sürümden güncel sanılan yanıt gelir.
- Erişim denetimini atlamak. Yetkisiz kişi hassas bilgiye ulaşır.
- RAG'i halüsinasyondan tümüyle bağışık sanmak. Yanlış parça yine yanlış yanıt üretir.
Özetle
RAG, kurumsal belleği kaynağa dayalı yanıt veren bir sisteme dönüştürerek bilgi yönetiminde büyük değer üretir; genel YZ'nin aksine, yanıtı kurumun gerçek belgelerine bağlar ve kaynak gösterir, böylece halüsinasyonu ciddi biçimde azaltır. Ama başarı, temiz ve güncel bir belge tabanına, doğru parça erişimine, kaynak gösterimine, tarih/güncellik kontrolüne ve erişim denetimine bağlıdır. RAG halüsinasyonu sıfırlamaz; kritik yanıtlar yine kaynağa gidilerek doğrulanır ve gizlilik en baştan gözetilir.
Uygulama görevi
Küçük bir belge kümesi (5-8 gerçek ya da örnek kurum belgesi, tarihleriyle) hazırlayın; içine bilinçli olarak bir eski ve bir güncel çelişkili sürüm koyun. "Kaynağa dayalı yanıt istemi" şablonuyla bir soru sorun ve YZ'nin kaynak gösterip göstermediğini kontrol edin. Ardından "Çelişki ve güncellik kontrolü" şablonuyla YZ'nin çelişkiyi ve güncel sürümü doğru saptayıp saptamadığını değerlendirin.
Kontrol listesi
- [ ] Belge tabanını güncelledim, eski/çelişkili belgeleri ayıkladım.
- [ ] Her yanıtın kaynak belgeyi gösterdiğinden emin oldum.
- [ ] Kaynak belgelerin tarihini ve geçerliliğini kontrol ettim.
- [ ] Erişim denetimiyle yetkisiz belgelerden yanıt üretimini engelledim.
- [ ] Kritik yanıtları asıl belgeye giderek doğruladım.