Qazanclar:
- RAG-nin modelin çəkilərini dəyişmədən konteksti yeriddiyini və “açıq kitab imtahanı” məntiqi ilə işlədiyini izah etmək
- Xərc, vaxtında və istifadə ssenarisinə görə RAG-nin incə tənzimləmə və uzun kontekst yanaşmaları ilə müqayisəsi
- İndeksləşdirmə və sorğu mərhələlərindən ibarət tipik RAG boru kəmərinin addımlarının sadalanması
Dil modeli (mətni anlayan və istehsal edən süni intellekt; bundan sonra qısaca olaraq model adlandıracağıq) nə qədər güclü olsa da, şirkətinizin dünən imzaladığı müqaviləni, daxili wiki (daxili bilik bazası) səhifənizi və ya bu səhər dərc olunan buraxılış qeydini bilmir. Model öyrədildiyi tarixə qədər ümumi biliklərlə məhdudlaşır; Buna "təhsilin kəsilmə tarixi" deyilir. RAG (Retrieval-Augmented Generation) məhz bu boşluğu doldurur: o, suala aid şirkət sənədlərini tapır, onu kontekst kimi modelə verir (yəni cavabı hazırlayarkən oxuyacağı əlavə mətn) və cavabı bu kontekst əsasında hazırlayır.
Bu bölmədə biz RAG-ın nə olduğunu, hansı alternativlərə üstünlük verildiyini və tipik RAG boru kəmərinin addımlarını aydın şəkildə görəcəyik. Bütün sonrakı bölmələr bu xəritənin hissələrini bir-bir dərinləşdirəcək.
RAG-ın əsas ideyası: Açıq kitab imtahanı
Gəlin RAG-ı bir cümlə ilə izah edək: “Əvvəlcə müvafiq sənədi tapın, sonra modelə həmin sənədi oxutdurun və cavabı müvafiq olaraq çap edin”.
Ən faydalı bənzətmə belədir: RAG modeli “qapalı kitab imtahanı”ndan “açıq kitab imtahanı”na keçir. Qapalı kitab imtahanında tələbə yalnız yaddaşdan cavab verir; Xatırlamadığınız şeyi uydurmaq riski yüksəkdir. Açıq kitab imtahanında şagird qarşısında qoyulmuş mənbəyə baxaraq cavab verir. RAG-da model artıq öz yaddaşından deyil, ona verdiyiniz cari və konkret mətndən cavab verir.
Kritik məqam: RAG modelin çəkilərini, yəni modelin öyrəndiyi milyardlarla ədədi parametrləri dəyişmir. Siz modeli yenidən öyrətmirsiniz. Hər bir sual üçün siz sorğuya həmin suala uyğun mətn parçaları daxil edirsiniz (modelə göndərilən təlimat mətni). Beləliklə, sənəd yeniləndikdə modeli yenidən öyrətməyə ehtiyac yoxdur; siz sadəcə axtarış bazasında müvafiq qeydi təzələyirsiniz.
İpucu: RAG-ın keyfiyyətini iki sual müəyyən edir: (1) Siz düzgün sənəd tapmısınız? (2) Model onu düzgün oxudu? Birincisi “alma keyfiyyəti”, ikincisi “nəsil keyfiyyəti”dir. İkisi ayrıca ölçülür və təkmilləşdirilir.
RAG, Fine-Tuning və ya Uzun Kontekst?
Təşkilati problemin həlli yollarını axtararkən tez-tez üç yol qarışır. Onların fərqlərini aydınlaşdıraq. İncə tənzimləmə məlumatlarınızla modelin çəkilərini yeniləmək və ona yeni davranış/üslub öyrətməkdir. Uzun kontekst bütün sənədləri heç bir seçim etmədən birbaşa sorğuya doldurmaq deməkdir.
yanaşma
Nə edir
Nə vaxt uyğundur?
Xərc / Risk
RAG
Müvafiq sənədi kontekst kimi daxil edir
Tez-tez dəyişən, geniş, konkret məlumat
Aşağı; yeniləmək asandır, mənbəyə istinad etmək olar
İncə sazlama
Çəkiləri yeni məlumatlar ilə yeniləyir
Sabit üslub/format/dil tədrisi
Yüksək; Hər yeniləmə ilə yenidən hazırlıq tələb olunur
Yalnız uzun kontekst
Bütün sənədləri sorğuya doldurur
Kiçik, stasionar sənəd dəsti
Token dəyəri və "orta hissəni itirmək" riski artır
Bir qayda olaraq: İncə tənzimləmə modelə danışmağı öyrədir; RAG modelə nəyi bilməsi lazım olduğunu söyləyir. Əksər müəssisə ssenarilərində RAG əvvəlcə sınaqdan keçirilir, çünki o, ucuzdur, yenilənir və cavabın mənbəyini göstərə bilir. Sənəd dəsti həqiqətən kiçik və sabitdirsə, uzun kontekst məqsədəuyğundur (məsələn, tək 20 səhifəlik təlimat); Ancaq minlərlə səhifə ilə bu, bahadır və model uzun mətnin ortasında məlumatı qaçıra bilər.
Tipik RAG Boru Kəməri
RAG iki əsas mərhələdən ibarətdir: indeksləşdirmə (hazırlıq, bir dəfə və ya dövri olaraq aparılır) və sorğulama (hər istifadəçi sualı üzərində işləyir).
Addım-addım indeksləşdirmə (oflayn, istifadəçi gözləmədən):
- Toplayın: Mənbələrdən sənədləri çəkin (PDF, wiki, bilet sistemi, verilənlər bazası, e-poçt).
- Parçalama: Uzun mətni idarə oluna bilən kiçik parçalara ayırın.
- Yerləşdirmə: Hər hissəni yerləşdirməyə çevirin (mətnin mənasını daşıyan rəqəm vektoru).
- Saxla: Vektorları mətn və metadata (mənbə, tarix, icazə məlumatı) ilə birlikdə vektor verilənlər bazasına yazın.
Addım-addım sorğu (onlayn, istifadəçi gözləyərkən):
- İstifadəçinin sualını yerləşdirməyə çevirin.
- Vektor verilənlər bazasından ən oxşar hissələri əldə edin.
- Bu parçaları + sualı tez bir şablona yerləşdirin.
- Kontekstual cavabı və onun mənbələrini modeldən alın.
# Sorğu mərhələsinin konseptual konturu (dildən asılı deyil)question = "İllik məzuniyyət neçə gündür?"question_vektor = embed(question)parts = vektor_db.search(question_vektor, top_k=4) # most similar partsprompt = f"""Aşağıdakı cavabdan istifadə edərək SUALı cavablandırın. "Əgər MƏTN haqqında məlumat yoxdursa, deyin". bu." Fitting.CONTEXT:{hissələr}SUAL: {sual}"""cavab = model.uret(prompt) # məs. model: claude-opus-4-8
Bu axın hər bir mərhələnin xəritəsidir, biz onu sonrakı bölmələrdə bir-bir açacağıq.
Zəif Tələb / Güclü Tələb
Eyni RAG kontekstində belə, sorğunun keyfiyyəti cavabı dəyişir.
Zəif təklif (model uyğunluğu üçün açıqdır, resurs tələb etmir):
Bu məlumatdan istifadə edin və illik məzuniyyət deyin: {hissələr}. Sual: {sual}
Güclü sorğu (topraklama + "Bilmirəm" icazəsi + resurs sorğusu):
Yalnız aşağıdakı CONTEXT əsasında cavab verin. Kontekstdə aydın cavab yoxdursa, "Sənədlərdə bu barədə məlumat tapa bilmədim" yazın; Təxmin etmə. Cavabınızın sonunda etibar etdiyiniz parçanın [Mənbə: fayl_adı] teqini əlavə edin. KONTEKST: {ədəd} SUAL: {sual}
Üç mini qutu
Məsələn 1 — HR köməkçisi (İnsan Resursları). Bir şirkətin 340 səhifəlik HR kitabçası var və işçilər gündə orta hesabla 90 sual verirlər. İncə tənzimləmə sınaqdan keçirildi, lakin təlimat hər ay yeniləndiyi üçün hər dəfə yenidən hazırlıq tələb olunurdu; Xərc ayda minlərlə dollara çatırdı. RAG-a keçdikdən sonra yeniləmə "sənədin yenidən indeksləşdirilməsi" addımına (dəqiqələrə) endirildi və əl ölçmədə düzgün cavab nisbəti 71%-dən 93%-ə yüksəldi.
2-ci hal – Müştəri dəstəyi. Dəstək qrupunda 12.000 həll edilmiş bilet və 800 yardım məqaləsi var. Nümayəndəyə cavabı əl ilə tapmaq üçün orta hesabla 4 dəqiqə vaxt lazımdır. RAG köməkçisi 5 ən uyğun qeydi gətirdikdə və cavab layihəsi hazırladıqda, vaxt 40 saniyəyə endirildi; Lakin komanda "yanlış məqalə gətirərək əmin görünməmək" riskini anladı və mənbəyə istinad etməyi məcbur etdi.
İş 3 – Hüquq. Müqavilə bağlayan komanda "hansı müqavilələrdə məxfilik bəndi 5 il davam edir?" sualını verir. Uzun kontekstli sınaqda 60 müqavilə bir sorğuda dolduruldu; model orta iki müqaviləni atladı. RAG ilə yalnız müvafiq maddələr təqdim edildikdə, token dəyəri 80% azaldı və çatışmayan atlama sıfırlandı.
RAG nə üçün lazımdır?
- Carilik: Siz məlumatı təlimin dayandırıldığı tarixdən sonra əldə edirsiniz.
- Xüsusi məlumat: Daxili sənədləriniz heç bir modelin təliminə daxil edilmir; Yalnız siz verə bilərsiniz.
- Yoxlanılabilirlik: Cavabın mənbəyini göstərə bilərsiniz (sitat) — audit və etibar üçün vacibdir.
- Halüsinasiyaya nəzarət: Model yaratmaqdansa, qarşısındakı mətnə əsaslanır.
- Xərc: İncə tənzimləmədən çox daha ucuz və istismara vermək daha tezdir.
Diqqət: RAG sehrli deyil. Yanlış parça gətirsəniz, model "inamlı" görünən səhv cavaba çatır. "Alma keyfiyyəti = RAG keyfiyyəti" ifadəsini yadda saxlayın.
Ümumi səhvlər
- İncə tənzimləmə üçün RAG-ı səhv salmaq: RAG çəkiləri dəyişmir; Bu, sadəcə kontekst əlavə edir. Bu ikisini qarışdırmaq yanlış arxitektura seçiminə gətirib çıxaracaq.
- "Bilmirəm"ə icazə verilməməsi: Əgər sorğu modeli boş yerə doldurmaq üçün sərbəst buraxsa, o, tamamlayacaq.
- Mənbələrə istinad etməmək: Mənbəsiz cavab yoxlanıla bilməz; İstifadəçi səhvini görə bilməz.
- Hər şeyi bir sorğuya sıxışdırmaq: Uzun kontekst ucuz görünür, lakin bahalıdır və orta məlumatı əldən verir.
- Axtarışı ölçmədən nəsildə ilişib qalmaq: Cavab pisdirsə, əvvəlcə "Doğru hissə gəldimi?" soruşulmalıdır.
Xülasə
- RAG suala uyğun sənədləri kontekst kimi modelə daxil edən yanaşmadır; çəkiləri dəyişmir (“açıq kitab imtahanı”).
- İncə tənzimləmə üslubu/formatı öyrədir, RAG cari və konkret məlumat verir; uzun kontekst kiçik sabit dəstlər üçün yaxşı işləyir. Əksər ssenarilərdə RAG əvvəlcə sınaqdan keçirilir.
- Boru kəmərinin iki fazası var: oflayn indeksləşdirmə (bölmə + yerləşdirmə + saxlama) və onlayn sorğu (axtarış + məlumat + yaratmaq).
- RAG vaxtında, xüsusi məlumat, yoxlanıla bilən, halüsinasiyalara nəzarət və aşağı qiymət təmin edir.
- Sistemin keyfiyyəti axtarışın keyfiyyətindən birbaşa asılıdır: səhv parça səhv cavab deməkdir.
Tətbiq tapşırığı
Öz komandanızdan əsl məlumat mənbəyi seçin (məsələn, prosedur sənədi və ya FAQ səhifəsi). (1) Bu mənbə haqqında 5 faktiki sual yazın. (2) Qeyd edək ki, sənədin hansı hissəsində hər bir sual üçün düzgün cavab var — bu, sizin “qızıl cavab” siyahınız olur. (3) Yuxarıdakı "güclü sorğu" şablonundan istifadə edərək, müvafiq bölməni kontekst kimi əl ilə yapışdırın və model soruşun. (4) Modelin verdiyi cavabı qızıl cavabla müqayisə edin və doğru/yalan kimi işarələyin. Bu, gələcək bölmələrdə avtomatlaşdıracağınız qiymətləndirmənin ilk əl versiyasıdır.
yoxlama siyahısı
- [ ] Mən bir cümlə ilə izah edə bilərəm ki, RAG çəkiləri dəyişmir, sadəcə kontekst əlavə edir.
- [ ] Mən RAG, incə tənzimləmə və uzun kontekst arasında hansının uyğun olduğunu ayırd edə bilirəm.
- [ ] İndeksləşdirmə (toplama-parçalama-yerləşdirmə-saxlama) və sorğu (yerləşdirmə-gəlmə-istəmə-yaratma) mərhələlərini ardıcıllıqla saya bilirəm.
- [ ] Mən bilirəm nə üçün "əgər bu kontekstdə deyilsə, deyin ki, bilmirəm" və "mənbəyə istinad edin" göstərişlərini sorğuya əlavə etdim.
- [ ] Mən "Alma keyfiyyəti = RAG keyfiyyəti" prinsipini öz işimə uyğunlaşdıra bilərəm.