Daromadlar:
- RAG yordamchisining tarkibiy qismlari va ma'lumotlar oqimini loyihalash
- Ko'p manbali ma'lumotlarni (wiki, chipta, PDF, ma'lumotlar bazasi) bitta yordamchiga birlashtirish
- Kengaytirish, keshlash va kechikish uchun arxitektura qarorlarini qabul qiling
Oldingi bo'limlarda biz qismlarni birma-bir o'rgandik: joylashtirish, vektor ma'lumotlar bazasi, qismlarga ajratish, qidirish. Endi keling, ularni birlashtiramiz va o'z kompaniyangiz ma'lumotlari bilan gaplashadigan yordamchi arxitekturasini yaratamiz. Maqsad, xodimdan "Bizning ta'til siyosatimiz nima?" Deb so'rashdir. Odamlar savollar berishi mumkin bo'lgan tizim, javoblar haqiqiy ichki hujjatlar, iqtiboslar va bir nechta ma'lumotlar manbalarini birlashtiradi. Ushbu birlik butun arxitektura, ma'lumotlar oqimi va ishlab chiqarish darajasidagi qarorlarni qayta ishlaydi.
Oxir-oqibat komponentlar
Korporativ RAG yordamchisi ikkita alohida qatordan iborat. Indekslash liniyasi (oflayn) ma'lumotlarni tayyorlaydi; So'rovlar qatori (onlayn) savolga javob beradi.
Indekslash liniyasi komponentlari:
- Ulagichlar: ma'lumotlarni manbalardan oladigan ulagichlar - wiki, chipta tizimi, fayllar do'koni, ma'lumotlar bazasi, elektron pochta.
- Normalizatsiya: Turli formatlarni (PDF, HTML, DOCX) toza matnga aylantirish; sarlavha / pastki ma'lumotlarni tozalash.
- Chunking + metama'lumotlar: Bog'lash va teglash (manba, sana, vakolat).
- O'rnatish + yuklash: Vektorlar va metama'lumotlarni vektor ma'lumotlar bazasiga yozish.
So'rov quvurlari komponentlari:
- So'rovlarni oldindan qayta ishlash: qayta yozish, markazsizlashtirish.
- Qidiruv: gibrid qidiruv + metadata filtri + qayta tartiblash.
- Tezkor yaratish: Shablonga kontekst + savol + ko'rsatmalarni joylashtirish.
- Generation: Model + manbalardan asoslangan (kontekstual) javob.
- Keyingi ishlov berish: iqtiboslarni formatlash, xavfsizlikni tekshirish, jurnalga yozish.
Maslahat: Indekslash chizig'ini so'rov qatoridan jismoniy ajrating. Indekslash sekin va davriy (kecha davomida partiyalarda ishlaydi); So'rov chizig'i engil va tezkor bo'lishi kerak. Ikki qatorni aralashtirish foydalanuvchi kutayotganda og'ir ishlov berishga majbur qiladi.
Ma'lumotlar oqimini vizualizatsiya qilish
[INDEXING - oflayn]Resurslar → Normalizatsiya → Chunk+Metamaʼlumotlar → Oʻrnatish → Vektorli maʼlumotlar bazasi (wiki, chipta, PDF, DB)[QUERY - onlayn]Foydalanuvchi savoli → Oldindan ishlov berish → Qidiruv (gibrid+filtr+qayta tartiblash) → Soʻrov (kontekst+savol+koʻrsatma)
Ko'p manbali ma'lumotlarni birlashtirish
Haqiqiy kompaniyalarda javob bir joyda to'xtamaydi. "Qanday qilib mijozga pulni qaytarish kerak?" Savolga javobni yordam maqolasida (tartibda), chiptalar tarixida (haqiqiy misollar) va PDF siyosatida (qoidalar) topish mumkin. Yordamchi ularning barchasini bitta hovuzda qidirishi kerak.
Muhim nuqta: resurslarni bitta vektor do‘koniga birlashtirganda, har bir parcha “source_tour” metama’lumotlariga ega bo‘lishi kerak. Shunday qilib, siz ularning barchasini qidirishingiz va kerak bo'lganda filtrlashingiz mumkin, masalan, "faqat rasmiy siyosatlarni olib keling". Shuningdek, turli manbalar turli darajadagi ishonchlilikka ega: rasmiy siyosat > yordam maqolasi > xodimning chipta eslatmasi. Siz ushbu ustuvorlikni qayta tartiblash yoki taklifda belgilashingiz mumkin.
Manba
Kontent turi
ishonch
Yangilanish chastotasi
Siyosat PDF
rasmiy qoida
yuqori
oylik
Yordam maqolasi
Jarayon
o'rta-yuqori
haftalik
Chiptalar tarixi
haqiqiy namuna
o'rta
Uzluksiz
wiki
Aralash/joriy nota
Oʻzgaruvchan
Uzluksiz
Masshtablilik, kesh va kechikish
Ishlab chiqarishda uchta muammo ajralib turadi. Kechikish: foydalanuvchi 2 soniyadan ko'proq kutsa, tajriba yomonlashadi. Yechim: javobni oqim ko‘rinishida ko‘rsating — u model yozayotganda ekranga quyiladi. Kesh: Tez-tez so'raladigan savollar va takrorlanadigan kontekstlar uchun kesh tezlikni oshiradi va xarajatlarni kamaytiradi. Masshtab: Foydalanuvchining o'sishi bilan, qidiruvni o'lchash va qo'ng'iroqlarni gorizontal ravishda modellashtirish imkoniyatiga ega bo'lish kerak.
Xarajat tarafida asosiy qoida: eng qimmat qadam odatda kattaroq modelga o'tadigan tokenlar soni. Shuning uchun, qayta tartiblash orqali kontekstni 4 ta yaxshi qismga qisqartirish sifat va narxni yaxshilaydi. Umumiy dizayn oddiy tasniflash yoki marshrutlash uchun kichikroq/tezroq model va yakuniy javob uchun kuchliroq modeldan foydalanishdir (masalan, claude-opus-4-8).
Diqqat: Indekslashni "bir marta bajaring, unuting" deb o'rnatmang. Hujjatlar o'zgartiriladi, o'chiriladi, qo'shiladi. Qayta indeksatsiya strategiyasini belgilang: o'zgartirilgan hujjatlarni aniqlang va faqat ularni qayta ishlang. Eski ko'rsatkich hozirgidek ko'rinadigan, ammo noto'g'ri javob beradi.
Zaif arxitektura / Kuchli arxitektura
Zaif (bitta skript, hamma narsa aralash):
Foydalanuvchi so'raganda: o'sha paytda hujjatlarni o'qing, ularni maydalang, joylashtiring, qidiring, javob bering.# Muammo: har bir savol uchun barcha indekslash takrorlanadi; soniya kechikish, # manba ajratish yo'q, filtr yo'q, yangilanish yo'q.
Kuchli (ajratilgan quvurlar + metadata + kesh + oqim):
Indekslash: to'plam tunda ishlaydi, o'zgartirilgan hujjatlarni yangilaydi. So'rov: engil chiziq - oldindan ishlov berish → gibrid qidirish+filtr → qayta tartiblash → taklif → model (oqim) → iqtibos → jurnal. Tez-tez so'raladigan savollar va manba keshlangan.
Uchta mini korpus
1-holat - chalkash chiziq, og'ir kechikish. Startap har bir savol bilan PDF-fayllarni qayta ishlovchi skript yozdi; Har bir javobga oʻrtacha 11 soniya vaqt ajratilgan. Indekslash chizig'i ajratilganda va ma'lumotlar ilgari vektor do'koniga o'tkazilganda, so'rov vaqti 1,3 soniyagacha kamaydi va oqim bilan "birinchi so'z" 400 msda paydo bo'ldi.
2-holat - Juda ko'p resurslar, noto'g'ri ustuvorlik. Yordamchi yordamchi siyosat PDF va eski chipta eslatmalariga teng ahamiyat berdi; Model ba'zan rasmiy qoida sifatida xodimning ikki yil oldingi noto'g'ri bahosini taqdim etdi. Soʻrovga source_tour metamaʼlumotlari va “nizo yuzaga kelganda rasmiy siyosatni koʻrib chiqing” yoʻriqnomasi qoʻshilganda, notoʻgʻri ustuvor xatolar 89% ga kamaydi.
3-holat - eskirgan indeks. HR yordamchisi 3 oy davomida yangilanmagan indeks bilan ishlagan; Ta'til siyosati o'zgardi, lekin yordamchi eski kunlarni aytdi. O'zgartirilgan fayllarni aniqlaydigan kundalik yangilanish o'rnatilganda, joriy javob tezligi 70% dan 99% gacha ko'tarildi.
Umumiy xatolar
- Indekslash va so'rovlar qatorlarini aralashtirish: foydalanuvchi kutayotganda og'ir ishlov berish amalga oshiriladi; kechikish portlaydi.
- Metadatada manba turini qo'ymaslik: ustuvorlik va filtrlash yo'q; Ishonchsiz manba rasmiy ko'rinadi.
- Yangilash strategiyasini o'rnatmaslik: indeks eskiradi; Hozirgi ko'rinadigan noto'g'ri javoblar ishlab chiqariladi.
- Oqimni o'tkazib yuborish: Foydalanuvchi bo'sh ekranga qaraydi; Qabul qilingan kechikish yuqori bo'ladi.
- Har bir qadamda eng katta modeldan foydalanish: Xarajat keraksiz oshadi; Rulda boshqaruvini kichikroq modelga qoldiring.
Xulosa
- Korporativ RAG yordamchisi ikkita alohida qatordan iborat: oflayn indekslash va onlayn so'rov; ularni jismoniy jihatdan ajrating.
- Indekslash = ulagich + normallashtirish + bo'lak/metadata + joylashtirish/yuklash; so'rov = oldingi jarayon + qidirish + so'rov + yaratish + keyingi jarayon.
- Ko'p manbali ma'lumotlar bitta omborga birlashtirilgan, ammo manba_turi metadata va ishonch ustuvorligi saqlanib qoladi.
- Oqim va kechikish uchun kesh, kontekstni qisqartirish va narx uchun model tanlash juda muhim.
- Qayta indekslanmasdan indeks eskirgan bo'ladi; O'zgaruvchan hujjatlarni muntazam ravishda qayta ishlang.
Ilova vazifasi
O'z jamoangiz uchun yordamchining me'moriy diagrammasini chizing. (1) Kamida uchta haqiqiy ma'lumot manbasini aniqlang va har biri uchun ulagichga ehtiyoj, yangilanish chastotasi va ishonch darajasini yozing. (2) Indekslash va so'rovlar qatorlarini alohida-alohida o'q diagrammasi bilan chizing. (3) "Ushbu yordamchida kechikish va xarajatlarni qayerda kamaytirsam bo'ladi?" Savolga kamida ikkita aniq qaror yozing. (4) Yangilash strategiyangizni bitta jumla bilan tavsiflang: qaysi manba qayta indekslanadi va qanchalik tez-tez?
nazorat ro'yxati
- [ ] Indekslash va so'rovlar qatorlarini alohida va to'g'ri komponentlar bilan chizishim mumkin.
- [ ] Men koʻp manbali maʼlumotlarni source_type va ishonch ustuvorligi bilan birlashtira olaman.
- [ ] Men xarajat uchun kechikish va model tanlash uchun oqim/kesh qarorlarini qabul qila olaman.
- [ ] Men nima uchun qayta indekslash strategiyasi muhimligini bilaman.
- [ ] Men arxitekturamdagi eng qimmat qadam odatda kattaroq modelga o'tadigan token ekanligini yodda tutaman.