Пайдалар:
- RAG компаниясынын жардамчысынын компоненттерин жана маалымат агымын долбоорлоо
- Көп булактуу маалыматтарды (wiki, билет, PDF, маалымат базасы) бирдиктүү жардамчыга бириктирүү
- Масштабдуулук, кэштөө жана күтүү үчүн архитектуралык чечимдерди кабыл алыңыз
Мурунку бөлүмдөрдө биз бөлүктөрдү бир-бирден үйрөндүк: кыстаруу, вектордук маалымат базасы, чыңдоо, издөө. Эми аларды бириктирип, компанияңыздын маалыматтары менен сүйлөшкөн ассистенттин аягына чейин архитектурасын түзөлү. Максат - кызматкерден: "Биздин өргүү саясатыбыз кандай?" Адамдар суроолорду бере турган система, жооптор чыныгы ички документтерге, цитаталарга негизделген жана бир нече маалымат булактарын бириктирет. Бул бөлүм бүт архитектураны, маалымат агымын жана өндүрүш деңгээлиндеги чечимдерди иштеп чыгат.
End-to-End компоненттери
Корпоративдик RAG жардамчысы эки өзүнчө линиядан турат. Индекстөө линиясы (офлайн) маалыматтарды даярдайт; Суроо сабы (онлайн) суроого жооп берет.
Индекстөө линиясынын компоненттери:
- Туташтыргычтар: Маалымат булактарынан алынган туташтыргычтар — вики, билет системасы, файл дүкөнү, маалымат базасы, электрондук почта.
- Нормалдаштыруу: Ар кандай форматтарды (PDF, HTML, DOCX) таза текстке айландыруу; баш/колонтитул тазалоо.
- Chunking + метадайындар: Chunking жана теги (булагы, датасы, ыйгарым укуктары).
- Киргизүү + жүктөө: векторлор базасына векторлорду жана метаберилиштерди жазуу.
Сурам түтүгү компоненттери:
- Суроолорду алдын ала иштетүү: Кайра жазуу, борбордон ажыратуу.
- Издөө: Гибриддик издөө + метаберилиштерди чыпкалоо + кайра рейтинг.
- Ыкчам түзүү: шаблонго контекст + суроо + нускамаларды жайгаштыруу.
- Generation: Үлгү + булактардан негизделген (контексттик) жооп.
- Пост-кайра иштетүү: Цитаталарды форматтоо, коопсуздукту текшерүү, журналга жазуу.
Кеңеш: Индекстөө сызыгын суроо сызыгынан физикалык жактан бөлүңүз. Индекстөө жай жана мезгил-мезгили менен (түнү ичинде партиялар менен иштейт); Тергөө линиясы жеңил жана дароо болушу керек. Эки линияны аралаштыруу колдонуучу күтүп турганда оор иштетүүнү талап кылат.
Маалымат агымын визуализациялоо
[INDEXING - оффлайн]Ресурстар → Нормалдаштыруу → Класс+Метаберилиштер → Киргизүү → Вектордук DB (wiki, билет, PDF, DB)[QUERY - онлайн]Колдонуучунун суроосу → Алдын ала иштетүү → Издөө (гибрид+фильтр+кайталануу) → Кошумча (контекст+суроо+көрсөтүү) →Колдонуучунун+ нускамасы
Көп булактуу маалыматтарды бириктирүү
Чыныгы компанияларда жооп бир жерде токтоп калбайт. "Кардарга акчаны кантип кайтаруу керек?" Суроого жоопту жардам макаласынан (процедурада), билеттердин тарыхынан (чыныгы мисалдар) жана PDF саясатынан (эрежелерден) тапса болот. Жардамчы алардын баарын бир бассейнде издөөсү керек.
Критикалык пункт: ресурстарды бир вектордук дүкөнгө бириктиргенде, ар бир сынык `source_tour` метадайындарын алып жүрүшү керек. Ошентип, алардын баарын издеп, керек болсо чыпкалай аласыз, мисалы, "расмий саясаттарды гана алып келиңиз". Ошондой эле, ар кандай булактардын ишенимдүүлүгүнүн ар кандай деңгээлдери бар: расмий саясат > жардам макаласы > кызматкердин билети. Сиз бул артыкчылыкты кайра рейтингде же тез арада көрсөтсөңүз болот.
Булак
Мазмун түрү
ишеним
Жаңыртуу жыштыгы
Саясат PDF
расмий эреже
бийик
ай сайын
Жардам макаласы
Процедура
орто-жогорку
жума сайын
Билет тарыхы
чыныгы үлгү
орто
Үзгүлтүксүз
wiki
Аралаш/учурдагы нота
Variable
Үзгүлтүксүз
Масштабдуулук, кэш жана кечигүү
Өндүрүштө үч маселе өзгөчөлөнүп турат. Кечүү: Колдонуучу 2 секунддан ашык күткөндө тажрыйба начарлайт. Чечим: жоопту агымдык формада көрсөтүңүз — ал модель жазып жатканда экранга төгүлөт. Кэш: Көп берилүүчү суроолор жана кайталануучу контексттер үчүн кэш ылдамдыкты жогорулатат жана баасын азайтат. Масштаб: Колдонуучу көбөйгөн сайын, издөөнү масштабдоо жана чалууларды туурасынан моделдөө керек.
Наркы жагындагы эреже: эң кымбат кадам, адатта, чоңураак моделге бара турган токендердин саны. Ошондуктан, контекстти 4 жакшы бөлүккө чейин кыскартуу, сапатты да, бааны да жакшыртат. Жалпы дизайн жөнөкөй классификация же багыттоо үчүн кичирээк/тезирээк моделди жана акыркы жооп үчүн күчтүүрөөк моделди колдонуу болуп саналат (мисалы, claude-opus-4-8).
Эскертүү: Индекстештирүүнү "бир жолу кыл, унут" деп орнотпоңуз. Документтер өзгөртүлөт, жок кылынат, кошулат. Кайра индекстөө стратегиясын түзүңүз: өзгөртүлгөн документтерди таап, аларды гана кайра иштетиңиз. Эскирген индекс учурдагыдай көрүнгөн, бирок туура эмес жоопту жаратат.
Алсыз Архитектура / Күчтүү Архитектура
Алсыз (бир сценарий, баары аралаш):
Колдонуучу сураганда: документтерди ошол учурда окуңуз, майдалаңыз, кыстарыңыз, издеңиз, жооп бериңиз.# Маселе: бардык индекстөө ар бир суроо үчүн кайталанат; секунда кечигүү, # булакты бөлүү, чыпкалоо, жаңылоо жок.
Күчтүү (бөлүнүүчү түтүктөр + метадайындар + кэш + агым):
Индекстөө: партия түн ичинде иштейт, өзгөртүлгөн документтерди жаңыртат. Суроо: жеңил линия — алдын ала иштетүү → гибриддик издөө+фильтр → кайра рейтинг → чакыруу → модель (агым) → цитата → журнал. Көп берилүүчү суроолор жана булак кэште сакталат.
Үч мини Case
1-жагдай — Чаташкан линия, оор кечигүү. Стартап ар бир суроо менен PDF файлдарын кайра иштеткен скрипт жазган; Ар бир жооп орточо 11 секундду алды. Индекстөө сызыгы бөлүнгөндө жана маалыматтар мурда вектордук дүкөнгө өткөрүлүп берилгенде, суроо убактысы 1,3 секундага чейин кыскарган жана агым менен "биринчи сөз" 400 мс ичинде пайда болгон.
2-жагдай - Өтө көп ресурстар, туура эмес артыкчылык. Колдоочу жардамчы саясат PDF жана эски билет ноталарына бирдей маани берди; Модель кээде расмий эреже катары кызматкердин эки жыл мурунку туура эмес рейтингин көрсөткөн. source_tour метадайындары жана "Чыр-чатактар болгон учурда расмий саясатты карап чыгуу" нускамасы тездикке кошулганда, жалган артыкчылыктуу каталар 89% га кыскарган.
3-жагдай - Эскирген көрсөткүч. HR жардамчысы 3 ай бою жаңыланбаган индекс менен иштеп жаткан; Өргүү саясаты өзгөрдү, бирок жардамчы эски күндөрдү айтып жатты. Өзгөрүлгөн файлдарды аныктаган күнүмдүк жаңылоо орнотулганда, учурдагы жооп берүү ылдамдыгы 70% дан 99% га чейин өстү.
Жалпы каталар
- Индекстөө жана суроо саптарын аралаштыруу: Колдонуучу күтүп турганда оор иштетүү жүргүзүлөт; кечигүү жарылат.
- Метаберилиштерге булак түрүн койбоо: Приоритеттөө жана чыпкалоо жок; Ишенимсиз булак расмий окшойт.
- Жаңылоо стратегиясын түзбөө: Индекс эскирип калат; Учурдагы көрүнгөн туура эмес жооптор чыгарылат.
- Агымды өткөрүп жиберүү: Колдонуучу бош экранды карайт; Кабыл алынган кечигүү жогору болуп калат.
- Ар бир кадамда эң чоң моделди колдонуу: Баасы керексиз көбөйөт; Рулду кичирээк моделге калтырыңыз.
Кыскача айтканда
- Корпоративдик RAG жардамчысы эки өзүнчө саптан турат: оффлайн индекстөө жана онлайн суроо; аларды физикалык жактан ажырат.
- Индекстөө = туташтыргыч + нормалдаштыруу + бөлүкчө / метадайындар + киргизүү/жүктөө; суроо = алдын ала процесс + издөө + ыкчам + түзүү + кийинки процесс.
- Көп булактуу маалыматтар бир репозиторийге бириктирилет, бирок source_type метадайындары жана ишеним артыкчылыктары сакталат.
- Агым жана кечигүү үчүн кэш, контекстти чектөө жана нарк үчүн моделди тандоо маанилүү.
- Кайра индексацияланбаса, индекс эскирип калат; Документтерди алмаштырууну үзгүлтүксүз кайра иштетүү.
Колдонмо тапшырмасы
Өзүңүздүн командаңыз үчүн жардамчынын архитектуралык схемасын тартыңыз. (1) Жок дегенде үч чыныгы маалымат булагын аныктап, ар бири үчүн туташтыргычтын муктаждыгын, жаңыртуу жыштыгын жана ишеним деңгээлин жазыңыз. (2) Индекстөө жана суроо сызыктарын кутуча-жебе диаграммасы менен өзүнчө тартыңыз. (3) "Бул жардамчынын күтүү убактысын жана баасын кайдан азайтам?" Суроого жок дегенде эки конкреттүү чечим жазыңыз. (4) Жаңылоо стратегияңызды бир сүйлөм менен сүрөттөп бериңиз: кайсы ресурс кайра индекстелет жана канча жолу?
текшерүү тизмеси
- [ ] Мен индекстөө жана суроо сызыктарын өзүнчө жана туура компоненттер менен тарта алам.
- [ ] Мен көп булактуу дайындарды source_type жана ишеним артыкчылыгы менен айкалыштыра алам.
- [ ] Мен кечигүү боюнча агым/кэш чечимдерин жана наркы боюнча моделди тандап алам.
- [ ] Мен кайра индекстөө стратегиясы эмне үчүн маанилүү экенин билем.
- [ ] Архитектурамдагы эң кымбат кадам, адатта, чоңураак модельге бара турган белги экенин эстен чыгарбайм.