Пайдалар:
- RAG моделдин салмагын өзгөртпөстөн контекстти киргизип, "ачык китеп экзамени" логикасы менен иштей турганын түшүндүрүү
- Наркы, өз убагында жана колдонуу сценарийи боюнча RAGды тактоо жана узак контексттик ыкмалар менен салыштыруу
- Индекстөө жана суроо этаптарынан турган типтүү RAG куурунун кадамдарын тизмелөө
Тилдин модели (текстти түшүнгөн жана чыгарган жасалма интеллект; биз аны мындан ары кыскача модел деп атайбыз) канчалык күчтүү болбосун, ал компанияңыз кечээ кол койгон келишимди, ички вики (ички билим базасы) барагыңызды же бүгүн эртең менен жарыяланган релиз эскертүүсүн билбейт. Модель даярдалган күнгө чейин жалпы билим менен чектелет; Бул "билим берүүнү токтотуу күнү" деп аталат. RAG (Retrieval-Augmented Generation) дал ушул боштукту толтурат: ал суроого байланыштуу компаниянын документтерин табат, аны контекст катары моделге берет (башкача айтканда, жооп берип жатканда окуй турган кошумча текст) жана ушул контексттин негизинде даярдалган жооп бар.
Бул бөлүмдө биз RAG деген эмне экенин, кайсыл альтернативаларга караганда кайсы учурда артыкчылыктуу экенин жана типтүү RAG куурунун кадамдарын ачык көрөбүз. Кийинки бардык бирдиктер бул картанын бөлүктөрүн бир-бирден тереңдетет.
RAG негизги идеясы: Open Book сынак
Келгиле, RAGды бир сүйлөм менен түшүндүрүп берели: "Адегенде тиешелүү документти табыңыз, андан кийин модель ошол документти окуп чыксын жана ага жараша жоопту басып чыгарыңыз."
Эң пайдалуу окшоштук бул: RAG моделди "жабык китеп экзаменинен" "ачык китеп экзаменине" жылдырат. Жабык китеп экзаменинде студент жаттап гана жооп берет; Эсиңизде жок нерсени ойлоп табуу коркунучу жогору. Ачык китеп экзаменинде студент алдына коюлган булакты карап жооп берет. RAGде модель мындан ары өзүнүн эс тутумунан жооп бербейт, бирок сиз берген учурдагы жана конкреттүү тексттен.
Критикалык пункт: RAG моделдин салмагын, башкача айтканда, модель үйрөнгөн миллиарддаган сандык параметрлерди өзгөртпөйт. Сиз моделди кайра үйрөтпөйсүз. Ар бир суроо үчүн сиз суроого ошол суроого тиешелүү тексттин бөлүктөрүн киргизесиз (моделге жөнөтүлгөн нускама тексти). Ошентип, документ жаңыртылганда моделди кайра үйрөтүүнүн кереги жок; сиз жөн гана издөө маалымат базасындагы тиешелүү жазууну жаңылайсыз.
Ишара: РАГдын сапатын эки суроо аныктайт: (1) Сиз туура документти таптыңызбы? (2) Модель аны туура окудубу? Биринчиси - "издөө сапаты", экинчиси - "муун сапаты". Экөө өзүнчө өлчөнөт жана өркүндөтүлөт.
RAG, Fine-Tuning же Long Context?
Уюштуруу маселесин чечүү жолун издеп жатканда үч жол көбүнчө чаташып калат. Келгиле, алардын айырмачылыктарын тактап көрөлү. Жакшы жөндөө – бул моделдин салмагын сиздин маалыматтарыңыз менен жаңыртуу жана ага жаңы жүрүм-турумга/стилге үйрөтүү. Узун контекст бардык документтерди эч кандай тандоосуз түздөн-түз тез арада толтурууну билдирет.
мамиле
Эмне кылат
Качан ылайыктуу?
Наркы / Тобокелдик
RAG
Контекст катары тиешелүү документти киргизет
Тез-тез өзгөрүп туруучу, кеңири, конкреттүү маалымат
Төмөн; жаңыртуу оңой, булакты келтирсе болот
Жакшы жөндөө
Салмактарды жаңы маалыматтар менен жаңыртат
Туруктуу стил/формат/тил үйрөтүү
Жогорку; Ар бир жаңыртуу менен кайра даярдоо талап кылынат
Узун контекст гана
Бардык документтерди тез арада толтурат
Кичинекей, стационардык документ топтому
Токендин баасы жана "ортоңку бөлүгүн жоготуу" коркунучу жогорулайт
Эреже катары: Жакшы баптоо моделди сүйлөөгө үйрөтөт; RAG моделге эмнени билүү керектигин айтат. Көпчүлүк ишканалардын сценарийлеринде RAG биринчи жолу сыналат, анткени ал арзан, жаңыртылат жана жооптун булагын көрсөтө алат. Документтердин топтому чындап эле кичинекей жана туруктуу болсо, узак контекст акылга сыярлык (мисалы, 20 барактан турган бир колдонмо); Бирок миңдеген барактары менен бул кымбат жана модель узун тексттин ортосунда маалыматты өткөрүп жибериши мүмкүн.
Типтүү RAG куур
RAG эки негизги этаптан турат: индекстөө (даярдоо, бир жолу же мезгил-мезгили менен жасалат) жана суроо (ар бир колдонуучунун суроосу боюнча иштейт).
Кадам сайын индекстөө (офлайн, колдонуучунун күтүүсүз):
- Чогултуу: Документтерди булактардан тартыңыз (PDF, вики, билет системасы, маалымат базасы, электрондук почта).
- Кыймылсыздандыруу: Узун текстти башкара турган майда бөлүктөргө бөлүңүз.
- Embed: Ар бир бөлүктү жалгаштыруу (тексттин маанисин камтыган сан вектору) айландыруу.
- Сактоо: Векторлорду текст жана метаберилиштер (булак, дата, авторизация маалыматы) менен бирге вектордук маалымат базасына жазыңыз.
Кадам-кадам суроо (онлайн, колдонуучу күтүп жатканда):
- Колдонуучунун суроосун кыстарууга айландырыңыз.
- Вектордук маалымат базасынан эң окшош бөлүктөрдү алыңыз.
- Бул бөлүктөрдү + суроону тез шаблонго коюңуз.
- Контексттик жоопту жана анын булактарын моделден алыңыз.
# Сурамжылоо фазасынын концептуалдык концепциясы (тилге көз каранды эмес)question = "Жылдык өргүү канча күн?"question_vektor = embed(суроо)parts = vektor_db.search(question_vektor, top_k=4) # most similar partsprompt = f"""СУРООго жооп бериңиз. Эгерде менде "КОНУН" деген жоопту төмөндөгү контексттеги маалымат жок деп айтыңыз. this." Fitting.CONTEXT:{бөлүктөрү}СУРОО: {суроо}"""жооп = model.uret(prompt) # мис. модели: claude-opus-4-8
Бул агым ар бир этаптын картасы, биз аны кийинки бөлүмдөрдө бирден ачабыз.
Алсыз тездик / Күчтүү эскертүү
Ошол эле RAG контекстинде да, суроонун сапаты жоопту өзгөртөт.
Алсыз тездик (моделди орнотуу үчүн ачык, ресурстарды талап кылбайт):
Бул маалыматты колдонуп, жылдык өргүү айтыңыз: {бөлүктөрү}. Суроо: {question}
Күчтүү тездик (негиздөө + "билбейм" уруксаты + ресурстук суроо):
Төмөндөгү КОНТЕКСТтин негизинде гана жооп бериңиз. Эгерде контекстте так жооп жок болсо, "Мен бул тууралуу документациядан маалымат таба алган жокмун" деп жазыңыз; Ойлобо. Жообуңуздун аягында таянып жаткан кесимдин [Булак: файл_аты] тегин кошуңуз. КОНТЕКСТ: {даана} СУРОО: {суроо}
Үч мини Case
1-жагдай — HR жардамчысы (Адам ресурстары). Компанияда 340 беттен турган HR колдонмосу бар жана кызматкерлер күнүнө орто эсеп менен 90 суроо беришет. Жакшылап жөндөө аракети көрүлдү, бирок колдонмо ай сайын жаңыланып тургандыктан, ар бир жолу кайра даярдоо талап кылынчу; Баасы айына миңдеген долларга жетти. RAGга өткөндөн кийин жаңыртуу "документти кайра индекстөө" кадамына (мүнөтүнө) кыскарган жана туура жооп берүү көрсөткүчү кол менен өлчөөдө 71%дан 93%га чейин жогорулаган.
2-жагдай — Кардарларды колдоо. Колдоо тобунда 12 000 чечилген билеттер жана 800 жардам макалалары бар. Өкүлгө кол менен жооп табуу үчүн орто эсеп менен 4 мүнөт талап кылынат. RAG жардамчысы 5 эң керектүү жазууну алып келип, жооптун долбоорун даярдаганда, убакыт 40 секундага чейин кыскарган; Бирок команда "туура эмес макаланы алып келип, ишенбей калуу" коркунучун түшүнүп, булакка шилтеме жасоону милдеттүү кылды.
3-сессия — Мыйзам. Келишим түзүүчү топ "кайсы келишимдерде купуялуулук беренеси 5 жылга созулат?" деген суроону берет. Узакка созулган контексттик сыноодо 60 контракт бир тез арада толтурулган; модель ортодогу эки келишимди өткөрүп жиберди. RAG менен тиешелүү нерселер гана киргизилгенде, токендин баасы 80% га төмөндөдү жана жетишпеген өткөрүп жиберүү баштапкы абалга келтирилди.
RAG эмне үчүн керек?
- Учурдагылык: Сиз тренинг аяктагандан кийин маалымат аласыз.
- Атайын маалымат: Сиздин ички документтериңиз эч кандай моделди окутууга кирбейт; Сиз гана бере аласыз.
- Текшерүү: Сиз жооптун булагын келтире аласыз (цитата) — аудит жана ишеним үчүн маанилүү.
- Галлюцинацияны көзөмөлдөө: Ал моделди түзүүнүн ордуна, анын алдына коюлган текстке таянат.
- Наркы: Аны тактоодон алда канча арзан жана тезирээк ишке киргизүү.
Абайлаңыз: RAG сыйкыр эмес. Эгер сиз туура эмес бөлүгүн алып келсе, модель "ишенимдүү" көрүнгөн туура эмес жооп келет. "Изилдөө сапаты = RAG сапаты" деген сөз айкашын эстен чыгарбаңыз.
Жалпы каталар
- RAGди тактоо үчүн жаңылыштыруу: RAG салмактарды өзгөртпөйт; Бул жөн гана контекстти кошот. Бул экөөнү чаташтыруу туура эмес архитектураны тандоого алып келет.
- "Билбейм" дегенге уруксат бербөө: Эгерде сунуш моделди боштукту толтуруу үчүн бош калтырса, ал толуктайт.
- Булактарга шилтеме кылбоо: Булагы жок жоопту текшерүүгө болбойт; Колдонуучу катаны байкай албайт.
- Баарын бир сунушка жыйноо: Узун контекст арзан көрүнөт, бирок кымбат жана ортодогу маалыматты өткөрүп жиберет.
- Кайтып алууну өлчөбөй муунга тыгылып калуу: Эгер жооп жаман болсо, адегенде "Туура бөлүгү келдиби?" сураш керек.
Кыскача айтканда
- RAG контекст катары моделге суроого тиешелүү документтерди киргизген ыкма; салмактарды өзгөртпөйт («ачык китеп экзамен»).
- Fine-tuning стилди/форматты үйрөтөт, RAG учурдагы жана конкреттүү маалыматты берет; узун контекст кичинекей туруктуу топтомдор үчүн жакшы иштейт. Көпчүлүк сценарийлерде RAG биринчи жолу сыналат.
- Түтүк эки фазадан турат: оффлайн индекстөө (бөлүгү + кыстаруу + сактоо) жана онлайн суроо (издөө + ыкчам + түзүү).
- RAG өз убагында, конкреттүү маалыматты, текшерүүгө мүмкүндүгүн, галлюцинацияны көзөмөлдөөнү жана арзан бааны камсыз кылат.
- Системанын сапаты издөөнүн сапатына түздөн-түз көз каранды: туура эмес бөлүгү туура эмес жоопту билдирет.
Колдонмо тапшырмасы
Өзүңүздүн командаңыздан чыныгы маалымат булагын тандаңыз (мисалы, процедура документи же FAQ баракчасы). (1) Бул булак жөнүндө 5 фактылуу суроо жазыңыз. (2) Документтин кайсы бөлүгүндө ар бир суроого туура жооп камтылганына көңүл буруңуз — бул сиздин "алтын жооп" тизмеңиз болот. (3) Жогорудагы "күчтүү эскертүү" шаблонун колдонуп, контекст катары тиешелүү бөлүмдү кол менен чаптап, моделди сураңыз. (4) Моделдин жообун алтын жооп менен салыштырып, чын/жалган деп белгилеңиз. Бул келечектеги бирдиктерде автоматташтыра турган баалоонун биринчи кол версиясы.
текшерүү тизмеси
- [ ] Мен бир сүйлөм менен түшүндүрө алам: RAG салмактарды өзгөртпөйт, ал жөн гана контекстти кошот.
- [ ] Мен RAG, тактоо жана узун контекстти жана кайсынысы ылайыктуу экенин айырмалай алам.
- [ ] Мен индекстөө (чогултуу-майдалоо-киргизүү-сактоо) жана суроонун (киргизүү-алып алуу-керектөө-түзүү) фазаларын ирети менен санай алам.
- [ ] Мен эмне үчүн эскертмеге "эгер бул контекстте болбосо, билбейм деп айт" жана "булакка шилтеме берүү" көрсөтмөлөрүн кошконумду билем.
- [ ] Мен "Изилдөө сапаты = RAG сапаты" принцибин өзүмдүн ишиме ылайыкташтыра алам.