Girdeji:
- RAG-yň modeliň agramyny üýtgetmän kontekste sanjym edýändigini we 'açyk kitap synagy' logikasy bilen işleýändigini düşündirmek
- RAG-ny gymmata, öz wagtynda we ulanylyş ssenarisine görä inçe düzmek we uzyn kontekst çemeleşmeleri bilen deňeşdirmek
- Indeksirleme we talap fazalaryndan ybarat adaty RAG turbageçirijisiniň ädimlerini sanamak
Dil modeli (tekste düşünýän we öndürýän emeli intellekt; mundan beýläk gysgaça model diýeris) näçe güýçli bolsa-da, kompaniýanyň düýn gol çeken şertnamasyny, içerki wiki (içerki bilim bazasy) sahypasyny ýa-da şu gün irden neşir edilen belligi bilmeýär. Model, tälim berlen gününe çenli umumy bilimler bilen çäklenýär; Muňa "bilimiň kesilen senesi" diýilýär. RAG (Retrieval-Augmented Generation) bu boşlugy doldurýar: kompaniýanyň soraglary bilen baglanyşykly resminamalaryny tapýar, modele kontekst hökmünde berýär (ýagny jogap taýýarlanylanda okajak goşmaça tekst) we şu mazmuna esaslanan jogap berilýär.
Bu bölümde, RAG-yň nämedigini, haýsy alternatiwalardan has ileri tutulýandygyny we adaty RAG turbageçirijisiniň ädimlerini anyk göreris. Ondan soňky ähli bölümler bu kartanyň böleklerini birin-birin çuňlaşdyrar.
RAG-yň esasy pikiri: Açyk kitap synagy
RAG-y bir sözlemde düşündireliň: "Ilki bilen degişli resminamany tapyň, soňra modeli şol resminamany okaň we jogaby şoňa görä çap ediň."
Iň peýdaly meňzeşlik: RAG modeli “ýapyk kitap ekzameninden” “açyk kitap ekzamenine” geçirýär. Closedapyk kitap synagynda okuwçy diňe ýatdan jogap berýär; .Adyňyza düşmeýän zady düzmek töwekgelçiligi ýokary. Açyk kitap synagynda, okuwçy öňündäki çeşmä seredip jogap berýär. RAG-da model indi öz ýadyndan däl-de, eýsem häzirki we anyk tekstden jogap berýär.
Möhüm nokat: RAG modeliň agramyny üýtgetmeýär, ýagny modeliň öwrenen milliardlarça san parametrlerini. Siz modeli täzeden öwrenmeýärsiňiz. Her bir sorag üçin, bu soraga degişli tekst böleklerini gyssagly ýazýarsyňyz (modele iberilen görkezme teksti). Şonuň üçin resminama täzelenende modeli täzeden öwrenmeli däl; gözleg maglumatlar bazasyndaky degişli ýazgyny täzeleýärsiňiz.
Maslahat: RAG-yň hilini iki sorag kesgitleýär: (1) Dogry resminama tapdyňyzmy? (2) Model ony dogry okadymy? Birinjisi "gözlegiň hili", ikinjisi "nesiliň hili". Ikisi aýratyn ölçelýär we gowulaşýar.
RAG, inçe düzmek ýa-da uzyn kontekst?
Guramaçylyk meselesiniň çözgüdi gözlenende üç ýol köplenç bulaşýar. Tapawutlaryny aýdyňlaşdyralyň. Inçe düzmek, maglumatlaryňyz bilen modeliň agramlaryny täzeleýär we oňa täze özüni alyp barş / stil öwredýär. Uzyn kontekst, ähli resminamalary haýsydyr bir saýlamazdan göni haýyşnama doldurmagy aňladýar.
Çemeleşme
Näme edýär
Haçan ýerlikli?
Bahasy / töwekgelçiligi
RAG
Kontekst hökmünde degişli resminama sanjym edýär
Quygy-ýygydan üýtgeýän, giň, anyk maglumat
Pes; täzelenmek aňsat, çeşmä salgylanyp bolar
Gowy düzmek
Agramlary täze maglumatlar bilen täzeleýär
Kesgitlenen stil / format / dil öwretmek
Beýik; Her täzelenme bilen gaýtadan taýýarlamak zerur
Diňe uzyn kontekst
Documentshli resminamalary haýyş bilen doldurýar
Kiçi, stasionar resminamalar toplumy
Token bahasy we "orta bölegini ýitirmek" töwekgelçiligi ýokarlanýar
Düzgün bolşy ýaly: Inçe düzmek modeli gürlemegi öwredýär; RAG modele nämäni bilmelidigini aýdýar. Kärhanalaryň köpüsinde, RAG ilki arzan, täzelenip bolýan we jogabyň çeşmesini görkezip bilýänligi üçin synagdan geçirilýär. Resminamalar toplumy hakykatdanam kiçi we üýtgewsiz bolsa (meselem, 20 sahypalyk gollanma) uzyn kontekst ýerliklidir; Emma müňlerçe sahypa bilen bu gaty gymmat we model uzyn tekstiň ortasynda maglumatlary ýitirip biler.
Adaty RAG turbageçirijisi
RAG iki esasy fazadan ybarat: indeksirlemek (taýýarlyk, bir gezek ýa-da wagtal-wagtal ýerine ýetirilýär) we talap (her ulanyjynyň soragynda işleýär).
Stepdimme-ädim indeksirlemek (awtonom, ulanyjy garaşman):
- Ectygna: Resminamalary çeşmelerden çekiň (PDF, wiki, bilet ulgamy, maglumat bazasy, e-poçta).
- Bölünmek: Uzyn teksti kiçi dolandyrylýan böleklere bölüň.
- Goýmak: Her bölegi goýmaga öwüriň (tekstiň manysyny göterýän san wektory).
- Saklamak: wektorlary tekst we metadata (çeşme, sene, ygtyýarnama maglumatlary) bilen wektor maglumatlar bazasyna ýazyň.
Stepdimme-ädim talap (ulanyjy garaşýarka onlaýn):
- Ulanyjynyň soragyny goýmaga öwüriň.
- Iň meňzeş bölekleri wektor maglumatlar bazasyndan alyň.
- Bu bölekleri + soragy gyssagly şablona ýerleşdiriň.
- Kontekstli jogaby we onuň çeşmelerini modelden alyň.
# Gözleg tapgyrynyň konseptual görnüşi (dile bagly däl) sorag = "annualyllyk näçe günlük dynç alyş?" Sorag_vektor = goýlan (sorag) bölekleri = vektor_db.search (sorag_vektor, top_k = 4) # iň meňzeş böleklerprompt = f "" "Aşakdaky CONTEXT ulanyp, SORAG-a jogap beriň." Fiting.CONTEXT: {bölekler} SORAG: {sorag} "" "jogap = model.uret (haýyş) # meselem model: claude-opus-4-8
Bu akym, her tapgyryň kartasy bolup, indiki bölümlerde birin-birin açarys.
Gowşak gyssagly / güýçli teklip
Şol bir RAG kontekstinde-de, haýyşyň hili jogaby üýtgedýär.
Gowşak haýyş (modeliň ýerleşdirilmegi üçin açyk, çeşmeler talap etmeýär):
Bu maglumatlary ulanyň we ýyllyk rugsady aýdyň: {bölekler}. Sorag: {sorag}
Güýçli haýyş (toprak + "Bilmedim" rugsat + çeşme haýyşy):
Diňe aşakdaky CONTEXT esasynda jogap beriň. Kontekstde anyk jogap ýok bolsa, "Resminamalarda bu barada maglumat tapyp bilmedim" diýip ýazyň; Çaklamaň. Jogabyňyzyň soňunda bil baglaýan eseriňiziň [Çeşme: file_name] belligini goşuň. KONTEKS: {bölekler} SORAG: {sorag}
Üç kiçi waka
1-nji waka - işgärler bölüminiň kömekçisi (Adam resurslary). Bir kompaniýanyň 340 sahypalyk HR gollanmasy bar we işgärler günde ortaça 90 sorag berýärler. Inçe düzmek synanyşyldy, ýöne gollanma her aý täzelenýänsoň, her gezek täzeden taýýarlyk talap edilýärdi; Bahasy aýda müňlerçe dollara ýetdi. RAG-a geçensoň, täzelenme "resminamany täzeden indekslemek" ädimine (minutlara) azaldyldy we el bilen ölçemekde dogry jogap derejesi 71% -den 93% -e çenli ýokarlandy.
2-nji waka - Müşderi goldawy. Goldaw toparynda 12,000 çözülen bilet we 800 kömek makalasy bar. Bir wekiliň el bilen jogap tapmagy üçin ortaça 4 minut gerek. RAG kömekçisi iň möhüm 5 ýazgyny getirip, jogap taslamasyny taýýarlanda, wagt 40 sekunt azaldyldy; Emma topar "nädogry makalany getirip ynamsyz görünmek" töwekgelçiligine düşündi we çeşmä salgylanmagy hökmany etdi.
3-nji waka - Kanun. Potratçy topar "gizlinlik maddasy haýsy şertnamalarda 5 ýyl dowam edýär?" Diýip sorady. soragyny berýär. Uzak möhletleýin synagda 60 şertnama bir haýyş bilen dolduryldy; model orta iki şertnamadan geçdi. Diňe degişli zatlar RAG bilen tanyşdyrylanda, belligiň bahasy 80% azaldy we ýitirilen bökmek täzeden düzüldi.
RAG näme üçin gerek?
- Häzirki döwür: Okuw gutarandan soň maglumatlara girip bilersiňiz.
- Specialörite maglumat: Içerki resminamalaryňyz haýsydyr bir modeliň okuwyna goşulmaýar; Diňe berip bilersiňiz.
- Barlamak: Jogap çeşmesini (sitata) getirip bilersiňiz - audit we ynam üçin zerur.
- Galýusinasiýa gözegçiligi: Model düzmek däl-de, öňünde goýlan tekste daýanýar.
- Bahasy: Gowy düzmekden has arzan we işe girizmek has arzan.
Üns beriň: RAG jady däl. Nädogry eseri getirseňiz, model “ynamly” görünýän nädogry jogaba gelýär. "Gözlegiň hili = RAG hili" sözlemini ýadyňyzdan çykarmaň.
Adaty ýalňyşlyklar
- Gowy düzmek üçin RAG ýalňyş: RAG agramlary üýtgetmeýär; Diňe kontekst goşýar. Bu ikisini bulaşdyrmak nädogry arhitekturany saýlamaga sebäp bolar.
- "Bilmedim" -e rugsat bermezlik: Sorag modeli boş doldurmak üçin erkin goýsa, düzer.
- Çeşmelere salgylanman: Çeşmesiz jogaby barlap bolmaýar; Ulanyjy ýalňyşlygy duýup bilmeýär.
- Everythinghli zady bir ýere jemlemek: Uzyn kontekst arzan görünýär, ýöne gymmat we orta maglumatlary sypdyrýar.
- Gözlegini ölçemän nesilde galmak: Jogap erbet bolsa, ilki bilen "Dogry bölegi geldi?" soralmalydyr.
Gysgaça
- RAG, soraga degişli resminamalary modele kontekst hökmünde girizýän çemeleşme; agramlaryny üýtgetmeýär ("açyk kitap synagy").
- Inçe düzmek stili / formaty öwredýär, RAG häzirki we anyk maglumatlary berýär; uzyn kontekst kiçi kesgitlenen toplumlar üçin gowy işleýär. Ssenariýalaryň köpüsinde ilki RAG synag edilýär.
- Turbageçirijiniň iki tapgyry bar: oflayn indeksirlemek (bölek + goýmak + tygşytlamak) we onlaýn talap (gözlemek + haýyş + döretmek).
- RAG öz wagtynda, anyk maglumatlary, barlanylyşy, galýusinasiýa gözegçiligini we arzan bahany üpjün edýär.
- Ulgamyň hili gözlegiň hiline gönüden-göni baglydyr: nädogry bölek nädogry jogap diýmekdir.
Programma meselesi
Öz toparyňyzdan hakyky maglumat çeşmesini saýlaň (meselem, prosedura resminamasy ýa-da FAQ sahypasy). (1) Bu çeşme hakda 5 faktiki sorag ýazyň. (2) Resminamanyň haýsy böleginde her soraga dogry jogap berilýändigine üns beriň - bu siziň "altyn jogap" sanawyňyza öwrülýär. (3) aboveokardaky "güýçli haýyş" şablonyny ulanyp, degişli bölümi el bilen ýelmäp, model soraň. (4) Modeliň beren jogabyny altyn jogap bilen deňeşdiriň we dogry / ýalan diýip belläň. Bu, geljekki bölümlerde awtomatlaşdyrjak baha bermegiň ilkinji gollanma wersiýasy.
gözegçilik sanawy
- [] Bir sözlemde RAG-yň agramlaryny üýtgetmeýändigini, diňe kontekst goşýandygyny düşündirip bilerin.
- [] RAG, inçe düzmek we uzyn kontekst we haçan laýyk bolsa tapawutlandyryp bilerin.
- [] Indeksirleme (ýygnamak-bölmek-goýmak-ýatda saklamak) we talap (embed-fetch-prompt-generate) fazalaryny sanap bilerin.
- [] Näme üçin "kontekstde däl bolsa, bilmeýärin" we "çeşmä salgylanma" görkezmelerini goşandygymy bilýärin.
- [] "Gözlegiň hili = RAG hili" ýörelgesini öz ýagdaýymda uýgunlaşdyryp bilerin.