Bilim bazasy we RAG: Bot we agent nädip dogry jogap tapýarlar

Girdeji:

• RAG-yň (böleklere bölüniş, elýeterlilik, çeşmä bagly nesil) işleýşine we galýusinasiýany nädip peseldýändigine düşüniň
• Häzirki, düşnükli, gapma-garşy we ýeke-täk dogry çeşmä eýe bolan bilim bazasyny döretmek arkaly jogaplaryň hilini ýokarlandyrmak ukyby.
• “Çeşmede ýok bolsa, bilmeýändigiňizi aýdyň” modeline görkezme bermek we jogap berip bilmejek soraglary bilim bazasynyň gowulaşmagyna öwürmek;

Bot ýa-da agent kömekçisiniň beren jogaby, diňe esaslanan maglumatlar ýaly gowy. Müşderi "Kampaniýa dowam edýärmi?" Diýip soranlarynda, dogry jogap modeliň ýadynda däl-de, eýsem edaranyň häzirki bilim bazasynda. Şonuň üçin jaň merkeziniň emeli intellektiniň ýüregi bilim bazasydyr (KB): önümler, syýasatlar, soraglar, proseduralar we düzgünler ýazmaça saklanýan häzirki zaman çeşme. Bu bilim binýadyny emeli intellekt bilen ygtybarly baglanyşdyrýan usula RAG: Retrieval-Augmented Generation diýilýär - jogaby öz ýadyndan almagyň ýerine, ilki bilen çeşmeden degişli maglumatlary alýar (gözleg) we soňra diňe şol böleklere (jogap) esaslanýar.

RAG galýusinasiýanyň öňüni almagyň iň güýçli usulydyr. Model "karz göterim mukdary nämeden ybarat?" Diýen sorag üçin kellesinde san döredenok. Häzirki gyzyklanma tekstini bilim bazasyndan we oňa esaslanýan jogaplardan alýar. Bu bölümde bilim bazasyny nädip gurmalydygyny, RAG-yň nähili işleýändigini we gowy bilim bazasynyň jogaplaryň hilini nädip kesgitleýändigini göreris.

RAG nähili işleýär: dört ädim

RAG hakda kitaphanaçy ýaly pikir ediň. Müşderi sorag berýär; Ulgam ilki bilen kitaphananyň sag tekjesinden degişli sahypalary tapýar, soňra şol sahypalary okaýar we jogap ýazýar. Tehniki ädimler aşakdakylar:

1. Bölünmek: Bilim bazasyndaky uzyn resminamalar ownuk, manyly böleklere bölünýär (meselem, her bir sorag bir bölek). Sebäbi model bir soraga degişli ownuk bölekler bilen has takyk jogap berýär.
2. Goýmak we indeksirlemek: Her bir bölek manysyny aňladýan san görnüşine terjime edilýär (goýmak - tekstiň manysyny görkezýän sanlaryň yzygiderliligi) we gözlenýän maglumatlar bazasyna ýerleşdirilýär. Şeýlelikde, bu "söz gabatlygy" däl-de, "manydaş gabat gelýän"; Müşderi "pulum haçan goýlar?" Diýip sorasa-da, "yzyna gaýtarmak döwri" bölegi tapylyp bilner.
3. Gözleg: Müşderiniň soragyna iň ýakyn bölekler alynýar (meselem, iň ýakyn 3-5 bölek).
4. Nesil: Model, diňe çekilen böleklere esaslanyp jogap ýazýar we mümkin bolsa çeşmesini görkezýär.

Möhüm nokat 4-nji ädim: model "diňe berlen böleklere bil baglamaly ýa-da bilmeýärsiňiz" diýilýär. Bu görkezme bolmazdan, RAG modeliň ýerleşdirilmegine päsgel bermeýär.

Maslahat: RAG-nyň altyn düzgüni: "Çeşmede bolmasa, jogap ýok". Gowy RAG ulgamy, bilim bazasynda bolmadyk soraga "Bu barada takyk bilemok" diýer; boşlugy hiç haçan çaklama bilen doldurmaýar. Botyň "Bilmedim" diýmek ukyby gowşaklyk däl-de, howpsuzlyk aýratynlygydyr.

Gowy bilim binýady: jogap hiliniň hakyky çeşmesi

RAG näçe gowy bolsa-da, bilim bazasy erbet bolsa, jogap erbet. Bilim binýadynyň hili:

aýratynlygy

erbet bilim bazasy

Gowy bilim binýady

Häzirki döwür

Birnäçe aý bäri täzelenenok

Üýtgedilende derrew täzelendi

Aýdyňlyk

Uzyn, jemlenen tekst

Gysga, bir mowzukly makalalar

gurluşy

Bulaşyk PDF üýşmesi

Zaýalanýan maddalar

Yzygiderlilik

Iki gapma-garşy jogap

Hakykatyň ýeke-täk çeşmesi

Ulanyş gerimi

Köp boşluklar bar

Örtükler ýygy-ýygydan soraglar berdiler

eýeçilik hukugy

Hiç kim jogapkärçilik çekmeýär

Her mowzugyň eýesi bar

Çagyryş merkeziniň kontekstinde iň howply mesele gapma-garşylykdyr: eger bilim bazasynda iki dürli gaýdyp geliş döwri ýazylsa, RAG haýsysyny aljakdygyny aýdýar we müşderä laýyk gelmeýän jogap iberiler. Şonuň üçin "hakykatyň ýeke-täk çeşmesi" ýörelgesi möhümdir: maglumatlar bir ýerde täzelenýär; Şol çeşmä salgylanmalar göçürmeler däl-de ulanylýar.

Stepdimme-ädim: RAG goldaýan jogap ulgamyny gurmak

1. Bilim binýadyny arassalaň: Könelişen, gapma-garşy, köpeldilen makalalary aýyryň. Her makalany gysga we bir mowzukly ediň.
2. Bölünip belläň: Her makala mowzuk belligini we soňky täzeleniş senesini goşuň.
3. Giriş guruň: Soralanda degişli bölekleri çekýän mehanizmi birikdiriň (kärhana RAG gurallary muny üpjün edýär).
4. Gaty haýyş ýazyň: Modeliňize "diňe berlen böleklere bil baglaň, çeşmesine salgylanyň ýa-da bilmeýändigiňizi aýdyň" diýiň.
5. Çeşmäni getiriň: Jogabyň esaslanýan makalasyny görkeziň; Ikisem ynam berýär we barlamagy aňsatlaşdyrýar.
6. Boşluklara göz aýlaň: Botyň "Bilmedim" diýýän ýerinde sorag ýygnaň; Bular bilim bazasyndaky kemçilikleri görkezýär, şol ýerden iýmitlenýär.

Göçürip boljak dört şablon

1) RAG-yň berk jogaby:

Jogap aşakdaky [SOURCE] bölümlerine esaslanýar. Düzgün: [GÖRNÜŞ]: << çekilen bölekler >> Sorag: "<< müşderi soragy >>"

2) Bilim esasy makala ýazmak:

Aşakdaky dargadylan syýasat tekstini RAG üçin laýyk soraglar makalasyna öwüriň. Formaty: Sorag (müşderiniň dilinde) / Gysga jogap (2-3 sözlem) / itionsagdaýlar (bent) / Soňky täzelenmäniň senesi / Mowzuk belligi. Islendik düşnüksiz nokatlary "aýdyňlaşdyrylmaly" diýip belläň, ynanyň. Çig tekst: <<text>>

3) gapma-garşylyklary we boşluklary gözlemek:

Aşakdaky bilim esasly makalalary gözden geçiriň. (1) Birek-birege gapma-garşylykly makalalary belläň (meselem, dürli gaýdyp geliş döwri). (2) frequygy-ýygydan soraljak, ýöne jogap ýok mowzuklary çaklaň. Diňe berlen makalalara serediň; täze syýasaty öndürmek. Makalalar: <<list>>

4) "Bilmedim" gündeliginden gowulaşmak:

Aşakda botyň jogap berip bilmeýän soraglary (çeşme tapyp bilmedim). Olary mowzuklara bölüň we her topar üçin bilim bazasyna goşulmaly makalanyň adyny teklip ediň. Jogap mazmunyny düzmäň, haýsy elementiň ýokdugyny aýdyň. Soraglar: <<list>>

Gowşak haýyş / Güýçli haýyş

Gowşak haýyş:

Müşderiniň gaýdyp geliş soragyna jogap beriň.

Çeşme ýok; Model ýadyňa laýyk bolup biler, mukdary / dowamlylygy nädogry bolup biler, barlap bolmaýar.

Güýçli haýyş:

Diňe aşakdaky yzyna gaýtarmak syýasatynyň düzgünlerine esaslanyp jogap beriň. Çeşmede ýok bolsa, "takyk bilemok" diýiň. Döwri we şert sözlerini sitata beriň, [Çeşme: Gaýtarmak-03] görnüşinde salgy beriň. Sorag: "20 gün öň satyn alan şahsy önümimi yzyna gaýtaryp bilerinmi?"

Tapawut: çeşmä bagly, salgylanma hökmany, ýasama gadaganlyk aýdyň; model çeşmeden dogry jogap berýär ("14 gün geçdi we şahsylaşdyrylan, yzyna gaýtarylmaýar").

üç sany kiçi halat

1-nji waka - galýusinasiýany gutarmak. Telekom botynyň kampaniýa soraglaryna beren jogabynyň takyklygy, RAG ýok ýerinde 71% boldy; Model käwagt köne kampaniýalary düzýärdi. Häzirki kampaniýa sahypalary RAG-a birikdirilende we "çeşmede bolmasa aýtmaň" düzgüni goşulanda takyklyk 96% -e çenli ýokarlandy we "nädogry kampaniýa sözleri" baradaky şikaýatlar gutardy.

2-nji waka - gapma-garşylygyň bahasy. Elektron söwda kompaniýasynyň bilim bazasynda iki sahypada iki dürli iberiş bahasy ýazyldy (biri häzirki, bir köne unudylan sahypa). Bot tötänleýin kimdir birini çekip, käbir müşderilere nädogry bahany aýdýardy. Köne sahypa ýekeje dogry çeşme prinsipi bilen arhiwlenende, gapma-garşylyk ýok boldy. Sapak: RAG gapma-garşylygy çözmeýär, gapma-garşylygy bolşy ýaly ýaýradýar.

3-nji waka - "Bilmedim" gündeliginiň bahasy. Bir bankda bot aýda 4000 funt sterlinge "takyk bilemok" diýýärdi. Bu soraglar toparlananda, 40% -iniň "halkara kartoçkalary ulanmak" bilen baglanyşyklydygy göründi; Bu hakda hiç hili makala ýokdy. Degişli zatlar goşulanda, bu soraglar çözüldi we bu ugurdaky adamlara dolanyşyk 55% azaldy. Botyň bilmeýändigi, gowulaşmak üçin ýol kartasyna öwrüldi.

Adaty ýalňyşlyklar

• Çeşme bilen baglanyşyksyz jogap bermek. RAG bolmasa, model anyk maglumatlara laýyk gelýär; Islendik anyk jogap çeşmä bagly bolmaly.
• "Bilmedim" opsiýasyny öçürmek. Modeliň her soraga jogap bermäge mejbur edilmegi ýerlikli bolmagyny üpjün edýär.
• Gapma-garşy / köne maglumatlary arassalamazlyk. RAG gapma-garşylygy ýaýradýar; Correcteke-täk dogry çeşme zerurdyr.
• Böleklere üns bermezlik. Uly PDF-leri eksport etmek, takyk elýeterliligi bozýar; Gysga, bir mowzukly makalalary ulanyň.
• Çeşmesini gizlemek Jogabyň nämä esaslanýandygyny görkezmezlik, barlagy we ynamy gowşadýar.

Üns beriň: RAG takyklygy ýokarlandyrýar, ýöne 100% kepillik bermeýär. Model käwagt düşürilen bölegi nädogry düşündirip biler. Şonuň üçin maliýe, hukuk we howpsuzlyk meseleleri çeşmesi getirilen hem bolsa adamyň razylygyny talap edýär; RAG galýusinasiýany azaldýar, ýöne jogapkärçiligi aýyrmaýar.

Gysgaça

Bilim bazasy we RAG, AI jaň merkeziniň takyklygynyň esasyny düzýär. RAG, modeliň jogabyň ýadyna laýyk gelmeginiň öňüni almak we diňe häzirki çeşmä bil baglamak bilen galýusinasiýanyň öňüni alýar. Emma RAG diňe bilim bazasy ýaly gowy: häzirki zaman, düşnükli, gurluşly, dawa-jenjelsiz we ýeke-täk hakykat çeşmesi bolan bilim bazasy zerurdyr. "Çeşmede ýok bolsa, bilmeýändigiňizi aýdyň" modeline aýdyň, çeşmäni görkeziň we botyň bilim bazasyny gowulandyrmak üçin jogap berip bilmejek soraglaryny ulanyň. Iň möhüm meseleleriň çeşmesine garamazdan adam razylygyny saklaň.

Programma meselesi

Senagatyňyzdan 8 sany hakyky / real müşderi soragyny we 8 sany gysga bilim bazasy makalalaryny ýazyň (her makala: sorag, gysga jogap, şertler, senesi, belligi). Soňra modeliň “1” Tight RAG jogap gyssagly ”nusgasyny ulanyp,“ Bilmedim ”diýip biljekdigini ýa-da bilim bazasynda bolmadyk bir sorag bermegi synap görüň. Netijede, makalalaryňyzy "3) gapma-garşylyk we boşlugy skanirlemek" bilen barlaň.

gözegçilik sanawy

• [] Bot / kömekçi tarapyndan berlen her bir anyk jogap häzirki bilim bazasyna baglydyr (RAG arkaly).
• [] Modeli "çeşmede ýok bolsa, bilmeýändigiňizi aýdyň" diýip görkezme berdim we synagdan geçirdim.
• [] Meniň bilimlerim häzirki zaman, düşnükli, bir mowzukly makalalardan ybarat.
• [] Gapma-garşy we köne makalalary aýyrdym; Informationhli maglumatlar üçin diňe bir dogry çeşme bar.
• [] Jogaplar haýsy makala esaslanýandygyny görkezýär (çeşme).
• [] "Bilmedim" soraglaryny ýygnaýaryn we bilim bazasyny iýmitlendirýärin.