RAG ni nini na kwa nini inahitajika?

Faida:

• Kuelezea kuwa RAG inaingiza muktadha bila kubadilisha uzani wa modeli na inafanya kazi na mantiki ya 'mtihani wa kitabu wazi'.
• Kulinganisha RAG na urekebishaji mzuri na mbinu za muktadha mrefu kulingana na gharama, ufaao na hali ya matumizi.
• Kuorodhesha hatua za bomba la kawaida la RAG linalojumuisha awamu za faharasa na hoja

Haijalishi muundo wa lugha (akili bandia unaoelewa na kutoa maandishi; tutauita kielelezo kwa ufupi kuanzia sasa) ulivyo na nguvu kiasi gani, haujui mkataba ambao kampuni yako ilitia saini jana, ukurasa wako wa ndani wa wiki (msingi wa maarifa ya ndani), au dokezo la toleo lililochapishwa leo asubuhi. Mfano huo ni mdogo kwa ujuzi wa jumla hadi tarehe uliyofunzwa; Hii inaitwa "tarehe ya kukata elimu". RAG (Retrieval-Augmented Generation) hujaza pengo hili haswa: hupata hati za kampuni zinazohusiana na swali, huipa kielelezo kama muktadha (yaani, maandishi ya ziada ambayo itasoma wakati wa kutoa jibu) na ina jibu linalotolewa kulingana na muktadha huu.

Katika kitengo hiki, tutaona kwa uwazi nini RAG ni, wakati inapendelewa kuliko mbadala, na hatua za bomba la kawaida la RAG. Vitengo vyote vifuatavyo vitakuza sehemu za ramani hii moja baada ya nyingine.

Wazo la Msingi la RAG: Mtihani wa Kitabu wazi

Hebu tufafanue RAG katika sentensi moja: "Kwanza tafuta hati husika, kisha modeli isome hati hiyo na uchapishe jibu ipasavyo."

Ulinganisho muhimu zaidi ni huu: RAG huhamisha modeli kutoka kwa "mtihani wa kitabu kilichofungwa" hadi "mtihani wa kitabu wazi." Katika mtihani wa kitabu kilichofungwa, mwanafunzi anajibu tu kutoka kwa kumbukumbu; Kuna hatari kubwa ya kutengeneza kile usichokumbuka. Katika mtihani wa kitabu cha wazi, mwanafunzi anajibu kwa kuangalia chanzo kilichowekwa mbele yake. Katika RAG, mfano haujibu tena kutoka kwa kumbukumbu yake mwenyewe, lakini kutoka kwa maandishi ya sasa na maalum unayotoa.

Jambo muhimu: RAG haibadilishi uzani wa modeli, ambayo ni, mabilioni ya vigezo vya nambari ambavyo mtindo umejifunza. Huna retrain model. Kwa kila swali, unaingiza vijisehemu vya maandishi yanayohusiana na swali hilo kwenye haraka (maandiko ya maagizo yaliyotumwa kwa modeli). Kwa hivyo sio lazima ufunze tena mfano wakati hati inasasishwa; unaonyesha upya rekodi husika katika hifadhidata ya utafutaji.

Dokezo: Maswali mawili yanaamua ubora wa RAG: (1) Je, umepata hati sahihi? (2) Je, modeli hiyo iliisoma kwa usahihi? Ya kwanza ni "ubora wa kurejesha", ya pili ni "ubora wa kizazi". Mbili hupimwa na kuboreshwa tofauti.

RAG, Urekebishaji Mzuri au Muktadha Mrefu?

Njia tatu mara nyingi huchanganyikiwa wakati wa kutafuta suluhisho la tatizo la shirika. Hebu tufafanue tofauti zao. Urekebishaji mzuri ni kusasisha uzani wa modeli kwa kutumia data yako na kuifundisha tabia/mtindo mpya. Muktadha mrefu unamaanisha kujaza hati zote moja kwa moja kwenye kidokezo bila uteuzi wowote.

Mbinu

Je!

Ni wakati gani inafaa?

Gharama / Hatari

RAG

Huingiza hati husika kama muktadha

Kubadilika mara kwa mara, kina, habari maalum

Chini; rahisi kusasisha, chanzo kinaweza kutajwa

Urekebishaji mzuri

Husasisha uzani kwa kutumia data mpya

Ufundishaji wa mtindo/umbizo/lugha isiyobadilika

Juu; Kujizoeza upya kunahitajika kwa kila sasisho

Muktadha mrefu pekee

Inajaza hati zote kwenye kidokezo

Seti ndogo ya hati iliyosimama

Gharama ya ishara na hatari ya "kupoteza sehemu ya kati" huongezeka

Kama sheria: Urekebishaji mzuri hufundisha mfano jinsi ya kuzungumza; RAG inamwambia mfano nini cha kujua. Katika hali nyingi za biashara, RAG inajaribiwa kwanza kwa sababu ni ya bei nafuu, inaweza kusasishwa, na inaweza kuonyesha chanzo cha jibu. Muktadha mrefu ni wa kuridhisha ikiwa seti ya hati ni ndogo na imerekebishwa (k.m. mwongozo mmoja wa kurasa 20); Lakini kwa maelfu ya kurasa, ni ghali na mfano unaweza kukosa habari katikati ya maandishi marefu.

Bomba la Kawaida la RAG

RAG ina awamu mbili kuu: kuorodhesha (maandalizi, hufanywa mara moja au mara kwa mara) na kuuliza (huendeshwa kwa kila swali la mtumiaji).

Uorodheshaji wa hatua kwa hatua (nje ya mtandao, bila kusubiri kwa mtumiaji):

1. Kusanya: Vuta hati kutoka kwa vyanzo (PDF, wiki, mfumo wa tikiti, hifadhidata, barua pepe).
2. Chunking: Vunja maandishi marefu katika vipande vidogo vinavyoweza kudhibitiwa.
3. Pachika: Badilisha kila sehemu kuwa upachikaji (vekta ya nambari inayobeba maana ya maandishi).
4. Hifadhi: Andika vekta pamoja na maandishi na metadata (chanzo, tarehe, maelezo ya uidhinishaji) kwenye hifadhidata ya vekta.

Hoja ya hatua kwa hatua (mtandaoni, wakati mtumiaji anasubiri):

1. Badilisha swali la mtumiaji liwe kupachika.
2. Rejesha sehemu zinazofanana zaidi kutoka kwa hifadhidata ya vekta.
3. Weka vipande hivi + swali kwenye kiolezo cha papo hapo.
4. Pata jibu la muktadha na vyanzo vyake kutoka kwa mfano.

# Muhtasari wa dhana ya awamu ya uchunguzi (haikutegemea lugha) swali = "Je, siku ngapi za likizo ya mwaka?"question_vektor = embed(swali)sehemu = vektor_db.search(question_vektor, top_k=4) # sehemu nyingi zinazofanana = f"""Jibu QUESTION ukitumia muktadha, sema "HAKUNA MUHTASARI." Ikiwa maelezo hayako hapa chini. Fitting.CONTEXT:{sehemu}SWALI: {swali}"""jibu = model.uret(prompt) # k.m. mfano: claude-opus-4-8

Mtiririko huu ni ramani ya kila hatua, ambayo tutaifungua moja baada ya nyingine katika vitengo vijavyo.

Uhamasishaji dhaifu / Uhamasishaji Wenye Nguvu

Hata kwa muktadha sawa wa RAG, ubora wa haraka hubadilisha jibu.

Ushauri dhaifu (wazi kwa kufaa kwa mfano, hauhitaji rasilimali):

Tumia maelezo haya na useme likizo ya mwaka: {sehemu}. Swali: {swali}

Ushauri wenye nguvu (kutuliza + "sijui" ruhusa + ombi la rasilimali):

Jibu tu kulingana na MUHTASARI ulio hapa chini. Ikiwa hakuna jibu wazi katika muktadha, andika "Sikuweza kupata habari kuhusu hili katika nyaraka"; Usikisie. Ongeza lebo ya [Chanzo: file_name] ya kipande unachokitegemea mwishoni mwa jibu lako. MUHTASARI: {pieces} SWALI: {swali}

Kesi Tatu Ndogo

Kesi ya 1 - msaidizi wa HR (Rasilimali Watu). Kampuni ina kitabu cha kurasa 340 cha HR na wafanyikazi huuliza wastani wa maswali 90 kwa siku. Urekebishaji mzuri ulijaribiwa, lakini kwa kuwa mwongozo ulisasishwa kila mwezi, mazoezi yalihitajika kila wakati; Gharama ilifikia maelfu ya dola kwa mwezi. Baada ya kubadili RAG, sasisho lilipunguzwa hadi hatua ya "re-index hati" (dakika) na kiwango cha jibu sahihi kiliongezeka kutoka 71% hadi 93% katika kipimo cha mwongozo.

Kesi ya 2 - Usaidizi wa Wateja. Timu ya usaidizi ina tikiti 12,000 zilizosuluhishwa na nakala 800 za usaidizi. Inachukua wastani wa dakika 4 kwa mwakilishi kupata jibu mwenyewe. Wakati msaidizi wa RAG alipoleta rekodi 5 muhimu zaidi na kutoa jibu la rasimu, muda ulipunguzwa hadi sekunde 40; Lakini timu iligundua hatari ya "kuonekana kutokuwa na uhakika kwa kuleta nakala isiyo sahihi" na kufanya kutaja chanzo kuwa lazima.

Kesi ya 3 - Sheria. Timu ya kandarasi iliuliza "katika mikataba gani kifungu cha usiri kinadumu kwa miaka 5?" anauliza swali. Katika jaribio la muktadha mrefu, mikataba 60 ilijazwa kwa haraka moja; mwanamitindo aliruka mikataba miwili ya kati. Wakati vitu muhimu tu vilipoanzishwa na RAG, gharama ya tokeni ilipungua kwa 80% na kuruka kukosa kuliwekwa upya.

Kwa nini RAG inahitajika?

• Sasa: ​​Unapata maelezo baada ya tarehe ya kusitishwa kwa mafunzo.
• Taarifa maalum: Hati zako za ndani hazijumuishwa katika mafunzo ya mtindo wowote; Ni wewe tu unaweza kutoa.
• Uthibitisho: Unaweza kutaja chanzo cha jibu (nukuu) - muhimu kwa ukaguzi na uaminifu.
• Udhibiti wa kuona: Inategemea maandishi yaliyowekwa mbele yake badala ya kuunda mfano.
• Gharama: Ni rahisi zaidi na kwa haraka zaidi kuweka katika uendeshaji kuliko kurekebisha vizuri.

Tahadhari: RAG sio uchawi. Ukileta kipande kibaya, kielelezo kinafika kwenye jibu lisilofaa kwa kuangalia "ujasiri." Kumbuka maneno "Ubora wa kurejesha = ubora wa RAG".

Makosa ya kawaida

• Kukosea kwa RAG kwa urekebishaji mzuri: RAG haibadilishi uzani; Inaongeza tu muktadha. Kuchanganya hizi mbili kutasababisha kuchagua usanifu mbaya.
• Kutoruhusu "Sijui": Iwapo kidokezo kitaacha kielelezo huru kujaza nafasi iliyo wazi, kitakamilisha.
• Bila kutaja vyanzo: Jibu bila chanzo haliwezi kuangaliwa; Mtumiaji hawezi kutambua kosa.
• Kubana kila kitu katika kidokezo kimoja: Muktadha mrefu unaonekana kuwa wa bei nafuu lakini ni wa gharama na hukosa maelezo ya kati.
• Kukwama katika kizazi bila kupima urejeshaji: Ikiwa jibu ni baya, kwanza uliza "Je, sehemu sahihi ilifika?" inapaswa kuulizwa.

Kwa muhtasari

• RAG ni mkabala unaoingiza hati zinazohusiana na swali katika modeli kama muktadha; haibadilishi uzani ("mtihani wa kitabu wazi").
• Urekebishaji mzuri hufundisha mtindo/umbizo, RAG inatoa habari ya sasa na mahususi; muktadha mrefu hufanya kazi vizuri kwa seti ndogo zisizohamishika. Katika hali nyingi, RAG inajaribiwa kwanza.
• Njia ya bomba ina awamu mbili: kuorodhesha nje ya mtandao (chunk + embedding + save) na uulizaji mtandaoni (retrieval + prompt + generate).
• RAG hutoa ufaao, maelezo mahususi, uthibitisho, udhibiti wa kuona vituko, na gharama ya chini.
• Ubora wa mfumo moja kwa moja unategemea ubora wa kurejesha: kipande kibaya kinamaanisha jibu lisilo sahihi.

Jukumu la maombi

Chagua chanzo halisi cha taarifa kutoka kwa timu yako mwenyewe (k.m. hati ya utaratibu au ukurasa wa Maswali Yanayoulizwa Mara kwa Mara). (1) Andika maswali 5 ya kweli kuhusu chanzo hiki. (2) Kumbuka ni sehemu gani ya hati iliyo na jibu sahihi kwa kila swali - hii inakuwa orodha yako ya "jibu la dhahabu". (3) Kwa kutumia kiolezo cha "kidokezo chenye nguvu" hapo juu, bandika mwenyewe sehemu husika kama muktadha na uulize kielelezo. (4) Linganisha jibu lililotolewa na mfano na jibu la dhahabu na uweke alama kama kweli/sivyo. Hili ni toleo la kwanza la tathmini ambalo utalifanyia kiotomatiki katika vitengo vijavyo.

orodha ya ukaguzi

• [ ] Ninaweza kueleza kwa sentensi moja kwamba RAG haibadilishi uzani, inaongeza tu muktadha.
• [ ] Ninaweza kutofautisha kati ya RAG, kusawazisha vizuri na muktadha mrefu na wakati ambao unafaa.
• [ ] Ninaweza kuhesabu uwekaji faharasa (collect-shred-embed-save) na hoja (pachika-chota-prompt-generate) awamu kwa mpangilio.
• [ ] Ninajua kwa nini niliongeza maagizo ya "ikiwa hayako katika muktadha, sema sijui" na "nukuu chanzo" kwenye dodoso.
• [ ] Ninaweza kurekebisha kanuni ya "Ubora wa kurejesha = ubora wa RAG" kwa kesi yangu mwenyewe.