Hvað er RAG og hvers vegna er það nauðsynlegt?

Hagnaður:

• Útskýrir að RAG dælir inn samhengi án þess að breyta vægi líkansins og vinnur með „opna bók próf“ rökfræði
• Að bera saman RAG við fínstillingar og langa samhengisaðferðir í samræmi við kostnað, tímasetningu og notkunarsviðsmynd
• Listi yfir skref dæmigerðrar RAG-leiðslu sem samanstendur af flokkun og fyrirspurnarstigum

Sama hversu öflugt tungumálalíkan (gervigreind sem skilur og framleiðir texta; við köllum það í stuttu máli héðan í frá) er, það þekkir ekki samninginn sem fyrirtækið þitt skrifaði undir í gær, innri wiki-síðuna þína (innri þekkingargrunn) eða útgáfuskýrsluna sem birt var í morgun. Líkanið takmarkast við almenna þekkingu fram að þeim degi sem það var þjálfað; Þetta er kallað "skerðingardagur menntunar". RAG (Retrieval-Augmented Generation) fyllir nákvæmlega þetta skarð: það finnur fyrirtækisskjölin sem tengjast spurningunni, gefur það líkaninu sem samhengi (þ.e. viðbótartexta sem það mun lesa á meðan svarið er framleitt) og lætur framleiða svarið út frá þessu samhengi.

Í þessari einingu munum við greinilega sjá hvað RAG er, hvenær það er valið fram yfir hvaða valkosti og skrefin í dæmigerðri RAG leiðslu. Allar síðari einingar munu dýpka hluta þessa korts einn í einu.

Grunnhugmynd RAG: Opið bókpróf

Við skulum útskýra RAG í einni setningu: "Finndu fyrst viðeigandi skjal, láttu síðan líkanið lesa það skjal og prentaðu svarið í samræmi við það."

Gagnlegasta samlíkingin er þessi: RAG færir líkanið úr „prófi í lokuðum bókum“ í „próf í opinni bók“. Í lokuðu bókprófi svarar nemandinn eingöngu eftir minni; Það er mikil hætta á að gera upp það sem þú manst ekki. Í prófi í opinni bók svarar nemandinn með því að skoða heimildina sem er fyrir framan hann. Í RAG svarar líkanið ekki lengur út frá eigin minni heldur frá núverandi og ákveðnum texta sem þú gefur honum.

Mikilvægur punktur: RAG breytir ekki vægi líkansins, það er að segja þeim milljörðum tölugilda sem líkanið hefur lært. Þú endurþjálfar ekki fyrirmyndina. Fyrir hverja spurningu dælir þú texta sem skiptir máli fyrir þá spurningu inn í hvetjunni (leiðbeiningartexti sendur til líkansins). Svo þú þarft ekki að endurþjálfa líkanið þegar skjal er uppfært; þú endurnýjar einfaldlega viðkomandi skrá í leitargagnagrunninum.

Ábending: Tvær spurningar ákvarða gæði RAG: (1) Fannstu rétta skjalið? (2) Las líkanið það rétt? Hið fyrra er „endurheimtagæði“, annað er „kynslóðagæði“. Þetta tvennt er mælt og endurbætt sérstaklega.

RAG, fínstilling eða langt samhengi?

Þrjár leiðir eru oft ruglaðar þegar leitað er að lausn á skipulagsvanda. Við skulum skýra ágreining þeirra. Fínstilling er að uppfæra þyngd líkansins með gögnunum þínum og kenna því nýja hegðun/stíl. Langt samhengi þýðir að fylla öll skjöl beint inn í hvetja án nokkurs vals.

Nálgun

Hvað gerir

Hvenær er það viðeigandi?

Kostnaður / Áhætta

RAG

Sprautar inn viðeigandi skjal sem samhengi

Breytilegar, miklar, sérstakar upplýsingar

Lágt; auðvelt að uppfæra, hægt er að vitna í heimild

Fínstilling

Uppfærir lóð með nýjum gögnum

Fast stíll/snið/tungumálakennsla

Hár; Endurmenntun krafist við hverja uppfærslu

Aðeins langt samhengi

Fyllir öll skjöl í hvetjunni

Lítið, kyrrstætt skjalasett

Táknkostnaður og hætta á að „missa miðhlutann“ eykst

Að jafnaði: Fínstilling kennir líkaninu hvernig á að tala; RAG segir fyrirsætunni hvað hún á að vita. Í flestum tilfellum fyrirtækja er RAG reynt fyrst vegna þess að það er ódýrt, uppfæranlegt og getur sýnt uppruna svarsins. Langt samhengi er sanngjarnt ef skjalasettið er mjög lítið og fast (t.d. ein 20 blaðsíðna handbók); En með þúsundir síðna er það dýrt og líkanið gæti misst af upplýsingum í miðjum löngum texta.

Dæmigerð RAG leiðsla

RAG samanstendur af tveimur megináföngum: flokkun (undirbúningur, gerður einu sinni eða reglulega) og fyrirspurn (keyrir á hverri notendaspurningu).

Skref fyrir skref flokkun (ótengdur, án þess að notandi bíður):

1. Safna: Dragðu skjöl úr heimildum (PDF, wiki, miðakerfi, gagnagrunnur, tölvupóstur).
2. Klumpur: Brjóttu langan texta í smærri viðráðanlega bita.
3. Embed: Umbreyttu hverjum hluta í innfellingu (talnavigur sem ber merkingu textans).
4. Vista: Skrifaðu vektorana ásamt texta og lýsigögnum (uppruni, dagsetning, heimildarupplýsingar) í vektorgagnagrunninn.

Skref-fyrir-skref fyrirspurn (á netinu, á meðan notandi bíður):

1. Umbreyttu spurningu notandans í innfellingu.
2. Sæktu svipaða hluta úr vektorgagnagrunninum.
3. Settu þessi stykki + spurningu inn í hvetjandi sniðmát.
4. Fáðu samhengissvarið og heimildir þess úr líkaninu.

# Hugmyndaleg útlína af fyrirspurnarfasa (ekki háð tungumáli)question = "Hversu marga daga í ársleyfi?"question_vektor = embed(question)parts = vektor_db.search(question_vektor, top_k=4) # most similar partsprompt = f"""Svaraðu SPURNINGunni með því að nota "CONTEXT" ekki í samhengi. Fitting.CONTEXT:{parts}SPURNING: {question}"""svar = model.uret(prompt) # t.d. fyrirmynd: claude-opus-4-8

Þetta flæði er kort af hverju stigi, sem við munum taka upp eitt af öðru í síðari einingum.

Veik kvaðning / sterk kvaðning

Jafnvel með sama RAG samhengi breytir gæði hvetjunnar svarinu.

Veik kvaðning (opin fyrir líkanfestingu, krefst ekki fjármagns):

Notaðu þessar upplýsingar og segðu árlegt leyfi: {parts}. Spurning: {spurning}

Öflug hvetja (jarðtenging + „ég veit ekki“ leyfi + auðlindabeiðni):

Svarið eingöngu byggt á samhenginu hér að neðan. Ef það er ekkert skýrt svar í samhenginu, skrifaðu "Ég fann ekki upplýsingar um þetta í skjölunum"; Ekki giska. Bættu við [Source: file_name] merkinu á verkinu sem þú ert að treysta á í lok svarsins. CONTEXT: {pieces} SPURNING: {question}

Þrjú Mini Cass

Mál 1 - HR aðstoðarmaður (mannauðs). Fyrirtæki er með 340 blaðsíðna mannauðshandbók og starfsmenn spyrja að meðaltali 90 spurninga á dag. Reynt var að fínstilla en þar sem handbókin var uppfærð mánaðarlega þurfti endurmenntun í hvert sinn; Kostnaðurinn nam þúsundum dollara á mánuði. Eftir að skipt var yfir í RAG var uppfærslan lækkuð í skrefið „endurskrá skjalið“ (mínútur) og hlutfall réttra svara hækkaði úr 71% í 93% í handvirkri mælingu.

Mál 2 - Þjónustudeild. Þjónustuteymið hefur 12.000 útkljáða miða og 800 hjálpargreinar. Það tekur fulltrúa að meðaltali 4 mínútur að finna svar handvirkt. Þegar aðstoðarmaður RAG kom með 5 mikilvægustu skrárnar og lagði fram drög að svari, var tíminn styttur í 40 sekúndur; En teymið áttaði sig á hættunni á því að „litast óviss með því að koma með ranga grein“ og gerði það að skyldu að vitna í heimildina.

Mál 3 - Lög. Samningateymi spurði "í hvaða samningum gildir þagnarskylduákvæðið í 5 ár?" spyr hann spurningarinnar. Í langa samhengisprófuninni voru 60 samningar fylltir út í einni beiðni; módelið sleppti miðjusamningunum tveimur. Þegar aðeins viðkomandi hlutir voru kynntir með RAG lækkaði táknkostnaðurinn um 80% og sleppingin sem vantaði var endurstillt.

Af hverju þarf RAG?

• Núverandi: Þú hefur aðgang að upplýsingum eftir lokadagsetningu þjálfunar.
• Sérstakar upplýsingar: Innri skjöl þín eru ekki innifalin í þjálfun hvers kyns; Aðeins þú getur gefið.
• Sannhæfni: Þú getur vitnað í uppruna svarsins (tilvitnun) - nauðsynlegt fyrir endurskoðun og traust.
• Ofskynjastjórnun: Það byggir á textanum sem er settur fyrir framan hann frekar en að búa til fyrirmynd.
• Kostnaður: Það er miklu ódýrara og fljótlegra í notkun en fínstilla.

Varúð: RAG er ekki galdur. Ef þú kemur með rangt verk, kemur fyrirsætan að rangu svari og lítur út fyrir að vera „öruggur“. Hafðu í huga setninguna "Gæði endurheimtar = RAG gæði".

Algeng mistök

• Að misskilja RAG fyrir fínstillingu: RAG breytir ekki lóðunum; Það bætir bara við samhengi. Að rugla þessu tvennu saman mun leiða til þess að velja rangan arkitektúr.
• Ekki leyfa „ég veit það ekki“: Ef hvetjan gerir líkaninu frjálst að fylla út eyðuna mun það bæta upp.
• Ekki vitnað í heimildir: Svar án heimildar er ekki hægt að athuga; Notandinn getur ekki tekið eftir mistökunum.
• Að troða öllu saman í eina vísbendingu: Langt samhengi lítur út fyrir að vera ódýrt en er dýrt og vantar miðupplýsingarnar.
• Að festast í kynslóð án þess að mæla endurheimtuna: Ef svarið er slæmt, spyrðu fyrst "Kom réttur hluti?" ætti að spyrja.

Í stuttu máli

• RAG er nálgun sem dælir skjölum sem tengjast spurningunni inn í líkanið sem samhengi; breytir ekki lóðunum ("opnu bókprófi").
• Fínstilling kennir stíl/snið, RAG gefur núverandi og sérstakar upplýsingar; langt samhengi virkar vel fyrir lítil föst sett. Í flestum tilfellum er RAG reynt fyrst.
• Leiðslurnar eru í tveimur áföngum: flokkun án nettengingar (klumpur + innfelling + vista) og fyrirspurnir á netinu (heimsókn + hvetja + mynda).
• RAG veitir tímanleika, sérstakar upplýsingar, sannprófanleika, ofskynjastjórnun og litlum tilkostnaði.
• Gæði kerfisins eru beint háð gæðum sóttarinnar: rangt stykki þýðir rangt svar.

Umsóknarverkefni

Veldu raunverulegan uppsprettu upplýsinga frá þínu eigin teymi (t.d. málsmeðferðarskjal eða algengar spurningar). (1) Skrifaðu 5 staðreyndaspurningar um þessa heimild. (2) Athugaðu hvaða hluti skjalsins inniheldur rétt svar fyrir hverja spurningu - þetta verður "gyllt svar" listinn þinn. (3) Notaðu „sterka hvetja“ sniðmátið hér að ofan, límdu viðkomandi hluta handvirkt sem samhengi og spyrðu líkan. (4) Berðu saman svarið sem líkanið gefur við gullna svarið og merktu við satt/ósatt. Þetta er fyrsta handvirka útgáfan af matinu sem þú munt gera sjálfvirkan í framtíðareiningum.

gátlisti

• [ ] Ég get útskýrt í einni setningu að RAG breytir ekki lóðunum, það bætir bara við samhengi.
• [ ] Ég get greint á milli RAG, fínstillingu og langt samhengi og hvenær það á við.
• [ ] Ég get talið flokkun (collect-shred-embed-save) og fyrirspurn (embed-fetch-prompt-generate) fasa í röð.
• [ ] Ég veit hvers vegna ég bætti leiðbeiningunum „ef það er ekki í samhengi, segðu að ég viti það ekki“ og „vitna í heimild“ við leiðbeiningarnar.
• [ ] Ég get aðlagað meginregluna um "Endurheimt gæði = RAG gæði" að mínu eigin tilviki.