RAG යනු කුමක්ද සහ එය අවශ්ය වන්නේ ඇයි?

ලාභ:

• RAG ආකෘතියේ බර වෙනස් නොකර සන්දර්භය එන්නත් කරන බවත් 'විවෘත පොත් විභාගය' තර්කනය සමඟ ක්‍රියා කරන බවත් පැහැදිලි කිරීම
• RAG පිරිවැය, කාලානුරූපීභාවය සහ භාවිත තත්ත්වය අනුව සියුම් සුසර කිරීම සහ දිගු සන්දර්භ ප්‍රවේශයන් සමඟ සංසන්දනය කිරීම
• සුචිගත කිරීම සහ විමසුම් අදියර වලින් සමන්විත සාමාන්‍ය RAG නල මාර්ගයක පියවර ලැයිස්තුගත කිරීම

භාෂා ආකෘතියක් (පෙළ තේරුම් ගෙන නිපදවන කෘත්‍රිම බුද්ධිය; අපි එය කෙටියෙන් ආදර්ශය ලෙස හඳුන්වමු) කොතරම් බලවත් වුවත්, එය ඔබේ සමාගම ඊයේ අත්සන් කළ ගිවිසුම, ඔබේ අභ්‍යන්තර විකි (අභ්‍යන්තර දැනුම් පදනම) පිටුව හෝ අද උදෑසන ප්‍රකාශිත නිකුත් කිරීමේ සටහන නොදනී. ආකෘතිය එය පුහුණු කළ දිනය දක්වා සාමාන්ය දැනුමට සීමා වේ; මෙය "අධ්‍යාපන කඩඉම් දිනය" ලෙස හැඳින්වේ. RAG (Retrieval-Augmented Generation) මෙම පරතරය හරියටම පුරවයි: එය ප්‍රශ්නයට අදාළ සමාගම් ලේඛන සොයා ගනී, එය ආකෘතියට සන්දර්භය ලෙස ලබා දෙයි (එනම්, පිළිතුර නිපදවන විට එය කියවන අමතර පෙළ) සහ මෙම සන්දර්භය මත පදනම්ව නිෂ්පාදනය කරන ලද පිළිතුර ඇත.

මෙම ඒකකය තුළ, අපි RAG යනු කුමක්ද, කුමන විකල්ප වලට වඩා එය වඩාත් කැමති විට සහ සාමාන්‍ය RAG නල මාර්ගයක පියවරයන් පැහැදිලිව දකිමු. සියලුම පසුකාලීන ඒකක මෙම සිතියමේ කොටස් එකින් එක ගැඹුරු කරනු ඇත.

RAG හි මූලික අදහස: විවෘත පොත් විභාගය

අපි RAG එක වාක්‍යයකින් පැහැදිලි කරමු: "පළමුව අදාල ලේඛනය සොයා ගන්න, පසුව ආකෘතිය එම ලේඛනය කියවා ඒ අනුව පිළිතුර මුද්‍රණය කරන්න."

වඩාත්ම ප්‍රයෝජනවත් ප්‍රතිසමය මෙයයි: RAG ආකෘතිය "සංවෘත පොත් විභාගය" සිට "විවෘත පොත් විභාගය" දක්වා ගෙන යයි. සංවෘත පොත් විභාගයේදී, ශිෂ්යයා පිළිතුරු දෙන්නේ මතකයෙන් පමණි; ඔබට මතක නැති දේ සෑදීමේ ඉහළ අවදානමක් ඇත. විවෘත පොත් විභාගයේදී, ශිෂ්‍යයා පිළිතුරු දෙන්නේ ඔහු ඉදිරිපිට තබා ඇති මූලාශ්‍රය දෙස බලමිනි. RAG වලදී, ආකෘතිය තවදුරටත් එහි මතකයෙන් පිළිතුරු නොදේ, නමුත් ඔබ එය ලබා දෙන වත්මන් සහ නිශ්චිත පාඨයෙන්.

විවේචනාත්මක කරුණ: RAG ආකෘතියේ බර වෙනස් නොකරයි, එනම්, ආකෘතිය ඉගෙන ගෙන ඇති බිලියන ගණනක සංඛ්යාත්මක පරාමිතීන්. ඔබ ආකෘතිය නැවත පුහුණු නොකරයි. එක් එක් ප්‍රශ්නය සඳහා, ඔබ එම ප්‍රශ්නයට අදාළ පෙළ කොටස් විමසුමට එන්නත් කරයි (ආකෘතියට යවන ලද උපදෙස් පෙළ). එබැවින් ලේඛනයක් යාවත්කාලීන කරන විට ඔබට ආකෘතිය නැවත පුහුණු කිරීමට සිදු නොවේ; ඔබ හුදෙක් සෙවුම් දත්ත ගබඩාවේ අදාළ වාර්තාව නැවුම් කරන්න.

ඉඟිය: ප්‍රශ්න දෙකක් RAG හි ගුණාත්මකභාවය තීරණය කරයි: (1) ඔබ නිවැරදි ලේඛනය සොයා ගත්තාද? (2) ආකෘතිය එය නිවැරදිව කියවා තිබේද? පළමුවැන්න "නැවත ලබා ගැනීමේ ගුණාත්මකභාවය", දෙවැන්න "පරම්පරා ගුණය" ය. ඒ දෙක වෙන වෙනම මනිනවා වැඩි දියුණු කරනවා.

RAG, සියුම්-සුසර කිරීම හෝ දිගු සන්දර්භය?

ආයතනික ගැටලුවකට විසඳුමක් සොයන විට මාර්ග තුනක් බොහෝ විට ව්‍යාකූල වේ. ඔවුන්ගේ වෙනස්කම් පැහැදිලි කරමු. සියුම් සුසර කිරීම යනු ඔබේ දත්ත සමඟ ආකෘතියේ බර යාවත්කාලීන කිරීම සහ එයට නව හැසිරීමක්/විලාසයක් ඉගැන්වීමයි. දිගු සන්දර්භය යනු කිසිදු තේරීමකින් තොරව සියලුම ලේඛන කෙලින්ම විමසුමට පිරවීමයි.

ප්රවේශය

මොනවද කරන්නේ

එය සුදුසු වන්නේ කවදාද?

පිරිවැය / අවදානම

RAG

සන්දර්භය ලෙස අදාළ ලේඛනය එන්නත් කරයි

නිතර වෙනස් වන, පුළුල්, නිශ්චිත තොරතුරු

අඩු; යාවත්කාලීන කිරීමට පහසුය, මූලාශ්රය උපුටා දැක්විය හැක

සියුම් සුසර කිරීම

නව දත්ත සමඟ බර යාවත්කාලීන කරයි

ස්ථාවර ශෛලිය/ආකෘතිය/භාෂා ඉගැන්වීම

ඉහළ; සෑම යාවත්කාලීනයක් සමඟම නැවත පුහුණු කිරීම අවශ්‍ය වේ

දිගු සන්දර්භය පමණි

ප්‍රේරකයට සියලුම ලේඛන පුරවයි

කුඩා, ස්ථාවර ලේඛන කට්ටලයක්

ටෝකන් පිරිවැය සහ "මැද කොටස අහිමි වීමේ" අවදානම වැඩිවේ

රීතියක් ලෙස: සියුම් සුසර කිරීම ආකෘතියට කතා කරන ආකාරය උගන්වයි; RAG ආකෘතියට දැනගත යුතු දේ කියයි. බොහෝ ව්‍යවසාය අවස්ථා වලදී, RAG මුලින්ම උත්සාහ කරන්නේ එය ලාභ, යාවත්කාලීන කළ හැකි සහ පිළිතුරේ මූලාශ්‍රය පෙන්විය හැකි බැවිනි. ලේඛන කට්ටලය සැබවින්ම කුඩා සහ ස්ථාවර නම් (උදා: තනි පිටු 20 අත්පොතක්) දිගු සන්දර්භය සාධාරණ වේ; නමුත් පිටු දහස් ගණනක් සමඟ, එය මිල අධික වන අතර, ආකෘතිය දිගු පෙළ මැද තොරතුරු මග හැරිය හැක.

සාමාන්ය RAG නල මාර්ගයක්

RAG ප්‍රධාන අදියර දෙකකින් සමන්විත වේ: සුචිගත කිරීම (සූදානම් කිරීම, වරක් හෝ වරින් වර සිදු කරනු ලැබේ) සහ විමසීම් (සෑම පරිශීලක ප්‍රශ්නයකම ක්‍රියාත්මක වේ).

පියවරෙන් පියවර සුචිගත කිරීම (නොබැඳි, පරිශීලක බලා සිටීමකින් තොරව):

1. එකතු කරන්න: මූලාශ්‍රවලින් ලේඛන අදින්න (PDF, wiki, ටිකට් පද්ධතිය, දත්ත සමුදාය, ඊමේල්).
2. කුට්ටි කිරීම: දිගු පෙළ කුඩා කළමනා කළ හැකි කැබලිවලට කඩන්න.
3. Embed: සෑම කොටසක්ම කාවැද්දීම බවට පරිවර්තනය කරන්න (පෙළේ තේරුම ගෙන යන සංඛ්‍යා දෛශිකය).
4. සුරකින්න: දෛශික දත්ත ගබඩාවට පෙළ සහ පාරදත්ත (මූලාශ්‍රය, දිනය, අවසර තොරතුරු) සමඟ දෛශික ලියන්න.

පියවරෙන් පියවර විමසුම (මාර්ගගතව, පරිශීලකයා බලා සිටින අතරතුර):

1. පරිශීලකයාගේ ප්‍රශ්නය කාවැද්දීමට පරිවර්තනය කරන්න.
2. දෛශික දත්ත ගබඩාවෙන් වඩාත්ම සමාන කොටස් ලබා ගන්න.
3. මෙම කෑලි + ප්‍රශ්නය ක්ෂණික අච්චුවකට දමන්න.
4. ආකෘතියෙන් සන්දර්භීය පිළිතුර සහ එහි මූලාශ්ර ලබා ගන්න.

# විමර්ශන අවධියේ සංකල්පීය දළ සටහන (භාෂාව මත රඳා නොපවතී)ප්‍රශ්නය = "වාර්ෂික නිවාඩු දින කීයක්ද?"question_vektor = embed(question)parts = vektor_db.search(question_vektor, top_k=4) # බොහෝ සමාන කොටස් ප්‍රොම්ප්ට් = f"""මෙම ප්‍රශ්නයට පිළිතුරු සන්දර්භය තුළ නොමැති නම්, මෙම ප්‍රශ්නයට පිළිතුරු සන්දර්භය තුළ TEXT නොමැති නම්, CON TEXT භාවිතා කරන්න." Fitting.CONTEXT:{parts}QUESTION: {question}"""answer = model.uret(prompt) # උදා. ආකෘතිය: claude-opus-4-8

මෙම ප්‍රවාහය එක් එක් අදියරෙහි සිතියමක් වන අතර, එය අපි පසුකාලීන ඒකක වලින් එකින් එක අගුළු හරිමු.

දුර්වල ක්ෂණික / ශක්තිමත් ක්ෂණික

එකම RAG සන්දර්භය සමඟ වුවද, විමසුමේ ගුණාත්මක භාවය පිළිතුර වෙනස් කරයි.

දුර්වල කඩිනම් (ආකෘති සවි කිරීම සඳහා විවෘත, සම්පත් අවශ්ය නොවේ):

මෙම තොරතුරු භාවිතා කර වාර්ෂික නිවාඩු කියන්න: {කොටස්}. ප්‍රශ්නය: {question}

බලවත් විමසුම (භූමිකරණය + "මම දන්නේ නැහැ" අවසරය + සම්පත් ඉල්ලීම):

පහත ඇති CONTEXT මත පදනම්ව පමණක් පිළිතුරු දෙන්න. සන්දර්භය තුළ පැහැදිලි පිළිතුරක් නොමැති නම්, "මට මේ පිළිබඳ තොරතුරු ලේඛනවල සොයාගත නොහැකි විය" යනුවෙන් ලියන්න; අනුමාන කරන්න එපා. ඔබගේ පිළිතුර අවසානයේ ඔබ විශ්වාස කරන කොටසෙහි [මූලාශ්‍රය: ගොනු_නම] ටැගය එක් කරන්න. සන්දර්භය: {කෑලි} ප්‍රශ්නය: {question}

කුඩා නඩු තුනක්

නඩුව 1 — මානව සම්පත් සහකාර (මානව සම්පත්). සමාගමක පිටු 340 කින් යුත් මානව සම්පත් අත්පොතක් ඇති අතර සේවකයින් දිනකට සාමාන්‍යයෙන් ප්‍රශ්න 90 ක් අසයි. සියුම් සුසර කිරීම උත්සාහ කරන ලදී, නමුත් අත්පොත මාසිකව යාවත්කාලීන කරන ලද බැවින්, සෑම අවස්ථාවකදීම නැවත පුහුණු කිරීම අවශ්ය විය; වියදම මසකට ඩොලර් දහස් ගණනක් කරා ළඟා විය. RAG වෙත මාරු වීමෙන් පසුව, යාවත්කාලීන කිරීම "ලේඛනය නැවත සුචිගත කරන්න" පියවර (මිනිත්තු) දක්වා අඩු කරන ලද අතර අතින් මැනීමේදී නිවැරදි පිළිතුරු අනුපාතය 71% සිට 93% දක්වා වැඩි විය.

නඩුව 2 - පාරිභෝගික සහාය. සහායක කණ්ඩායම සතුව ප්‍රවේශපත්‍ර 12,000ක් සහ උපකාරක ලිපි 800ක් ඇත. නියෝජිතයෙකුට පිළිතුරක් හස්තීයව සෙවීමට සාමාන්‍යයෙන් මිනිත්තු 4ක් ගතවේ. RAG සහායකයා වඩාත් අදාළ වාර්තා 5 ගෙනැවිත් කෙටුම්පත් ප්‍රතිචාරයක් ඉදිරිපත් කළ විට, කාලය තත්පර 40 දක්වා අඩු විය; නමුත් කණ්ඩායම "වැරදි ලිපියක් ගෙන ඒමෙන් අවිනිශ්චිතව බැලීමේ" අවදානම වටහා ගත් අතර මූලාශ්‍රය උපුටා දැක්වීම අනිවාර්ය කළේය.

නඩුව 3 - නීතිය. කොන්ත්‍රාත් කණ්ඩායමක් ඇසුවේ "රහස්‍යතා වගන්තිය වසර 5ක් පවතින්නේ කුමන ගිවිසුම් වලද?" ඔහු ප්‍රශ්නය අසයි. දිගු සන්දර්භය අත්හදා බැලීමේ දී, කොන්ත්‍රාත්තු 60 ක් තනි ප්‍රවේගයකට පුරවා ඇත; ආකෘතිය මැද ගිවිසුම් දෙක මඟ හැරියේය. RAG සමඟ අදාළ අයිතම පමණක් හඳුන්වා දුන් විට, ටෝකන් පිරිවැය 80% කින් අඩු වී ඇති අතර අතුරුදහන් වූ skipping නැවත සකස් කරන ලදී.

RAG අවශ්ය වන්නේ ඇයි?

• වත්මන් බව: ඔබ පුහුණු කඩඉම් දිනයෙන් පසුව තොරතුරු වෙත ප්‍රවේශ වේ.
• විශේෂ තොරතුරු: ඔබේ අභ්යන්තර ලේඛන කිසිදු ආකෘතියක් පුහුණු කිරීම සඳහා ඇතුළත් නොවේ; දෙන්න පුළුවන් ඔයාට විතරයි.
• සත්‍යාපනය: ඔබට පිළිතුරේ මූලාශ්‍රය උපුටා දැක්විය හැක (උපුටා ගැනීම) — විගණනය සහ විශ්වාසය සඳහා අත්‍යවශ්‍ය වේ.
• මායාව පාලනය: එය ආකෘතියක් සෑදීමට වඩා එය ඉදිරිපිට තබා ඇති පෙළ මත රඳා පවතී.
• පිරිවැය: එය සියුම් සුසර කිරීමට වඩා ක්‍රියාත්මක කිරීමට වඩා ලාභදායී සහ වේගවත් වේ.

අවවාදයයි: RAG යනු මැජික් නොවේ. ඔබ වැරදි කෑල්ලක් ගෙන එන්නේ නම්, ආකෘතිය "විශ්වාසය" දෙස බලා වැරදි පිළිතුරකට පැමිණේ. "Retrieval quality = RAG quality" යන වාක්‍ය ඛණ්ඩය මතක තබා ගන්න.

පොදු වැරදි

• සියුම් සුසර කිරීම සඳහා RAG වරදවා වටහා ගැනීම: RAG බර වෙනස් නොකරයි; එය හුදෙක් සන්දර්භය එකතු කරයි. මේ දෙක පටලවා ගැනීම වැරදි වාස්තු තෝරා ගැනීමට හේතු වේ.
• "මම දන්නේ නැහැ" ඉඩ නොදීම: ප්‍රේරකය මඟින් ආකෘතිය හිස් තැන පිරවීමට නිදහස් කරන්නේ නම්, එය සෑදෙනු ඇත.
• මූලාශ්‍ර උපුටා නොදැක්වීම: මූලාශ්‍රයක් නොමැතිව පිළිතුරක් පරීක්ෂා කළ නොහැක; පරිශීලකයාට දෝෂය දැකිය නොහැක.
• සෑම දෙයක්ම එක ප්‍රේරකයක් බවට පත් කිරීම: දිගු සන්දර්භය ලාභදායී ලෙස පෙනෙන නමුත් මිල අධික වන අතර මැද තොරතුරු මග හැරේ.
• නැවත ලබා ගැනීම මැන බැලීමකින් තොරව පරම්පරාවේ හිරවීම: පිළිතුර නරක නම්, පළමුව "හරි කොටස පැමිණියාද?" යන්න විමසිය යුතුය.

සාරාංශයක් ලෙස

• RAG යනු ප්‍රශ්නයට අදාළ ලේඛන සන්දර්භය ලෙස ආකෘතියට ඇතුල් කරන ප්‍රවේශයකි; බර වෙනස් නොකරයි ("විවෘත පොත් විභාගය").
• සියුම්-සුසර කිරීම ශෛලිය/ආකෘතිය උගන්වයි, RAG වත්මන් සහ නිශ්චිත තොරතුරු ලබා දෙයි; දිගු සන්දර්භය කුඩා ස්ථාවර කට්ටල සඳහා හොඳින් ක්රියා කරයි. බොහෝ අවස්ථාවන්හිදී, RAG මුලින්ම උත්සාහ කරනු ලැබේ.
• නල මාර්ගයේ අදියර දෙකක් ඇත: නොබැඳි සුචිගත කිරීම (කුට්ටිය + කාවැද්දීම + සුරැකීම) සහ මාර්ගගත විමසුම් (නැවත ලබා ගැනීම + විමසුම + උත්පාදනය කිරීම).
• RAG මගින් කාලෝචිත බව, නිශ්චිත තොරතුරු, සත්‍යාපනය, මායාව පාලනය සහ අඩු පිරිවැය සපයයි.
• පද්ධතියේ ගුණාත්මක භාවය සෘජුවම රඳා පවතින්නේ නැවත ලබා ගැනීමේ ගුණාත්මකභාවය මත ය: වැරදි කැබැල්ලක් යනු වැරදි පිළිතුරකි.

යෙදුම් කාර්යය

ඔබේම කණ්ඩායමෙන් සත්‍ය තොරතුරු මූලාශ්‍රයක් තෝරන්න (උදා: ක්‍රියා පටිපාටි ලේඛනයක් හෝ නිතර අසන පැන පිටුව). (1) මෙම මූලාශ්‍රය පිළිබඳ සත්‍ය ප්‍රශ්න 5ක් ලියන්න. (2) එක් එක් ප්‍රශ්නය සඳහා නිවැරදි පිළිතුර අඩංගු ලේඛනයේ කුමන කොටසද යන්න සටහන් කර ගන්න - මෙය ඔබගේ "රන් පිළිතුර" ලැයිස්තුව බවට පත් වේ. (3) ඉහත "strong prompt" අච්චුව භාවිතා කරමින්, අදාල කොටස සන්දර්භය ලෙස අතින් අලවා ආකෘතියක් අසන්න. (4) ආකෘතිය විසින් දෙන ලද පිළිතුර රන් පිළිතුර සමඟ සසඳා සත්‍ය/අසත්‍ය ලෙස ලකුණු කරන්න. අනාගත ඒකකවල ඔබ ස්වයංක්‍රීය කරන තක්සේරුවේ පළමු අත්පොත මෙයයි.

පිරික්සුම් ලැයිස්තුව

• [ ] මට එක වාක්‍යයකින් පැහැදිලි කළ හැක්කේ RAG බර වෙනස් නොකරන බවත්, එය සන්දර්භය එකතු කරන බවත් ය.
• [ ] මට RAG, සියුම්-සුසර කිරීම සහ දිගු සන්දර්භය අතර සහ සුදුසු අවස්ථාවන් අතර වෙනස හඳුනාගත හැකිය.
• [ ] මට සුචිගත කිරීම (එකතු කිරීම-shred-embed-save) සහ විමසුම් (embed-fetch-prompt-generate) අදියර අනුපිළිවෙලින් ගණන් කළ හැක.
• [ ] මම "එය සන්දර්භය තුළ නොමැති නම්, මම නොදනිමි" සහ "මූලාශ්‍රය උපුටා දක්වන්න" යන උපදෙස් විමසුමට එක් කළේ මන්දැයි මම දනිමි.
• [ ] මට "Retrieval quality = RAG quality" මූලධර්මය මගේම නඩුවට අනුගත කළ හැක.