ලාභ:
- RAG (ඛණ්ඩනය, ප්රවේශය, සම්පත් මත යැපෙන උත්පාදනය) ක්රියා කරන ආකාරය සහ එය මායාව අඩු කරන ආකාරය තේරුම් ගන්න
- වර්තමාන, පැහැදිලි, ගැටුම් රහිත සහ තනි නිවැරදි මූලාශ්රයක් ඇති දැනුම් පදනමක් ඇති කර ගැනීමෙන් පිළිතුරුවල ගුණාත්මක භාවය වැඩි කිරීමේ හැකියාව.
- 'මූලාශ්රයේ නොමැති නම්, ඔබ නොදන්න බව මට කියන්න' ආකෘතියට උපදෙස් දීම සහ එයට පිළිතුරු දිය නොහැකි ප්රශ්න දැනුම පදනම් වැඩිදියුණු කිරීම බවට පත් කිරීමේ හැකියාව.
බොට් හෝ නියෝජිත සහායක දෙන පිළිතුර එය පදනම් වූ තොරතුරු තරම් හොඳ ය. "ප්රචාරක ව්යාපාරය දිගටම කරගෙන යනවාද?" පාරිභෝගිකයා ඇසූ විට, නිවැරදි පිළිතුර ඇත්තේ ආකෘතියේ මතකයේ නොව, ආයතනයේ වර්තමාන දැනුමේ ය. ඇමතුම් මධ්යස්ථාන කෘතිම බුද්ධියේ හදවත දැනුම පදනම (KB) වන්නේ එබැවිනි: නිෂ්පාදන, ප්රතිපත්ති, නිතර අසන ප්රශ්න, ක්රියා පටිපාටි සහ නීති ලිඛිතව තබා ඇති යාවත්කාලීන සම්පතකි. තවද මෙම දැනුම් පදනම කෘත්රිම බුද්ධියට ආරක්ෂිතව සම්බන්ධ කරන ක්රමය RAG: Retrieval-Augmented Generation ලෙස හැඳින්වේ - තමන්ගේම මතකයෙන් පිළිතුර සකස් කිරීම වෙනුවට, ආකෘතිය ප්රථමයෙන් අදාළ තොරතුරු මූලාශ්රයෙන් (ප්රතිසාධනය) ලබාගෙන පසුව එම කෑලි මත පදනම්ව පමණක් (පරම්පරාව) පිළිතුර ජනනය කරයි.
RAG යනු මායාවන් වැලැක්වීමේ බලවත්ම ක්රමයයි. "ණය පොලී අනුපාතය කුමක්ද?" යන ප්රශ්නය සඳහා ආකෘතිය එහි හිසෙහි අංකයක් ජනනය නොකරයි. එය දැනුම් පදනමෙන් වත්මන් උනන්දුව පෙළ ලබා ගන්නා අතර එය මත පදනම්ව පිළිතුරු සපයයි. මෙම ඒකකයෙන් අපි දැනුම පදනම සකස් කරන්නේ කෙසේද, RAG ක්රියා කරන ආකාරය සහ හොඳ දැනුම් පදනමක් පිළිතුරුවල ගුණාත්මකභාවය තීරණය කරන්නේ කෙසේද යන්න බලමු.
RAG ක්රියා කරන ආකාරය: පියවර හතරක්
RAG පුස්තකාලයාධිපතිවරයෙකු මෙන් සිතන්න. පාරිභෝගිකයා ප්රශ්න අසයි; පද්ධතිය මුලින්ම පුස්තකාලයේ දකුණු රාක්කයෙන් අදාළ පිටු සොයා ගනී, පසුව එම පිටු කියවා පිළිතුරු ලියයි. තාක්ෂණික පියවර පහත පරිදි වේ:
- කුට්ටි කිරීම: දැනුම පදනමේ ඇති දිගු ලේඛන කුඩා, අර්ථවත් කොටස් වලට කැඩී ඇත (උදා: සෑම නිති අසන පැනයක් වේ). මක්නිසාද යත්, ආකෘතිය අදාළ කුඩා කොටස් සමඟ වඩාත් නිවැරදිව ප්රශ්නයකට පිළිතුරු සපයන බැවිනි.
- කාවැද්දීම සහ සුචිගත කිරීම: සෑම කැබැල්ලක්ම එහි අර්ථය නියෝජනය කරන සංඛ්යාත්මක ස්වරූපයකට පරිවර්තනය කර ඇත (Embedding—පෙළෙහි අර්ථය නියෝජනය කරන සංඛ්යා අනුපිළිවෙලක්) සහ සෙවිය හැකි දත්ත ගබඩාවක තබා ඇත. මේ අනුව, එය "වචන ගැලපීමක්" නොව "අර්ථ ගැලපීමක්" වේ; "මගේ මුදල් තැන්පත් කරන්නේ කවදාද?" පාරිභෝගිකයා ඇසුවද, "ආපසු ගෙවීමේ කාලය" කොටස සොයාගත හැකිය.
- ලබා ගැනීම: පාරිභෝගිකයාගේ ප්රශ්නයට අරුතින් සමීපතම කොටස් ලබා ගැනේ (උදා: ආසන්නතම කොටස් 3-5).
- උත්පාදනය: ආකෘතිය අඳින ලද කොටස් පමණක් පදනම් කරගෙන පිළිතුර ලියන අතර හැකි නම් මූලාශ්රය දක්වයි.
තීරනාත්මක ලක්ෂ්යය පියවර 4 හි ඇත: ආකෘතියට උපදෙස් දී ඇත්තේ "දී ඇති කෑලි මත පමණක් රඳා සිටින්න, නැතහොත් ඔබ නොදන්නා බව පවසන්න." මෙම උපදෙස් නොමැතිව, RAG ආකෘතිය සවි කිරීම වළක්වන්නේ නැත.
ඉඟිය: RAG හි ස්වර්ණමය රීතිය: "එය මූලාශ්රයේ නොමැති නම්, පිළිතුරක් නොමැත." හොඳ RAG පද්ධතියක් දැනුම් පදනමේ නැති ප්රශ්නයකට "මම මේ ගැන නිශ්චිතවම නොදනිමි" යැයි කියනු ඇත; කිසිවිටෙක අනුමානයෙන් හිඩැස පුරවන්නේ නැත. "මම දන්නේ නැහැ" යැයි කීමට bot ට ඇති හැකියාව ආරක්ෂක අංගයක් මිස දුර්වලතාවයක් නොවේ.
හොඳ දැනුම් පදනමක්: පිළිතුරු ගුණාත්මක බවේ සැබෑ මූලාශ්රය
RAG එක කොච්චර හොඳ උනත් දැනුම පදනම නරක නම් උත්තරේ නරකයි. දැනුමේ පාදක ගුණාත්මක භාවය මනිනු ලබන්නේ:
ලක්ෂණය
නරක දැනුම පදනම
හොඳ දැනුම පදනමක්
වත්මන් බව
මාස ගණනක් යාවත්කාලීන කර නැත
වෙනස් වූ වහාම යාවත්කාලීන වේ
පැහැදිලිකම
දිගු, වටකුරු පෙළ
කෙටි, තනි මාතෘකා ලිපි
ව්යුහය
අවුල් PDF ගොඩ
දිරාපත් වන ද්රව්ය ලෙස ලේබල් කර ඇත
අනුකූලතාව
පරස්පර පිළිතුරු දෙකක්
සත්යයේ තනි මූලාශ්රය
විෂය පථය
බොහෝ හිඩැස් ඇත
නිතර අසන ප්රශ්න ආවරණය කරයි
අයිතිය
කිසිවෙකු වගකිව යුතු නැත
සෑම මාතෘකාවකටම හිමිකරුවෙක් සිටී
ඇමතුම් මධ්යස්ථාන සන්දර්භය තුළ ඇති භයානකම ගැටලුව වන්නේ පරස්පර විරෝධීතාවයි: දැනුම් පදනමේ විවිධ ප්රතිලාභ කාල පරිච්ඡේද දෙකක් ලියා ඇත්නම්, RAG එය ගන්නා ඕනෑම එකක් පවසන අතර නොගැලපෙන පිළිතුරක් පාරිභෝගිකයා වෙත යවනු ලැබේ. "සත්යයේ තනි මූලාශ්රය" මූලධර්මය ඉතා වැදගත් වන්නේ එබැවිනි: තොරතුරු එක තැනක යාවත්කාලීනව තබා ඇත; එම මූලාශ්රය සඳහා යොමු කිරීම් භාවිතා කරනු ලැබේ, පිටපත් නොවේ.
පියවරෙන් පියවර: RAG-සහාය දක්වන ප්රතිචාර පද්ධතියක් ගොඩනැගීම
- දැනුම පදනම පිරිසිදු කරන්න: යල් පැන ගිය, ගැටුම්කාරී, අනුපිටපත් ලිපි ඉවත් කරන්න. සෑම ලිපියක්ම කෙටි සහ තනි මාතෘකාවක් කරන්න.
- එය බිඳ දමා ටැග් කරන්න: එක් එක් ලිපියට මාතෘකා ටැගයක් සහ අවසාන යාවත්කාලීන දිනය එක් කරන්න.
- ප්රවේශය ස්ථාපිත කරන්න: විමසූ විට අදාළ කොටස් ඇද ගන්නා යාන්ත්රණයක් සම්බන්ධ කරන්න (ව්යවසාය RAG මෙවලම් මෙය සපයයි).
- දැඩි විමසුමක් ලියන්න: ආකෘතියට කියන්න "සපයා ඇති කොටස් මත පමණක් රඳා සිටින්න, මූලාශ්රය උපුටා දක්වන්න, නැතහොත් ඔබ නොදන්නා බව කියන්න."
- මූලාශ්රය උපුටා දක්වන්න: පිළිතුර පදනම් වූ ලිපිය පෙන්වන්න; එය දෙකම විශ්වාසය ලබා දෙන අතර සත්යාපනයට පහසුකම් සපයයි.
- හිඩැස් සඳහා නරඹන්න: බොට් "මම දන්නේ නැහැ" යැයි පවසන ප්රශ්න එකතු කරන්න; මේවායින් පෙන්වන්නේ දැනුම් පදනමේ අඩුපාඩු, එතැනින් පෝෂණය කිරීම.
පිටපත් කළ හැකි සැකිලි හතරක්
1) දැඩි RAG පිළිතුරු විමසුම:
පහත සඳහන් [SOURCE] කොටස් මත පදනම්ව පිළිතුරු දෙන්න. රීති: (1) මූලාශ්රයේ ඇති තොරතුරු පමණක් භාවිතා කරන්න, (2) එය මූලාශ්රයේ නොමැති නම්, "මට මේ ගැන නිශ්චිත තොරතුරක් නැත, මට ඔබව නියෝජිතයා වෙත සම්බන්ධ කිරීමට ඉඩ දෙන්න" යැයි පවසන්න, (3) එය පදනම් වී ඇත්තේ කුමන ලිපිය මතද යන්න [මූලාශ්රය: අයිතමය-නැහැ] ලෙස සඳහන් කරන්න, (4) ප්රමාණය/කාලසීමාව/තත්වය හරියටම මූලාශ්රයෙන් උපුටා දක්වන්න, රවුම්/උපුටා නොගන්න. [මූලාශ්රය]: <<ඇදගත් කොටස්>>ප්රශ්නය: "<<පාරිභෝගික ප්රශ්නය>>"
2) දැනුම පදනම් ලිපි ලිවීම:
පහත විසිරුණු ප්රතිපත්ති පෙළ RAG සඳහා සුදුසු FAQ ලිපියක් බවට පරිවර්තනය කරන්න. ආකෘතිය: ප්රශ්නය (පාරිභෝගිකයාගේ භාෂාවෙන්) / කෙටි පිළිතුර (වාක්ය 2-3) / කොන්දේසි (වගන්තිය) / අවසන් යාවත්කාලීන කළ දිනය / මාතෘකා ටැගය. ඕනෑම අපැහැදිලි කරුණු "පැහැදිලි කළ යුතු" ලෙස සලකුණු කරන්න, විශ්වාස කරන්න. අමු පෙළ: <<text>>
3) ප්රතිවිරෝධතා සහ හිඩැස් සඳහා පරිලෝකනය කිරීම:
පහත සඳහන් දැනුම පදනම් ලිපි පරීක්ෂා කරන්න. (1) එකිනෙක ගැටෙන ලිපි යුගල ලකුණු කරන්න (උදා. වෙනස් ආපසු පැමිණීමේ කාල සීමාව). (2) නිතර අසනු ලබන නමුත් පිළිතුරු නොමැති මාතෘකා අනුමාන කරන්න. ලබා දී ඇති ලිපි දෙස පමණක් බලන්න; නව ප්රතිපත්තියක් නිෂ්පාදනය කිරීම. ලිපි: <<list>>
4) "මම දන්නේ නැහැ" ලොගයෙන් වැඩිදියුණු කිරීම:
බොට් හට පිළිතුරු දීමට නොහැකි වූ (මූලාශ්රයක් සොයා ගැනීමට නොහැකි වූ) ප්රශ්න පහත දැක්වේ. ඒවා මාතෘකා වශයෙන් කාණ්ඩ කර එක් එක් කණ්ඩායම සඳහා දැනුම පදනමට එක් කළ යුතු ලිපියේ මාතෘකාව යෝජනා කරන්න. පිළිතුරු අන්තර්ගතය සාදන්න එපා, අස්ථානගත වී ඇති අයිතමය මට කියන්න. ප්රශ්න: <<list>>
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
පාරිභෝගිකයාගේ ආපසු ප්රශ්නයට පිළිතුරු දෙන්න.
මූලාශ්රයක් නැත; ආකෘතිය මතකයෙන් ගැලපේ, ප්රමාණය/කාලසීමාව වැරදි විය හැක, එය සත්යාපනය කළ නොහැක.
බලවත් විමසුම:
පහත ප්රතිලාභ ප්රතිපත්ති වගන්තිය මත පදනම්ව පමණක් පිළිතුරු දෙන්න. එය මූලාශ්රයේ නොමැති නම්, "මම නිසැකවම නොදනිමි" යනුවෙන් පවසන්න. කාලසීමාව සහ කොන්දේසිය වාචිකව උපුටා දක්වන්න, [මූලාශ්රය: ආපසු-03] ආකාරයෙන් සඳහනක් දෙන්න. ප්රශ්නය: "මම දින 20කට පෙර මිලදී ගත් පුද්ගලීකරණය කළ භාණ්ඩය ආපසු ලබා දිය හැකිද?"
වෙනස: මූලාශ්ර රඳා පැවතීම, යොමු කිරීම අනිවාර්යය, ප්රබන්ධ කිරීම තහනම් කිරීම පැහැදිලිය; ආකෘතිය මූලාශ්රයෙන් නිවැරදි පිළිතුර ජනනය කරයි ("පසුගිය දින 14 සහ පුද්ගලීකරණය කළ, ආපසු නොගෙවිය හැකි")
කුඩා නඩු තුනක්
නඩුව 1 - මායාව අවසන් කිරීම. ප්රචාරක ප්රශ්න සඳහා ටෙලිකොම් බොට්ගේ පිළිතුරු නිරවද්යතාවය RAG නොවන සැකසුමකදී 71% විය; ආකෘතිය සමහර විට පැරණි උද්ඝෝෂණ සෑදුවේය. වත්මන් ප්රචාරක පිටු RAG වෙත සම්බන්ධ කර "මූලාශ්රයේ නොමැති නම් එය නොකියන්න" යන රීතිය එක් කළ විට, නිරවද්යතාවය 96% දක්වා වැඩි වූ අතර "වැරදි ප්රචාරක වචන" පිළිබඳ පැමිණිලි බොහෝ දුරට අවසන් විය.
නඩුව 2 - ප්රතිවිරෝධතා මිල. ඊ-වාණිජ්ය සමාගමක දැනුම් පදනමේ, විවිධ නැව්ගත කිරීමේ වියදම් දෙකක් පිටු දෙකක (එක් ධාරාවක්, පැරණි අමතක වූ පිටුවක්) ලියා ඇත. බොට් අහඹු ලෙස යමෙකු ඇදගෙන සමහර ගනුදෙනුකරුවන්ට වැරදි මිලක් පවසමින් සිටියේය. පැරණි පිටුව තනි නිවැරදි මූලාශ්ර මූලධර්මය සමඟ සංරක්ෂණය කළ විට, නොගැලපීම අතුරුදහන් විය. පාඩම: RAG ප්රතිවිරෝධය විසඳන්නේ නැත, එය ප්රතිවිරෝධතාව එලෙසම ප්රචාරය කරයි.
නඩුව 3 - "මම දන්නේ නැහැ" ලොගයේ වටිනාකම. එක් බැංකුවක, බොට් මසකට ප්රශ්න 4,000 දක්වා "මම නිසැකවම නොදනිමි" යැයි පවසමින් සිටියේය. මෙම ප්රශ්න සමූහගත කළ විට, 40%ක් "ජාත්යන්තර කාඩ්පත් භාවිතය" පිළිබඳව බව පෙනී ගියේය; ඒ ගැන ලිපියක් තිබුණේ නැහැ. අදාළ අයිතම එකතු කළ විට, මෙම ප්රශ්න විසඳා ඇති අතර, එම විෂයය පිළිබඳ පුද්ගලයින්ගේ පිරිවැටුම 55% කින් අඩු විය. බොට් නොදන්නා බව කීම දියුණුවේ මාර්ග සිතියම බවට පත් විය.
පොදු වැරදි
- මූලාශ්රයට සම්බන්ධ නොකර පිළිතුරු දීම. RAG නොමැතිව, ආකෘතිය නිශ්චිත තොරතුරු වලට ගැලපේ; ඕනෑම නිශ්චිත පිළිතුරක් මූලාශ්රය මත රඳා පවතී.
- "මම දන්නේ නැහැ" විකල්පය අක්රිය කිරීම. සෑම ප්රශ්නයකටම පිළිතුරු දීමට ආදර්ශයට බල කිරීම සුදුසු බව සහතික කරයි.
- පරස්පර/පැරණි තොරතුරු ඉවත් නොකිරීම. RAG පරස්පර විරෝධය පතුරුවයි; තනි නිවැරදි මූලාශ්රයක් අත්යවශ්ය වේ.
- ඉරා දැමීම නොසලකා හැරීම. විශාල PDF අපනයනය කිරීම නිවැරදි ප්රවේශයට බාධා කරයි; කෙටි, තනි මාතෘකා ලිපි භාවිතා කරන්න.
- මූලාශ්රය සැඟවීම. පිළිතුර කුමක් මත පදනම් වේද යන්න සඳහන් නොකිරීම සත්යාපනය සහ විශ්වාසය දුර්වල කරයි.
අවවාදයයි: RAG නිරවද්යතාවය වැඩි දියුණු කරන නමුත් 100% සහතිකයක් ලබා නොදේ. ආකෘතිය සමහර විට අල්ලා ගත් කොටස වැරදි ලෙස අර්ථ දැක්විය හැක. එබැවින්, මූලාශ්රය උපුටා දක්වනු ලැබුවද, මූල්ය, නෛතික සහ ආරක්ෂක ගැටළු සඳහා මානව අනුමැතිය අවශ්ය වේ; RAG මායාවන් අඩු කරන නමුත් වගකීම ඉවත් නොකරයි.
සාරාංශයකින්
දැනුම් පදනම සහ RAG යනු ඇමතුම් මධ්යස්ථානයේ AI හි නිරවද්යතාවයේ පදනම වේ. RAG බොහෝ දුරට මායාවන් වළක්වන්නේ ආකෘතියට මතකයෙන් පිළිතුර ගැලපීම වැළැක්වීම සහ වත්මන් මූලාශ්රය මත පමණක් විශ්වාසය තැබීම මගිනි. නමුත් RAG යනු එහි දැනුම් පදනම තරම්ම පමණි: යාවත්කාලීන, පැහැදිලි, ව්යුහගත, ගැටුම්වලින් තොර සහ සත්යයේ තනි මූලාශ්රයක් ඇති දැනුම් පදනමක් අත්යවශ්ය වේ. "එය මූලාශ්රයේ නොමැති නම්, ඔබ නොදන්නා බව මට කියන්න" ආකෘතියට පවසන්න, මූලාශ්රය වෙත යොමු කරන්න, සහ එහි දැනුම් පදනම වැඩිදියුණු කිරීමට බොට් හට පිළිතුරු දිය නොහැකි ප්රශ්න භාවිතා කරන්න. ඉහළ අවදානම් කාරණා සම්බන්ධයෙන් මූලාශ්රය තිබියදීත් මානව කැමැත්ත පවත්වා ගන්න.
යෙදුම් කාර්යය
ඔබේ කර්මාන්තයෙන් සැබෑ/තාත්වික පාරිභෝගික ප්රශ්න 8ක් සහ ඊට අදාළ කෙටි දැනුම පදනම් ලිපි 8ක් ලියන්න (එක් එක් ලිපිය: ප්රශ්නය, කෙටි පිළිතුර, කොන්දේසි, දිනය, ටැගය). ඉන්පසුව “1) Tight RAG answer prompt” රටාව භාවිතයෙන් සහ දැනුම පදනමේ නැති ප්රශ්නයක් ඇසීමෙන් ආකෘතියට “මම දන්නේ නැහැ” යැයි පැවසිය හැකිද යන්න පරීක්ෂා කරන්න. අවසාන වශයෙන්, "3) පරස්පර විරෝධී සහ පරතරය පරිලෝකනය" සමඟින් ඔබේ ලිපි පරීක්ෂා කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] බොට්/සහායකයා විසින් ලබා දෙන සෑම නිශ්චිත පිළිතුරක්ම වත්මන් දැනුම පදනම මත රඳා පවතී (RAG හරහා).
- [ ] මම ආකෘතියට උපදෙස් දී "එය මූලාශ්රයේ නොමැති නම්, ඔබ නොදන්නා බව මට කියන්න" සහ එය පරීක්ෂා කර බැලුවා.
- [ ] මගේ දැනුම් පදනම යාවත්කාලීන, පැහැදිලි, තනි මාතෘකා ලිපි වලින් සමන්විත වේ.
- [ ] මම පරස්පර සහ පැරණි ලිපි ඉවත් කළෙමි; සියලුම තොරතුරු සඳහා ඇත්තේ එක් නිවැරදි මූලාශ්රයක් පමණි.
- [ ] පිළිතුරු පෙන්වන්නේ එය පදනම් වන්නේ කුමන ලිපියද යන්නයි (මූලාශ්රය).
- [ ] මම "මම දන්නේ නැහැ" ප්රශ්න එකතු කර දැනුම පදනම පෝෂණය කරමි.