ලාභ:
- ආයතනයේ සත්ය ලේඛනවලට පිළිතුර සම්බන්ධ කිරීම සහ යොමු කිරීම සහ පිරිසිදු ලේඛන පදනමක වැදගත්කම යෙදීමෙන් RAG මායාව අඩු කරන ආකාරය තේරුම් ගන්න.
- RAG ප්රතිදානයේ මූලාශ්රය, දිනය සහ මුදල් වර්ගය පරීක්ෂා කිරීමට සහ ගැටුම්කාරී අනුවාද වෙන්කර හඳුනා ගැනීමේ හැකියාව
- ප්රවේශ පාලනයක් සහිත අනවසර ලේඛනවලින් ලැබෙන ප්රතිචාර වැළැක්වීම මගින් ආයතනික පෞද්ගලිකත්වය ආරක්ෂා කිරීමේ හැකියාව
සංවිධානයක මතකය විසිරී ගිය ලේඛන දහස් ගණනක ජීවත් වේ: වාර්තා, අත්පොත්, මිනිත්තු, ක්රියා පටිපාටි, ඊමේල්. සරල ප්රශ්නයකට පිළිතුරු දීමට සේවකයෙකුට පැය ගණනක් ලේඛන සෙවිය හැකිය ("මෙම ක්රියා පටිපාටිය ක්රියාත්මක වන්නේ කෙසේද?"). දැනුම කළමනාකරුගේ සිහිනය වන්නේ මෙම මතකය ප්රශ්නවලට සෘජු නමුත් මූලාශ්ර පදනම් කරගත් පිළිතුරු සැපයීමයි. RAG පොරොන්දු වන්නේ මෙයයි. මෙම ඒකකය තුළ ඔබ RAG යනු කුමක්ද, එය ව්යවසාය තොරතුරු කළමනාකරණයේදී භාවිතා කරන්නේ කෙසේද සහ නිරවද්යතාවය, රහස්යභාවය සහ කාලෝචිතභාවය අනුව එය සුරක්ෂිත කරන්නේ කෙසේද යන්න ඉගෙන ගනු ඇත.
අපි සංකල්පය නිර්වචනය කරමු. RAG (Retrieval-Augmented Generation) යනු AI විසින් ප්රශ්නයකට පිළිතුරු සපයන විට ප්රථමයෙන් සංවිධානයේ ලේඛනවලින් අදාළ කොටස් සොයා (නැවත ලබා ගැනීම) සහ එම කෑලි මත පමණක් පදනම්ව පිළිතුර ජනනය කරයි. මෙය සාමාන්ය AI මතකයෙන් පිළිතුරක් ජනනය කිරීමට වඩා මූලික වශයෙන් වෙනස් වේ: RAG සබැඳි සහ සත්ය, සොයා ගත හැකි ලේඛන සඳහා පිළිතුර මූලාශ්ර කරයි. AI කතා කරන්නේ ආයතනයේ ලේඛනයෙන් මිස එහි "හිසෙන්" නොවන නිසා මායාව බොහෝ සෙයින් අඩු වේ.
පියවරෙන් පියවර: ව්යවසාය RAG පද්ධතියක් අවබෝධ කර ගැනීම
1. ලේඛන පදනම සකස් කරන්න. සංවිධානයේ විශ්වසනීය, යාවත්කාලීන ලේඛන එකතු කර, පිරිසිදු කර, කැබලිවලට බෙදා ඇත (ලේඛනයක අර්ථවත් කුඩා කොටස්). නරක, යල් පැන ගිය හෝ පරස්පර ලේඛන පද්ධතියට ඇතුළු වුවහොත්, ප්රතිචාර නරක වනු ඇත: "කසළ ඇතුලට, කුණු පිටතට."
2. Embed සහ index. සෑම කුට්ටියක්ම එහි අර්ථය නියෝජනය කරන දෛශිකයක් (කාවැද්දවීම) බවට පරිවර්තනය කර සෙවිය හැකි දර්ශකයකට දමනු ලැබේ. ප්රශ්නයක් එන විට, පද්ධතියට අර්ථයෙන් සමීපතම කොටස් සොයා ගනී.
3. අදාළ කොටස් රැගෙන එන්න. ප්රශ්නයක් අසන විට, පද්ධතිය ලේඛන පදනමෙන් වඩාත් අදාළ කොටස් කිහිපයක් ඇද දමයි. මෙම පියවර තීරනාත්මක ය: වැරදි කැබැල්ලක් ගෙන එන්නේ නම්, පිළිතුර ද වැරදි වනු ඇත.
4. මූලාශ්ර මත පදනම් වූ ප්රතිචාරයක් ජනනය කරන්න. AI විසින් ලබාගත් කොටස් මත පමණක් ප්රතිචාරයක් ජනනය කරන අතර එය කුමන ලේඛනයෙන් ලබා ගත්තේද යන්න දක්වයි. මූලාශ්රය සඳහන් නොකරන ප්රතිචාරයක් RAG හි අරමුණට පටහැනිය.
5. තහවුරු කර නැවත වාර්තා කරන්න. පරිශීලකයාට පෙන්වා ඇති මූලාශ්රය වෙත ගොස් පිළිතුර තහවුරු කිරීමට හැකි විය යුතුය. වැරදි හෝ අසම්පූර්ණ පිළිතුරු ලේඛන පදනම වැඩි දියුණු කිරීම සඳහා ප්රතිපෝෂණ බවට පත් වේ.
ඉඟිය: RAG හි ගුණාත්මකභාවය බොහෝ දුරට ලේඛන පදනමේ ගුණාත්මකභාවය මත රඳා පවතී. ලේඛන යාවත්කාලීන කිරීම, ගැටුම්කාරී/යල් පැන ගිය අනුවාද ඉවත් කිරීම සහ පද්ධතියට ඇතුළත් කිරීමට පෙර එක් එක් ලේඛනයට දිනය සහ ප්රභව තොරතුරු එක් කරන්න. හොඳින් සංවිධානය වූ ලේඛන 500ක් විසිරුණු ලේඛන 5000කට වඩා හොඳ පිළිතුරු සපයයි.
RAG හි මායිම් සහ ආරක්ෂක ස්ථාන
RAG මායාව අඩු කරන නමුත් එය නැවත සකසන්නේ නැත. පද්ධතිය වැරදි කොටස ආපසු ලබා දෙන්නේ නම්, එම වැරදි කෑල්ලට "පක්ෂපාතී" ලෙස සිටීමෙන් AI තවමත් වැරදි පිළිතුරක් ලබා දිය හැකිය. මීට අමතරව, AI විසින් ලබාගත් කොටස් වැරදි ලෙස අර්ථකථනය කිරීමට හෝ එකිනෙකට පරස්පර විරෝධී ආකාරයෙන් බහුවිධ කොටස් ඒකාබද්ධ කිරීමට හැකිය. එබැවින්, විශේෂයෙන් තීරණාත්මක තීරණ සඳහා මූලාශ්රය වෙත ගොස් RAG ප්රතිදානය ද සත්යාපනය කළ යුතුය.
ආයතනික RAG හි පුද්ගලිකත්වය කේන්ද්රීය ගැටළුවකි. ලේඛන පදනමේ සංවේදී තොරතුරු (පුද්ගලයින්, ගිවිසුම්, උපාය මාර්ග) අඩංගු විය හැක. පරිශීලකයා විසින් අවසර ලබා නොදෙන ලේඛනවලින් පද්ධතිය ප්රතිචාර ජනනය නොකළ යුතුය; ප්රවේශ පාලනය (කොයි ලේඛනය බැලිය හැකිද) RAG වෙතද යෙදිය යුතුය. එසේ නොමැති නම්, සේවකයෙකුට ඔහුට නොපෙනෙන තොරතුරු RAG හරහා ප්රවේශ විය හැකිය.
අවධානය: ලේඛනයක් උපුටා දැක්වීමේදී පවා, එම ලේඛනය යාවත්කාලීන සහ නිවැරදි බව RAG සහතික නොකරයි. පද්ධතියට වසර තුනකට පෙර පැරණි ක්රියා පටිපාටි ලේඛනයකින් ප්රතිචාර දැක්විය හැක. මූලාශ්ර ලේඛනයේ දිනය සහ වලංගුභාවය පරීක්ෂා කිරීම පරිශීලකයාගේ සහ තොරතුරු කළමනාකරුගේ වගකීමකි.
කුඩා නඩු තුනක්
නඩුව 1 - කාර්ය පටිපාටික ප්රශ්න වේගවත් කරන ලදී. එක් සංවිධානයක් එහි පිටු 1,200ක අභ්යන්තර ක්රියා පටිපාටි අත්පොත් සඳහා RAG පද්ධතියක් ස්ථාපිත කළේය. සේවකයින්ගේ "මෙය කරන්නේ කෙසේද" යන ප්රශ්න මූලාශ්රය දැක්වෙන පිළිතුරු සමඟ තත්පර කිහිපයකින් විසඳා ඇත; සාමාන්ය ඇමතුම් කාලය විනාඩි 25 සිට විනාඩි 2 දක්වා අඩු විය. සෑම ප්රතිචාරයක්ම එය පදනම් වූ ලේඛන අංශයට සම්බන්ධ කර ඇති නිසා, සේවකයින්ට එය සත්යාපනය කිරීමට හැකි විය.
නඩුව 2 - පැරණි ලේඛනය අල්ලා ගන්නා ලදී. RAG පද්ධතියක් 2021 දිනැති පැරණි ලේඛනයකින් බලපත්ර ක්රියා පටිපාටි ප්රශ්නයකට පිළිතුරු දුන්නේය. කෙසේ වෙතත්, යාවත්කාලීන කළ අනුවාදයක් 2024 දී නිකුත් කරන ලදී. මූලාශ්ර සබැඳිය විවෘත කළ සේවකයා දිනය යල් පැන ගිය බව දුටු අතර යාවත්කාලීන ලේඛනය සොයා ගන්නා ලදී. තොරතුරු කළමනාකරු ලේඛන පදනමෙන් පැරණි අනුවාදය ඉවත් කළේය.
3 වන අවස්ථාව - අනවසර ප්රවේශය වළක්වා ඇත. ආරම්භක සැකසුමේදී, RAG විසින් සියලුම ලේඛන ප්රසිද්ධියේ පරිලෝකනය කරන ලදී; සේවකයෙකුට ඔහු නොදැකිය යුතු වැටුප් ලේඛනයකින් ප්රතිචාරයක් ලැබුණි. කණ්ඩායම RAG වෙත ප්රවේශ පාලනය එක් කළේය: පද්ධතිය දැන් ප්රතිචාර ජනනය කරන්නේ පරිශීලකයාට අවසර දී ඇති ලේඛන වලින් පමණි.
ඇගයීම, ප්රතිපෝෂණ සහ අඛණ්ඩ වැඩිදියුණු කිරීම්
RAG පද්ධතියක් යනු වරක් ස්ථාපනය කර අමතක කළ යුතු මෙවලමක් නොවේ; එය නිරන්තර ඇගයීම සහ වැඩිදියුණු කිරීම අවශ්ය වේ. මේ සඳහා පදනම වන්නේ පද්ධතියේ සැබෑ ප්රශ්නවලට පිළිතුරු නිතිපතා මැන බැලීමයි. ප්රශ්න දෙකක් තීරනාත්මක ය: පද්ධතිය නිවැරදි ලේඛන කොටස් (ප්රවේශ තත්ත්වය) ලබා ගන්නේද සහ එය ලබා ගත් කොටස් වලින් (නිෂ්පාදන ගුණාත්මකභාවය) නිවැරදි ප්රතිචාරය නිපදවන්නේද? මෙම ස්ථර දෙක වෙන වෙනම ඇගයීමට ලක් කිරීම අවශ්ය වේ; මක්නිසාද යත් නිවැරදි ලේඛනය ගෙන ඒම සහ එය වැරදි ලෙස අර්ථකථනය කිරීම සහ වැරදි ලේඛනයක් ගෙන ඒම සහ විශ්වාසවන්තව මාරු කිරීම විවිධ ගැටළු වන අතර විවිධ විසඳුම් අවශ්ය වේ. හොඳ පරිචයක් නම්, දන්නා නිවැරදි පිළිතුරු සහිත "පරීක්ෂණ ප්රශ්න" කට්ටලයක් තබා ගැනීම සහ එක් එක් යාවත්කාලීනයේදී මෙම කට්ටලය සමඟ පද්ධතිය පරීක්ෂා කිරීමයි. මීට අමතරව, පරිශීලකයන්ගේ "මෙම පිළිතුර ප්රයෝජනවත්ද / මූලාශ්රය නිවැරදිද" යන ප්රතිපෝෂණය මඟින් ලේඛන පදනමේ හිඩැස් සහ වැරදි ලෙස ලබාගත් කොටස් දෙකම හෙළි කරයි. AI හට මෙම ප්රතිපෝෂණය එකතු කිරීමට සහ නිතර අසමත් වන ප්රශ්න වර්ග සාරාංශ කිරීමට උදවු කළ හැක; නමුත් කුමන ලේඛනයක් එකතු කිරීම, යාවත්කාලීන කිරීම හෝ ඉවත් කිරීම පිළිබඳ තීරණය තොරතුරු කළමනාකරුට අයත් වේ. පද්ධතියට ජීවියෙකු මෙන් රැකවරණය අවශ්ය වේ; කාලයත් සමඟ වයස්ගත ලියකියවිලි හේතුවෙන් නොසලකා හරින ලද RAG වඩ වඩාත් නොමඟ යවන සුළු වේ.
ඉඟිය: ඔබ RAG පද්ධතිය සැකසූ විගස, සැබෑ ප්රශ්න 20-30 සහ දන්නා නිවැරදි පිළිතුරු සහිත කුඩා පරීක්ෂණ කට්ටලයක් සූදානම් කරන්න. එක් එක් ලේඛන යාවත්කාලීන කිරීම සමඟ මෙම කට්ටලය ක්රියාත්මක කිරීම වෙනස් කිරීමක් පද්ධතිය වැඩි දියුණු කරන්නේද නැතිද යන්න ක්ෂණිකව පෙන්වයි.
පිටපත් කළ හැකි සැකිලි හතරක්
1) මූලාශ්ර පදනම් කරගත් ප්රතිචාර විමසුම:
ඔබේ කාර්යභාරය: ආයතනික තොරතුරු සහකාර. ප්රශ්නය සම්බන්ධයෙන් ගෙන එන ලද ලේඛන කොටස් පහත දැක්වේ. මෙම කොටස් මත පමණක් පදනම්ව පිළිතුර ලබා දී එය එක් එක් තොරතුරු සඳහා කුමන ලේඛනය/කෑල්ලක්ද යන්න සඳහන් කරන්න. කොටස්වල පිළිතුරක් නොමැති නම්, "මෙම තොරතුරු සපයා ඇති ලේඛනවල ඇතුළත් නොවේ" යැයි පවසන්න, අනුමාන නොකරන්න. ප්රශ්නය: [මෙහි] / කොටස්: [මෙහි]
2) පරස්පරතාව සහ මුදල් පාලනය:
පහත කොටස් අතර යම් පරස්පරතා හෝ වෙනස් දිනැති අනුවාද තිබේද? එසේ නම්, එය සලකුණු කර වඩාත් යාවත්කාලීන වන්නේ කුමන එකද යන්න සඳහන් කරන්න. කොටස් (දින සමඟ): [මෙහි]
3) ලේඛන පදනම පිරිසිදු කිරීමේ විගණනය:
පහත ලේඛන ලැයිස්තුවේ, RAG පද්ධතියකට ඇතුළත් කිරීමට පෙර නිරාකරණය කළ යුතු යල් පැන ගිය, ගැටුම්කාරී හෝ අවිනිශ්චිත සම්භවයක් ඇති ලේඛන තිබේද? ඇයි කියලා ටික් කර ලියන්න. ලැයිස්තුව (දිනය/මූලාශ්රය සමඟ): [මෙහි]
4) පෞද්ගලිකත්වය සහ ප්රවේශ පූර්ව පාලනය:
පහත ලේඛන කොටස්වල සංවේදී තොරතුරු (පුද්ගලික දත්ත, රහස්ය ගිවිසුම, උපාය මාර්ගය) තිබේද? සෑම එකක්ම "පොදු/සීමා කළ ප්රවේශය" ලෙස වර්ග කර සාධාරණීකරණය කරන්න. ධාවන පථ: [මෙහි]
දුර්වල ක්ෂණික / ශක්තිමත් විමසුම
දුර්වල ක්ෂණික:
අපගේ ආයතනයේ බලපත්ර ක්රියා පටිපාටිය පැහැදිලි කරන්න.
ලේඛන කිසිවක් ලබා දී නොමැති නම්, AI එහි සාමාන්ය මතකයෙන් හෝ වෙනත් ආයතන ක්රියාත්මක කිරීමෙන් සාදන ලද ක්රියා පටිපාටියක් නිෂ්පාදනය කරයි; එය ආයතනයේ නියම රීතියට අදාල නැති විය හැක.
බලවත් විමසුම:
ඔබේ කාර්යභාරය: ආයතනික තොරතුරු සහකාර. ආයතනයේ බලපත්ර ක්රියාපටිපාටිය සම්බන්ධ ලේඛන කොටස් (ඒවායේ දිනයන් සහිත) පහත දැක්වේ. එක් එක් පියවරේදී මූලාශ්ර ලේඛනය සහ දිනය සඳහන් කරමින් මෙම කොටස් මත පමණක් ප්රශ්නයට පිළිතුරු සපයන්න. කොටස් ගැටෙන්නේ නම්, වඩාත්ම වත්මන් එක භාවිතා කර එසේ කියන්න. එය ලේඛනයේ නොමැති නම්, "තොරතුරු නැත" කියන්න. ප්රශ්නය: [මෙහි] / කොටස්: [මෙහි]
බලවත් ක්ෂණික; සත්ය ආයතන ලේඛනවලට පිළිතුර සම්බන්ධ කරයි, මූලාශ්ර සහ දිනයන් අසයි, සහ පරස්පරතාව සහ පරතරය අවංකව ආමන්ත්රණය කරයි.
RAG සංරචකය සහ අවදානම් වගුව
සංරචකය
කාර්යය
ප්රධාන අවදානම
සහතිකය
ලේඛන පදනම
පිළිතුරේ මූලාශ්රය
යල් පැන ගිය / ගැටුම්කාරී ලේඛනය
පිරිසිදුකම, ඉතිහාසය, සම්භවය
නැවත ලබා ගැනීම
අදාළ කොටස සොයා ගන්න
වැරදි කෑල්ලක්
තත්ත්ව පරීක්ෂණ, ප්රතිපෝෂණ
නිෂ්පාදනය
පිළිතුරු දෙන්න
වැරදි අදහස
මූලාශ්රය උපුටා ගැනීම, සත්යාපනය
ප්රවේශ පාලනය
අධිකාරිය පරීක්ෂා කිරීම
අනවසර හෙළිදරව් කිරීම
පරිශීලක පදනම් සීමා කිරීම
පොදු වැරදි
- අපිරිසිදු ලේඛන පදනමක් ස්ථාපිත කිරීම. යල් පැන ගිය/ගැටුණු ලේඛනයක් නරක ප්රතිචාරයක් ඇති කරයි.
- මූලාශ්රය උපුටා දැක්වීමකින් තොරව පිළිතුරක් පිළිගැනීම. RAG හි අරමුණ සොයාගැනීමේ හැකියාවයි.
- ලේඛන දිනය පරීක්ෂා නොකරයි. යාවත්කාලීන කිරීමට සිතන පිළිතුරක් පැරණි අනුවාදයෙන් පැමිණේ.
- ප්රවේශ පාලනය මග හැරීම. අනවසර පුද්ගලයා සංවේදී තොරතුරු වෙත පිවිසෙයි.
- RAG මායාවෙන් සම්පූර්ණයෙන්ම ප්රතිශක්තිකරණ බව සිතීම. වැරදි කෑල්ල තවමත් වැරදි පිළිතුරක් නිපදවයි.
සාරාංශයකින්
ආයතනික මතකය සම්පත් මත පදනම් වූ ප්රතිචාර පද්ධතියක් බවට පරිවර්තනය කිරීම මගින් RAG දැනුම කළමනාකරණයේ විශාල වටිනාකමක් නිපදවයි; සාමාන්ය AI මෙන් නොව, එය සංවිධානයේ සත්ය ලේඛනවලට පිළිතුරු සම්බන්ධ කර මූලාශ්ර කරයි, එමඟින් මායාව සැලකිය යුතු ලෙස අඩු කරයි. නමුත් සාර්ථකත්වය රඳා පවතින්නේ පිරිසිදු සහ යාවත්කාලීන ලේඛන පදනමක්, නිවැරදි මාර්ග ප්රවේශය, මූලාශ්ර ආරෝපණය, දිනය/වර්තමාන පරීක්ෂාව සහ ප්රවේශ පාලනය මත ය. RAG මායාව නැවත සකසන්නේ නැත; විවේචනාත්මක පිළිතුරු මූලාශ්රය වෙත ගොස් සත්යාපනය කරනු ලබන අතර රහස්යභාවයට මුල සිටම ගරු කරනු ලැබේ.
යෙදුම් කාර්යය
කුඩා ලේඛන කට්ටලයක් (5-8 සැබෑ හෝ නියැදි නියෝජිතායතන ලේඛන, දිනයන් සමඟ) සකස් කරන්න; දැනුවත්ව එක් පැරණි සහ එක් වත්මන් ගැටුම්කාරී අනුවාදයක් දමන්න. “මූලාශ්රය මත පදනම් වූ ප්රතිචාර විමසුම” අච්චුව සමඟ ප්රශ්නයක් අසන්න සහ AI මූලාශ්රය උපුටා දක්වන්නේ දැයි පරීක්ෂා කරන්න. ඉන්පසු AI විසින් ගැටුම නිවැරදිව හඳුනාගෙන තිබේද යන්න සහ වත්මන් අනුවාදය "ගැටුම් සහ වත්මන් අනුවාද පරීක්ෂාව" අච්චුව සමඟින් ඇගයීමට ලක් කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] මම ලේඛන පදනම යාවත්කාලීන කළා, පැරණි/ගැටුම්කාරී ලේඛන ඉවත් කළා.
- [ ] සෑම පිළිතුරක්ම මූලාශ්ර ලේඛනයට යොමු වන බවට මම වග බලා ගත්තෙමි.
- [ ] මම මූලාශ්ර ලේඛනවල දිනය සහ වලංගුභාවය පරීක්ෂා කළෙමි.
- [ ] මම ප්රවේශ පාලනය සහිත අනවසර ලේඛන වලින් ප්රතිචාර උත්පාදනය වැළැක්වූවෙමි.
- [ ] මම මුල් ලේඛනය වෙත ගොස් විවේචනාත්මක ප්රතිචාර සත්යාපනය කළෙමි.