ලාභ:
- End-to-end Enterprise RAG සහයකයක සංරචක සහ දත්ත ප්රවාහය සැලසුම් කිරීම
- බහු-මූලාශ්ර දත්ත (wiki, ටිකට්, PDF, දත්ත සමුදාය) තනි සහායකයෙකු බවට ඒකාබද්ධ කිරීම
- පරිමාණය, හැඹිලිගත කිරීම සහ ප්රමාදය සඳහා වාස්තු විද්යාත්මක තීරණ ගන්න
පෙර ඒකකවලදී, අපි කොටස් එකින් එක ඉගෙන ගත්තා: කාවැද්දීම, දෛශික දත්ත ගබඩාව, කුට්ටි කිරීම, නැවත ලබා ගැනීම. දැන් අපි මේවා ඒකාබද්ධ කර ඔබේම සමාගමේ දත්ත සමඟ කතා කරන සහයකයෙකුගේ අවසානය දක්වා ගෘහ නිර්මාණ ශිල්පයක් ගොඩනඟමු. ඉලක්කය වන්නේ සේවකයෙකුගෙන් "අපගේ නිවාඩු ප්රතිපත්තිය කුමක්ද?" මිනිසුන්ට ප්රශ්න ඇසීමට හැකි පද්ධතියක්, පිළිතුරු සැබෑ අභ්යන්තර ලේඛන, උපුටා දැක්වීම් සහ බහු දත්ත මූලාශ්ර ඒකාබද්ධ කිරීම මත පදනම් වේ. මෙම ඒකකය සමස්ත ගෘහ නිර්මාණ ශිල්පය, දත්ත ප්රවාහ සහ නිෂ්පාදන මට්ටමේ තීරණ සකසයි.
අන්තයේ සිට අවසානය දක්වා සංරචක
ආයතනික RAG සහායක වෙනම පේළි දෙකකින් සමන්විත වේ. සුචිගත කිරීමේ රේඛාව (නොබැඳි) දත්ත සකස් කරයි; විමසුම් රේඛාව (මාර්ගගතව) ප්රශ්නයට පිළිතුරු සපයයි.
සුචිගත රේඛා සංරචක:
- සම්බන්ධක: මූලාශ්රවලින් දත්ත ඇද ගන්නා සම්බන්ධක — විකි, ටිකට් පද්ධතිය, ගොනු ගබඩාව, දත්ත ගබඩාව, ඊමේල්.
- සාමාන්යකරණය: පෙළ පිරිසිදු කිරීමට විවිධ ආකෘති (PDF, HTML, DOCX) පරිවර්තනය කිරීම; ශීර්ෂකය/පාදය පිරිසිදු කිරීම.
- කුට්ටි කිරීම + පාරදත්ත: කැබලි කිරීම සහ ටැග් කිරීම (මූලාශ්රය, දිනය, අධිකාරිය).
- කාවැද්දීම + පැටවීම: දෛශික දත්ත ගබඩාවට දෛශික සහ පාර-දත්ත ලිවීම.
විමසුම් නල මාර්ග සංරචක:
- විමසුම් පෙර සැකසුම්: නැවත ලිවීම, විමධ්යගත කිරීම.
- ලබා ගැනීම: දෙමුහුන් සෙවීම + පාරදත්ත පෙරහන + නැවත ශ්රේණිගත කිරීම.
- කඩිනම් නිර්මාණය: සන්දර්භය + ප්රශ්න + උපදෙස් අච්චුවට තැබීම.
- පරම්පරාව: ආකෘතිය + මූලාශ්රවලින් පදනම් වූ (සන්දර්භීය) පිළිතුර.
- පසු-සැකසුම: උපුටා දැක්වීම් හැඩතල ගැන්වීම, ආරක්ෂක පරීක්ෂාව, ලොග් කිරීම.
ඉඟිය: විමසුම් රේඛාවෙන් සුචිගත කිරීමේ රේඛාව භෞතිකව වෙන් කරන්න. සුචිගත කිරීම මන්දගාමී සහ කාලානුරූපී වේ (එක් රැයකින් කණ්ඩායම් වශයෙන් ධාවනය වේ); විමර්ශන රේඛාව සැහැල්ලු හා ක්ෂණික විය යුතුය. පරිශීලකයා බලා සිටින අතරතුර රේඛා දෙක මිශ්ර කිරීම අධික ලෙස සැකසීමට බල කරයි.
දත්ත ප්රවාහය දෘශ්යමාන කිරීම
[Indexing - offline]සම්පත් → සාමාන්යකරණය → Chunk+Metadata → Embed → Vector DB (wiki, ටිකට්, PDF, DB)[QUERY - මාර්ගගත]පරිශීලක ප්රශ්නය → පෙර-සැකසුම → නැවත ලබා ගැනීම (හයිබ්රිඩ්+පෙරහන+ ක්රියාවලිය) (සන්දර්භය+ප්රශ්නය+උපදෙස්) → ආකෘතිය → පිළිතුර+මූලාශ්රය → පරිශීලක
බහු මූලාශ්ර දත්ත ඒකාබද්ධ කිරීම
සැබෑ සමාගම්වල, පිළිතුර එක තැනක නතර නොවේ. "පාරිභෝගිකයෙකුට ආපසු ගෙවීමක් නිකුත් කරන්නේ කෙසේද?" ප්රශ්නයට පිළිතුර උපකාරක ලිපිය (ක්රියා පටිපාටිය), ටිකට් ඉතිහාසය (සැබෑ උදාහරණ) සහ ප්රතිපත්ති PDF (නීති) යන දෙකෙහිම සොයාගත හැකිය. සහායකයා එක් තටාකයක ඔවුන් සියල්ල සෙවිය යුතුය.
තීරණාත්මක කරුණ: තනි දෛශික ගබඩාවකට සම්පත් ඒකාබද්ධ කරන විට, සෑම කැබැල්ලක්ම `මූලාශ්ර_සංචාරක` පාර-දත්ත රැගෙන යා යුතුය. එබැවින් ඔබට ඒවා සියල්ලම සෙවීමට සහ "නිල ප්රතිපත්ති පමණක් ගෙන එන්න" වැනි අවශ්ය නම් පෙරීමට හැකිය. එසේම, විවිධ මූලාශ්රවල විවිධ මට්ටමේ විශ්වසනීයත්වය ඇත: නිල ප්රතිපත්තිය > උපකාරක ලිපිය > සේවක ප්රවේශපත්ර සටහන. ඔබට මෙම ප්රමුඛතාවය නැවත ශ්රේණිගත කිරීමේදී හෝ ක්ෂණිකව සඳහන් කළ හැක.
මූලාශ්රය
අන්තර්ගත වර්ගය
විශ්වාසය
යාවත්කාලීන සංඛ්යාතය
ප්රතිපත්ති PDF
නිල පාලනය
ඉහළ
මාසිකව
උපකාරක ලිපිය
ක්රියා පටිපාටිය
මධ්යම-ඉහළ
සතිපතා
ටිකට් ඉතිහාසය
සැබෑ නියැදිය
මධ්යම
අඛණ්ඩ
විකි
මිශ්ර/වත්මන් සටහන
විචල්ය
අඛණ්ඩ
පරිමාණය, හැඹිලිය සහ ප්රමාදය
නිෂ්පාදනයේදී ගැටළු තුනක් කැපී පෙනේ. ප්රමාදය: පරිශීලකයා තත්පර 2කට වඩා රැඳී සිටින විට අත්දැකීම නරක අතට හැරේ. විසඳුම: පිළිතුර ප්රවාහ ආකාරයෙන් ප්රදර්ශනය කරන්න - ආකෘතිය ලියන විට එය තිරය මතට වත් කරනු ලැබේ. හැඹිලිය: නිතර අසනු ලබන ප්රශ්න සහ පුනරාවර්තන සන්දර්භ සඳහා, හැඹිලිය යන දෙකම වේගය වැඩි කරන අතර පිරිවැය අඩු කරයි. පරිමාණය: පරිශීලකයා වැඩි වන විට, ලබා ගැනීම සහ ආකෘති ඇමතුම් තිරස් අතට පරිමාණය කිරීමට හැකි වීම අවශ්ය වේ.
පිරිවැය පැත්තෙන් මාපටැඟිල්ලේ රීතිය: වඩාත්ම මිල අධික පියවර වන්නේ සාමාන්යයෙන් විශාල මාදිලියට යන ටෝකන් ගණනයි. එබැවින්, නැවත ශ්රේණිගත කිරීම මගින් සන්දර්භය හොඳ කොටස් 4 කට අඩු කිරීම ගුණාත්මකභාවය සහ පිරිවැය යන දෙකම වැඩි දියුණු කරයි. සාමාන්ය සැලසුමක් වන්නේ සරල වර්ගීකරණය හෝ මාර්ගගත කිරීම සඳහා කුඩා/වේගවත් ආකෘතියක් සහ අවසාන පිළිතුර සඳහා වඩා බලවත් ආකෘතියක් භාවිතා කිරීමයි (උදා: claude-opus-4-8).
අවවාදයයි: "එක වරක් කරන්න, එය අමතක කරන්න" ලෙස සුචිගත කිරීම සකසන්න එපා. ලේඛන වෙනස් කිරීම, මකා දැමීම, එකතු කිරීම. නැවත සුචිගත කිරීමේ උපාය මාර්ගයක් ස්ථාපිත කරන්න: වෙනස් කළ ලේඛන හඳුනාගෙන ඒවා පමණක් නැවත සැකසීම. පරණ දර්ශකය වත්මන් ලෙස පෙනෙන නමුත් වැරදි පිළිතුරක් නිපදවයි.
දුර්වල ගෘහ නිර්මාණ ශිල්පය / ශක්තිමත් ගෘහ නිර්මාණ ශිල්පය
දුර්වල (තනි පිටපත, සියල්ල මිශ්ර):
පරිශීලකයා අසන විට: එම මොහොතේම ලේඛන කියවන්න, ඒවා ඉරා දමන්න, ඒවා කාවැද්දීමට, ඒවා සොයන්න, ඒවාට පිළිතුරු දෙන්න. # ගැටලුව: එක් එක් ප්රශ්නය සඳහා සියලු සුචිගත කිරීම් නැවත නැවතත් සිදු කෙරේ; තත්පර ප්රමාදයක්, # මූලාශ්ර වෙන් කිරීමක් නැත, පෙරහනක් නැත, නැවුම් කිරීමක් නැත.
බලවත් (බෙදී ගිය පයිප්ප + පාර-දත්ත + හැඹිලි + ප්රවාහය):
සුචිගත කිරීම: කණ්ඩායම රාත්රියේ ධාවනය වේ, වෙනස් කළ ලේඛන නැවුම් කරයි. විමසුම: සැහැල්ලු රේඛාව — පෙර-සැකසුම → දෙමුහුන් ලබා ගැනීම+පෙරහන → නැවත ශ්රේණිගත කිරීම → විමසුම → ආකෘතිය (ප්රවාහය) → උපුටා ගැනීම → ලොගය. නිතර අසන ප්රශ්න සහ මූලාශ්රය හැඹිලිගත කර ඇත.
කුඩා නඩු තුනක්
නඩුව 1 - ව්යාකූල රේඛාව, අධික ප්රමාදය. ආරම්භකයක් එක් එක් ප්රශ්නය සමඟ PDF නැවත සකසන ස්ක්රිප්ට් එකක් ලිවීය; සෑම පිළිතුරකටම සාමාන්යයෙන් තත්පර 11ක් ගත විය. සුචිගත කිරීමේ රේඛාව වෙන් කර දත්ත කලින් දෛශික ගබඩාවට මාරු කළ විට, විමසුම් කාලය තත්පර 1.3 දක්වා අඩු වූ අතර ප්රවාහය සමඟ "පළමු වචනය" ms 400 කින් දර්ශනය විය.
2 වන අවස්ථාව - බොහෝ සම්පත්, වැරදි ප්රමුඛතාවය. ආධාරක සහයකයෙක් ප්රතිපත්ති PDF සහ පැරණි ටිකට් සටහන් වලට සමාන බරක් ලබා දුන්නේය; මෙම ආකෘතිය සමහර විට නිල රීතිය ලෙස වසර දෙකකට පෙර සේවකයෙකුගේ වැරදි ශ්රේණිගත කිරීමක් ඉදිරිපත් කළේය. source_tour පාර-දත්ත සහ "ගැටුම් ඇති අවස්ථාවක නිල ප්රතිපත්තිය සලකා බලන්න" යන උපදෙස් විමසුමට එක් කළ විට, ව්යාජ ප්රමුඛතා දෝෂ 89% කින් අඩු විය.
නඩුව 3 - පරණ දර්ශකය. HR සහායකයකු මාස 3ක් සඳහා යාවත්කාලීන නොකළ දර්ශකයක් සමඟ වැඩ කරමින් සිටියේය; නිවාඩු ප්රතිපත්තිය වෙනස් වී ඇත, නමුත් සහායකයා පැරණි දින කියමින් සිටියේය. වෙනස් වූ ගොනු හඳුනා ගන්නා දෛනික නැවුම් කිරීම ස්ථාපනය කරන විට, වත්මන් ප්රතිචාර අනුපාතය 70% සිට 99% දක්වා වැඩි විය.
පොදු වැරදි
- සුචිගත කිරීම සහ විමසුම් රේඛා මිශ්ර කිරීම: පරිශීලකයා බලා සිටින අතරතුර දැඩි සැකසුම් සිදු කරනු ලැබේ; ප්රමාදය පුපුරා යයි.
- මූලාශ්ර වර්ගය පාරදත්ත තුළ නොදැමීම: ප්රමුඛතා සහ පෙරීම නැත; විශ්වාස නොකළ මූලාශ්රය නිල බව පෙනේ.
- නැවුම් උපාය මාර්ගයක් ස්ථාපිත නොකිරීම: දර්ශකය පරණ වේ; ධාරාව ලෙස පෙනෙන වැරදි පිළිතුරු නිපදවයි.
- ප්රවාහය මඟ හරින්න: පරිශීලකයා හිස් තිරයක් දෙස බලයි; දැනගත් ප්රමාදය ඉහළ යයි.
- එක් එක් පියවරේදී විශාලතම ආකෘතිය භාවිතා කිරීම: පිරිවැය අනවශ්ය ලෙස වැඩි වේ; සුක්කානම කුඩා ආකෘතියට තබන්න.
සාරාංශයක් ලෙස
- ආයතනික RAG සහකාර වෙනම රේඛා දෙකකින් සමන්විත වේ: නොබැඳි සුචිගත කිරීම සහ සබැඳි විමසුම; ඒවා භෞතිකව වෙන් කරන්න.
- සුචිගත කිරීම = සම්බන්ධකය + සාමාන්යකරණය + කුට්ටිය / පාරදත්ත + කාවැද්දීම / උඩුගත කිරීම; විමසුම = පෙර ක්රියාවලිය + ලබා ගැනීම + විමසුම + උත්පාදනය + පසු ක්රියාවලිය.
- බහු-මූලාශ්ර දත්ත තනි ගබඩාවකට ඒකාබද්ධ කර ඇත, නමුත් source_type පාර-දත්ත සහ විශ්වාස ප්රමුඛතාවය සුරැකේ.
- ප්රමාදය සඳහා ප්රවාහය සහ හැඹිලිය, සන්දර්භය තෙරපීම සහ පිරිවැය සඳහා ආකෘති තේරීම ඉතා වැදගත් වේ.
- නැවත සුචිගත කිරීමකින් තොරව, දර්ශකය පරණ වේ; ලේඛන වෙනස් කිරීම නිතිපතා නැවත සකස් කරන්න.
යෙදුම් කාර්යය
ඔබේම කණ්ඩායම සඳහා සහායකයෙකුගේ වාස්තුවිද්යාත්මක රූප සටහනක් අඳින්න. (1) අවම වශයෙන් සැබෑ දත්ත මූලාශ්ර තුනක් හඳුනාගෙන සම්බන්ධක අවශ්යතාවයක්, යාවත්කාලීන සංඛ්යාතයක් සහ විශ්වාස මට්ටමක් සටහන් කරන්න. (2) කොටු ඊතල රූප සටහනක් සමඟ සුචිගත කිරීම සහ විමසුම් රේඛා වෙන වෙනම අඳින්න. (3) "මෙම සහයකයාගේ ප්රමාදය සහ පිරිවැය අඩු කරන්නේ කොතැනින්ද?" ප්රශ්නයට අවම වශයෙන් ස්ථිර තීරණ දෙකක් ලියන්න. (4) එක් වාක්යයකින් ඔබේ නැවුම් කිරීමේ උපාය විස්තර කරන්න: කුමන සම්පත නැවත සුචිගත කරන්නේද සහ කොපමණ වාරයක්ද?
පිරික්සුම් ලැයිස්තුව
- [ ] මට සුචිගත කිරීම සහ විමසුම් රේඛා වෙන වෙනම සහ නිවැරදි සංරචක සමඟ ඇඳිය හැකිය.
- [ ] මට බහු-මූලාශ්ර දත්ත source_type සහ විශ්වාස ප්රමුඛතාවය සමඟ ඒකාබද්ධ කළ හැක.
- [ ] මට ප්රමාදය සහ පිරිවැය සඳහා මාදිලි තේරීම සඳහා ප්රවාහ/හැඹිලි තීරණ ගත හැකිය.
- [ ] නැවත සුචිගත කිරීමේ උපාය මාර්ගයක් අත්යවශ්ය වන්නේ මන්දැයි මම දනිමි.
- [ ] මගේ ගෘහ නිර්මාණ ශිල්පයේ වඩාත්ම මිල අධික පියවර වන්නේ සාමාන්යයෙන් විශාල මාදිලියට යන ටෝකනය බව මම මතක තබා ගන්නෙමි.