ලාභ:
- කාවැද්දීම මඟින් පාඨය අර්ථකථන අවකාශයේ දෛශිකයක් බවට පත් කරන බවත් සමාන අර්ථයන් සමීප දෛශික බවත් තේරුම් ගන්න.
- ANN සෙවුම කොසයින් සහ තිත් සමානතා ප්රමිතික සමඟ ක්රියා කරන ආකාරය පැහැදිලි කිරීම
- පාරදත්ත පෙරීම සඳහා පිරිවැය, පරිමාණය සහ අවශ්යතාවය මත පදනම්ව පොදු දෛශික දත්ත සමුදායන් තෝරාගැනීම
RAG හි හදවතෙහි ඇත්තේ තනි ප්රශ්නයක්: "පරිශීලකයාගේ ප්රශ්නයට වඩාත්ම සමාන පෙළ කොටස කුමක්ද?" පරිගණකය අකුරු සකසන්නේ අංක සමඟ මිස වචනාර්ථයෙන් නොවේ. අන්න ඒ නිසා අපි මුලින්ම පෙළ එහි තේරුම ගෙන යන ඉලක්කම් බවට පරිවර්තනය කළ යුතුයි. එබ්බවීම යනු එයයි: පෙළක් එම පෙළෙහි අර්ථය නියෝජනය කරන සංඛ්යා (දෛශික) අනුපිළිවෙලක් බවට පරිවර්තනය කිරීමේ ක්රියාවලිය. ඔබ මෙම ඒකකය අවසන් කරන විට, කාවැද්දීම ක්රියා කරන ආකාරය, සමානතාවය මනිනු ලබන ආකාරය සහ නිවැරදි දෛශික දත්ත සමුදාය තෝරා ගන්නේ කෙසේදැයි ඔබ දැන ගනු ඇත.
කාවැද්දීම: අර්ථය ඛණ්ඩාංක බවට පරිවර්තනය කිරීම
කාවැද්දීමේ ආකෘතියක් (විශේෂයෙන් පුහුණු කරන ලද කෘත්රිම බුද්ධියක්) ඔබ සපයන පාඨය, උදාහරණයක් ලෙස, අංක 1024 ක දෛශිකයක් බවට පරිවර්තනය කරයි. මෙම දෛශිකය බහුමාන අවකාශයක ඛණ්ඩාංකයක් ලෙස සිතන්න. මායාව මෙයයි: අර්ථයෙන් සමාන පාඨ මෙම අවකාශයේ සමීප ඛණ්ඩාංකවලට වැටේ.
සරල උදාහරණයක්: "වාර්ෂික නිවාඩු", "නිවාඩු හිමිකම්" සහ "වාර්ෂික වැටුප් සහිත නිවාඩු" විවිධ වචන භාවිතා කරන නමුත් එකම දෙය අදහස් කරයි - ඒවායේ දෛශික එකිනෙකට සමීප වේ. "වැටුප් ගිණුම" වෙනස් කාරණයක් - එහි දෛශිකය දුරස්ථ වේ. එබැවින් පරිශීලකයා අසයි "මට කොපමණ දින නිවාඩුවක් තිබේද?" ඔබ විමසූ විට, "නිවාඩු" යන වචනය අඩංගු නොවන නමුත් "වාර්ෂික නිවාඩු දින 14" යන ලියවිල්ලක් පවා අපට සොයාගත හැකිය. සම්භාව්ය මූල පද සෙවීම (වචනයට හරියටම ගැළපෙන සෙවීම) කළ නොහැක්කේ මෙයයි.
ඉඟිය: "අර්ථයේ ඇඟිලි සලකුණක්" ලෙස කාවැද්දීම ගැන සිතන්න. එකම අර්ථය සහිත වාක්ය දෙකක ඇඟිලි සලකුණු සමාන ලෙස පෙනේ; වචන වෙනස් උනත්.
වැදගත් රීතියක්: ප්රශ්නය කාවැද්දීමේදී ඔබ භාවිතා කරන ආකෘතිය ලේඛන කාවැද්දීමේදී ඔබ භාවිතා කරන ආකෘතියම විය යුතුය. විවිධ මාදිලි විවිධ අවකාශයන් නිෂ්පාදනය කරයි; ඛණ්ඩාංක අසමසම බවට පත්වේ.
සමානකම් මැනිය හැක්කේ කෙසේද?
දෛශික දෙකක් කෙතරම් සමානද යන්න මැනීමට ක්රම කිහිපයක් තිබේ. වඩාත් සුලභ වන්නේ කොසයින් සමානතාවයයි: එය දෛශික දෙකක් අතර කෝණය මනිනු ලබයි. කෝණය කුඩා නම් (එකම දිශාවට යොමු වන දෛශික), සමානතාවය ඉහළ ය. අගය −1 සහ 1 අතර වේ; 1 ට ආසන්න = ඉතා සමාන.
නිර්ණායකය
එය මනින්නේ කුමක් ද?
එය වඩාත් කැමති වන්නේ කවදාද?
කොසයින්
දෛශික අතර කෝණය (දිශාව).
වඩාත් පොදු; පෙරනිමියෙන් පෙළ සංකේතාත්මක සමානතාවය
තිත් නිෂ්පාදනය
දිශාව + විශාලත්වය එකට
දෛශික සාමාන්යකරණය කර ඇත්නම්, එය කොසයින් ලෙස එකම ප්රති result ලය ලබා දෙයි; වේගවත් වේ
යුක්ලීඩීය (යුක්ලීඩීය දුර)
ඛණ්ඩාංක අතර සෘජු දුර
සමහර පොකුරු අවස්ථා වලදී; පෙළෙහි අඩුවෙන් භාවිතා වේ
ප්රායෝගිකව, බොහෝ කාවැද්දීම ආකෘති සාමාන්යකරණය කරන ලද දෛශික නිපදවයි (ප්රමාණය 1 ලෙස සකසා ඇත); මෙම අවස්ථාවෙහිදී, කොසයින් සහ තිත් නිෂ්පාදනය එකම අනුපිළිවෙලක් ලබා දෙයි. තීරණය අඩපණ නොවන්න: කොසයින් සමඟ ආරම්භ කරන්න.
මිලියන ගණනක් දෛශික අතර, ඒවා එකින් එක සංසන්දනය කිරීම මන්දගාමී වේ. දෛශික දත්ත සමුදායන් ANN (ආසන්න ආසන්නතම අසල්වැසි) ඇල්ගොරිතම භාවිතා කරන්නේ එබැවිනි. ANN ඉතා ඉක්මනින් "හරියටම ආසන්න" වෙනුවට "පාහේ හරියටම ආසන්නතම" සොයා ගනී. උදාහරණයක් ලෙස, HNSW නම් ක්රමයට දෛශික මිලියන 10කට වුවද මිලි තත්පර කිහිපයකින් ප්රතිඵල ලබා දිය හැක. නිරවද්යතාවයේ කුඩා කැපකිරීමක් සඳහා ඔබට විශාල වේගයක් ලැබේ.
දෛශික දත්ත සමුදාය කරන්නේ කුමක්ද?
දෛශික දත්ත සමුදායක් එකවර කරුණු තුනක් කරයි: (1) දෛශික ගබඩා කරයි, (2) විමසුම් දෛශිකයකට වඩාත් සමාන දෛශික ඉක්මනින් සොයා ගනී, (3) එක් එක් දෛශිකය අසල පාර-දත්ත මගින් පෙරහන් කරයි. පාරදත්ත යනු ඔබ එම කෑල්ලට අමුණන ටැග් වේ: මූලාශ්ර ගොනුව, දිනය, දෙපාර්තමේන්තුව, රහස්යතා මට්ටම, ආදිය. ව්යවසාය RAG හි පාරදත්ත පෙරීම ඉතා වැදගත් වේ; මක්නිසාද යත්, "මුදල් දෙපාර්තමේන්තුවේ 2025 ලේඛනවල පමණක් සොයන්න" වැනි සීමාවන් සැකසීමට ඔබට හැකි විය යුතු බැවිනි.
# දෛශික දත්ත ගබඩාවට ලියාපදිංචි වන්න (සංකල්පීය)vektor_db.add( id="izin-politikasi-parca-3", vektor=embed("වාර්ෂික වැටුප් සහිත නිවාඩු දින 14කි..."), text="වාර්ෂික වැටුප් සහිත නිවාඩු දින 14කි...", පාරදත්ත={"source": "ik_departfment",I. "දිනය": "2025-06", "පෞද්ගලිකත්වය": "ic"})
# පාරදත්ත පෙරන ලද සෙවුම (සංකල්පීය)ප්රතිඵලය = vektor_db.search( vektor=embed("මට කොපමණ දින නිවාඩු තිබේද?"), top_k=4, filter={"department": "HR", "privacy": ["අභ්යන්තර", "on"]})
නිවැරදි දත්ත සමුදාය තෝරා ගැනීම
වාහනය
විශේෂාංග අංගය
සුදුසු තත්වයක්
ගොඩනඟන ලද / ගොනු පදනම් කරගත් (කාවැද්දූ පුස්තකාලය)
ස්ථාපනයක් නැත, තනි යන්ත්රයක්
මූලාකෘතිය, කුඩා කට්ටලය (< කොටස් ලක්ෂ කිහිපයක්)
කළමනාකරණය කළ වලාකුළු සේවාව
පරිමාණය කිරීම සහ නඩත්තු කිරීම ඔබේ වගකීමක් නොවේ
නිෂ්පාදනය, වේගයෙන් වර්ධනය වන දත්ත, කුඩා කණ්ඩායම
ඔබේම සේවාදායකයේ විවෘත මූලාශ්රය
සම්පූර්ණ පාලනය, ඔබේ දත්ත ඔබේ වේ
පෞද්ගලිකත්ව බැඳීම, පවතින යටිතල පහසුකම්
පවතින දත්ත සමුදායට එකතු කිරීම
ඔබ වෙනම පද්ධති කළමනාකරණය නොකරයි
ඔබ දැනටමත් භාවිතා කරන DB වෙත දෛශික සහය එක් කිරීම
තෝරාගැනීමේදී අසන්න: කෑලි කීයක් තිබේද? පාරදත්ත පෙරීම කෙතරම් තීරණාත්මකද? දත්ත සමාගමෙන් පිටතට යා හැකිද (රහස්යභාවය)? කණ්ඩායමට යටිතල පහසුකම් ක්රියාත්මක කළ හැකිද? කුඩාවට පටන් ගෙන අවශ්ය පරිදි පුළුල් කිරීම බොහෝ විට නුවණට හුරුය.
දුර්වල ප්රවේශය / ශක්තිමත් ප්රවේශය
දුර්වල (සරල කාවැද්දීම ගබඩා කිරීම, පාරදත්ත නොමැත):
පෙළ සහ දෛශිකය සුරකින්න. සොයන්න: වඩාත්ම සමාන දෛශික 4 ආපසු ලබා දෙන්න.# ගැටලුව: "වර්තමාන මානව සම්පත් ලේඛන පමණක්" මෙන් පෙරීමට නොහැක;# පැරණි/අනවසර කොටස් ද ප්රතිචාරයට ඇතුළත් කළ හැක.
බලවත් (පොහොසත් පාරදත්ත + පෙරූ සෙවුම):
සෑම කොටසකටම මූලාශ්රය, දිනය, දෙපාර්තමේන්තුව සහ රහස්යතා ටැගය එක් කරන්න. සෙවුම අතරතුර පරිශීලකගේ අධිකාරිය සහ වත්මන් බව අනුව පෙරන්න: filter = {"privacy": user_authority, "date_date": "2024-01"}# මේ අනුව, ප්රතිඵලය ආරක්ෂිත සහ යාවත්කාලීන වේ.
කුඩා නඩු තුනක්
නඩුව 1 - වැරදි ආදර්ශ මිශ්රණය. කණ්ඩායමක් A ආකෘතිය සමඟ ලේඛන සහ B ආකෘතිය සමඟ ප්රශ්න ඇතුළත් කර ඇත. සෙවීම් අර්ථ විරහිත ප්රතිඵල ලබා දුන් අතර නිවැරදි පිළිතුරු අනුපාතය 31% ලෙස පැවතුනි. මම තනි මාදිලියකට මාරු වූ විට (දෙකම එකම කාවැද්දීමේ ආකෘතිය), අනුපාතය 88% දක්වා ඉහළ ගියේය. පාඩම: ප්රශ්නය සහ ලේඛනය එකම අවකාශයක තිබිය යුතුය.
2 වන අවස්ථාව - පාර-දත්ත නොමැතිව රහස්යතා අවදානම. සෞඛ්ය සේවා සමාගමක, සියලුම දෙපාර්තමේන්තු ලේඛන පාරදත්ත නොමැතිව තනි තටාකයකට විසි කරන ලදී. විකුණුම් සහකරුවෙකු ප්රශ්නයක් ඇසූ විට, පද්ධතිය රෝගියාගේ දත්ත කොටසක් සන්දර්භගත කළේය. පාරදත්ත + පෙරහන එකතු කළ විට (අවසර දීමේ මට්ටමට අනුව), මෙම අවදානම ඉවත් කරන ලදී; නැවත ලබා ගැනීමේදී, අනවසර කෑලි 12 ක් ගෙන එන්නේ නැත.
නඩුව 3 - පරිමාණ බාධකය. ඊ-වාණිජ්යය සමාගමක් සරල "සියල්ල පරිලෝකනය කරන්න" ක්රමයක් සමඟ නිෂ්පාදන විස්තර මිලියන 8ක් සෙව්වා; සෑම විමසුමකටම තත්පර 6ක් ගත විය. අපි HNSW-පාදක ANN වෙත මාරු වූ විට, කාලය මිලි තත්පර 45 දක්වා අඩු විය, නිරවද්යතාවයෙන් 1% ක පාඩුවක් පමණි. පාඩම: විශාල කට්ටලය තුළ ANN අනිවාර්ය වේ.
පොදු වැරදි
- විවිධ ආකෘතීන් සමඟ ප්රශ්නය සහ ලේඛනය කාවැද්දීම: ප්රතිඵල අර්ථ විරහිත ය; සෑම විටම එක් ආකෘතියක්.
- පාරදත්ත මඟ හැරීම: ඔබට පෙරීමට නොහැක; ඔබට පෞද්ගලිකත්වය සහ යාවත්කාලීන පාලනය අහිමි වේ.
- සංකේතනය සඳහා කාවැද්දීම වැරදියි: කාවැද්දීම ආපසු හැරවිය හැකි තොරතුරු දරයි; සංවේදී දත්ත "සැඟවී" ඇතැයි උපකල්පනය කිරීම වැරදිය.
- කුඩා කට්ටලයක් මත අනවශ්ය ලෙස විශාල යටිතල පහසුකම් ගොඩනැගීම: යෝධ පොකුරක් කොටස් 5,000 ක් සඳහා කළමනාකරණය කිරීම අනවශ්ය සංකීර්ණත්වයකි.
- සමානතා නිර්ණායකය ගැන ඕනෑවට වඩා කරදර නොවන්න: පාඨයේ කොසයින් සමඟ ආරම්භ කරන්න; සියුම් සුසර කිරීම පසුව පැමිණේ.
අවවාදයයි: කාවැද්දීම පෙළෙහි අර්ථය සංඛ්යා තුළ අන්තර්ගත කරයි, නමුත් අන්තර්ගතය "විනාශ" නොකරයි. දෛශික දත්ත සමුදායක් කාන්දු වුවහොත්, මුල් ගබඩා කර ඇති පෙළ (බොහෝ ස්ථාපනයන්හි පෙළ ද ගබඩා කර ඇත) ද සම්මුතියකට ලක් වේ. දෛශික ගබඩාව එහි ඇති ලේඛන තරම් රහසිගතව තබා ගන්න.
සාරාංශයක් ලෙස
- කාවැද්දීම අකුරු එහි අර්ථය දරන සංඛ්යා දෛශිකයක් බවට පත් කරයි; සමාන අර්ථයන් සමීප දෛශික වේ.
- සමානත්වය බොහෝ විට මනිනු ලබන්නේ කොසයින් මගිනි; සාමාන්යකරණය කරන ලද දෛශික සඳහා, තිත් නිෂ්පාදනය එකම ප්රතිඵලයක් ලබා දෙයි.
- විශාල දත්ත වලදී, ANN (උදා., HNSW) නිවැරදි සෙවීම ප්රතිස්ථාපනය කරයි: නිරවද්යතාවයේ කුඩා කැපකිරීමක් සමඟ විශාල වේගයක්.
- දෛශික දත්ත සමුදාය දෛශික ආචයනය + සමානතා සෙවීම + පාරදත්ත පෙරීම සිදු කරයි; ව්යවසාය RAG සඳහා පාරදත්ත අත්යවශ්ය වේ.
- ප්රශ්නය සහ ලේඛනය එකම කාවැද්දීමේ ආකෘතියකින් පරිවර්තනය කළ යුතුය; එසේ නොමැති නම් ඛණ්ඩාංක සැසඳිය නොහැක.
යෙදුම් කාර්යය
ඔබ පෙර ඒකකයේ තෝරාගත් ලේඛනයෙන් කෙටි ඡේද 10ක් (වාක්ය 3-6 බැගින්) උපුටා ගන්න. (1) එක් එක් කොටස සඳහා අවම වශයෙන් පාර-දත්ත ටැග් තුනක් (මූලාශ්රය, දිනය සහ ඔබේ ව්යාපාරික සන්දර්භයට සුදුසු තෙවැන්න: දෙපාර්තමේන්තුව, නිෂ්පාදනය, පෞද්ගලිකත්වය, ආදිය) සැලසුම් කරන්න. (2) විවිධ පරිශීලක ප්රශ්න 3ක් සඳහා යෙදිය යුතු පාරදත්ත පෙරහන ලියන්න. (3) එකම අර්ථය විවිධ වචනවලින් ප්රකාශ කරන ප්රශ්න-කොටස් යුගල 3ක් සොයා ගන්න (උදා: “නිවාඩු හිමිකම” ↔ “වාර්ෂික නිවාඩු”) සහ ඒවා මූල පද සෙවීමට නොගැලපෙන නමුත් කාවැද්දීම සමඟ ගැලපෙන්නේ මන්දැයි එක් වාක්යයකින් පැහැදිලි කරන්න.
පිරික්සුම් ලැයිස්තුව
- [ ] කාවැද්දීම මඟින් පාඨය අර්ථකථන අවකාශයේ දෛශිකයක් බවට පත් කරන බවත් සමාන අර්ථයන් සමීප බවත් මට පැවසිය හැකිය.
- මම දන්නවා [ ] කොසයින් සමානතාවය කෝණය මනින අතර එය පෙළෙහි පෙරනිමි මනාපය.
- [ ] විශාල දත්තවල ANN අවශ්ය වන්නේ මන්දැයි මට පැහැදිලි කළ හැක.
- [ ] රහස්යභාවය සහ නැවුම්බව පාලනය සඳහා පාරදත්ත ඉතා වැදගත් වන්නේ මන්දැයි මම දනිමි.
- [ ] මම ප්රශ්නය සහ ලේඛනය එකම කාවැද්දීමේ ආකෘතියකින් පරිවර්තනය කිරීමේ රීතිය අනුගමනය කරමි.