ഉൾച്ചേർക്കലും വെക്റ്റർ ഡാറ്റാബേസ് ലോജിക്കും

നേട്ടങ്ങൾ:

• ഉൾച്ചേർക്കൽ ടെക്‌സ്‌റ്റിനെ സെമാൻ്റിക് സ്‌പെയ്‌സിലെ വെക്‌ടറാക്കി മാറ്റുന്നുവെന്നും സമാന അർത്ഥങ്ങൾ ക്ലോസ് വെക്‌ടറുകളാണെന്നും മനസ്സിലാക്കുക.
• കോസൈൻ, ഡോട്ട് സാമ്യത അളവുകൾ ഉപയോഗിച്ച് എഎൻഎൻ തിരയൽ എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് വിശദീകരിക്കുന്നു
• മെറ്റാഡാറ്റ ഫിൽട്ടറിംഗിൻ്റെ വില, സ്കെയിൽ, ആവശ്യകത എന്നിവയെ അടിസ്ഥാനമാക്കി പൊതുവായ വെക്റ്റർ ഡാറ്റാബേസുകൾ തിരഞ്ഞെടുക്കുന്നു

RAG-ൻ്റെ ഹൃദയഭാഗത്ത് ഒരൊറ്റ ചോദ്യമുണ്ട്: "ഏത് വാചകമാണ് ഉപയോക്താവിൻ്റെ ചോദ്യവുമായി ഏറ്റവും സാമ്യമുള്ളത്?" കമ്പ്യൂട്ടർ ടെക്സ്റ്റ് പ്രോസസ്സ് ചെയ്യുന്നത് അക്കങ്ങൾ ഉപയോഗിച്ചാണ്, അക്ഷരാർത്ഥത്തിൽ അല്ല. അതുകൊണ്ടാണ് നമ്മൾ ആദ്യം വാചകത്തെ അതിൻ്റെ അർത്ഥം ഉൾക്കൊള്ളുന്ന സംഖ്യകളാക്കി മാറ്റേണ്ടത്. അതാണ് ഉൾച്ചേർക്കൽ: ഒരു വാചകത്തെ ആ വാചകത്തിൻ്റെ അർത്ഥത്തെ പ്രതിനിധീകരിക്കുന്ന സംഖ്യകളുടെ (വെക്റ്റർ) ഒരു ശ്രേണിയിലേക്ക് പരിവർത്തനം ചെയ്യുന്ന പ്രക്രിയ. നിങ്ങൾ ഈ യൂണിറ്റ് പൂർത്തിയാക്കുമ്പോൾ, എംബഡിംഗ് എങ്ങനെ പ്രവർത്തിക്കുന്നു, എങ്ങനെ സമാനത അളക്കുന്നു, ശരിയായ വെക്റ്റർ ഡാറ്റാബേസ് എങ്ങനെ തിരഞ്ഞെടുക്കാം എന്നിവ നിങ്ങൾക്ക് അറിയാം.

ഉൾച്ചേർക്കൽ: അർത്ഥം കോർഡിനേറ്റുകളിലേക്ക് വിവർത്തനം ചെയ്യുന്നു

ഒരു ഉൾച്ചേർക്കൽ മോഡൽ (പ്രത്യേകമായി പരിശീലനം ലഭിച്ച കൃത്രിമബുദ്ധി) നിങ്ങൾ നൽകുന്ന വാചകത്തെ 1024 നമ്പറുകളുടെ വെക്‌ടറാക്കി മാറ്റുന്നു. ഈ വെക്‌ടറിനെ ഒരു മൾട്ടിഡൈമൻഷണൽ സ്‌പെയ്‌സിലെ ഒരു കോർഡിനേറ്റായി കരുതുക. മാന്ത്രികത ഇതാണ്: അർത്ഥത്തിൽ സമാനമായ വാചകങ്ങൾ ഈ സ്ഥലത്ത് അടുത്ത കോർഡിനേറ്റുകളിലേക്ക് വീഴുന്നു.

ഒരു ലളിതമായ ഉദാഹരണം: "വാർഷിക അവധി", "അവധിക്കാല അവകാശം", "വാർഷിക ശമ്പളത്തോടുകൂടിയ അവധി" എന്നിവ വ്യത്യസ്ത വാക്കുകൾ ഉപയോഗിക്കുന്നു, എന്നാൽ അർത്ഥം ഒന്നുതന്നെയാണ് - അവയുടെ വെക്റ്ററുകൾ പരസ്പരം അടുത്താണ്. "പേയ്റോൾ അക്കൗണ്ട്" എന്നത് മറ്റൊരു കാര്യമാണ് - അതിൻ്റെ വെക്റ്റർ വിദൂരമാണ്. അതിനാൽ ഉപയോക്താവ് ചോദിക്കുന്നു "എനിക്ക് എത്ര ദിവസത്തെ അവധിയുണ്ട്?" നിങ്ങൾ ചോദിക്കുമ്പോൾ, "അവധി" എന്ന വാക്ക് അടങ്ങിയിട്ടില്ലെങ്കിലും "വാർഷിക അവധി 14 ദിവസമാണ്" എന്ന് പറയുന്ന ഒരു രേഖ പോലും ഞങ്ങൾ കണ്ടെത്തും. ഇതാണ് ക്ലാസിക് കീവേഡ് തിരയൽ (വാക്കുമായി കൃത്യമായി പൊരുത്തപ്പെടുന്ന തിരയൽ) ചെയ്യാൻ കഴിയാത്തത്.

നുറുങ്ങ്: ഉൾച്ചേർക്കൽ "അർത്ഥത്തിൻ്റെ വിരലടയാളം" ആയി കരുതുക. ഒരേ അർത്ഥമുള്ള രണ്ട് വാക്യങ്ങളുടെ വിരലടയാളം സമാനമായി കാണപ്പെടുന്നു; വാക്കുകൾ വ്യത്യസ്തമാണെങ്കിൽ പോലും.

ഒരു പ്രധാന നിയമം: ചോദ്യം ഉൾച്ചേർക്കുമ്പോൾ നിങ്ങൾ ഉപയോഗിക്കുന്ന മാതൃക, പ്രമാണങ്ങൾ ഉൾച്ചേർക്കുമ്പോൾ നിങ്ങൾ ഉപയോഗിക്കുന്ന അതേ മാതൃക ആയിരിക്കണം. വ്യത്യസ്ത മോഡലുകൾ വ്യത്യസ്ത ഇടങ്ങൾ നിർമ്മിക്കുന്നു; കോർഡിനേറ്റുകൾ താരതമ്യപ്പെടുത്താനാവാത്തതായി മാറുന്നു.

സാമ്യം എങ്ങനെ അളക്കാം?

രണ്ട് വെക്‌ടറുകൾ എത്രത്തോളം സമാനമാണെന്ന് അളക്കാൻ നിരവധി മാർഗങ്ങളുണ്ട്. ഏറ്റവും സാധാരണമായത് കോസൈൻ സമാനതയാണ്: ഇത് രണ്ട് വെക്റ്ററുകൾ തമ്മിലുള്ള കോണിനെ അളക്കുന്നു. ആംഗിൾ ചെറുതാണെങ്കിൽ (ഒരേ ദിശയിൽ ചൂണ്ടുന്ന വെക്റ്ററുകൾ), സമാനത ഉയർന്നതാണ്. മൂല്യം −1 നും 1 നും ഇടയിലാണ്; 1 ന് അടുത്ത് = വളരെ സമാനമാണ്.

മാനദണ്ഡം

ഇത് എന്താണ് അളക്കുന്നത്?

എപ്പോഴാണ് മുൻഗണന നൽകുന്നത്?

കോസൈൻ

വെക്റ്ററുകൾ തമ്മിലുള്ള ആംഗിൾ (ദിശ).

ഏറ്റവും സാധാരണമായത്; ടെക്സ്റ്റ് സെമാൻ്റിക് സമാനതയിൽ ഡിഫോൾട്ട്

ഡോട്ട് ഉൽപ്പന്നം

ദിശ + വ്യാപ്തി ഒരുമിച്ച്

വെക്‌ടറുകൾ നോർമലൈസ് ചെയ്‌താൽ, അത് കോസൈൻ്റെ അതേ ഫലം നൽകുന്നു; വേഗതയാണ്

യൂക്ലിഡിയൻ (യൂക്ലിഡിയൻ ദൂരം)

കോർഡിനേറ്റുകൾ തമ്മിലുള്ള നേരായ ദൂരം

ചില ക്ലസ്റ്ററിംഗ് സാഹചര്യങ്ങളിൽ; വാചകത്തിൽ ഉപയോഗിക്കുന്നത് കുറവാണ്

പ്രായോഗികമായി, മിക്ക എംബെഡിംഗ് മോഡലുകളും നോർമലൈസ്ഡ് വെക്റ്ററുകൾ നിർമ്മിക്കുന്നു (വലുപ്പം 1 ആയി സജ്ജീകരിച്ചിരിക്കുന്നു); ഈ സാഹചര്യത്തിൽ, കോസൈനും ഡോട്ട് ഉൽപ്പന്നവും ഒരേ ഓർഡർ നൽകുന്നു. തീരുമാനം തളർത്തരുത്: കോസൈനിൽ നിന്ന് ആരംഭിക്കുക.

ദശലക്ഷക്കണക്കിന് വെക്‌ടറുകൾക്കിടയിൽ, അവയെ ഓരോന്നായി താരതമ്യം ചെയ്യുന്നത് മന്ദഗതിയിലാണ്. അതുകൊണ്ടാണ് വെക്റ്റർ ഡാറ്റാബേസുകൾ ANN (ഏകദേശം അടുത്തുള്ള അയൽക്കാരൻ) അൽഗോരിതം ഉപയോഗിക്കുന്നത്. ANN വളരെ വേഗത്തിൽ "കൃത്യമായ ഏറ്റവും അടുത്തത്" എന്നതിലുപരി "ഏതാണ്ട് ഏറ്റവും അടുത്തുള്ളത്" കണ്ടെത്തുന്നു. ഉദാഹരണത്തിന്, HNSW എന്ന രീതിക്ക് 10 ദശലക്ഷം വെക്റ്ററുകൾക്ക് പോലും കുറച്ച് മില്ലിസെക്കൻഡിൽ ഫലങ്ങൾ നൽകാൻ കഴിയും. കൃത്യതയുടെ ഒരു ചെറിയ ത്യാഗത്തിന് നിങ്ങൾക്ക് വലിയ വേഗത ലഭിക്കും.

വെക്റ്റർ ഡാറ്റാബേസ് എന്താണ് ചെയ്യുന്നത്?

ഒരു വെക്റ്റർ ഡാറ്റാബേസ് ഒരേസമയം മൂന്ന് കാര്യങ്ങൾ ചെയ്യുന്നു: (1) വെക്റ്ററുകൾ സംഭരിക്കുന്നു, (2) ഒരു ക്വറി വെക്റ്ററിന് സമാനമായ വെക്റ്ററുകൾ വേഗത്തിൽ കണ്ടെത്തുന്നു, (3) ഓരോ വെക്‌ടറിനടുത്തുള്ള മെറ്റാഡാറ്റ ഉപയോഗിച്ച് ഫിൽട്ടറുകൾ ചെയ്യുന്നു. മെറ്റാഡാറ്റ എന്നത് ആ ഭാഗത്തേക്ക് നിങ്ങൾ അറ്റാച്ചുചെയ്യുന്ന ടാഗുകളാണ്: ഉറവിട ഫയൽ, തീയതി, വകുപ്പ്, സ്വകാര്യതാ നില മുതലായവ. എൻ്റർപ്രൈസ് RAG-ൽ മെറ്റാഡാറ്റ ഫിൽട്ടറിംഗ് നിർണായകമാണ്; കാരണം "ധനകാര്യ വകുപ്പിൻ്റെ 2025 ഡോക്യുമെൻ്റുകളിൽ മാത്രം തിരയുക" പോലുള്ള നിയന്ത്രണങ്ങൾ നിങ്ങൾക്ക് സജ്ജീകരിക്കേണ്ടതുണ്ട്.

# വെക്റ്റർ ഡാറ്റാബേസിൽ രജിസ്റ്റർ ചെയ്യുക (conceptual)vektor_db.add( id="izin-politikasi-parca-3", vektor=embed("വാർഷിക പെയ്ഡ് ലീവ് 14 ദിവസമാണ്..."), text="വാർഷിക ശമ്പളത്തോടുകൂടിയ അവധി 14 ദിവസമാണ്...", മെറ്റാഡാറ്റ={"source": "ik_departfment","Ik_departfment", "തീയതി": "2025-06", "സ്വകാര്യത": "ic"})

# മെറ്റാഡാറ്റ ഫിൽട്ടർ ചെയ്‌ത തിരയൽ ഫലം = vektor_db.search( vektor=embed("എനിക്ക് എത്ര ദിവസത്തെ ലീവ് ഉണ്ട്?"), top_k=4, filter={"department": "HR", "privacy": ["internal", "on"]})

ശരിയായ ഡാറ്റാബേസ് തിരഞ്ഞെടുക്കുന്നു

വാഹനം

ഫീച്ചർ ചെയ്ത വശം

അനുയോജ്യമായ സാഹചര്യം

അന്തർനിർമ്മിത / ഫയൽ അടിസ്ഥാനമാക്കിയുള്ള (ഉൾച്ചേർത്ത ലൈബ്രറി)

ഇൻസ്റ്റാളേഷൻ ഇല്ല, ഒറ്റ യന്ത്രം

പ്രോട്ടോടൈപ്പ്, ചെറിയ കിറ്റ് (< ഏതാനും ലക്ഷം ഭാഗങ്ങൾ)

നിയന്ത്രിത ക്ലൗഡ് സേവനം

സ്കെയിലിംഗും പരിപാലനവും നിങ്ങളുടെ ഉത്തരവാദിത്തമല്ല

ഉത്പാദനം, അതിവേഗം വളരുന്ന ഡാറ്റ, ചെറിയ ടീം

നിങ്ങളുടെ സ്വന്തം സെർവറിൽ ഓപ്പൺ സോഴ്സ്

പൂർണ്ണ നിയന്ത്രണം, നിങ്ങളുടെ ഡാറ്റ നിങ്ങളുടേതായി തുടരും

സ്വകാര്യത ബാധ്യത, നിലവിലുള്ള അടിസ്ഥാന സൗകര്യങ്ങൾ

നിലവിലുള്ള ഡാറ്റാബേസിലേക്ക് കൂട്ടിച്ചേർക്കൽ

നിങ്ങൾ പ്രത്യേക സംവിധാനങ്ങൾ നിയന്ത്രിക്കുന്നില്ല

നിങ്ങൾ ഇതിനകം ഉപയോഗിക്കുന്ന ഡിബിയിലേക്ക് വെക്റ്റർ പിന്തുണ ചേർക്കുന്നു

തിരഞ്ഞെടുക്കുമ്പോൾ ചോദിക്കുക: എത്ര കഷണങ്ങൾ ഉണ്ടാകും? മെറ്റാഡാറ്റ ഫിൽട്ടറിംഗ് എത്രത്തോളം നിർണായകമാണ്? കമ്പനിക്ക് പുറത്ത് ഡാറ്റ പോകാൻ കഴിയുമോ (രഹസ്യത)? ടീമിന് ഒരു ഇൻഫ്രാസ്ട്രക്ചർ പ്രവർത്തിപ്പിക്കാൻ കഴിയുമോ? ചെറുതായി തുടങ്ങുകയും ആവശ്യാനുസരണം വികസിപ്പിക്കുകയും ചെയ്യുന്നതാണ് പലപ്പോഴും ബുദ്ധി.

ദുർബലമായ സമീപനം / ശക്തമായ സമീപനം

ദുർബലമായ (പ്ലെയിൻ എംബെഡിംഗ് സംഭരിക്കുന്നു, മെറ്റാഡാറ്റ ഇല്ല):

വാചകവും വെക്‌ടറും സംരക്ഷിക്കുക. തിരയുക: ഏറ്റവും സമാനമായ 4 വെക്‌ടറുകൾ തിരികെ നൽകുക.# പ്രശ്നം: "നിലവിലെ എച്ച്ആർ ഡോക്‌സ് മാത്രം" പോലെ ഫിൽട്ടർ ചെയ്യാൻ കഴിയില്ല;# പഴയ/അനധികൃത ഭാഗങ്ങളും പ്രതികരണത്തിൽ ഉൾപ്പെടുത്തിയേക്കാം.

ശക്തമായ (റച്ച് മെറ്റാഡാറ്റ + ഫിൽട്ടർ ചെയ്‌ത തിരയൽ):

ഓരോ ഭാഗത്തിനും ഉറവിടം, തീയതി, വകുപ്പ്, സ്വകാര്യതാ ടാഗ് എന്നിവ ചേർക്കുക. തിരയൽ സമയത്ത് ഉപയോക്താവിൻ്റെ അധികാരവും നിലവിലെതയും അനുസരിച്ച് ഫിൽട്ടർ ചെയ്യുക: ഫിൽട്ടർ = {"സ്വകാര്യത": user_authority, "date_date": "2024-01"}# അതിനാൽ, ഫലം സുരക്ഷിതവും കാലികവുമാണ്.

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - തെറ്റായ മോഡൽ മിക്സ്. ഒരു ടീം മോഡൽ എ ഉള്ള ഡോക്യുമെൻ്റുകളും ബി മോഡൽ ഉള്ള ചോദ്യങ്ങളും ഉൾച്ചേർത്തു. തിരയലുകൾ അർത്ഥശൂന്യമായ ഫലങ്ങൾ നൽകി, ശരിയായ ഉത്തര നിരക്ക് 31% ആയി തുടർന്നു. ഞാൻ ഒരൊറ്റ മോഡലിലേക്ക് മാറിയപ്പോൾ (രണ്ടും ഒരേ എംബെഡിംഗ് മോഡൽ), നിരക്ക് 88% ആയി ഉയർന്നു. പാഠം: ചോദ്യവും പ്രമാണവും ഒരേ സ്ഥലത്ത് ആയിരിക്കണം.

കേസ് 2 - മെറ്റാഡാറ്റ ഇല്ലാതെ സ്വകാര്യതാ റിസ്ക്. ഒരു ഹെൽത്ത് കെയർ കമ്പനിയിൽ, എല്ലാ ഡിപ്പാർട്ട്‌മെൻ്റ് രേഖകളും മെറ്റാഡാറ്റ ഇല്ലാതെ ഒരൊറ്റ പൂളിലേക്ക് വലിച്ചെറിഞ്ഞു. ഒരു സെയിൽസ് അസോസിയേറ്റ് ഒരു ചോദ്യം ചോദിച്ചപ്പോൾ, രോഗിയുടെ ഡാറ്റയുടെ ഒരു ഭാഗം സിസ്റ്റം സന്ദർഭോചിതമാക്കി. മെറ്റാഡാറ്റ + ഫിൽട്ടർ ചേർത്തപ്പോൾ (അംഗീകൃത നില അനുസരിച്ച്), ഈ അപകടസാധ്യത ഇല്ലാതാക്കി; വീണ്ടെടുക്കലിൽ, 12 അനധികൃത കഷണങ്ങൾ കൊണ്ടുവരുന്നില്ല.

കേസ് 3 - സ്കെയിൽ തടസ്സം. "എല്ലാം സ്കാൻ ചെയ്യുക" എന്ന ലളിതമായ രീതി ഉപയോഗിച്ച് ഒരു ഇ-കൊമേഴ്‌സ് കമ്പനി 8 ദശലക്ഷം ഉൽപ്പന്ന വിവരണങ്ങൾ തിരഞ്ഞു; ഓരോ ചോദ്യത്തിനും 6 സെക്കൻഡ് എടുത്തു. ഞങ്ങൾ HNSW അടിസ്ഥാനമാക്കിയുള്ള ANN-ലേക്ക് മാറിയപ്പോൾ, സമയം 45 മില്ലിസെക്കൻഡായി കുറഞ്ഞു, കൃത്യതയിൽ 1% മാത്രം നഷ്ടം. പാഠം: വലിയ സെറ്റിൽ എഎൻഎൻ നിർബന്ധമാണ്.

സാധാരണ തെറ്റുകൾ

• വ്യത്യസ്ത മാതൃകകൾ ഉപയോഗിച്ച് ചോദ്യവും പ്രമാണവും ഉൾച്ചേർക്കുന്നു: ഫലങ്ങൾ അർത്ഥശൂന്യമാണ്; എപ്പോഴും ഒരു മാതൃക.
• മെറ്റാഡാറ്റ ഒഴിവാക്കുന്നു: നിങ്ങൾക്ക് ഫിൽട്ടർ ചെയ്യാൻ കഴിയില്ല; നിങ്ങൾക്ക് സ്വകാര്യതയുടെയും കാലികതയുടെയും നിയന്ത്രണം നഷ്ടപ്പെടും.
• എൻക്രിപ്ഷനായി എംബഡിംഗ് തെറ്റിദ്ധരിക്കുന്നു: ഉൾച്ചേർക്കൽ റിവേഴ്സിബിൾ വിവരങ്ങൾ വഹിക്കുന്നു; സെൻസിറ്റീവ് ഡാറ്റ "മറച്ചിരിക്കുന്നു" എന്ന് കരുതുന്നത് തെറ്റാണ്.
• ഒരു ചെറിയ സെറ്റിൽ അനാവശ്യമായി വലിയ ഇൻഫ്രാസ്ട്രക്ചർ നിർമ്മിക്കുന്നത്: 5,000 ഭാഗങ്ങൾ കൈകാര്യം ചെയ്യുന്ന ഒരു ഭീമൻ ക്ലസ്റ്റർ അനാവശ്യ സങ്കീർണ്ണതയാണ്.
• സമാനതയുടെ മാനദണ്ഡത്തെക്കുറിച്ച് വളരെയധികം വിഷമിക്കേണ്ട: വാചകത്തിലെ കോസൈൻ ഉപയോഗിച്ച് ആരംഭിക്കുക; ഫൈൻ ട്യൂണിംഗ് പിന്നീട് വരുന്നു.

മുന്നറിയിപ്പ്: ഉൾച്ചേർക്കൽ വാചകത്തിൻ്റെ അർത്ഥം അക്കങ്ങളിൽ ഉൾക്കൊള്ളുന്നു, പക്ഷേ ഉള്ളടക്കത്തെ "നശിപ്പിക്കുന്നില്ല". ഒരു വെക്റ്റർ ഡാറ്റാബേസ് ചോർന്നാൽ, ഒറിജിനൽ സംഭരിച്ച ടെക്സ്റ്റുകളും (മിക്ക ഇൻസ്റ്റലേഷനുകളിലും ടെക്സ്റ്റ് സംഭരിച്ചിരിക്കുന്നു) വിട്ടുവീഴ്ച ചെയ്യപ്പെടും. വെക്‌റ്റർ ശേഖരണവും അതിനുള്ളിലെ രേഖകൾ പോലെ തന്നെ രഹസ്യമായി സൂക്ഷിക്കുക.

ചുരുക്കത്തിൽ

• ഉൾച്ചേർക്കൽ ടെക്സ്റ്റിനെ അതിൻ്റെ അർത്ഥം വഹിക്കുന്ന സംഖ്യകളുടെ വെക്റ്ററായി മാറ്റുന്നു; സമാന അർത്ഥങ്ങൾ ക്ലോസ് വെക്റ്ററുകൾ ആണ്.
• സാമ്യം പലപ്പോഴും കോസൈൻ ഉപയോഗിച്ചാണ് അളക്കുന്നത്; നോർമലൈസ്ഡ് വെക്റ്ററുകൾക്ക്, ഡോട്ട് ഉൽപ്പന്നം അതേ ഫലം നൽകുന്നു.
• വലിയ ഡാറ്റയിൽ, ANN (ഉദാ. HNSW) കൃത്യമായ തിരയൽ മാറ്റിസ്ഥാപിക്കുന്നു: കൃത്യതയുടെ ചെറിയ ത്യാഗത്തോടുകൂടിയ മികച്ച വേഗത.
• വെക്റ്റർ ഡാറ്റാബേസ് വെക്റ്റർ സ്റ്റോറേജ് + സമാനത തിരയൽ + മെറ്റാഡാറ്റ ഫിൽട്ടറിംഗ് നടത്തുന്നു; എൻ്റർപ്രൈസ് RAG-ന് മെറ്റാഡാറ്റ അത്യാവശ്യമാണ്.
• ചോദ്യവും പ്രമാണവും ഒരേ ഉൾച്ചേർക്കൽ മാതൃകയിൽ വിവർത്തനം ചെയ്യണം; അല്ലെങ്കിൽ കോർഡിനേറ്റുകൾ താരതമ്യം ചെയ്യാൻ കഴിയില്ല.

ആപ്ലിക്കേഷൻ ടാസ്ക്

മുമ്പത്തെ യൂണിറ്റിൽ നിങ്ങൾ തിരഞ്ഞെടുത്ത പ്രമാണത്തിൽ നിന്ന് 10 ചെറിയ ഭാഗങ്ങൾ (3-6 വാക്യങ്ങൾ വീതം) എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്യുക. (1) ഓരോ ഭാഗത്തിനും കുറഞ്ഞത് മൂന്ന് മെറ്റാഡാറ്റ ടാഗുകളെങ്കിലും രൂപകൽപ്പന ചെയ്യുക (ഉറവിടം, തീയതി, നിങ്ങളുടെ ബിസിനസ് സന്ദർഭത്തിന് അനുയോജ്യമായ മൂന്നാമത്തേത്: വകുപ്പ്, ഉൽപ്പന്നം, സ്വകാര്യത മുതലായവ). (2) 3 വ്യത്യസ്ത ഉപയോക്തൃ ചോദ്യങ്ങൾക്ക് ഏത് മെറ്റാഡാറ്റ ഫിൽട്ടർ പ്രയോഗിക്കണമെന്ന് എഴുതുക. (3) വ്യത്യസ്‌ത വാക്കുകളിൽ ഒരേ അർത്ഥം പ്രകടിപ്പിക്കുന്ന 3 ചോദ്യ-ഭാഗ ജോഡികൾ കണ്ടെത്തുക (ഉദാ: “അവധിക്കാല അവകാശം” ↔ “വാർഷിക അവധി”) കൂടാതെ അവ കീവേഡ് തിരയലുമായി പൊരുത്തപ്പെടാത്തതും എംബഡിംഗുമായി പൊരുത്തപ്പെടുന്നതും എന്തുകൊണ്ടെന്ന് ഒരു വാചകത്തിൽ വിശദീകരിക്കുക.

ചെക്ക്ലിസ്റ്റ്

• [ ] ഉൾച്ചേർക്കൽ ടെക്‌സ്‌റ്റിനെ സെമാൻ്റിക് സ്‌പെയ്‌സിലെ വെക്‌ടറാക്കി മാറ്റുന്നുവെന്നും സമാന അർത്ഥങ്ങൾ അടുത്താണെന്നും എനിക്ക് പറയാൻ കഴിയും.
• കോസൈൻ സാമ്യത കോണിനെ അളക്കുന്നുവെന്നും ടെക്‌സ്റ്റിലെ ഡിഫോൾട്ട് മുൻഗണനയാണെന്നും എനിക്കറിയാം.
• [ ] ബിഗ് ഡാറ്റയിൽ ANN ആവശ്യമായിരിക്കുന്നത് എന്തുകൊണ്ടാണെന്ന് എനിക്ക് വിശദീകരിക്കാൻ കഴിയും.
• [ ] രഹസ്യസ്വഭാവത്തിനും പുതുമ നിയന്ത്രണത്തിനും മെറ്റാഡാറ്റ നിർണായകമായിരിക്കുന്നത് എന്തുകൊണ്ടാണെന്ന് എനിക്കറിയാം.
• [ ] അതേ ഉൾച്ചേർക്കൽ മാതൃകയിൽ ചോദ്യവും പ്രമാണവും വിവർത്തനം ചെയ്യുന്നതിനുള്ള നിയമം ഞാൻ പിന്തുടരുന്നു.