መክተት እና የቬክተር ዳታቤዝ ሎጂክ

ትርፍ፡

• መክተት በትርጉም ቦታ ላይ ፅሁፉን ወደ ቬክተር እንደሚለውጥ እና ተመሳሳይ ትርጉሞች ቅርብ ቬክተሮች መሆናቸውን ይረዱ
• የኤኤንኤን ፍለጋ ከኮሳይን እና የነጥብ ተመሳሳይነት መለኪያዎች ጋር እንዴት እንደሚሰራ ማብራራት
• በዋጋ፣ ሚዛን እና በሜታዳታ ማጣሪያ ፍላጎት ላይ በመመስረት የጋራ የቬክተር ዳታቤዞችን መምረጥ

በ RAG እምብርት ላይ አንድ ነጠላ ጥያቄ አለ: "የትኛው ጽሑፍ ከተጠቃሚው ጥያቄ ጋር በጣም ተመሳሳይ ነው?" ኮምፒዩተሩ በቁጥሮች ጽሑፍን ያስተናግዳል, ቃል በቃል አይደለም. ለዚህም ነው በመጀመሪያ ጽሑፉን ወደ ቁጥሮች ወደ ትርጉሙ መለወጥ ያስፈልገናል. መክተት ማለት ያ ነው፡ ጽሑፍን ወደ ተከታታይ ቁጥሮች (ቬክተር) የመቀየር ሂደት የፅሁፉን ትርጉም የሚወክል ነው። ይህንን ክፍል ሲጨርሱ፣ መክተት እንዴት እንደሚሰራ፣ ተመሳሳይነት እንዴት እንደሚለካ እና ትክክለኛውን የቬክተር ዳታቤዝ እንዴት እንደሚመርጡ ያውቃሉ።

መክተት፡- ትርጉምን ወደ መጋጠሚያዎች መተርጎም

የመክተት ሞዴል (በተለይ የሰለጠነ አርቴፊሻል ኢንተለጀንስ) ያቀረቡትን ጽሑፍ ወደ ቬክተር ይለውጠዋል ለምሳሌ 1024 ቁጥሮች። ይህንን ቬክተር በባለብዙ ልኬት ቦታ ውስጥ እንደ መጋጠሚያ ያስቡበት። አስማት ይህ ነው፡ ከትርጉም ጋር ተመሳሳይነት ያላቸው ጽሑፎች በዚህ ቦታ ውስጥ በቅርብ መጋጠሚያዎች ውስጥ ይወድቃሉ።

ቀላል ምሳሌ፡- “የዓመታዊ ዕረፍት”፣ “የዕረፍት መብት” እና “የዓመታዊ ክፍያ ፈቃድ” የተለያዩ ቃላትን ይጠቀማሉ ነገር ግን አንድ ዓይነት ነገር ነው - የእነሱ ቬክተሮች እርስ በርስ ይቀራረባሉ። "የደመወዝ ሂሳብ" የተለየ ጉዳይ ነው - የእሱ ቬክተር ሩቅ ነው. ስለዚህ ተጠቃሚው "የስንት ቀናት የእረፍት ጊዜ አለኝ?" ስትጠይቁ "በዓል" የሚል ቃል የሌለበት ነገር ግን "የዓመት እረፍት 14 ቀን ነው" የሚል ሰነድ እንኳን እናገኛለን። ክላሲክ ቁልፍ ቃል ፍለጋ (ከቃሉ ጋር በትክክል የሚዛመድ ፍለጋ) ማድረግ የማይችለው ይህ ነው።

ጠቃሚ ምክር፡ መክተትን እንደ “የትርጉም አሻራ” አስብ። ተመሳሳይ ትርጉም ያላቸው የሁለት ዓረፍተ ነገሮች አሻራዎች ተመሳሳይነት አላቸው; ቃላቱ የተለያዩ ቢሆኑም.

አስፈላጊ ህግ: ጥያቄውን በሚጭኑበት ጊዜ የሚጠቀሙበት ሞዴል ሰነዶችን በሚጭኑበት ጊዜ የሚጠቀሙበት ሞዴል መሆን አለበት. የተለያዩ ሞዴሎች የተለያዩ ቦታዎችን ያመርታሉ; መጋጠሚያዎች ወደር የለሽ ይሆናሉ።

ተመሳሳይነትን እንዴት መለካት ይቻላል?

ሁለት ቬክተሮች ምን ያህል እንደሚመሳሰሉ ለመለካት ብዙ ዘዴዎች አሉ. በጣም የተለመደው የኮሳይን ተመሳሳይነት ነው: በሁለት ቬክተሮች መካከል ያለውን አንግል ይለካል. አንግል ትንሽ ከሆነ (ቬክተሮች በተመሳሳይ አቅጣጫ የሚያመለክቱ) ተመሳሳይነት ከፍተኛ ነው. እሴቱ በ -1 እና 1 መካከል ነው; ወደ 1 ቅርብ = በጣም ተመሳሳይ።

መስፈርት

ምን ይለካል?

መቼ ይመረጣል?

ኮሳይን

በቬክተሮች መካከል አንግል (አቅጣጫ).

በጣም የተለመደው; በጽሑፍ የትርጉም ተመሳሳይነት ነባሪ

የነጥብ ምርት

አቅጣጫ + መጠን አንድ ላይ

ቬክተሮች የተለመዱ ከሆኑ እንደ ኮሳይን ተመሳሳይ ውጤት ይሰጣል; ፈጣን ነው።

Euclidean ( euclidean ርቀት)

በመጋጠሚያዎች መካከል ቀጥተኛ ርቀት

በአንዳንድ የክላስተር ሁኔታዎች; በጽሑፍ ያነሰ ጥቅም ላይ ይውላል

በተግባር, አብዛኛዎቹ የመክተት ሞዴሎች የተለመዱ ቬክተሮችን ያመነጫሉ (መጠን ወደ 1 ተዘጋጅቷል); በዚህ ሁኔታ ኮሳይን እና ዶት ምርት አንድ አይነት ቅደም ተከተል ይሰጣሉ. ውሳኔ ሽባ አትሁን፡ በኮሳይን ጀምር።

በሚሊዮኖች ከሚቆጠሩ ቬክተሮች መካከል አንድ በአንድ ማወዳደር ቀርፋፋ ነው። ለዚህም ነው የቬክተር ዳታቤዝ ANN (ግምታዊ ቅርብ ጎረቤት) ስልተ ቀመሮችን የሚጠቀሙት። ኤኤንኤን በፍጥነት "በጣም ቅርብ" ከማለት ይልቅ "በጣም ቅርብ" ያገኛል. ለምሳሌ, HNSW ተብሎ የሚጠራው ዘዴ ውጤቱን በጥቂት ሚሊሰከንዶች ውስጥ ለ 10 ሚሊዮን ቬክተሮች እንኳን መመለስ ይችላል. ለትንሽ ትክክለኛነት መስዋዕትነት ታላቅ ፍጥነት ያገኛሉ።

የቬክተር ዳታቤዝ ምን ያደርጋል?

የቬክተር ዳታቤዝ በአንድ ጊዜ ሶስት ነገሮችን ያደርጋል፡ (1) ቬክተሮችን ያከማቻል፣ (2) ከጥያቄ ቬክተር ጋር በጣም ተመሳሳይ የሆኑ ቬክተሮችን በፍጥነት ያገኛል፣ (3) ከእያንዳንዱ ቬክተር ቀጥሎ በሜታዳታ ያጣራል። ዲበ ውሂብ ከዛ ቁራጭ ጋር የሚያያይዟቸው መለያዎች ናቸው፡ የምንጭ ፋይል፣ ቀን፣ ክፍል፣ የግላዊነት ደረጃ፣ ወዘተ. በድርጅት RAG ውስጥ ሜታዳታ ማጣራት ወሳኝ ነው። ምክንያቱም እንደ "በፋይናንስ ዲፓርትመንት 2025 ሰነዶች ውስጥ ብቻ መፈለግ" የመሳሰሉ ገደቦችን ማዘጋጀት ያስፈልግዎታል.

# ወደ ቬክተር ዳታቤዝ (ፅንሰ-ሀሳብ) vektor_db.add ( id="izin-politikasi-parca-3", vektor=embed("የዓመታዊ ክፍያ ፈቃድ 14 ቀናት ነው...")፣ text="የዓመታዊ ክፍያ ፈቃድ 14 ቀናት ነው..."፣ metadata={"ምንጭ"፡"ik_el_kitabi.pdf"፣"ik_el_kitabi.pdf"፣ "መምሪያ"፡-5te "ግላዊነት": "ic"})

# Metadata filtered search (conceptual)result = vektor_db.search( vektor=embed("የስንት ቀናት እረፍት አለኝ?")፣ top_k=4፣ filter={"department":"HR", "privacy": ["internal", "on"]})

ትክክለኛውን የውሂብ ጎታ መምረጥ

ተሽከርካሪ

ተለይቶ የቀረበ ገጽታ

ተስማሚ ሁኔታ

አብሮ የተሰራ / በፋይል ላይ የተመሰረተ (የተከተተ ቤተ-መጽሐፍት)

ምንም መጫን, ነጠላ ማሽን

ፕሮቶታይፕ፣ ትንሽ ኪት (<ጥቂት መቶ ሺህ ክፍሎች)

የሚተዳደር የደመና አገልግሎት

ማቃለል እና ማቆየት የእርስዎ ኃላፊነት አይደለም።

ምርት, በፍጥነት እያደገ ውሂብ, አነስተኛ ቡድን

በራስዎ አገልጋይ ላይ ምንጭ ይክፈቱ

ሙሉ ቁጥጥር፣ የእርስዎ ውሂብ የእርስዎ እንደሆነ ይቆያል

የግላዊነት ግዴታ, ነባር መሠረተ ልማት

አሁን ባለው የውሂብ ጎታ ላይ መጨመር

የተለያዩ ስርዓቶችን አታስተዳድሩም።

አስቀድመው ወደተጠቀሙበት ዲቢ የቬክተር ድጋፍ ማከል

በሚመርጡበት ጊዜ ይጠይቁ: ስንት ቁርጥራጮች ይኖራሉ? ሜታዳታ ማጣራት ምን ያህል ወሳኝ ነው? መረጃ ከኩባንያው (ሚስጥራዊነት) ውጭ መሄድ ይችላል? ቡድኑ መሠረተ ልማት ማካሄድ ይችላል? ብዙ ጊዜ ትንሽ መጀመር እና እንደ አስፈላጊነቱ ማስፋፋት ብልህነት ነው።

ደካማ አቀራረብ / ጠንካራ አቀራረብ

ደካማ (ግልጽ መካተትን፣ ምንም ዲበ ውሂብ የለም)

ጽሑፉን እና ቬክተርን ብቻ ያስቀምጡ. ፈልግ፡ በጣም ተመሳሳይ የሆኑትን 4 ቬክተሮች ይመልሱ።# ችግር፡ እንደ "የአሁኑ የሰው ሃይል ሰነዶች ብቻ" ማጣራት አይቻልም፤# የቆዩ/ያልተፈቀደላቸው ክፍሎች በምላሹ ውስጥ ሊካተቱ ይችላሉ።

ኃይለኛ (የበለጸገ ሜታዳታ + የተጣራ ፍለጋ):

ለእያንዳንዱ ቁራጭ ምንጭ፣ ቀን፣ ክፍል እና የግላዊነት መለያ ያክሉ። በፍለጋው ወቅት እንደተጠቃሚው ስልጣን እና ወቅታዊነት አጣራ፡ filter = {"privacy": user_authority, "date_date": "2024-01"}# ስለዚህም ውጤቱ ደህንነቱ የተጠበቀ እና ወቅታዊ ነው።

ሶስት ሚኒ ጉዳዮች

ጉዳይ 1 - የተሳሳተ ሞዴል ድብልቅ. አንድ ቡድን የሞዴል ሀ እና የሞዴል B ጥያቄዎችን የያዘ ሰነዶችን አካቷል። ፍለጋዎቹ ትርጉም የለሽ ውጤቶችን መልሰዋል፣ እና ትክክለኛው የመልስ መጠን 31% ሆኖ ቆይቷል። ወደ ነጠላ ሞዴል (ሁለቱም ተመሳሳይ የመክተቻ ሞዴል) ስቀየር መጠኑ ወደ 88% ዘልቋል። ትምህርት፡ ጥያቄ እና ሰነድ በተመሳሳይ ቦታ መሆን አለባቸው።

ጉዳይ 2 - ያለ ሜታዳታ የግላዊነት ስጋት። በጤና እንክብካቤ ኩባንያ ውስጥ፣ ሁሉም የመምሪያ ሰነዶች ያለ ሜታዳታ ወደ አንድ ገንዳ ውስጥ ተጣሉ። አንድ የሽያጭ ተባባሪ አካል ጥያቄ ሲጠይቅ ስርዓቱ የታካሚ መረጃን አውድ አድርጓል። ሜታዳታ + ማጣሪያ ሲጨመር (በተፈቀደው ደረጃ) ይህ አደጋ ተወግዷል; በማገገም ላይ፣ 12 ያልተፈቀዱ ቁርጥራጮች በጭራሽ አይመጡም።

ጉዳይ 3 - የመጠን ጠርሙር. አንድ የኢ-ኮሜርስ ኩባንያ 8 ሚሊዮን የምርት መግለጫዎችን በቀላል "ሁሉንም ቅኝት" ዘዴ ፈለገ; እያንዳንዱ ጥያቄ 6 ሰከንድ ወስዷል። ወደ HNSW-based ANN ስንቀይር ሰዓቱ ወደ 45 ሚሊሰከንዶች ቀንሷል፣ ይህም በትክክለኛነት 1% ኪሳራ ብቻ ነው። ትምህርት፡ ኤኤንኤን በትልቁ ስብስብ ውስጥ ግዴታ ነው።

የተለመዱ ስህተቶች

• ጥያቄውን እና ሰነዱን በተለያዩ ሞዴሎች ማካተት: ውጤቶቹ ትርጉም የለሽ ናቸው; ሁልጊዜ አንድ ሞዴል.
• ሜታዳታ መዝለል፡ ማጣራት አትችልም፤ የግላዊነት እና ወቅታዊነትን መቆጣጠር ታጣለህ።
• ለማመስጠር መክተት ስህተት፡ መክተት የሚገለበጥ መረጃን ይይዛል። ሚስጥራዊነት ያለው መረጃ "የተደበቀ" ነው ብሎ ማሰብ ስህተት ነው።
• በትንሽ ስብስብ ላይ አላስፈላጊ ትልቅ መሠረተ ልማት መገንባት፡ ለ 5,000 ክፍሎች የሚተዳደር ግዙፍ ክላስተር አላስፈላጊ ውስብስብነት ነው።
• ስለ ተመሳሳይነት መስፈርት ብዙ አትጨነቁ: በጽሑፉ ውስጥ በኮሳይን ይጀምሩ; ጥሩ ማስተካከያ በኋላ ይመጣል.

ይጠንቀቁ፡ መክተት የጽሑፉን ትርጉም በቁጥር ይካተታል፣ ነገር ግን ይዘቱን "አያጠፋም።" የቬክተር ዳታቤዝ ከተለቀቀ ኦሪጅናል የተከማቹ ፅሁፎች (በአብዛኛዎቹ ጭነቶች ፅሁፉም ተከማችቷል) እንዲሁ ተበላሽቷል። በውስጡ እንዳሉት ሰነዶች የቬክተር ማከማቻውን በሚስጥር ያስቀምጡ።

በማጠቃለያው

• መክተት ትርጉሙን ወደ ሚይዝ የቁጥሮች ቬክተርነት ጽሑፍን ይለውጠዋል; ተመሳሳይ ትርጉሞች የቅርብ ቬክተሮች ናቸው.
• ተመሳሳይነት ብዙውን ጊዜ የሚለካው በኮሳይን ነው; ለተለመዱ ቬክተሮች, የነጥብ ምርት ተመሳሳይ ውጤት ይሰጣል.
• በትልቁ ዳታ፣ ኤኤንኤን (ለምሳሌ፣ HNSW) ትክክለኛ ፍለጋን ይተካዋል፡ ታላቅ ፍጥነት በትንሽ ትክክለኛነት።
• የቬክተር ዳታቤዝ የቬክተር ማከማቻ + ተመሳሳይነት ፍለጋ + ሜታዳታ ማጣሪያን ያከናውናል; ሜታዳታ ለድርጅት RAG አስፈላጊ ነው።
• ጥያቄው እና ሰነዱ በተመሳሳይ የመክተት ሞዴል መተርጎም አለባቸው; አለበለዚያ መጋጠሚያዎቹ ሊነፃፀሩ አይችሉም.

የመተግበሪያ ተግባር

ባለፈው ክፍል ከመረጡት ሰነድ 10 አጫጭር ምንባቦችን (እያንዳንዳቸው 3-6 ዓረፍተ ነገሮች) ያውጡ። (1) ለእያንዳንዱ ቁራጭ ቢያንስ ሶስት ሜታዳታ መለያዎችን ይንደፉ (ምንጭ፣ ቀን እና ሶስተኛው ለንግድዎ አውድ ተስማሚ፡ ክፍል፣ ምርት፣ ግላዊነት፣ ወዘተ)። (2) ለ 3 የተለያዩ የተጠቃሚ ጥያቄዎች የትኛው የሜታዳታ ማጣሪያ መተግበር እንዳለበት ይፃፉ። (3) በተለያዩ ቃላት ተመሳሳይ ትርጉም የሚገልጹ 3 የጥያቄ-ክፍል ጥንዶችን ይፈልጉ (ለምሳሌ “የእረፍት ጊዜ መብት” ↔ “ዓመታዊ ዕረፍት”) እና ለምን ከቁልፍ ቃል ፍለጋ ጋር እንደማይዛመዱ ነገር ግን ከመክተት ጋር እንደሚዛመዱ በአንድ ዓረፍተ ነገር ያብራሩ።

የማረጋገጫ ዝርዝር

• [ ] መክተት በትርጉም ቦታ ላይ ጽሑፉን ወደ ቬክተር እንደሚለውጠው እና ተመሳሳይ ትርጉሞች ቅርብ እንደሆኑ መናገር እችላለሁ።
• [ ] የኮሳይን መመሳሰል አንግልን እንደሚለካ እና በጽሁፍ ውስጥ ነባሪ ምርጫ እንደሆነ አውቃለሁ።
• [ ] ለምን ኤኤንኤን በትልቁ መረጃ እንደሚያስፈልግ ማስረዳት እችላለሁ።
• [ ] ለምን ሜታዳታ ለሚስጥራዊነት እና ትኩስነት ቁጥጥር ወሳኝ እንደሆነ አውቃለሁ።
• [ ] ጥያቄውን እና ሰነዱን በተመሳሳይ የመክተት ሞዴል የመተርጎም ህግን እከተላለሁ።