Girdeji:
- Goýmak teksti semantik giňişlikde wektora öwürýär we şuňa meňzeş manylar ýakyn wektorlar
- ANN gözleginiň kosin we nokat meňzeşlik ölçegleri bilen nähili işleýändigini düşündirmek
- Metadata süzgüçiniň bahasyna, göwrümine we zerurlygyna baglylykda umumy wektor maglumat bazalaryny saýlamak
RAG-yň merkezinde ýekeje sorag bar: "Haýsy tekst ulanyjynyň soragyna has meňzeýär?" Kompýuter teksti göni manyda däl-de, sanlar bilen işleýär. Şonuň üçin ilki bilen teksti manysyny göterýän sanlara öwürmeli. Içerki zat: teksti şol tekstiň manysyny görkezýän sanlaryň (wektor) yzygiderliligine öwürmek. Bu bölümi gutaranyňyzda, ornaşdyrmagyň nähili işleýändigini, meňzeşliginiň nädip ölçelýändigini we dogry wektor maglumatlar bazasyny nädip saýlamalydygyny bilersiňiz.
Goýmak: Koordinatlara many terjime etmek
Içerki model (ýörite taýýarlanan emeli intellekt), beren tekstiňizi, meselem, 1024 belginiň wektoryna öwürýär. Bu wektory köp ölçegli giňişlikde koordinat hökmünde pikir ediň. Jady: ine, manysy meňzeş tekstler bu giňişlikde ýakyn koordinatlara düşýär.
Simpleönekeý mysal: “annualyllyk dynç alyş”, “dynç alyş hukugy” we “ýyllyk tölegli dynç alyş” dürli sözleri ulanýar, ýöne şol bir zady aňladýar - wektorlary biri-birine ýakyn. “Aýlyk hasaby” başga mesele - wektory uzak. Şonuň üçin ulanyjy "näçe gün dynç alýaryn?" Diýip soraýar. Sorasaňyz, hatda "dynç alyş" sözüni öz içine almaýan, ýöne "ýyllyk dynç alyş 14 gün" diýilýän resminamany tapyp bileris. Klassiki açar söz gözleginiň (söze gabat gelýän gözleg) edip bilmeýän zady.
Maslahat: Goýmagy “many barmak yzy” diýip pikir ediň. Birmeňzeş manyly iki sözlemiň barmak yzlary meňzeýär; Sözler başga bolsa-da.
Möhüm düzgün: soragy goýanyňyzda ulanýan modeliňiz, resminamalary ýerleşdireniňizde ulanýan modeliňiz bolmaly. Dürli modeller dürli boşluklary öndürýärler; koordinatlary deňeşdirip bolmaýar.
Meňzeşligi nädip ölçemeli?
Iki wektoryň näderejede meňzeşligini ölçemegiň birnäçe usuly bar. Iň ýaýran kosin meňzeşligi: iki wektoryň arasyndaky burçy ölçär. Burç kiçi bolsa (şol bir ugry görkezýän wektorlar), meňzeşlik ýokarydyr. Bahasy −1 bilen 1 arasynda; 1-e ýakyn = gaty meňzeýär.
ölçegi
Ol näme bilen ölçenýär?
Haçan ileri tutulýar?
Kozin
Wektorlaryň arasyndaky burç (ugur)
Iň ýaýran; tekstiň many taýdan meňzeşligi
Nokat önümi
Ugry + ululygy bilelikde
Wektorlar kadalaşdyrylan bolsa, kosin bilen deň netije berýär; çalt
Ewklid (ucewklid aralygy)
Koordinatlaryň arasynda göni aralyk
Käbir toparlaýyn ssenariýalarda; tekstde az ulanylýar
Iş ýüzünde, içerki modelleriň köpüsi kadalaşdyrylan wektorlary öndürýär (ululygy 1-e çenli); Bu ýagdaýda kosin we nokat önümi birmeňzeş tertip berýär. Karar ysmaz bolmaň: kosin bilen başlaň.
Millionlarça wektorlaryň arasynda olary birin-birin deňeşdirmek haýal. Şonuň üçin wektor maglumat bazalary ANN (Takmynan iň ýakyn goňşy) algoritmlerini ulanýarlar. ANN "iň ýakyn" däl-de, "takmynan iň ýakyn" tapýar. Mysal üçin, HNSW diýilýän usul, hatda 10 million wektor üçin hem birnäçe millisekuntda netijeleri gaýtaryp biler. Kiçijik takyklyk üçin uly tizlik gazanarsyňyz.
Wektor maglumatlar bazasy näme edýär?
Wektor maglumatlar bazasy birbada üç zady ýerine ýetirýär: (1) wektorlary saklaýar, (2) talap wektoryna meňzeş wektorlary çalt tapýar, (3) her wektoryň gapdalyndaky metadata boýunça süzgüçleri. Metadata şol bölege goşýan bellikleriňizdir: çeşme faýly, senesi, bölümi, gizlinlik derejesi we ş.m. Metadata süzgüç kärhanasy RAG-da möhümdir; sebäbi "diňe Maliýe bölüminiň 2025 resminamalarynda gözlemek" ýaly çäklendirmeleri goýmagy başarmaly.
# Wektor maglumatlar bazasyna hasaba alyň (konseptual) vektor_db.add (id = "izin-politikasi-parca-3", vektor = embed ("annualyllyk tölegli dynç alyş 14 gün ..."), tekst = "annualyllyk tölegli rugsat 14 gün ...", metadata = {"çeşme": "ik_el_kitabi.pdf", "bölüm": "IK", "bölüm" "ic"})
# Metadata süzülen gözleg (konseptual) netije = vektor_db.search (vektor = embed ("näçe günlük rugsadym bar?"), Top_k = 4, filter = {"bölüm": "HR", "gizlinlik": ["içerki", "on"]})
Dogry maglumat bazasyny saýlamak
ulag
Aýratynlyk
Amatly ýagdaý
Gurlan / faýl esasly (oturdylan kitaphana)
Gurnama ýok, ýekeje maşyn
Prototip, kiçi toplum (<birnäçe ýüz müň bölek)
Bulut hyzmaty
Ölçemek we hyzmat etmek siziň jogapkärçiligiňiz däl
Önümçilik, çalt ösýän maglumatlar, kiçi topar
Öz serweriňizde açyk çeşme
Doly gözegçilik, maglumatlaryňyz özüňizde galýar
Gizlinlik borçnamasy, bar bolan infrastruktura
Bar bolan maglumatlar bazasyna goşmaça
Aýry ulgamlary dolandyrmaýarsyňyz
Öň ulanýan DB-ä wektor goldawyny goşmak
Saýlanyňyzda soraň: Näçe bölek bolar? Metadata süzmek nä derejede möhüm? Maglumatlar kompaniýanyň daşyna çykyp bilermi (gizlinlik)? Topar infrastruktura işledip bilermi? Kiçijikden başlamak we zerur bolanda giňeltmek köplenç akyllydyr.
Gowşak çemeleşme / Güýçli çemeleşme
Gowşak (ýönekeý goýulmagy saklaýar, metadata ýok):
Diňe teksti we wektory ýazdyryň. Gözleg: iň meňzeş 4 wektory yzyna gaýtaryň. # Mesele: "diňe häzirki HR resminamalary" ýaly süzüp bilmeýär; jogapda # köne / rugsatsyz bölekler hem bolup biler.
Güýçli (baý metadata + süzülen gözleg):
Her bölege çeşme, sene, bölüm we gizlinlik belligini goşuň. Gözleg wagtynda ulanyjynyň ygtyýaryna we häzirki ýagdaýyna görä süzüň: filter = {"gizlinlik": user_authority, "date_date": "2024-01"} # Şeýlelik bilen, netije ygtybarly we döwrebap.
Üç kiçi waka
1-nji hadysa - nädogry model garyndysy. Topar A modeli bilen resminamalary we B modeli bilen soraglary ýerleşdirdi Gözlegler manysyz netijeleri berdi we dogry jogap derejesi 31% -de galdy. Modelekeje modele geçenimde (ikisiniňem birmeňzeş modeli), nyrh 88% -e çykdy. Sapak: sorag we resminama bir meýdanda bolmaly.
2-nji hadysa - Metadata bolmazdan gizlinlik töwekgelçiligi. Saglygy goraýyş kompaniýasynda ähli bölüm resminamalary metadata bolmazdan bir howuza taşlandy. Satyjy kärdeşi bir sorag berende, ulgam hassalaryň maglumatlarynyň bir bölegini kontekstleşdirdi. Metadata + süzgüç goşulanda (ygtyýarnama derejesine görä), bu töwekgelçilik aradan aýryldy; Gözlegde 12 sany rugsatsyz bölek asla getirilmeýär.
3-nji hadysa - Tereziniň bökdençligi. Elektron söwda kompaniýasy ýönekeý “hemmesini skanirlemek” usuly bilen 8 million önümiň beýanyny gözledi; Her talap 6 sekunt aldy. HNSW esasly ANN-e geçenimizde, wagt 45 millisekunta çenli azaldy we takyklygynda diňe 1% ýitgi boldy. Sapak: ANN uly toplumda hökmany.
Adaty ýalňyşlyklar
- Soragy we resminamany dürli modeller bilen ýerleşdirmek: Netijeler manysyz; elmydama bir model.
- Metadata geçmek: Süzüp bilmersiňiz; Şahsy durmuşyň eldegrilmesizligini we iň täze maglumatlaryny ýitirýärsiňiz.
- Şifrlemek üçin ýalňyş goýmak: Goýmak tersine maglumatlary alyp barýar; Duýgur maglumatlaryň "gizlenendigini" çaklamak ýalňyş.
- Kiçijik toplumda gereksiz uly infrastrukturany gurmak: 5000 bölek üçin dolandyrylýan äpet topar gereksiz çylşyrymlylyk.
- Meňzeşlik ölçegi barada kän alada etme: Tekstdäki kosinadan başlaň; Gowy sazlamak soň gelýär.
Üns beriň: Goýmak tekstiň manysyny sanlarda jemleýär, ýöne mazmuny "ýok etmeýär". Wektor maglumatlar bazasy syzdyrylsa, asyl saklanan tekstler (gurnamalaryň köpüsinde tekst hem saklanýar) hem bozulýar. Wektor ammaryny içindäki resminamalar ýaly gizlin saklaň.
Gysgaça
- Goýmak teksti manysyny göterýän sanlaryň wektoryna öwürýär; Şuňa meňzeş manylar ýakyn wektorlardyr.
- Meňzeşlik köplenç kosin bilen ölçelýär; Kadalaşdyrylan wektorlar üçin nokat önümi şol bir netijäni berýär.
- Uly maglumatlarda ANN (meselem, HNSW) takyk gözlegiň ýerini alýar: takyklygy az pida etmek bilen uly tizlik.
- Wektor maglumatlar bazasy wektor saklaýyş + meňzeşlik gözlegi + metadata süzgüçini ýerine ýetirýär; metadata kärhana RAG üçin zerurdyr.
- Sorag we resminama şol bir içerki model bilen terjime edilmeli; bolmasa koordinatlary deňeşdirip bolmaz.
Programma meselesi
Öňki bölümde saýlan resminamaňyzdan 10 gysga parçany (hersi 3-6 sözlem) göçüriň. (1) Her bölek üçin azyndan üç metadata belligini dizaýn ediň (çeşme, senesi we iş şertlerine laýyk gelýän üçünji: bölüm, önüm, gizlinlik we ş.m.). (2) 3 dürli ulanyjy soragy üçin haýsy metadata süzgüçiniň ulanylmalydygyny ýazyň. .
gözegçilik sanawy
- [] Içerki teksti semantik giňişlikde wektora öwürýändigini we şuňa meňzeş manylaryň ýakyndygyny aýdyp bilerin.
- [] Kozin meňzeşliginiň burçy ölçeýändigini we tekstdäki esasy islegdigini bilýärin.
- [] ANN-iň näme üçin uly maglumatlarda zerurdygyny düşündirip bilerin.
- [] Gizlinlik we tazelik gözegçiligi üçin metadata näme üçin möhümdigini bilýärin.
- [] Soragy we resminamany şol bir içerki model bilen terjime etmegiň düzgünine eýerýärin.