Riba:
- Fahimtar cewa haɗawa tana juya rubutu zuwa wani nau'i a cikin sararin ma'ana kuma ma'anoni iri ɗaya ne na kusa.
- Bayyana yadda binciken ANN ke aiki tare da ma'aunin kamanni na cosine da digo
- Zaɓin ma'ajin bayanai na gama gari bisa farashi, sikeli da buƙatun tace metadata
A cikin zuciyar RAG akwai tambaya guda ɗaya: "Wane yanki ne ya fi kama da tambayar mai amfani?" Kwamfuta tana aiwatar da rubutu da lambobi, ba a zahiri ba. Shi ya sa muke bukatar mu fara canza rubutu zuwa lambobi masu ɗauke da ma'anarsa. Wannan shi ne abin da ke haɗawa: tsarin canza rubutu zuwa jerin lambobi (vector) waɗanda ke wakiltar ma'anar wannan rubutun. Lokacin da kuka gama wannan rukunin, zaku san yadda sakawa ke aiki, yadda ake auna kamanceceniya, da kuma yadda ake zaɓar madaidaitan bayanai na vector.
Ƙirƙira: Fassara Ma'ana zuwa Ƙungiyoyi
Samfurin haɗawa (ƙwararren ƙwarewa na wucin gadi na musamman) yana canza rubutun da kuka bayar zuwa maƙasudin, misali, lambobi 1024. Yi la'akari da wannan vector a matsayin mai daidaitawa a cikin sararin sararin samaniya. Sihiri shine wannan: rubutun da suka yi kama da ma'ana sun fada cikin ma'ana na kusa a cikin wannan sarari.
Misali mai sauƙi: "iznin shekara-shekara", "haƙƙin hutu" da "hutun biya na shekara" suna amfani da kalmomi daban-daban amma suna nufin abu ɗaya - sassan su suna kusa da juna. "Asusun biyan kuɗi" wani al'amari ne na daban - ɓangaren sa yana da nisa. Don haka mai amfani yana tambaya "kwana nawa na hutu?" Idan ka tambaya, za mu iya ma samun takardar da ba ta ƙunshi kalmar “biki” ba amma ta ce “ hutun shekara kwana 14 ne”. Wannan shi ne abin da classic keyword search (binciken da ya dace da kalmar daidai) ba zai iya yi ba.
Tukwici: Yi la'akari da sakawa azaman "hantsin ma'ana." Hoton yatsu na jimloli biyu masu ma'ana iri ɗaya sun bayyana iri ɗaya; Ko da kalmomin sun bambanta.
Muhimmin ƙa'ida: ƙirar da kuke amfani da ita lokacin shigar da tambayar yakamata ta kasance irin ƙirar da kuke amfani da ita lokacin shigar da takardu. Daban-daban model suna samar da wurare daban-daban; daidaitawa sun zama mara misaltuwa.
Yadda za a Auna kamanni?
Akwai hanyoyi da yawa don auna yadda nau'ikan vector biyu suke kama da juna. Mafi na kowa shine kamancen cosine: yana auna kusurwa tsakanin vector biyu. Idan kusurwa ya kasance karami ( vectors suna nunawa a hanya ɗaya), kamancen yana da girma. Darajar yana tsakanin -1 da 1; Kusa da 1 = kama da haka.
ma'auni
Menene ya auna?
Yaushe aka fi so?
Kosin
Angle (direction) tsakanin vectors
Mafi na kowa; tsoho a cikin kamanni na ma'anar rubutu
Dot samfurin
Hanyar + girma tare
Idan vectors sun daidaita, yana ba da sakamako iri ɗaya kamar cosine; yana sauri
Euclidean (nisa na euclidean)
Madaidaicin nisa tsakanin masu daidaitawa
A cikin wasu al'amuran tari; kasa amfani da rubutu
A aikace, yawancin ƙirar ƙira suna samar da ingantattun vectors (girman da aka saita zuwa 1); A wannan yanayin, samfurin cosine da ɗigo suna ba da tsari iri ɗaya. Kada yanke shawara ya zama gurgu: fara da cosine.
A cikin miliyoyin vectors, kwatanta su daya bayan daya yana da hankali. Shi ya sa rumbun adana bayanai na vector ke amfani da Algorithm din ANN (Kimanin Makwabcin Kusa). ANN ya sami "kusan daidai" maimakon "mafi kusa" da sauri. Misali, hanyar da ake kira HNSW na iya dawo da sakamako a cikin ƴan miliyon daƙiƙa guda ko da na vector miliyan 10. Kuna samun babban sauri don ƙaramin sadaukarwa na daidaito.
Me Vector Database Yayi?
Ma'ajiyar bayanai ta vector tana yin abubuwa uku a lokaci ɗaya: (1) tana adana vectors, (2) da sauri tana gano abubuwan da suka fi kama da vector vector, (3) tace ta metadata kusa da kowane vector. Metadata sune alamun da kuka haɗa zuwa wannan yanki: fayil ɗin tushe, kwanan wata, sashen, matakin sirri, da sauransu. Tacewar metadata yana da mahimmanci a RAG na kasuwanci; saboda kuna buƙatar iya saita ƙuntatawa kamar "bincike kawai a cikin takaddun 2025 na Ma'aikatar Kudi".
# Yi rijista zuwa bayanan vector (conceptual) vektor_db.add( id="izin-politikasi-parca-3", vektor=embed("Hesi na biya na shekara-shekara shine kwanaki 14..."), text="Abin da ake biya na shekara-shekara kwanaki 14 ne...", metadata={"source":"ik_el_kitabi.pdf":"ik_el_kitabi.pdf", "department": "6"da "privacy": "ic"})
# Metadata tace search (conceptual) results = vektor_db.search( vektor=embed("kwanaki nawa na hutu?"), top_k=4, filter={"sashe": "HR", "privacy": ["na ciki", "on"]})
Zabar Database Dama
abin hawa
Siffar fasali
Yanayin da ya dace
Ginawa / tushen fayil (laburare da aka saka)
Babu shigarwa, inji guda
Samfurin, ƙaramin kayan aiki (< ƴan sassa dubu ɗari)
Gudanar da sabis na girgije
Girma da kulawa ba alhakinku bane
Production, saurin girma bayanai, ƙananan ƙungiya
Bude tushe akan sabar ku
Cikakken iko, bayanan ku zai zama naku
Wajibi na sirri, abubuwan more rayuwa
Ƙara zuwa data kasance data
Ba kwa sarrafa tsarin daban
Ƙara tallafin vector zuwa DB ɗin da kuka riga kuka yi amfani da shi
Tambayi lokacin zabar: guda nawa ne za a samu? Yaya mahimmancin tace metadata? Za a iya samun bayanai a wajen kamfanin (tsari)? Shin ƙungiyar za ta iya yin aiki da kayan more rayuwa? Yawancin lokaci yana da hikima a fara ƙarami kuma a faɗaɗa yadda ake buƙata.
Hanyar Rauni / Ƙarfi Mai Ƙarfi
Rarrauna (ajiya a sarari, babu metadata):
Kawai ajiye rubutu da vector. Bincika: mayar da mafi yawan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan nau'ikan iri 4.
Mai ƙarfi (wadataccen metadata + binciken da aka tace):
Ƙara tushe, kwanan wata, sashen da alamar keɓantawa ga kowane yanki. Tace bisa ga ikon mai amfani da halin yanzu yayin bincike: filter = {"privacy": user_authority, "date_date": "2024-01"}# Don haka, sakamakon yana da aminci kuma na zamani.
Mini Cases guda uku
Case 1 - Haɗin samfurin kuskure. Ƙungiya ta haɗa takardu tare da samfurin A da tambayoyi tare da samfurin B. Binciken ya dawo da sakamako marasa ma'ana, kuma adadin amsa daidai ya kasance a 31%. Lokacin da na canza zuwa samfurin guda ɗaya (duka samfurin haɗawa iri ɗaya), ƙimar ta yi tsalle zuwa 88%. Darasi: tambaya da takarda ya kamata su kasance a wuri guda.
Case 2 - Haɗarin keɓantacce ba tare da metadata ba. A cikin kamfanin kiwon lafiya, duk takaddun sashen an jefa su cikin ruwa guda ɗaya ba tare da metadata ba. Lokacin da abokin ciniki ya yi tambaya, tsarin ya tsara wani yanki na bayanan haƙuri. Lokacin da aka ƙara metadata + tace (bisa ga matakin izini), an kawar da wannan haɗarin; A cikin dawo da, ba a kawo guda 12 mara izini kwata-kwata.
Case 3 - Sikelin kwalabe. Wani kamfani na e-commerce ya bincika kwatancen samfura miliyan 8 tare da hanyar "scan all" mai sauƙi; Kowace tambaya ta ɗauki daƙiƙa 6. Lokacin da muka canza zuwa ANN na tushen HNSW, lokacin ya ragu zuwa 45 millise seconds, tare da asarar 1% kawai cikin daidaito. Darasi: ANN wajibi ne a cikin babban saiti.
Kuskuren gama gari
- Haɗa tambaya da daftarin aiki tare da samfura daban-daban: Sakamakon ba shi da ma'ana; ko da yaushe daya model.
- Tsallake metadata: Ba za ku iya tacewa ba; Kuna rasa ikon sarrafa sirri da sabuntawa.
- Yin Kuskure don ɓoyewa: Saka yana ɗaukar bayanan da za a iya juyawa; Ba daidai ba ne a ɗauka cewa mahimman bayanai "boye ne".
- Gina manyan ababen more rayuwa da ba dole ba a kan ƙaramin saiti: Babban gungu wanda aka sarrafa don sassa 5,000 abu ne da ba dole ba.
- Kada ku damu da yawa game da ma'aunin kamanni: Fara da cosine a cikin rubutu; Kyakkyawan daidaitawa yana zuwa daga baya.
Tsanaki: Saka ma'anar rubutu cikin lambobi, amma baya "lalata" abun ciki. Idan ma'aunin bayanan vector ya yoyo, asalin rubutun da aka adana (a mafi yawan shigarwa ana adana rubutun) suma sun lalace. Ajiye ma'ajiyar vector a matsayin sirri kamar takaddun dake cikinsa.
A takaice
- Ƙirƙira yana jujjuya rubutu zuwa ɓangaren lambobi waɗanda ke ɗauke da ma'anarsa; Makamantan ma'anoni su ne na kusa.
- Yawanci ana auna kamanceceniya ta cosine; Don madaidaitan vectors, samfurin ɗigo yana ba da sakamako iri ɗaya.
- A cikin manyan bayanai, ANN (misali, HNSW) ya maye gurbin ainihin bincike: babban sauri tare da ɗan sadaukarwar daidaito.
- Bayanan bayanan vector yana yin ajiyar vector + binciken kamanni + tace metadata; metadata yana da mahimmanci ga RAG na kasuwanci.
- Tambayar da takaddun dole ne a fassara su tare da samfurin haɗawa iri ɗaya; in ba haka ba ba za a iya kwatanta haɗin kai ba.
Aikin aikace-aikace
Ciro gajerun wurare 10 (jumloli 3-6 kowanne) daga takaddar da kuka zaɓa a cikin sashin da ya gabata. (1) Zana aƙalla alamun metadata guda uku don kowane yanki (tushen, kwanan wata, da na uku da suka dace da mahallin kasuwancin ku: sashe, samfur, sirri, da sauransu). (2) Rubuta wace tace metadata ya kamata a yi amfani da ita don tambayoyin mai amfani daban-daban guda 3. (3) Nemo nau'i-nau'i-nau'i-nau'i guda 3 waɗanda ke bayyana ma'ana iri ɗaya cikin kalmomi daban-daban (misali "haƙƙin hutu" ↔ " hutun shekara") kuma bayyana a cikin jumla ɗaya dalilin da yasa ba za su dace da binciken keyword ba amma zasu dace da sakawa.
jerin abubuwan dubawa
- [ ] Zan iya faɗi cewa haɗawa tana juya rubutu zuwa wani wuri a cikin sararin ma'ana kuma ma'anoni iri ɗaya suna kusa.
- Na san cewa [ ] Cosine kamanni yana auna kusurwa kuma shine fifikon tsoho a cikin rubutu.
- [ ] Zan iya bayyana dalilin da yasa ANN ya zama dole a cikin manyan bayanai.
- [ ] Na san dalilin da yasa metadata ke da mahimmanci ga sirri da sarrafa sabo.
- [ ] Ina bin ka'idar fassarar tambaya da daftarin aiki tare da samfurin saka iri ɗaya.