Qligħ:
- Ifhem li l-inkorporazzjoni ddawwar it-test f'vettur fl-ispazju semantiku u tifsiriet simili huma vettori qrib
- Jispjega kif it-tfittxija ANN taħdem b'metriċi ta' xebh ta' cosine u tikek
- Għażla ta' databases ta' vettur komuni bbażati fuq l-ispiża, l-iskala u l-ħtieġa għall-iffiltrar tal-metadejta
Fil-qalba tar-RAG hemm mistoqsija waħda: "Liema biċċa test hija l-aktar simili għall-mistoqsija tal-utent?" Il-kompjuter jipproċessa test bin-numri, mhux litteralment. Huwa għalhekk li għandna bżonn l-ewwel nikkonverti t-test f'numri li jġorru t-tifsira tiegħu. Dak hu l-inkorporazzjoni: il-proċess tal-konverżjoni ta' test f'sekwenza ta' numri (vettur) li tirrappreżenta t-tifsira ta' dak it-test. Meta tispiċċa din l-unità, tkun taf kif taħdem l-inkorporazzjoni, kif titkejjel ix-xebh, u kif tagħżel id-database tal-vettur it-tajba.
Inkorporazzjoni: It-traduzzjoni tat-tifsira f'Koordinati
Mudell ta' inkorporazzjoni (intelliġenza artifiċjali mħarrġa b'mod speċjali) jikkonverti t-test li tipprovdi f'vettur ta', pereżempju, 1024 numri. Aħseb f'dan il-vettur bħala koordinata fi spazju multidimensjonali. Il-maġija hija din: testi li huma simili fit-tifsira jaqgħu f'koordinati mill-qrib f'dan l-ispazju.
Eżempju sempliċi: "leave annwali", "intitolament għal vaganza" u "lif annwali mħallas" jużaw kliem differenti iżda jfissru l-istess ħaġa — il-vettori tagħhom huma qrib xulxin. "Kont tal-pagi" hija kwistjoni differenti - il-vettur tiegħu huwa 'l bogħod. Allura l-utent jistaqsi "kemm-il jiem ta 'vaganza għandi?" Meta tistaqsi, nistgħu saħansitra nsibu dokument li ma fihx il-kelma "vaganza" iżda jgħid "il-leave annwali huwa ta' 14-il jum". Dan huwa dak li tfittxija klassika bil-kliem kjavi (tfittxija li taqbel mal-kelma eżattament) ma tistax tagħmel.
Tip: Aħseb fl-inkorporazzjoni bħala "marki tas-swaba' ta' tifsira." Il-marki tas-swaba’ ta’ żewġ sentenzi bl-istess tifsira jidhru simili; Anke jekk il-kliem huma differenti.
Regola importanti: il-mudell li tuża meta tintegra l-mistoqsija għandu jkun l-istess mudell li tuża meta tdaħħal id-dokumenti. Mudelli differenti jipproduċu spazji differenti; koordinati jsiru inkomparabbli.
Kif Tkejjel ix-xebh?
Hemm diversi metodi biex jitkejjel kemm huma simili żewġ vettori. L-aktar komuni hija s-similarità tal-cosine: tkejjel l-angolu bejn żewġ vettori. Jekk l-angolu huwa żgħir (vetturi li jippuntaw fl-istess direzzjoni), ix-xebh huwa għoli. Il-valur huwa bejn -1 u 1; Qrib 1 = simili ħafna.
kriterju
X'tkejjel?
Meta huwa preferut?
Cosine
Angolu (direzzjoni) bejn il-vettori
L-aktar komuni; default fix-xebh semantiku tat-test
Prodott Dot
Direzzjoni + kobor flimkien
Jekk il-vettori huma normalizzati, jagħti l-istess riżultat bħal cosine; huwa mgħaġġel
Ewklidja (distanza ewklidjana)
Distanza dritta bejn il-koordinati
F'xi xenarji ta' clustering; inqas użat fit-test
Fil-prattika, il-biċċa l-kbira tal-mudelli ta 'inkorporazzjoni jipproduċu vettori normalizzati (daqs stabbilit għal 1); F'dan il-każ, cosine u dot product jagħtu l-istess ordni. M'għandekx tkun paralizzata deċiżjoni: ibda bil-cosine.
Fost miljuni ta 'vectors, it-tqabbil tagħhom wieħed wieħed kull darba huwa bil-mod. Huwa għalhekk li l-vector databases jużaw algoritmi ANN (Approsate Nearest Neighbor). ANN isib "kważi eżatt l-eqreb" aktar milli "eżatt l-eqreb" malajr ħafna. Pereżempju, il-metodu msejjaħ HNSW jista 'jirritorna riżultati fi ftit millisekondi anke għal 10 miljun vettur. Inti tikseb veloċità kbira għal sagrifiċċju żgħir ta 'eżattezza.
X'tagħmel Vector Database?
Database ta’ vettur tagħmel tliet affarijiet f’daqqa: (1) taħżen vettori, (2) malajr issib vettori l-aktar simili għal vettur ta’ mistoqsija, (3) tiffiltra bil-metadejta ħdejn kull vettur. Il-metadejta huma t-tikketti li tehmeż ma' dik il-biċċa: fajl tas-sors, data, dipartiment, livell ta' privatezza, eċċ. L-iffiltrar tal-metadejta huwa kritiku fir-RAG tal-intrapriża; għax trid tkun tista' tistabbilixxi restrizzjonijiet bħal "fittxu biss fid-dokumenti tal-2025 tad-dipartiment tal-Finanzi".
# Register to the vector database (conceptual)vektor_db.add( id="izin-politikasi-parca-3", vektor=embed("Annual paid leave is 14 days..."), text="Annual paid leave is 14 days...", metadata={"source": "ik_el_kitabi.pdf", "department": "IK2", "pridate": "IK2", "pridate": "IK2", "pridate" "ic"})
# Riżultat tat-tfittxija (kunċettwali) iffiltrat bil-metadata = vektor_db.search( vektor=embed ("kemm-il jiem ta' leave għandi?"), top_k=4, filter={"dipartiment": "HR", "privatezza": ["intern", "on"]})
Għażla tad-Database it-Tajba
vettura
Aspett dehru
Sitwazzjoni xierqa
Inkorporat / ibbażat fuq fajl (librerija inkorporata)
Ebda installazzjoni, magna waħda
Prototip, kit żgħir (< ftit mijiet ta' elf partijiet)
Servizz ta' cloud amministrat
L-iskala u l-manutenzjoni mhumiex ir-responsabbiltà tiegħek
Produzzjoni, dejta li qed tikber b'rata mgħaġġla, tim żgħir
Sors miftuħ fuq is-server tiegħek
Kontroll sħiħ, id-dejta tiegħek tibqa' tiegħek
Obbligu ta' privatezza, infrastruttura eżistenti
Żieda mad-database eżistenti
Inti ma timmaniġġjax sistemi separati
Iż-żieda tal-appoġġ tal-vettur mad-DB li diġà tuża
Staqsi meta tagħżel: Kemm se jkun hemm biċċiet? Kemm huwa kritiku l-iffiltrar tal-metadejta? Id-dejta tista' tmur barra l-kumpanija (kunfidenzjalità)? Jista' t-tim jopera infrastruttura? Ħafna drabi jkun għaqli li tibda żgħira u tespandi kif meħtieġ.
Approċċ Dgħajjef / Approċċ qawwi
Dgħajjef (ħażna ta' inkorporazzjoni sempliċi, l-ebda metadejta):
Issejvja biss it-test u l-vettur. Fittex: lura l-4 vettori l-aktar simili.# Problema: ma tistax tiffiltra bħal "doks HR attwali biss";# partijiet qodma/mhux awtorizzati jistgħu jiġu inklużi wkoll fir-rispons.
Qawwija (metadejta rikka + tfittxija ffiltrata):
Żid is-sors, id-data, id-dipartiment u t-tikketta tal-privatezza għal kull biċċa. Iffiltra skont l-awtorità u l-kurrentità tal-utent waqt it-tfittxija: filter = {"privacy": user_authority, "date_date": "2024-01"}# Għalhekk, ir-riżultat huwa kemm sigur kif ukoll aġġornat.
Tliet Każijiet Mini
Każ 1 — Taħlita ta' mudell ħażina. Tim inkorpora dokumenti bil-mudell A u mistoqsijiet bil-mudell B. It-tfittxijiet irritornaw riżultati bla sens, u r-rata ta 'tweġiba korretta baqgħet ta' 31%. Meta qlibt għal mudell wieħed (it-tnejn l-istess mudell ta 'inkorporazzjoni), ir-rata qabżet għal 88%. Lezzjoni: mistoqsija u dokument għandhom ikunu fl-istess spazju.
Każ 2 — Riskju għall-privatezza mingħajr metadejta. F'kumpanija tal-kura tas-saħħa, id-dokumenti kollha tad-dipartiment kienu jintefgħu f'ġabra waħda mingħajr metadejta. Meta assoċjat tal-bejgħ staqsa mistoqsija, is-sistema kkuntestwalizzat biċċa dejta tal-pazjent. Meta ġiet miżjuda metadata + filtru (skond il-livell ta 'awtorizzazzjoni), dan ir-riskju ġie eliminat; Fl-irkupru, 12-il biċċa mhux awtorizzata ma jinġiebu xejn.
Każ 3 — Skala ta' konġestjoni. Kumpanija tal-kummerċ elettroniku fittxet 8 miljun deskrizzjoni tal-prodott b'metodu sempliċi "scan kollha"; Kull mistoqsija ħadet 6 sekondi. Meta qlibna għal ANN ibbażat fuq HNSW, il-ħin naqas għal 45 millisekondi, b'1% biss telf fl-eżattezza. Lezzjoni: ANN hija obbligatorja fis-sett il-kbir.
Żbalji komuni
- Inkorporazzjoni tal-mistoqsija u d-dokument b'mudelli differenti: Ir-riżultati huma bla sens; dejjem mudell wieħed.
- Metadata taqbeż: Ma tistax tiffiltra; Titlef il-kontroll tal-privatezza u l-aġġornament.
- Inkorporazzjoni bi żball għall-encryption: L-inkorporazzjoni ġġorr informazzjoni riversibbli; Huwa żbaljat li wieħed jassumi li data sensittiva hija "moħbija".
- Il-bini ta' infrastruttura kbira bla bżonn fuq sett żgħir: cluster ġgant immexxi għal 5,000 parti huwa kumplessità bla bżonn.
- Tinkwetax wisq dwar il-kriterju tax-xebh: Ibda bil-cosine fit-test; L-irfinar jiġi aktar tard.
Attenzjoni: L-inkorporazzjoni jinkorpora t-tifsira tat-test f'numri, iżda ma "jeqred" il-kontenut. Jekk id-database tal-vettur hija leaked, it-testi maħżuna oriġinali (f'ħafna installazzjonijiet it-test huwa wkoll maħżun) huma wkoll kompromessi. Żomm il-vector repożitorju kunfidenzjali daqs id-dokumenti fi ħdanu.
Fil-qosor
- L-inkorporazzjoni ddawwar it-test f'vettur ta 'numri li jġorr it-tifsira tiegħu; Tifsiriet simili huma vettori qrib.
- Is-similarità ħafna drabi titkejjel bil-kosin; Għal vettori normalizzati, il-prodott b'tikek jagħti l-istess riżultat.
- Fil-big data, ANN (eż., HNSW) jissostitwixxi t-tfittxija eżatta: veloċità kbira bi ftit sagrifiċċju ta 'eżattezza.
- Id-database tal-vettur twettaq ħażna ta 'vettur + tfittxija ta' xebh + filtrazzjoni tal-metadejta; metadata hija essenzjali għall-intrapriża RAG.
- Il-mistoqsija u d-dokument iridu jiġu tradotti bl-istess mudell ta’ inkorporazzjoni; inkella l-koordinati ma jistgħux jitqabblu.
Kompitu ta' applikazzjoni
Oħroġ 10 siltiet qosra (3-6 sentenzi kull waħda) mid-dokument li għażilt fl-unità preċedenti. (1) Iddisinja mill-inqas tliet tags tal-metadejta għal kull biċċa (sors, data, u terz xieraq għall-kuntest tan-negozju tiegħek: dipartiment, prodott, privatezza, eċċ.). (2) Ikteb liema filtru tal-metadejta għandu jiġi applikat għal 3 mistoqsijiet differenti tal-utent. (3) Sib 3 pari mistoqsija-parti li jesprimu l-istess tifsira fi kliem differenti (eż. “intitolament għal vaganza” ↔ “liv annwali”) u spjega f’sentenza waħda għaliex mhux se jaqblu mat-tfittxija bil-kliem kjavi iżda se jaqblu mal-inkorporazzjoni.
lista ta' kontroll
- [ ] Jien nista' ngħid li l-inkorporazzjoni ddawwar it-test f'vettur fl-ispazju semantiku u tifsiriet simili huma qrib.
- Naf li [ ] Is-similarità tal-Cosinus tkejjel l-angolu u hija l-preferenza default fit-test.
- [ ] Kapaċi nispjega għaliex l-ANN hija meħtieġa fil-big data.
- [ ] Naf għaliex il-metadejta hija kritika għall-kunfidenzjalità u l-kontroll tal-freskezza.
- [ ] Insegwi r-regola tat-traduzzjoni tal-mistoqsija u tad-dokument bl-istess mudell ta' inkorporazzjoni.