Gnóthachain:
- Tuig gur veicteoir sa spás shéimeantach an téacs agus bríonna comhchosúla mar veicteoirí dlútha
- Ag míniú conas a oibríonn cuardach ANN le méadracht cosine cosine agus poncanna
- Bunachair sonraí veicteora coitianta a roghnú bunaithe ar chostas, scála agus an gá atá le scagadh meiteashonraí
Ag croílár RAG tá ceist aonair: "Cén píosa téacs is cosúla le ceist an úsáideora?" Próiseálann an ríomhaire téacs le huimhreacha, ní go litriúil. Sin an fáth go gcaithfimid an téacs a thiontú ina uimhreacha a bhfuil a bhrí leis. Sin a bhfuil i gceist le neadú: an próiseas chun téacs a thiontú ina sheicheamh uimhreacha (veicteoir) a léiríonn brí an téacs sin. Nuair a chríochnaíonn tú an t-aonad seo, beidh a fhios agat conas a oibríonn leabú, conas a thomhaistear cosúlacht, agus conas an bunachar sonraí veicteoireach ceart a roghnú.
Leabú: Brí a Aistriú go Comhordanáidí
Athraíonn samhail leabaithe (intleacht shaorga atá oilte go speisialta) an téacs a sholáthraíonn tú ina veicteoir, mar shampla, 1024 uimhreacha. Smaoinigh ar an veicteoir seo mar chomhordanáid i spás iltoiseach. Is é seo an draíocht: titeann téacsanna atá cosúil le brí i ndlúthchomhordanáidí sa spás seo.
Sampla simplí: úsáideann “saoire bhliantúil”, “teidlíocht saoire” agus “saoire bhliantúil le pá” focail éagsúla ach ciallaíonn siad an rud céanna — tá a veicteoirí cóngarach dá chéile. Is ábhar difriúil é “cuntas párolla” — tá a veicteoir i bhfad i gcéin. Mar sin fiafraíonn an t-úsáideoir "cé mhéad lá saoire atá agam?" Nuair a iarrann tú, is féidir linn a fháil fiú doiciméad nach bhfuil an focal "saoire" ach a deir "is é saoire bhliantúil 14 lá". Is é seo an rud nach féidir le cuardach eochairfhocal clasaiceach (cuardach a mheaitseálann go díreach leis an bhfocal) a dhéanamh.
Leid: Smaoinigh ar leabú mar “mhéarlorg brí.” Is cosúil go bhfuil na méarloirg de dhá abairt a bhfuil an bhrí chéanna acu; Fiú má tá na focail difriúil.
Riail thábhachtach: ba chóir go mbeadh an tsamhail a úsáideann tú agus an cheist á neadú mar an tsamhail chéanna a úsáideann tú agus doiciméid á neadú. Táirgeann samhlacha éagsúla spásanna éagsúla; éiríonn comhordanáidí neamh-inchomparáide.
Conas Cosúlacht a Thomhas?
Tá roinnt modhanna ann chun a chomhchosúla atá dhá veicteoir a thomhas. Is é an cosúlacht cósine an ceann is coitianta: tomhaiseann sé an uillinn idir dhá veicteoir. Má tá an uillinn beag (veicteoirí ag díriú sa treo céanna), tá an chosúlacht ard. Tá an luach idir −1 agus 1; Gar do 1 = an-chosúil.
critéar
Cad a thomhaiseann sé?
Cathain is fearr é?
Cósine
Uillinn (treo) idir veicteoirí
An ceann is coitianta; réamhshocraithe i cosúlacht shéimeantach téacs
Táirge ponc
Treo + méid le chéile
Má normalaítear na veicteoirí, tugann sé an toradh céanna le cosine; go tapa
Euclidean (achar euiclídeach)
Fad díreach idir na comhordanáidí
I roinnt cásanna cnuasaithe; níos lú a úsáidtear sa téacs
Go praiticiúil, táirgeann formhór na múnlaí leabaithe veicteoirí normalaithe (méid socraithe go 1); Sa chás seo, tugann táirge cosine agus ponc an t-ordú céanna. Ná bíodh pairilis ort le cinneadh: tosaigh le cosine.
I measc na milliúin veicteoir, is mall iad a chur i gcomparáid ceann ar cheann ag an am. Sin an fáth a n-úsáideann bunachair shonraí veicteora halgartaim ANN (Neaschomharsan is gaire). Faigheann ANN "beagnach beacht is gaire" seachas "an ceann is gaire go beacht" go han-tapa. Mar shampla, is féidir leis an modh ar a dtugtar HNSW torthaí a thabhairt ar ais i roinnt milleasoicindí fiú le haghaidh 10 milliún veicteoir. Faigheann tú luas iontach le haghaidh íobairt bheag cruinnis.
Cad a Dhéanann Bunachar Sonraí Veicteoir?
Déanann bunachar sonraí veicteoireach trí rud ag an am céanna: (1) stóráiltear veicteoirí, (2) aimsíonn sé go tapa veicteoirí is cosúla le veicteoir ceiste, (3) scagairí de réir meiteashonraí in aice le gach veicteoir. Is iad meiteashonraí na clibeanna a cheanglaíonn tú leis an bpíosa sin: comhad foinse, dáta, roinn, leibhéal príobháideachta, etc. Tá scagadh meiteashonraí ríthábhachtach i bhfiontar RAG; mar ní mór duit a bheith in ann srianta a shocrú mar "cuardaigh i gcáipéisí 2025 na Roinne Airgeadais amháin".
# Cláraigh leis an mbunachar sonraí veicteora (coincheapúil)vektor_db.add( id="izin-politikasi-parca-3", vektor=embed("Is é 14 lá an tsaoire bhliantúil le pá..."), text="Is é 14 lá an tsaoire bhliantúil le pá...", meiteashonraí ={ "foinse": "ik_el_kitabi.pdf", "Iz_el_kitabi.pdf", "i_el_kitabi.pdf", "06", "roinn": "06", "06", "06", "roinn": "14 lá", "06" "príobháideacht": "ic" })
# Metadata filtered search (conceptual)result = vektor_db.search( vektor=embed("cé mhéad lá saoire atá agam?"), top_k=4, filter={ "roinn": "HR", "príobháideacht": ["inmheánach", "ar"]})
Roghnú an Bunachar Sonraí Ceart
feithicil
Gné faoi thrácht
Staid oiriúnach
Insuite / comhad-bhunaithe (leabharlann leabaithe)
Gan suiteáil, meaisín aonair
Fréamhshamhail, trealamh beag (< cúpla céad míle cuid)
Seirbhís scamall bainistithe
Ní tusa atá freagrach as scálú agus cothabháil
Táirgeadh, sonraí atá ag fás go tapa, foireann bheag
Foinse oscailte ar do fhreastalaí féin
Rialú iomlán, fanann do shonraí leatsa
Oibleagáid príobháideachta, bonneagar atá ann cheana féin
Cur leis an mbunachar sonraí reatha
Ní bhainistíonn tú córais ar leith
Tacaíocht veicteoir a chur leis an DB a úsáideann tú cheana féin
Fiafraigh agus tú ag roghnú: Cé mhéad píosa a bheidh ann? Cé chomh ríthábhachtach is atá scagadh meiteashonraí? An féidir le sonraí dul lasmuigh den chuideachta (rúndacht)? An féidir leis an bhfoireann infrastruchtúr a oibriú? Is minic a bhíonn sé ciallmhar tosú beag agus leathnú de réir mar is gá.
Cur Chuige Lag / Cur Chuige Láidir
Lag (leabú simplí á stóráil, gan aon mheiteashonraí):
Níl le déanamh ach an téacs agus an veicteoir a shábháil. Cuardach: cuir ar ais na 4 veicteoir is cosúla.# Fadhb: ní féidir scagadh a dhéanamh ar leithéidí "doiciméid HR reatha amháin";Is féidir # seanpháirt/neamhúdaraithe a chur san áireamh sa fhreagra freisin.
Cumhachtach (meiteashonraí saibhir + cuardach scagtha):
Cuir foinse, dáta, roinn agus clib príobháideachta le gach píosa. Scag de réir údaráis agus reatha an úsáideora le linn an chuardaigh: filter = { "príobháideacht": user_authority, "date_date": "2024-01"}# Mar sin, tá an toradh sábháilte agus cothrom le dáta.
Trí Chás Mini
Cás 1 - Meascán múnla mícheart. Leabaigh foireann doiciméid le múnla A agus ceisteanna le múnla B. Fuarthas torthaí gan brí leis na cuardaigh, agus d'fhan an ráta freagraí ceart ag 31%. Nuair a d'athraigh mé go múnla amháin (an dá mhúnla leabú céanna), léim an ráta go 88%. Ceacht: ba chóir go mbeadh ceist agus doiciméad sa spás céanna.
Cás 2 - Riosca príobháideachta gan meiteashonraí. I gcuideachta cúram sláinte, caitheadh gach doiciméad roinne isteach i linn aonair gan meiteashonraí. Nuair a chuir comhlaí díolacháin ceist, chuir an córas píosa sonraí othar i gcomhthéacs. Nuair a cuireadh meiteashonraí + scagaire leis (de réir an leibhéil údaraithe), cuireadh deireadh leis an riosca seo; Le haisghabháil, ní thugtar 12 phíosa neamhúdaraithe ar chor ar bith.
Cás 3 - Scrogall scála. Chuardaigh cuideachta ríomhthráchtála 8 milliún tuairiscí táirge le modh simplí "scanadh uile"; Thóg gach ceist 6 soicind. Nuair a aistrigh muid go dtí ANN bunaithe ar HNSW, laghdaigh an t-am go 45 milleasoicind, agus níor cailleadh ach 1% ar chruinneas. Ceacht: Tá ANN éigeantach sa tsraith mhór.
Botúin choitianta
- An cheist agus an doiciméad a neadú le múnlaí éagsúla: Níl aon chiall leis na torthaí; múnla amháin i gcónaí.
- Meiteashonraí á scipeáil: Ní féidir leat scagadh; Cailleann tú smacht ar phríobháideachas agus suas chun dáta.
- Botún Leabú le haghaidh criptithe: Tá faisnéis inchúlaithe ag gabháil le neadú; Tá sé mícheart glacadh leis go bhfuil sonraí íogaire "i bhfolach".
- Tógáil bonneagair mhór gan ghá ar shraith bheag: Is castacht gan ghá é braisle ollmhór arna bhainistiú le haghaidh 5,000 cuid.
- Ná bíodh imní ort rómhór faoi chritéar na cosúlachta: Tosaigh le cosine sa téacs; Tagann mionchoigeartú níos déanaí.
Aire: Leabú leabú brí an téacs in uimhreacha, ach ní "scrios" an t-ábhar. Má sceitear bunachar sonraí veicteoirí, cuirtear isteach freisin ar na buntéacsanna stóráilte (i bhformhór na suiteálacha a stóráiltear an téacs). Coinnigh an stór veicteoir chomh rúnda leis na doiciméid laistigh de.
Go hachomair
- Nuair a leabaítear téacs, déantar veicteoir uimhreacha a bhfuil a bhrí leis; Is dlúthveicteoirí iad bríonna cosúla.
- Is minic a thomhaistear cosúlacht le cosine; I gcás veicteoirí normalaithe, tugann táirge poncanna an toradh céanna.
- I sonraí móra, cuirtear ANN (m.sh., HNSW) in ionad cuardach cruinn: luas iontach gan mórán íobairt cruinnis.
- Feidhmíonn bunachar sonraí veicteora stóráil veicteora + cuardach cosúlachta + scagadh meiteashonraí; tá meiteashonraí riachtanach d'fhiontair RAG.
- Ní mór an cheist agus an doiciméad a aistriú leis an múnla leabaithe céanna; murach sin ní féidir na comhordanáidí a chur i gcomparáid.
Tasc feidhmchláir
Sliocht 10 sliocht gearra (3-6 abairt an ceann) as an doiciméad a roghnaigh tú san aonad roimhe seo. (1) Dear ar a laghad trí chlib meiteashonraí do gach píosa (foinse, dáta, agus an tríú cuid a oireann do chomhthéacs do ghnó: roinn, táirge, príobháideacht, etc.). (2) Scríobh cén scagaire meiteashonraí ba cheart a chur i bhfeidhm le haghaidh 3 cheist úsáideora dhifriúla. (3) Faigh 3 phéire ceist-pháirte a chuireann an bhrí chéanna in iúl i bhfocail dhifriúla (m.sh. “teidlíocht saoire” ↔ “saoire bhliantúil”) agus mínigh in aon abairt amháin cén fáth nach meaitseálfaidh siad cuardach eochairfhocail ach a mheaitseálfaidh siad le neadú.
seicliosta
- [ ] Is féidir liom a rá go ndéanann leabú an téacs a iompú ina veicteoir sa spás shéimeantach agus go bhfuil bríonna cosúla gar.
- Tá a fhios agam go dtomhaiseann [ ] cosúlacht cósine uillinn agus gurb é an rogha réamhshocraithe sa téacs.
- [ ] Is féidir liom a mhíniú cén fáth a bhfuil gá le ANN i sonraí móra.
- [ ] Tá a fhios agam cén fáth a bhfuil meiteashonraí ríthábhachtach maidir le rúndacht agus le húire a rialú.
- [ ] Leanaim an riail chun an cheist agus an doiciméad a aistriú leis an múnla leabaithe céanna.