Awọn anfani:
- Loye pe ifisinu yi ọrọ naa pada si fekito ni aaye itumọ ati awọn itumọ ti o jọra jẹ awọn ipasẹ to sunmọ
- Ti n ṣalaye bi wiwa ANN ṣe n ṣiṣẹ pẹlu cosine ati awọn metiriki ibajọra aami
- Yiyan awọn infomesonu fekito ti o wọpọ ti o da lori idiyele, iwọn ati iwulo fun sisẹ metadata
Ni okan ti RAG ni ibeere kan: "Ewo ni ọrọ ti o jọra julọ si ibeere olumulo?" Kọmputa naa ṣe ilana ọrọ pẹlu awọn nọmba, kii ṣe itumọ ọrọ gangan. Ti o ni idi ti a nilo lati kọkọ yi ọrọ pada si awọn nọmba ti o ni itumọ rẹ. Iyẹn ni ohun ti ifibọ jẹ: ilana ti yiyipada ọrọ pada si ọna ti awọn nọmba (vector) ti o duro fun itumọ ọrọ yẹn. Nigbati o ba pari ẹyọ yii, iwọ yoo mọ bi ifibọ ṣe n ṣiṣẹ, bawo ni a ṣe wọn ibajọra, ati bii o ṣe le yan data data fekito to tọ.
Ifisinu: Itumọ Itumọ si Awọn ipoidojuko
Awoṣe ifibọ (imọran atọwọda ti o ni ikẹkọ pataki) ṣe iyipada ọrọ ti o pese sinu fekito ti, fun apẹẹrẹ, awọn nọmba 1024. Ronu ti fekito yii bi ipoidojuko ni aaye multidimensional kan. Idan ni eyi: awọn ọrọ ti o jọra ni itumọ ṣubu sinu awọn ipoidojuko to sunmọ ni aaye yii.
Apeere ti o rọrun: “isinmi ọdọọdun”, “ẹtọ isinmi” ati “isinmi isanwo ọdọọdun” lo awọn ọrọ oriṣiriṣi ṣugbọn tumọ si ohun kanna - awọn olutọpa wọn sunmọ ara wọn. “Akọọlẹ isanwo” jẹ ọrọ ti o yatọ — fekito rẹ jinna. Nitorina olumulo naa beere "ọjọ melo ti isinmi ni mo ni?" Nigbati o ba beere, a le paapaa wa iwe kan ti ko ni ọrọ "isinmi" ninu ṣugbọn sọ pe "isinmi ọdun jẹ ọjọ 14". Eyi ni wiwa Koko-ọrọ Ayebaye (wawa ti o baamu ọrọ gangan) ko le ṣe.
Imọran: Ronu ti ifibọ bi “atẹka ti itumo.” Awọn itẹka ti awọn gbolohun ọrọ meji pẹlu itumọ kanna han iru; Paapa ti awọn ọrọ ba yatọ.
Ofin pataki kan: awoṣe ti o lo nigbati o ba nfi ibeere sii yẹ ki o jẹ awoṣe kanna ti o lo nigbati o ba nfi awọn iwe aṣẹ sii. Awọn awoṣe oriṣiriṣi gbe awọn aaye oriṣiriṣi jade; awọn ipoidojuko di alailẹgbẹ.
Bawo ni lati Ṣe iwọn Ijọra?
Awọn ọna pupọ lo wa lati wiwọn bawo ni awọn onijagidijagan meji ṣe jọra. Ohun ti o wọpọ julọ ni ibajọra cosine: o ṣe iwọn igun laarin awọn fekito meji. Ti igun naa ba kere (awọn olutọka ti n tọka si itọsọna kanna), ibajọra naa ga. Iye naa wa laarin -1 ati 1; Sunmọ 1 = gidigidi iru.
àwárí mu
Kini o ṣe iwọn?
Nigbawo ni o fẹ?
Kosine
Igun (itọsọna) laarin awọn fekito
O wọpọ julọ; aiyipada ni ibajọra itumọ ọrọ
Dot ọja
Itọsọna + titobi papọ
Ti o ba ti awọn fekito deede, yoo fun esi kanna bi cosine; jẹ sare
Euclidean (ijinna euclidean)
Aaye taara laarin awọn ipoidojuko
Ni diẹ ninu awọn oju iṣẹlẹ iṣupọ; kere lo ninu ọrọ
Ni iṣe, ọpọlọpọ awọn awoṣe ifisinu ṣe agbejade awọn adaṣe deede (iwọn ṣeto si 1); Ni idi eyi, cosine ati aami ọja fun ni aṣẹ kanna. Maṣe ṣe ipinnu rọ: bẹrẹ pẹlu cosine.
Laarin awọn miliọnu awọn onijakidijagan, ifiwera wọn lọkọọkan ni ẹyọkan. Ti o ni idi vector infomesonu lo ANN (Isunmọ Adugbo Nitosi) aligoridimu. ANN wa “o fẹrẹ to sunmọ gangan” dipo “gangan ti o sunmọ julọ” ni iyara pupọ. Fun apẹẹrẹ, ọna ti a npe ni HNSW le da awọn esi pada ni awọn milliseconds diẹ paapaa fun 10 million vectors. O jèrè nla iyara fun a kekere irubo ti deede.
Kini aaye data Vector Ṣe?
Ibi ipamọ data fekito n ṣe awọn nkan mẹta ni ẹẹkan: (1) tọju awọn olutọpa, (2) yarayara wa awọn fekito ti o jọra si fekito ibeere, (3) ṣe asẹ nipasẹ metadata lẹgbẹẹ fekito kọọkan. Metadata ni awọn afi ti o so mọ nkan yẹn: faili orisun, ọjọ, ẹka, ipele ikọkọ, ati bẹbẹ lọ Sisẹ metadata ṣe pataki ni RAG ile-iṣẹ; nitori o nilo lati ni anfani lati ṣeto awọn ihamọ gẹgẹbi “wawa nikan ni awọn iwe aṣẹ 2025 ti Ẹka Isuna”.
# Forukọsilẹ si ibi ipamọ data fekito (conceptual) vektor_db.add( id="izin-politikasi-parca-3", vektor=embed("Isinmi isanwo ọdọọdun jẹ ọjọ 14..."), text="Isinmi sisanwo ọdọọdun jẹ ọjọ 14...", metadata={"orisun":"ik_el_kitabi.pdf", "ik_el_kitabi.pdf", "20d", "ekapa": "5 "ìpamọ": "ic"})
# Metadata filtered search (conceptual)result = vektor_db.search( vektor=embed("ọjọ isinmi melo ni mo ni?"), top_k=4, filter={"department": "HR", "privacy": ["internal", "lori"]})
Yiyan awọn ọtun aaye data
ọkọ ayọkẹlẹ
Ifihan aspect
Ipo ti o yẹ
Ti a ṣe sinu / orisun faili (ile ikawe ti a fi sii)
Ko si fifi sori ẹrọ, ẹrọ ẹyọkan
Afọwọkọ, ohun elo kekere (<diẹ ọgọrun ẹgbẹrun awọn ẹya)
Iṣẹ awọsanma ti iṣakoso
Iwọn ati itọju kii ṣe ojuṣe rẹ
Gbóògì, iyara dagba data, kekere egbe
Ṣii orisun lori olupin tirẹ
Iṣakoso ni kikun, data rẹ duro ti tirẹ
Asiri ọranyan, tẹlẹ amayederun
Afikun si data ti o wa tẹlẹ
O ko ṣakoso awọn ọna ṣiṣe lọtọ
Ṣafikun atilẹyin fekito si DB ti o ti lo tẹlẹ
Beere nigbati o yan: Awọn ege melo ni yoo wa? Bawo ni sisẹ metadata ṣe ṣe pataki? Njẹ data le lọ si ita ile-iṣẹ (aṣiri)? Njẹ ẹgbẹ le ṣiṣẹ ohun amayederun? O jẹ ọlọgbọn nigbagbogbo lati bẹrẹ kekere ati faagun bi o ṣe nilo.
Ọna ti ko lagbara / Ọna ti o lagbara
Alailagbara (titoju ifibọ pẹlẹbẹ, ko si metadata):
Kan fi ọrọ pamọ ati fekito. Ṣewadii: pada awọn abala 4 ti o jọra julọ. # Isoro: ko le ṣe àlẹmọ bi “awọn iwe aṣẹ HR lọwọlọwọ nikan”; # atijọ/awọn ẹya laigba aṣẹ le tun wa ninu idahun naa.
Alagbara (metadata ọlọrọ + wiwa ti a yọ):
Ṣafikun orisun, ọjọ, ẹka ati aami ikọkọ si nkan kọọkan. Ajọ gẹgẹbi aṣẹ olumulo ati lọwọlọwọ lakoko wiwa: filter = {"privacy": user_authority, "date_date": "2024-01"}# Nitorinaa, abajade jẹ ailewu ati imudojuiwọn.
Mẹta Mini igba
Case 1 - Apapo awoṣe ti ko tọ. Ẹgbẹ kan ti a fi sinu awọn iwe aṣẹ pẹlu awoṣe A ati awọn ibeere pẹlu awoṣe B. Awọn iwadii naa pada awọn abajade ti ko ni itumọ, ati pe oṣuwọn idahun to tọ wa ni 31%. Nigbati mo yipada si awoṣe kan (mejeeji awoṣe ifisinu kanna), oṣuwọn naa fo si 88%. Ẹkọ: ibeere ati iwe yẹ ki o wa ni aaye kanna.
Ọran 2 - Ewu asiri laisi metadata. Ni ile-iṣẹ ilera kan, gbogbo awọn iwe aṣẹ ẹka ni a ju sinu adagun kan ṣoṣo laisi metadata. Nigbati alabaṣiṣẹpọ tita kan beere ibeere kan, eto naa ṣe alaye nkan kan ti data alaisan. Nigbati a ba ṣafikun metadata + àlẹmọ (ni ibamu si ipele aṣẹ), ewu yii ti yọkuro; Ni igbapada, awọn ege laigba aṣẹ 12 ko mu wa rara.
Case 3 - Asekale bottleneck. Ile-iṣẹ e-commerce kan wa awọn apejuwe ọja 8 milionu pẹlu ọna “ọlọjẹ gbogbo” ti o rọrun; Ibeere kọọkan gba iṣẹju-aaya 6. Nigba ti a ba yipada si ANN ti o da lori HNSW, akoko naa dinku si 45 milliseconds, pẹlu pipadanu 1% nikan ni deede. Ẹkọ: ANN jẹ dandan ni titobi nla.
Awọn aṣiṣe ti o wọpọ
- Ifisi ibeere ati iwe pẹlu awọn awoṣe oriṣiriṣi: Awọn abajade jẹ asan; nigbagbogbo ọkan awoṣe.
- Nfo metadata: O ko le ṣe àlẹmọ; O padanu iṣakoso ti asiri ati imudojuiwọn-si-ọjọ.
- Ifisinu aṣiṣe fun fifi ẹnọ kọ nkan: Ifisinu gbe alaye iparọ; O jẹ aṣiṣe lati ro pe data ifura jẹ "farasin".
- Ṣiṣe awọn amayederun nla ti ko ni dandan lori ṣeto kekere kan: iṣupọ omiran ti a ṣakoso fun awọn ẹya 5,000 jẹ idiju ti ko wulo.
- Maṣe yọ ara rẹ lẹnu pupọ nipa ami afijọra: Bẹrẹ pẹlu cosine ninu ọrọ naa; Atunse ti o dara yoo wa nigbamii.
Išọra: Ifibọ ṣe itumọ ọrọ ni awọn nọmba, ṣugbọn ko “pa” akoonu naa jẹ. Ti data data fekito ba ti jo, awọn ọrọ atilẹba ti o ti fipamọ (ninu ọpọlọpọ awọn fifi sori ẹrọ ọrọ naa tun wa ni ipamọ) tun gbogun. Jeki ibi ipamọ fekito bi asiri bi awọn iwe aṣẹ ti o wa ninu rẹ.
Ni akojọpọ
- Ifisinu yi ọrọ pada si fekito awọn nọmba ti o ni itumọ rẹ; Itumọ ti o jọra jẹ awọn eeka ti o sunmọ.
- Ijọra ni igbagbogbo nipasẹ cosine; Fun awọn alaiṣe deede, ọja aami yoo fun abajade kanna.
- Ni data nla, ANN (fun apẹẹrẹ, HNSW) rọpo wiwa gangan: iyara nla pẹlu kekere irubọ ti deede.
- Data data Vector ṣe ibi ipamọ fekito + wiwa ibajọra + sisẹ metadata; metadata jẹ pataki fun RAG ile-iṣẹ.
- Ibeere ati iwe naa gbọdọ wa ni itumọ pẹlu awoṣe ifisinu kanna; bibẹkọ ti awọn ipoidojuko ko le wa ni akawe.
Ohun elo iṣẹ-ṣiṣe
Jade awọn ọna kukuru 10 (awọn gbolohun ọrọ 3-6 kọọkan) lati inu iwe ti o yan ni ẹyọkan iṣaaju. (1) Ṣe apẹrẹ o kere ju awọn ami metadata mẹta fun nkan kọọkan (orisun, ọjọ, ati ẹkẹta ti o yẹ si ipo iṣowo rẹ: ẹka, ọja, ikọkọ, ati bẹbẹ lọ). (2) Kọ iru àlẹmọ metadata yẹ ki o lo fun awọn ibeere olumulo oriṣiriṣi 3. (3) Wa awọn orisii ibeere 3 ti o ṣe afihan itumọ kanna ni awọn ọrọ oriṣiriṣi (fun apẹẹrẹ "ẹtọ isinmi" ↔ "isinmi ọdun") ki o si ṣe alaye ni gbolohun kan idi ti wọn ko ni baramu wiwa ọrọ-ọrọ ṣugbọn yoo baramu ifibọ.
akojọ ayẹwo
- [] Mo le sọ pe ifisinu sọ ọrọ naa di fekito ni aaye itumọ ati awọn itumọ ti o jọra sunmọ.
- Mo mọ pe [] Cosine ibajọra ṣe iwọn igun ati pe o jẹ ayanfẹ aiyipada ni ọrọ.
- [] Mo le ṣe alaye idi ti ANN ṣe pataki ni data nla.
- [] Mo mọ idi ti metadata ṣe pataki fun aṣiri ati iṣakoso alabapade.
- [] Mo tẹle ofin ti itumọ ibeere naa ati iwe-ipamọ pẹlu awoṣe ifisinu kanna.