Awọn ẹya
1. Kini RAG ati Kini idi ti o ṣe pataki? 2. Ifisinu ati Vector aaye data kannaa 3. Chunking ati Iwe igbaradi 4. Awọn ilana imupadabọ: Top-k, Arabara, Tun-ni ipo 5. Iranlọwọ faaji ti o Sọrọ si Ile-iṣẹ Data 6. Iṣakoso Wiwọle, Awoṣe Tọju ati Isakoso ibaraẹnisọrọ 7. Idinku Hallucination ati Asoju Oro 8. RAG Igbelewọn ati Abojuto 9. Awọn aṣoju AI ati Lilo Irinṣẹ 10. Awọn iṣan-iṣẹ Aṣoju ati Awọn iṣẹ-ṣiṣe Igbesẹ Olona 11. Aabo Aṣoju, Asiri, Ethics ati imuṣiṣẹ
Ẹyọ 5 / 11

Iranlọwọ faaji ti o Sọrọ si Ile-iṣẹ Data

Awọn anfani:

  • Ṣiṣeto awọn paati ati ṣiṣan data ti oluranlọwọ RAG ile-iṣẹ ipari-si-opin
  • Apapọ data orisun-pupọ (wiki, tiketi, PDF, database) sinu oluranlọwọ ẹyọkan
  • Ṣe awọn ipinnu ayaworan fun iwọn, caching ati lairi

Ni awọn ẹya iṣaaju, a kọ awọn apakan ni ọkọọkan: ifibọ, data data fekito, chunking, igbapada. Bayi jẹ ki a darapọ awọn wọnyi ki o kọ faaji opin-si-opin ti oluranlọwọ ti o sọrọ si data ile-iṣẹ tirẹ. Ibi-afẹde ni lati jẹ ki oṣiṣẹ kan beere, “Kini eto imulo isinmi wa?” Eto kan nibiti eniyan le beere awọn ibeere, awọn idahun da lori awọn iwe aṣẹ inu gidi, awọn itọkasi ati ṣajọpọ awọn orisun data lọpọlọpọ. Ẹka yii ṣe ilana gbogbo faaji, sisan data ati awọn ipinnu ipele iṣelọpọ.

Ipari-si-opin irinše

Oluranlọwọ RAG ile-iṣẹ ni awọn laini lọtọ meji. Laini atọka (aisinipo) ngbaradi data; Laini ibeere (online) dahun ibeere naa.

Awọn paati ila atọka:

  1. Awọn asopọ: Awọn asopọ ti o fa data lati awọn orisun - wiki, eto tikẹti, ibi ipamọ faili, ibi ipamọ data, imeeli.
  2. Isọdọtun: Yiyipada awọn ọna kika oriṣiriṣi (PDF, HTML, DOCX) lati sọ ọrọ di mimọ; akọsori / ẹlẹsẹ ninu.
  3. Chunking + metadata: didi ati fifi aami si (orisun, ọjọ, aṣẹ).
  4. Ifibọnu + ikojọpọ: Kikọ awọn olutọpa ati metadata sinu data data fekito.

Beere awọn paati opo gigun ti epo:

  1. Ibere ibere: Atunkọ, decentralization.
  2. Imupadabọ: wiwa arabara + àlẹmọ metadata + tun-ni ipo.
  3. Ṣiṣẹda kiakia: Gbigbe ipo + ibeere + awọn ilana sinu awoṣe.
  4. Iran: Idahun (contextual) idahun lati awoṣe + awọn orisun.
  5. Sisẹ-ifiweranṣẹ: Titọpa akoonu, ṣayẹwo aabo, gedu.
Imọran: Lọtọ laini atọka nipa ti ara lati laini ibeere. Atọka jẹ o lọra ati igbakọọkan (ṣiṣẹ ni awọn ipele moju); Laini ibeere yẹ ki o jẹ imọlẹ ati lẹsẹkẹsẹ. Dapọ awọn ila meji fi agbara mu iṣelọpọ iwuwo lakoko ti olumulo n duro de.

Visualizing Data Sisan

[INDEXING - offline] Awọn orisun → Normalize → Chunk+Metadata → Fi sabọ → Vector DB (wiki, tiketi, PDF, DB)[QUERY - online] Ibeere olumulo → Ṣiṣe-ṣaaju → Atunṣe (arabara + àlẹmọ + atunṣe) → Apejuwe (context+ ibeere) → Ilana ni lilo

Apapọ Olona-Orisun Data

Ni awọn ile-iṣẹ gidi, idahun ko duro ni aaye kan. "Bawo ni o ṣe le san agbapada si alabara kan?" Idahun si ibeere naa ni a le rii mejeeji ni nkan iranlọwọ (ilana), ninu itan-akọọlẹ tikẹti (awọn apẹẹrẹ gidi), ati ninu eto imulo PDF (awọn ofin). Oluranlọwọ yẹ ki o wa gbogbo wọn ni adagun kan.

Ojuami to ṣe pataki: nigbati o ba n ṣajọpọ awọn orisun sinu ile-itaja fekito kan, shard kọọkan gbọdọ gbe metadata `orisun_ajo`. Nitorinaa o le wa gbogbo wọn ki o ṣe àlẹmọ wọn ti o ba jẹ dandan, gẹgẹ bi “mu awọn eto imulo osise nikan wa”. Paapaa, awọn orisun oriṣiriṣi ni awọn ipele igbẹkẹle oriṣiriṣi: eto imulo osise> nkan iranlọwọ> Akọsilẹ tikẹti oṣiṣẹ. O le pato eyi ni ayo ni tun-ni ipo tabi tọ.

Orisun

Iru akoonu

igbekele

imudojuiwọn igbohunsafẹfẹ

PDF imulo

osise ofin

ga

oṣooṣu

Iranlọwọ article

Ilana

alabọde-giga

osẹ-sẹsẹ

Tiketi itan

gidi ayẹwo

alabọde

Tesiwaju

wiki

Akopọ / akọsilẹ lọwọlọwọ

Ayípadà

Tesiwaju

Scalability, Kaṣe ati Lairi

Awọn ọran mẹta duro jade ni iṣelọpọ. Lairi: Iriri naa bajẹ nigbati olumulo ba duro diẹ sii ju iṣẹju meji 2 lọ. Solusan: ṣafihan idahun ni fọọmu ṣiṣanwọle - o ti dà sori iboju bi awoṣe ṣe nkọ. Kaṣe: Fun awọn ibeere igbagbogbo ati awọn ipo atunwi, kaṣe mejeeji mu iyara pọ si ati dinku idiyele. Iwọn: Bi olumulo ṣe n pọ si, o jẹ dandan lati ni anfani lati ṣe iwọn igbapada ati awọn ipe awoṣe ni ita.

Ofin ti atanpako lori ẹgbẹ idiyele: igbesẹ ti o gbowolori julọ nigbagbogbo jẹ nọmba awọn ami-ami ti o lọ si awoṣe ti o tobi julọ. Nitorina, idinku ọrọ-ọrọ si awọn ẹya 4 ti o dara nipasẹ tun-ṣe atunṣe didara mejeeji ati iye owo. Apẹrẹ ti o wọpọ ni lati lo awoṣe ti o kere / yiyara fun isọdi ti o rọrun tabi ipa-ọna, ati awoṣe ti o lagbara diẹ sii fun idahun ikẹhin (fun apẹẹrẹ claude-opus-4-8).

Išọra: Maṣe ṣeto itọka bi “ṣe lẹẹkan, gbagbe rẹ”. Awọn iwe aṣẹ ti yipada, paarẹ, ṣafikun. Ṣeto ilana itọka kan: ṣawari awọn iwe aṣẹ ti o yipada ki o tun ṣe wọn nikan. Atọka stale ṣe agbejade idahun ti o han lọwọlọwọ ṣugbọn ko tọ.

Alailagbara Architecture / Strong Architecture

Alailagbara (akosile kan, ohun gbogbo ti o dapọ):

Nigbati olumulo ba beere: ka awọn iwe aṣẹ ni akoko yẹn, ge wọn, fi wọn sii, wa wọn, dahun wọn.# Iṣoro: gbogbo atọka ni a tun ṣe fun ibeere kọọkan; iṣẹju-aaya ti idaduro, # ko si ipinya orisun, ko si àlẹmọ, ko si isọdọtun.

Alagbara (awọn paipu pipin + metadata + kaṣe + ṣiṣanwọle):

Atọka: ipele nṣiṣẹ ni alẹ, awọn iwe aṣẹ ti o yipada. Ibeere: laini iwuwo fẹẹrẹ — ṣiṣe iṣaaju → atunpada arabara + àlẹmọ → rerank → tọ → awoṣe (sisanwọle) → itọkasi → log. Awọn ibeere ti a beere nigbagbogbo ati orisun ti wa ni ipamọ.

Mẹta Mini igba

Ọran 1 - Laini idamu, idaduro eru. Ibẹrẹ kan kọ iwe afọwọkọ ti o tun ṣe awọn PDFs pẹlu ibeere kọọkan; Idahun kọọkan gba aropin 11 iṣẹju-aaya. Nigbati laini atọka ti yapa ati pe a ti gbe data tẹlẹ si ile itaja vector, akoko ibeere dinku si awọn aaya 1.3 ati pẹlu ṣiṣanwọle, “ọrọ akọkọ” han ni 400 ms.

Ọran 2 - Pupọ awọn orisun, pataki ti ko tọ. Oluranlọwọ atilẹyin kan fun iwuwo dogba si PDF eto imulo ati awọn akọsilẹ tikẹti atijọ; Awoṣe nigbakan ṣafihan idiyele ti ko tọ ti oṣiṣẹ lati ọdun meji sẹhin bi ofin osise. Nigbati metadata orisun_tour ati “ṣaro eto imulo osise ni ọran rogbodiyan” ti wa ni afikun si itọsi, awọn aṣiṣe akọkọ-eke ti dinku nipasẹ 89%.

Case 3 - Stale Ìwé. Oluranlọwọ HR kan n ṣiṣẹ pẹlu atọka ti ko ni imudojuiwọn fun awọn oṣu 3; Ilana isinmi ti yipada, ṣugbọn oluranlọwọ n sọ awọn ọjọ atijọ. Nigbati a ba fi isọdọtun ojoojumọ sori ẹrọ, eyiti o ṣe awari awọn faili ti o yipada, oṣuwọn idahun lọwọlọwọ pọ si lati 70% si 99%.

Awọn aṣiṣe ti o wọpọ

  • Atọka idapọmọra ati awọn laini ibeere: Ṣiṣẹpọ iwuwo ti ṣe lakoko ti olumulo n duro de; idaduro explodes.
  • Kii ṣe fifi iru orisun sinu metadata: Ko si iṣaaju ati sisẹ; Orisun ti a ko gbẹkẹle han lati jẹ osise.
  • Ko Igbekale kan onitura nwon.Mirza: Atọka di stale; Awọn idahun ti ko tọ ti o han lọwọlọwọ ni a ṣejade.
  • Rekọja ṣiṣanwọle: Olumulo wo iboju òfo; Idaduro ti o mọ di giga.
  • Lilo awoṣe ti o tobi julọ ni igbesẹ kọọkan: Iye owo npọ sii laiṣe; Fi idari naa silẹ si awoṣe ti o kere ju.

Ni akojọpọ

  • Oluranlọwọ RAG ile-iṣẹ ni awọn laini lọtọ meji: titọka aisinipo ati ibeere ori ayelujara; yà wọn ni ti ara.
  • Atọka = asopo + normalize + chunk / metadata + ifibọ / gbejade; ìbéèrè = ilana-ṣaaju + igbapada + tọ + ipilẹṣẹ + ilana lẹhin-lẹhin.
  • Awọn data orisun-ọpọlọpọ ni idapo sinu ibi ipamọ ẹyọkan, ṣugbọn orisun_type metadata ati ayo igbẹkẹle ti wa ni ipamọ.
  • Ṣiṣanwọle ati kaṣe fun airi, didi ọrọ-ọrọ ati yiyan awoṣe fun idiyele jẹ pataki.
  • Laisi tun-titọka, atọka naa di asan; Ṣe atunṣe awọn iwe aṣẹ iyipada nigbagbogbo.

Ohun elo iṣẹ-ṣiṣe

Ya aworan ayaworan ti oluranlọwọ fun ẹgbẹ tirẹ. (1) Ṣe idanimọ o kere ju awọn orisun data gidi mẹta ati kọ iwulo asopo kan, imudojuiwọn igbohunsafẹfẹ, ati ipele igbẹkẹle fun ọkọọkan. (2) Fa itọka ati awọn laini ibeere lọtọ pẹlu aworan itọka apoti kan. (3) "Nibo ni MO ṣe dinku idaduro ati iye owo ni oluranlọwọ yii?" Kọ o kere ju awọn ipinnu ti o daju meji si ibeere naa. (4) Ṣe apejuwe ilana isọdọtun rẹ ni gbolohun kan: iru orisun wo ni yoo tun ṣe atọkasi ati igba melo?

akojọ ayẹwo

  • [] Mo le fa itọka ati awọn laini ibeere lọtọ ati pẹlu awọn paati to pe.
  • [] Mo ti le darapọ olona-orisun data pẹlu source_type ati igbekele ni ayo.
  • [] Mo le ṣe ṣiṣanwọle / awọn ipinnu kaṣe fun lairi ati yiyan awoṣe fun idiyele.
  • [] Mo mọ idi ti ilana itọka tun ṣe pataki.
  • [] Mo ranti pe igbesẹ ti o gbowolori julọ ni faaji mi nigbagbogbo jẹ ami ti o lọ si awoṣe nla.
Ti tẹlẹ Itele