Assistent Arkitettura li Tkellem mad-Data tal-Kumpanija

Qligħ:

• Iddisinjar tal-komponenti u l-fluss tad-dejta ta 'assistent RAG ta' intrapriża tarf sa tarf
• Tikkombina data b'ħafna sorsi (wiki, biljett, PDF, database) f'assistent wieħed
• Ħu deċiżjonijiet arkitettoniċi għall-iskalabbiltà, il-caching u l-latency

Fl-unitajiet preċedenti, tgħallimna l-partijiet wieħed wieħed: inkorporazzjoni, database tal-vettur, qsim, irkupru. Issa ejja ngħaqqdu dawn u nibnu arkitettura tarf sa tarf ta' assistent li jitkellem mad-dejta tal-kumpanija tiegħek stess. L-għan huwa li impjegat jistaqsi, "X'inhi l-politika tagħna dwar il-leave?" Sistema fejn in-nies jistgħu jistaqsu mistoqsijiet, it-tweġibiet huma bbażati fuq dokumenti interni reali, ċitazzjonijiet u jgħaqqdu diversi sorsi ta 'dejta. Din l-unità tipproċessa l-arkitettura kollha, il-fluss tad-dejta u d-deċiżjonijiet tal-livell tal-produzzjoni.

Komponenti minn tarf sa tarf

Assistent RAG korporattiv jikkonsisti f'żewġ linji separati. Il-linja tal-indiċjar (offline) tipprepara d-dejta; Il-linja tal-mistoqsija (online) twieġeb il-mistoqsija.

Komponenti tal-linja tal-indiċjar:

1. Konnetturi: Konnetturi li jiġbdu dejta minn sorsi — wiki, sistema tal-biljetti, maħżen tal-fajls, database, email.
2. Normalizzazzjoni: Konverżjoni ta 'formati differenti (PDF, HTML, DOCX) għal test nadif; tindif ta' header/footer.
3. Chunking + metadata: Chunking u ttikkettar (sors, data, awtorità).
4. Inkorporazzjoni + tagħbija: Kitba ta 'vettori u metadejta fid-database tal-vettur.

Mistoqsija komponenti tal-pipeline:

1. Preproċessar tal-mistoqsijiet: Kitba mill-ġdid, deċentralizzazzjoni.
2. Irkupru: Tfittxija ibrida + filtru tal-metadejta + klassifikazzjoni mill-ġdid.
3. Ħolqien fil-pront: Tpoġġi kuntest + mistoqsija + istruzzjonijiet fil-mudell.
4. Ġenerazzjoni: Tweġiba msejsa (kontestwali) mill-mudell + sorsi.
5. Post-ipproċessar: Ifformattjar taċ-ċitazzjoni, kontroll tas-sigurtà, illoggjar.

Tip: Separa fiżikament il-linja tal-indiċjar mil-linja tal-mistoqsija. L-indiċjar huwa bil-mod u perjodiku (jiġi f'lottijiet matul il-lejl); Il-linja ta 'inkjesta għandha tkun ħafifa u immedjata. It-taħlit taż-żewġ linji jġiegħel l-ipproċessar qawwi waqt li l-utent jistenna.

Viżwalizzazzjoni tal-Fluss tad-Data

[INDIĊJAR - offline]Riżorsi → Normalizza → Chunk+Metadata → Inkorpora → Vector DB (wiki, biljett, PDF, DB)[MKOLLA - online]Mistoqsija tal-utent → Ipproċessar minn qabel → Irkupru (ibridu+filtru+rerank) → Prompt (kuntest+mistoqsija+istruzzjoni) → Mudell → Tweġiba+Sors → Utent

Jikkombinaw Data Multi-Sors

F'kumpaniji reali, it-tweġiba ma tieqafx f'post wieħed. "Kif toħroġ rifużjoni lil klijent?" It-tweġiba għall-mistoqsija tista 'tinstab kemm fl-artikolu ta' għajnuna (proċedura), fl-istorja tal-biljetti (eżempji reali), kif ukoll fil-politika PDF (regoli). L-assistent għandu jfittex kollha kemm huma f'ġabra waħda.

Punt kritiku: meta tgħaqqad ir-riżorsi f'maħżen tal-vettur wieħed, kull shard għandu jġorr il-metadata `source_tour`. Allura tista 'tfittexhom kollha u tiffiltrahom jekk meħtieġ, bħal "iġib biss policies uffiċjali". Ukoll, sorsi differenti għandhom livelli differenti ta’ affidabbiltà: politika uffiċjali > artiklu ta’ għajnuna > nota tal-biljett ta’ impjegat. Tista' tispeċifika din il-prijorità fil-klassifikazzjoni mill-ġdid jew fil-pront.

Sors

Tip ta' kontenut

fiduċja

Aġġorna l-frekwenza

Politika PDF

regola uffiċjali

għolja

kull xahar

Artiklu ta' għajnuna

Proċedura

medju-għoli

kull ġimgħa

Storja tal-biljetti

kampjun reali

medju

Kontinwu

wiki

Nota mħallta/kurrent

Varjabbli

Kontinwu

Skalabbiltà, Cache u Latency

Tliet kwistjonijiet jispikkaw fil-produzzjoni. Latency: L-esperjenza tiddeterjora meta l-utent jistenna aktar minn 2 sekondi. Soluzzjoni: uri t-tweġiba f'forma ta 'streaming — titferra' fuq l-iskrin kif jikteb il-mudell. Cache: Għal mistoqsijiet frekwenti u kuntesti ripetittivi, il-cache iżid il-veloċità u jnaqqas l-ispiża. Skala: Hekk kif l-utent jiżdied, huwa meħtieġ li tkun tista 'skala l-irkupru u s-sejħiet mudell orizzontalment.

Regola ġenerali fuq in-naħa tal-ispiża: l-aktar pass għali huwa ġeneralment in-numru ta 'tokens li jmorru għall-mudell akbar. Għalhekk, it-tnaqqis tal-kuntest għal 4 partijiet tajbin billi terġa 'tikklassifika ttejjeb kemm il-kwalità kif ukoll l-ispiża. Disinn komuni huwa li jintuża mudell iżgħar/aktar mgħaġġel għal klassifikazzjoni jew rotta sempliċi, u mudell aktar b'saħħtu għat-tweġiba finali (eż. claude-opus-4-8).

Attenzjoni: Twaqqafx indiċjar bħala "għamilha darba, tinsiha". Id-dokumenti jinbidlu, jitħassru, jiżdiedu. Stabbilixxi strateġija ta' indiċjar mill-ġdid: skopra dokumenti mibdula u ipproċessahom biss. L-indiċi skadut jipproduċi tweġiba li tidher attwali iżda hija żbaljata.

Arkitettura dgħajfa / Arkitettura b'saħħitha

Dgħajjef (kitba waħda, kollox imħallat):

Meta l-utent jistaqsi: aqra d-dokumenti f'dak il-mument, qatgħathom, daħħalhom, fittex, iwieġebhom.# Problema: l-indiċjar kollu huwa ripetut għal kull mistoqsija; sekondi ta 'dewmien, # l-ebda separazzjoni tas-sors, l-ebda filtru, l-ebda aġġornament.

Qawwija (split pipes + metadata + cache + streaming):

Indiċjar: lott runs bil-lejl, iġjeniċi dokumenti mibdula. Mistoqsija: linja ħafifa — ipproċessar minn qabel → irkupru ibridu + filtru → klassifika mill-ġdid → fil-pront → mudell (streaming) → ċitazzjoni → log. Il-mistoqsijiet frekwenti u s-sors huma fil-cache.

Tliet Każijiet Mini

Każ 1 — Linja konfuża, dewmien kbir. Startup kitbet skript li jipproċessa mill-ġdid PDFs ma 'kull mistoqsija; Kull tweġiba ħadet medja ta’ 11-il sekonda. Meta l-linja ta 'l-indiċjar ġiet separata u d-dejta kienet trasferita qabel għall-maħżen tal-vettur, il-ħin tal-mistoqsija naqas għal 1.3 sekondi u bi streaming, l-"ewwel kelma" dehret f'400 ms.

Każ 2 — Wisq riżorsi, prijorità żbaljata. Assistent ta 'appoġġ ta piż ugwali lill-policy PDF u noti tal-biljetti qodma; Il-mudell ġieli ppreżenta klassifikazzjoni żbaljata ta' impjegat minn sentejn ilu bħala r-regola uffiċjali. Meta l-metadata source_tour u l-istruzzjoni "ikkunsidra l-politika uffiċjali f'każ ta' kunflitt" ġew miżjuda mal-pront, żbalji ta 'prijorità falza tnaqqsu b'89%.

Każ 3 — Indiċi antikwat. Assistent HR kien qed jaħdem b'indiċi li ma kienx aġġornat għal 3 xhur; Il-politika tal-leave nbidlet, iżda l-assistent kien qed jgħid l-antik. Meta ġie installat aġġornament ta 'kuljum, li jiskopri fajls mibdula, ir-rata ta' rispons kurrenti żdiedet minn 70% għal 99%.

Żbalji komuni

• Taħlit ta 'indiċjar u linji ta' mistoqsijiet: Ipproċessar tqil isir waqt li l-utent jistenna; dewmien jisplodi.
• Mhux tpoġġi t-tip tas-sors fil-metadejta: L-ebda prijoritizzazzjoni u filtrazzjoni; Is-sors mhux affidabbli jidher li huwa uffiċjali.
• Li ma tiġix stabbilita strateġija ta' aġġornament: L-indiċi jsir qadim; Jiġu prodotti tweġibiet ħżiena li jidhru kurrenti.
• Skip streaming: L-utent iħares lejn skrin vojt; Id-dewmien perċepit isir għoli.
• L-użu tal-akbar mudell f'kull pass: L-ispiża tiżdied bla bżonn; Ħalli l-istering għall-mudell iżgħar.

Fil-qosor

• L-assistent RAG korporattiv jikkonsisti f'żewġ linji separati: indiċjar offline u mistoqsija onlajn; jifredhom fiżikament.
• Indiċjar = konnettur + normalize + chunk/metadata + embed/upload; mistoqsija = pre-proċess + irkupru + fil-pront + jiġġenera + post-proċess.
• Id-dejta b'ħafna sorsi hija kkombinata f'repożitorju wieħed, iżda l-metadejta tas-sors_type u l-prijorità tal-fiduċja huma ppreservati.
• L-istreaming u l-cache għal latency, it-throttling tal-kuntest u l-għażla tal-mudell għall-ispiża huma kritiċi.
• Mingħajr indiċjar mill-ġdid, l-indiċi jsir qadim; Ipproċessa mill-ġdid dokumenti li jinbidlu regolarment.

Kompitu ta' applikazzjoni

Pinġi dijagramma arkitettoniku ta' assistent għat-tim tiegħek stess. (1) Identifika mill-inqas tliet sorsi ta 'dejta reali u ikteb ħtieġa ta' konnettur, frekwenza ta 'aġġornament, u livell ta' fiduċja għal kull wieħed. (2) Iġbed l-indiċjar u l-linji tal-mistoqsija separatament b'dijagramma ta 'kaxxa-vleġġa. (3) "Fejn innaqqas il-latenza u l-ispiża f'dan l-assistent?" Ikteb mill-inqas żewġ deċiżjonijiet konkreti għall-mistoqsija. (4) Iddeskrivi l-istrateġija ta’ aġġornament tiegħek f’sentenza waħda: liema riżors se jiġi indiċjat mill-ġdid u kemm-il darba?

lista ta' kontroll

• [ ] Kapaċi niġbed il-linji tal-indiċjar u tal-mistoqsijiet separatament u bil-komponenti korretti.
• [ ] Kapaċi ngħaqqad dejta b'ħafna sorsi ma' source_type u trust priority.
• [ ] Kapaċi nagħmel deċiżjonijiet ta' streaming/cache għal latency u għażla ta' mudell għall-ispiża.
• [ ] Naf għaliex strateġija ta' indiċjar mill-ġdid hija essenzjali.
• [ ] Inżomm f'moħħi li l-aktar pass għali fl-arkitettura tiegħi huwa normalment it-token li jmur għall-mudell akbar.