Aðstoðararkitektúr sem talar við fyrirtækjagögn

Hagnaður:

• Hönnun íhluta og gagnaflæðis RAG aðstoðarmanns frá enda til enda fyrirtækis
• Sameinar gögn úr mörgum uppruna (wiki, miða, PDF, gagnagrunn) í einn aðstoðarmann
• Taktu byggingarákvarðanir varðandi sveigjanleika, skyndiminni og leynd

Í fyrri einingum lærðum við hlutana einn í einu: innfellingu, vektorgagnagrunn, búta, endurheimt. Nú skulum við sameina þetta og byggja upp end-to-end arkitektúr fyrir aðstoðarmann sem talar við eigin fyrirtækisgögn. Markmiðið er að láta starfsmann spyrja: "Hver er orlofsstefna okkar?" Kerfi þar sem fólk getur spurt spurninga, svörin byggja á raunverulegum innri skjölum, tilvitnunum og sameina margar gagnaheimildir. Þessi eining vinnur úr öllum arkitektúr, gagnaflæði og ákvörðunum um framleiðslustig.

End-to-End íhlutir

RAG aðstoðarmaður fyrirtækja samanstendur af tveimur aðskildum línum. Flokkunarlínan (ótengdur) undirbýr gögnin; Fyrirspurnarlínan (á netinu) svarar spurningunni.

Flokkunarlínuhlutir:

1. Tengi: Tengi sem draga gögn frá heimildum - wiki, miðakerfi, skráaverslun, gagnagrunn, tölvupóst.
2. Normalization: Umbreytir mismunandi sniðum (PDF, HTML, DOCX) í hreinan texta; Hreinsun á haus/fótum.
3. Chunking + lýsigögn: Chunking og merking (heimild, dagsetning, heimild).
4. Embedding + hleðsla: Að skrifa vektora og lýsigögn inn í vektorgagnagrunninn.

Fyrirspurnarleiðsluíhlutir:

1. Forvinnsla fyrirspurna: Endurskrifun, valddreifing.
2. Endurheimt: Hybrid leit + lýsigagnasía + endurröðun.
3. Skjót gerð: Setja samhengi + spurningu + leiðbeiningar inn í sniðmátið.
4. Kynslóð: Jarðbundið (samhengisbundið) svar frá líkaninu + heimildum.
5. Eftirvinnsla: Tilvitnunarsnið, öryggisathugun, skráning.

Ábending: Aðskilið flokkunarlínuna líkamlega frá fyrirspurnarlínunni. Flokkun er hæg og reglubundin (kemur í lotum yfir nótt); Fyrirspurnarlínan ætti að vera létt og strax. Að blanda línunum tveimur þvingar fram þunga vinnslu á meðan notandinn bíður.

Sjónræn gagnaflæði

[FYRIRSLÖKNING - án nettengingar]Tilföng → Samræma → Klump+lýsigögn → Fella inn → Vektor DB (wiki, miði, PDF, DB)[QUERY - á netinu]Spurning notanda → Forvinnsla → Sækja (blending+sía+endurröðun) → Hvetja (samhengi+spurning+kennsla →Svar) → Líkan →

Sameina gögn úr mörgum uppruna

Í alvöru fyrirtækjum stoppar svarið ekki á einum stað. "Hvernig á að gefa út endurgreiðslu til viðskiptavina?" Svarið við spurningunni er bæði að finna í hjálpargreininni (aðferð), í miðasögunni (raunveruleg dæmi) og í stefnu PDF (reglum). Aðstoðarmaðurinn ætti að leita í þeim öllum í einum laug.

Mikilvægur punktur: þegar tilföng eru sameinuð í eina vektorbirgðageymslu verður hver brot að bera „source_tour“ lýsigögnin. Þannig að þú getur leitað í þeim öllum og síað þá ef nauðsyn krefur, eins og "bara koma með opinberar reglur". Einnig hafa mismunandi heimildir mismunandi áreiðanleika: opinber stefna > hjálpargrein > miðamiða starfsmanns. Þú getur tilgreint þennan forgang í endurröðun eða hvetja.

Heimild

Tegund efnis

treysta

Uppfærslutíðni

Stefnu pdf

opinbera reglu

hátt

mánaðarlega

Hjálpargrein

Málsmeðferð

meðalhár

vikulega

Miðasaga

raunverulegt sýnishorn

miðlungs

Stöðugt

wiki

Blandaður/núverandi nótur

Breytilegt

Stöðugt

Sveigjanleiki, skyndiminni og seinkun

Þrjú tölublöð skera sig úr í framleiðslu. Seinkun: Upplifunin versnar þegar notandinn bíður í meira en 2 sekúndur. Lausn: birtu svarið í streymisformi - því er hellt á skjáinn eins og líkanið skrifar. Skyndiminni: Fyrir algengar spurningar og endurtekið samhengi eykur skyndiminni bæði hraða og dregur úr kostnaði. Mælikvarði: Eftir því sem notandinn stækkar er nauðsynlegt að geta kvarðað endurheimt og líkansköll lárétt.

Þumalputtaregla um kostnaðarhliðina: Dýrasta skrefið er venjulega fjöldi tákna sem fara í stærri gerðina. Þess vegna bætir það bæði gæði og kostnað að minnka samhengið í 4 góða hluta með því að endurraða. Algeng hönnun er að nota minna/hraðvirkara líkan fyrir einfalda flokkun eða leið og öflugra líkan fyrir lokasvarið (t.d. claude-opus-4-8).

Varúð: Ekki setja upp flokkun sem "gerðu það einu sinni, gleymdu því". Skjölum er breytt, eytt, bætt við. Komdu á endurskráningarstefnu: Finndu breytt skjöl og endurvinndu aðeins þau. Gömul vísitalan framleiðir svar sem virðist núverandi en er rangt.

Veik arkitektúr / Sterk arkitektúr

Veikt (eitt handrit, allt í bland):

Þegar notandinn spyr: lestu skjölin á því augnabliki, tættu þau, felldu þau inn, leitaðu í þeim, svaraðu þeim.# Vandamál: öll skráning er endurtekin fyrir hverja spurningu; sekúndna seinkun, # engin aðskilnaður uppruna, engin sía, engin endurnýjun.

Öflugt (klofin pípur + lýsigögn + skyndiminni + streymi):

Flokkun: runu keyrt á nóttunni, endurnýjað breytt skjöl. Fyrirspurn: létt lína — forvinnsla → blendingur endurheimtur+sía → endurraða → hvetja → líkan (straumspilun) → tilvitnun → log. Algengar spurningar og heimildir eru í skyndiminni.

Þrjú Mini Cass

Tilfelli 1 - Rugluð lína, mikil töf. Ræsifyrirtæki skrifaði handrit sem endurvinnir PDF skjöl með hverri spurningu; Hvert svar tók að meðaltali 11 sekúndur. Þegar vísitölulínan var aðskilin og gögnin voru áður flutt í vektorgeymsluna minnkaði fyrirspurnartíminn í 1,3 sekúndur og með streymi birtist „fyrsta orðið“ eftir 400 ms.

Tilfelli 2 — Of mikið úrræði, rangt forgangsröðun. Aðstoðarmaður gaf jafnmikið vægi við stefnuna PDF og gamla miða athugasemdir; Líkanið setti stundum fram ranga einkunn starfsmanns frá því fyrir tveimur árum sem opinbera reglu. Þegar source_tour lýsigögnum og leiðbeiningunum um „íhuga opinbera stefnu ef upp koma átök“ var bætt við kvaðninguna var rangri forgangsvillum fækkað um 89%.

Mál 3 - Gömul vísitala. HR aðstoðarmaður var að vinna með vísitölu sem var ekki uppfærð í 3 mánuði; Orlofsstefnan hefur breyst, en aðstoðarmaðurinn var að segja í gamla daga. Þegar dagleg endurnýjun var sett upp, sem greinir breyttar skrár, jókst núverandi svarhlutfall úr 70% í 99%.

Algeng mistök

• Blanda saman flokkun og fyrirspurnarlínum: Mikil vinnsla fer fram á meðan notandinn bíður; seinkun springur.
• Ekki setja upprunategundina í lýsigögn: Engin forgangsröðun og síun; Ótrausti heimildarmaðurinn virðist vera opinber.
• Ekki að koma á endurnýjunarstefnu: Vísitalan verður gömul; Röng svör sem virðast núverandi eru framleidd.
• Slepptu streymi: Notandi horfir á auðan skjá; Töfin verður mikil.
• Nota stærsta líkanið í hverju skrefi: Kostnaður eykst að óþörfu; Skildu stýrið eftir minni gerðinni.

Í stuttu máli

• RAG aðstoðarmaður fyrirtækisins samanstendur af tveimur aðskildum línum: ótengd flokkun og fyrirspurn á netinu; aðskilja þá líkamlega.
• Flokkun = tengi + staðla + klumpur/lýsigögn + embed/upload; fyrirspurn = forvinnsla + endurheimt + hvetja + mynda + eftirvinnslu.
• Fjöluppspretta gögn eru sameinuð í eina geymslu, en source_type lýsigögn og traustsforgangur eru varðveittir.
• Straumspilun og skyndiminni fyrir leynd, samhengisgjöf og val á gerðum fyrir kostnað eru mikilvæg.
• Án endurverðtryggingar verður vísitalan gömul; Endurvinnsla breyta skjölum reglulega.

Umsóknarverkefni

Teiknaðu byggingarlistarmynd af aðstoðarmanni fyrir þitt eigið lið. (1) Þekkja að minnsta kosti þrjá raunverulega gagnagjafa og skrifa niður tengiþörf, uppfærslutíðni og trauststig fyrir hvern. (2) Teiknaðu flokkunar- og fyrirspurnarlínurnar sérstaklega með línuriti með kassaörv. (3) „Hvar minnka ég töf og kostnað í þessum aðstoðarmanni? Skrifaðu að minnsta kosti tvær áþreifanlegar ákvarðanir við spurninguna. (4) Lýstu endurnýjunarstefnu þinni í einni setningu: hvaða auðlind verður endurtryggð og hversu oft?

gátlisti

• [ ] Ég get teiknað flokkunar- og fyrirspurnarlínurnar sérstaklega og með réttum hlutum.
• [ ] Ég get sameinað multi-source gögn með source_type og trust forgang.
• [ ] Ég get tekið ákvarðanir um streymi/skyndiminni fyrir leynd og val á gerðum fyrir kostnað.
• [ ] Ég veit hvers vegna endurverðtryggingarstefna er nauðsynleg.
• [ ] Ég hef í huga að dýrasta skrefið í arkitektúr mínum er venjulega táknið sem fer í stærri gerðina.