Usanifu Msaidizi unaozungumza na Data ya Kampuni

Faida:

• Kubuni vipengele na mtiririko wa data wa msaidizi wa RAG wa mwisho hadi mwisho wa biashara
• Kuchanganya data ya vyanzo vingi (wiki, tikiti, PDF, hifadhidata) kuwa msaidizi mmoja
• Fanya maamuzi ya usanifu kwa scalability, caching na latency

Katika vitengo vilivyotangulia, tulijifunza sehemu moja baada ya nyingine: upachikaji, hifadhidata ya vekta, chunking, kurejesha tena. Sasa hebu tuchanganye haya na tujenge usanifu wa mwisho hadi mwisho wa msaidizi anayezungumza na data ya kampuni yako mwenyewe. Lengo ni kumfanya mfanyakazi aulize, "Sera yetu ya likizo ni nini?" Mfumo ambapo watu wanaweza kuuliza maswali, majibu yanatokana na hati halisi za ndani, manukuu na kuchanganya vyanzo vingi vya data. Kitengo hiki huchakata usanifu mzima, mtiririko wa data na maamuzi ya kiwango cha uzalishaji.

Vipengele vya Mwisho hadi Mwisho

Msaidizi wa RAG wa shirika huwa na mistari miwili tofauti. Mstari wa indexing (nje ya mtandao) huandaa data; Mstari wa maswali (mkondoni) hujibu swali.

Vipengele vya mstari wa indexing:

1. Viunganishi: Viunganishi vinavyovuta data kutoka kwa vyanzo - wiki, mfumo wa tikiti, hifadhi ya faili, hifadhidata, barua pepe.
2. Urekebishaji: Kubadilisha miundo tofauti (PDF, HTML, DOCX) ili kusafisha maandishi; kusafisha kichwa/kijachini.
3. Chunking + metadata: Chunking na kuweka lebo (chanzo, tarehe, mamlaka).
4. Kupachika + kupakia: Kuandika vekta na metadata kwenye hifadhidata ya vekta.

Vipengele vya bomba la hoja:

1. Uchakataji wa hoja: Kuandika upya, ugatuaji.
2. Urejeshaji: Utafutaji wa mseto + kichujio cha metadata + kuweka tena nafasi.
3. Uundaji wa haraka: Kuweka muktadha + swali + maagizo kwenye kiolezo.
4. Kizazi: Jibu la msingi (muktadha) kutoka kwa mfano + vyanzo.
5. Uchakataji wa baada: Umbizo la dondoo, ukaguzi wa usalama, ukataji miti.

Kidokezo: Tenganisha mstari wa kuorodhesha kutoka kwa mstari wa hoja. Kuorodhesha ni polepole na mara kwa mara (huendesha kwa batches usiku mmoja); Mstari wa uchunguzi unapaswa kuwa mwepesi na wa haraka. Kuchanganya mistari miwili hulazimisha uchakataji mzito wakati mtumiaji anasubiri.

Kutazama Mtiririko wa Data

[INDEXING - nje ya mtandao]Nyenzo → Rekebisha → Chunk+Metadata → Pachika → Vekta DB (wiki, tikiti, PDF, DB)[QUERY - mtandaoni]Swali la mtumiaji → Usindikaji wa awali → Urejeshaji (mseto+kichujio+rerank) → Arifa (muktadha+swali+maelekezo) → Mfano → Jibu

Kuchanganya Data ya Vyanzo vingi

Katika makampuni halisi, jibu haliishii mahali pamoja. "Jinsi ya kurejesha pesa kwa mteja?" Jibu la swali linaweza kupatikana katika makala ya usaidizi (utaratibu), katika historia ya tikiti (mifano halisi), na katika sera ya PDF (kanuni). Msaidizi anapaswa kuwatafuta wote kwenye bwawa moja.

Jambo muhimu: wakati wa kuchanganya rasilimali kwenye duka moja la vekta, kila shard lazima iwe na metadata ya `source_tour`. Kwa hivyo unaweza kuzitafuta zote na kuzichuja ikihitajika, kama vile "leta sera rasmi pekee". Pia, vyanzo tofauti vina viwango tofauti vya kutegemewa: sera rasmi > makala ya usaidizi > noti ya tikiti ya mfanyakazi. Unaweza kubainisha kipaumbele hiki katika kupanga upya au kuuliza.

Chanzo

Aina ya maudhui

uaminifu

Sasisha mzunguko

Sera ya PDF

kanuni rasmi

juu

kila mwezi

Makala ya usaidizi

Utaratibu

kati-juu

kila wiki

Historia ya tikiti

sampuli halisi

kati

Kuendelea

wiki

Noti iliyochanganywa/ya sasa

Inaweza kubadilika

Kuendelea

Scalability, Cache na Latency

Masuala matatu yanajitokeza katika uzalishaji. Muda wa Kuchelewa: Hali ya utumiaji huharibika mtumiaji anaposubiri zaidi ya sekunde 2. Suluhisho: onyesha jibu katika fomu ya utiririshaji - hutiwa kwenye skrini jinsi mtindo unavyoandika. Akiba: Kwa maswali yanayoulizwa mara kwa mara na muktadha unaojirudia, akiba huongeza kasi na kupunguza gharama. Kiwango: Mtumiaji anapoongezeka, ni muhimu kuweza kuongeza urejeshaji na simu za muundo kwa usawa.

Utawala wa kidole kwenye upande wa gharama: hatua ya gharama kubwa zaidi ni kawaida idadi ya ishara zinazoenda kwa mfano mkubwa. Kwa hivyo, kupunguza muktadha hadi sehemu 4 nzuri kwa kupanga upya huboresha ubora na gharama. Muundo wa kawaida ni kutumia muundo mdogo/haraka zaidi kwa uainishaji rahisi au uelekezaji, na muundo wenye nguvu zaidi kwa jibu la mwisho (k.m. claude-opus-4-8).

Tahadhari: Usiweke indexing kama "ifanye mara moja, isahau". Nyaraka zinabadilishwa, kufutwa, kuongezwa. Anzisha mkakati wa kuorodhesha upya: tambua hati zilizobadilishwa na uzichague tena. Faharasa iliyochakaa hutoa jibu linaloonekana kuwa la sasa lakini si sahihi.

Usanifu dhaifu / Usanifu Wenye Nguvu

Dhaifu (hati moja, kila kitu kikichanganywa):

Mtumiaji anapouliza: soma hati wakati huo, zipasue, zipachike, zipekue, zijibu.# Tatizo: uwekaji faharasa wote hurudiwa kwa kila swali; sekunde za kuchelewa, # hakuna utenganisho wa chanzo, hakuna kichujio, hakuna kuonyesha upya.

Nguvu (mgawanyiko wa mabomba + metadata + cache + utiririshaji):

Kuorodhesha: kundi huendeshwa usiku, huonyesha upya hati zilizobadilishwa. Hoja: laini nyepesi — kuchakata kabla → urejeshaji mseto+chujio → rudisha upya → kidokezo → kielelezo (kutiririsha) → nukuu → kumbukumbu. Maswali yanayoulizwa mara kwa mara na chanzo huhifadhiwa.

Kesi Tatu Ndogo

Kesi 1 - Mstari uliochanganyikiwa, ucheleweshaji mkubwa. Anzisha aliandika hati ambayo huchakata tena PDF kwa kila swali; Kila jibu lilichukua wastani wa sekunde 11. Wakati mstari wa indexing ulitenganishwa na data hapo awali ilihamishiwa kwenye duka la vector, muda wa swala ulipungua hadi sekunde 1.3 na kwa utiririshaji, "neno la kwanza" lilionekana katika 400 ms.

Kesi ya 2 - Nyenzo nyingi sana, kipaumbele kisicho sahihi. Msaidizi wa usaidizi alitoa uzito sawa kwa sera ya PDF na noti za zamani za tikiti; Wakati mwingine mtindo uliwasilisha ukadiriaji usio sahihi wa mfanyakazi kutoka miaka miwili iliyopita kama sheria rasmi. Wakati metadata ya source_tour na maagizo ya "zingatia sera rasmi iwapo kutatokea mgogoro" yalipoongezwa kwenye dodoso, hitilafu za kipaumbele cha uwongo zilipunguzwa kwa 89%.

Kesi ya 3 - Fahirisi ya zamani. Msaidizi wa HR alikuwa akifanya kazi na faharasa ambayo haikusasishwa kwa miezi 3; Sera ya likizo imebadilika, lakini msaidizi alikuwa akisema siku za zamani. Wakati kiboreshaji cha kila siku kilipowekwa, ambacho hugundua faili zilizobadilishwa, kiwango cha majibu ya sasa kiliongezeka kutoka 70% hadi 99%.

Makosa ya kawaida

• Kuchanganya mistari ya faharasa na hoja: Usindikaji mzito unafanywa wakati mtumiaji anasubiri; kuchelewa kulipuka.
• Sio kuweka aina ya chanzo katika metadata: Hakuna kipaumbele na uchujaji; Chanzo kisichoaminika kinaonekana kuwa rasmi.
• Kutoanzisha mkakati wa kuonyesha upya: Faharasa inakuwa ya zamani; Majibu yasiyo sahihi yanayoonekana sasa yanatolewa.
• Ruka utiririshaji: Mtumiaji anaangalia skrini tupu; Ucheleweshaji unaoonekana unakuwa juu.
• Kutumia mfano mkubwa zaidi kwa kila hatua: Gharama huongezeka bila lazima; Acha usukani kwa mfano mdogo.

Kwa muhtasari

• Msaidizi wa RAG wa shirika huwa na mistari miwili tofauti: indexing nje ya mtandao na swala la mtandaoni; kuwatenganisha kimwili.
• Indexing = kiunganishi + kurekebisha + chunk/metadata + embed/upload; swala = mchakato wa awali + urejeshaji + haraka + toa + mchakato wa baada ya.
• Data ya vyanzo vingi imejumuishwa katika hazina moja, lakini metadata ya aina_chanzo na kipaumbele cha uaminifu huhifadhiwa.
• Utiririshaji na akiba ya muda wa kusubiri, kupeperusha muktadha na uteuzi wa modeli kwa gharama ni muhimu.
• Bila kuorodhesha tena, faharisi inakuwa ya zamani; Chunguza tena kubadilisha hati mara kwa mara.

Jukumu la maombi

Chora mchoro wa usanifu wa msaidizi wa timu yako mwenyewe. (1) Tambua angalau vyanzo vitatu halisi vya data na uandike hitaji la kiunganishi, usasishe mara kwa mara na kiwango cha uaminifu kwa kila moja. (2) Chora mistari ya faharasa na hoja kando na mchoro wa mshale wa kisanduku. (3) “Nitapunguza wapi muda wa kusubiri na gharama katika mratibu huyu?” Andika angalau maamuzi mawili madhubuti kwa swali. (4) Eleza mkakati wako wa kuonyesha upya katika sentensi moja: ni nyenzo gani itaonyeshwa upya na mara ngapi?

orodha ya ukaguzi

• [ ] Ninaweza kuchora mistari ya faharasa na hoja kando na kwa vijenzi sahihi.
• [ ] Ninaweza kuchanganya data ya vyanzo vingi na source_type na kipaumbele cha uaminifu.
• [ ] Ninaweza kufanya maamuzi ya kutiririsha/kache kwa muda wa kusubiri na uteuzi wa muundo kwa gharama.
• [ ] Ninajua kwa nini mkakati wa kuorodhesha upya ni muhimu.
• [ ] Ninakumbuka kwamba hatua ya gharama kubwa zaidi katika usanifu wangu kwa kawaida ni ishara inayoenda kwa modeli kubwa zaidi.