एकाइ 9 / 11

RAG संग उद्यम सूचना व्यवस्थापन

लाभ:

  • RAG ले संस्थाको वास्तविक कागजातहरूको जवाफलाई लिङ्क र सन्दर्भ गरेर र सफा कागजात आधारको महत्त्वलाई लागू गरेर कसरी भ्रम कम गर्छ भनेर बुझ्नुहोस्।
  • RAG आउटपुटको स्रोत, मिति र मुद्रा जाँच गर्न र विवादित संस्करणहरू छुट्याउन सक्ने क्षमता
  • पहुँच नियन्त्रणको साथ अनाधिकृत कागजातहरूबाट प्रतिक्रियाहरू रोकेर कर्पोरेट गोपनीयताको सुरक्षा गर्ने क्षमता

संस्थाको मेमोरी हजारौं छरिएका कागजातहरूमा रहन्छ: रिपोर्टहरू, म्यानुअलहरू, मिनेटहरू, प्रक्रियाहरू, इमेलहरू। एक कर्मचारीले साधारण प्रश्नको जवाफ दिनको लागि कागजातहरू खोज्न सक्छ ("यस प्रक्रियाले कसरी काम गर्छ?")। ज्ञान प्रबन्धकको सपना यो मेमोरीको लागि प्रश्नहरूको प्रत्यक्ष तर स्रोत-आधारित जवाफहरू प्रदान गर्न हो। यो ठ्याक्कै के प्रतिज्ञा गरेको छ। यस इकाईमा तपाईंले RAG के हो, यसलाई उद्यम सूचना व्यवस्थापनमा कसरी प्रयोग गर्ने, र यसलाई शुद्धता, गोपनीयता र समयबद्धताका हिसाबले कसरी सुरक्षित गर्ने भन्ने कुरा सिक्नुहुनेछ।

अवधारणा परिभाषित गरौं। RAG (Retrieval-Augmented Generation) भनेको एआईले संगठनको आफ्नै कागजातबाट सान्दर्भिक टुक्राहरू फेला पारेर र त्यसपछि ती टुक्राहरूमा आधारित उत्तर उत्पन्न गर्दा एउटा प्रश्नको जवाफ दिन्छ। यो मौलिक रूपमा मेमोरीबाट जवाफ उत्पन्न गर्ने सामान्य AI भन्दा फरक छ: RAG लिङ्कहरू र स्रोतहरू वास्तविक, ट्रेस योग्य कागजातहरूको जवाफ। यसरी भ्रम धेरै कम भएको छ किनभने एआई संस्थाको कागजातबाट बोल्छ, यसको "हेड" बाट होइन।

चरण द्वारा चरण: एक उद्यम RAG प्रणाली बुझ्दै

1. कागजात आधार तयार गर्नुहोस्। संस्थाको भरपर्दो, अप-टु-डेट कागजातहरू सङ्कलन गरिन्छ, सफा गरिन्छ, र टुक्राहरूमा विभाजन गरिन्छ (कागजातको अर्थपूर्ण सानो खण्डहरू)। यदि खराब, पुरानो वा विवादित कागजातहरू प्रणालीमा प्रवेश गरेमा, प्रतिक्रियाहरू खराब हुनेछन्: "फोहोर भित्र, फोहोर बाहिर।"

2. Embed and index. प्रत्येक टुक्रालाई भेक्टर (इम्बेडिङ) मा रूपान्तरण गरिन्छ र यसको अर्थ प्रतिनिधित्व गर्दछ र खोजी योग्य अनुक्रमणिकामा राखिन्छ। जब प्रश्न आउँछ, प्रणालीले अर्थमा सबैभन्दा नजिकका भागहरू फेला पार्छ।

3. Bring relevant parts. जब एउटा प्रश्न सोधिन्छ, प्रणालीले कागजात आधारबाट केही सान्दर्भिक टुक्राहरू तान्छ। यो चरण महत्वपूर्ण छ: यदि गलत टुक्रा ल्याइएको छ भने, जवाफ पनि गलत हुनेछ।

4. स्रोत-आधारित प्रतिक्रिया उत्पन्न गर्नुहोस्। AI ले प्राप्त गरिएका टुक्राहरूमा आधारित प्रतिक्रिया उत्पन्न गर्दछ र कुन कागजातबाट लिइएको हो भनेर संकेत गर्दछ। स्रोत उद्धृत नगर्ने प्रतिक्रिया RAG को उद्देश्य विपरीत हो।

5. प्रमाणित गर्नुहोस् र फिर्ता रिपोर्ट गर्नुहोस्। प्रयोगकर्ताले देखाइएको स्रोतमा गएर जवाफ पुष्टि गर्न सक्षम हुनुपर्छ। गलत वा अपूर्ण जवाफहरू कागजात आधार सुधार गर्न प्रतिक्रिया बन्छन्।

सुझाव: RAG को गुणस्तर धेरै हदसम्म कागजात आधारको गुणस्तरमा निर्भर गर्दछ। कागजातहरू अद्यावधिक गर्नुहोस्, विवादित/पुरानो संस्करणहरू हटाउनुहोस्, र प्रणालीमा राख्नु अघि प्रत्येक कागजातमा मिति र प्रोभेन्स जानकारी थप्नुहोस्। 500 सुव्यवस्थित कागजातहरूले 5,000 छरिएका कागजातहरू भन्दा राम्रो जवाफहरू उत्पादन गर्छन्।

RAG को सिमाना र सुरक्षा बिन्दुहरू

RAG ले भ्रम कम गर्छ तर यसलाई रिसेट गर्दैन। यदि प्रणालीले गलत टुक्रा फर्काउँछ भने, AI ले अझै पनि त्यो गलत टुक्रामा "वफादार" रहन गलत जवाफ दिन सक्छ। थप रूपमा, AI ले ल्याइएको टुक्राहरूलाई गलत व्याख्या गर्न सक्छ वा विरोधाभासी तरिकामा बहु टुक्राहरू संयोजन गर्न सक्छ। त्यसकारण, RAG आउटपुट पनि स्रोतमा गएर प्रमाणित गरिनुपर्छ, विशेष गरी महत्वपूर्ण निर्णयहरूको लागि।

कर्पोरेट RAG मा गोपनीयता एक केन्द्रीय मुद्दा हो। कागजात आधारमा संवेदनशील जानकारी (कर्मचारी, अनुबंध, रणनीति) समावेश हुन सक्छ। प्रणालीले प्रयोगकर्ताद्वारा अधिकृत नभएका कागजातहरूबाट प्रतिक्रियाहरू उत्पन्न गर्नु हुँदैन; पहुँच नियन्त्रण (कसले हेर्न सक्छ कुन कागजात) पनि RAG मा लागू गर्नुपर्छ। अन्यथा, एक कर्मचारीले RAG मार्फत जानकारी पहुँच गर्न सक्छ जुन उसले देख्न सक्दैन।

ध्यान दिनुहोस्: कागजात उद्धृत गर्दा पनि, RAG ले त्यो कागजात अप-टु-डेट र सही छ भनेर ग्यारेन्टी गर्दैन। प्रणालीले तीन वर्ष पहिलेको पुरानो प्रक्रिया कागजातबाट जवाफ दिन सक्छ। स्रोत कागजातको मिति र वैधता जाँच गर्न यो प्रयोगकर्ता र सूचना प्रबन्धकको जिम्मेवारी हो।

तीन मिनी केसहरू

केस 1 - प्रक्रियात्मक प्रश्नहरू द्रुत। एउटा संगठनले यसको 1,200-पृष्ठ आन्तरिक प्रक्रिया पुस्तिकाहरूको लागि RAG प्रणाली स्थापना गर्‍यो। कर्मचारीहरूको "यो कसरी गर्ने" प्रश्नहरू सेकेन्ड भित्रै स्रोतलाई संकेत गर्ने जवाफहरू समाधान गरियो; औसत कल अवधि २५ मिनेटबाट २ मिनेटमा घट्यो। किनभने प्रत्येक प्रतिक्रिया कागजातको खण्डसँग लिङ्क गरिएको थियो जसमा यो आधारित थियो, कर्मचारीहरूले यसलाई प्रमाणित गर्न सक्षम थिए।

केस २ - पुरानो कागजात कब्जा गरियो। एक RAG प्रणालीले 2021 को पुरानो कागजातबाट अनुमति प्रक्रिया प्रश्नको जवाफ दियो; यद्यपि, २०२४ मा अपडेट गरिएको संस्करण जारी गरिएको थियो। स्रोत लिङ्क खोल्ने कर्मचारीले मिति पुरानो भएको देखे र अद्यावधिक गरिएको कागजात फेला पारे। सूचना प्रबन्धकले कागजात आधारबाट पुरानो संस्करण हटायो।

केस ३ - अनाधिकृत पहुँच रोकियो। प्रारम्भिक सेटअपमा, RAG ले सबै कागजातहरू सार्वजनिक रूपमा स्क्यान गर्यो; एक कर्मचारीले पेरोल कागजातबाट प्रतिक्रिया प्राप्त गरे जुन उसले हेर्नु पर्ने थिएन। टोलीले RAG मा पहुँच नियन्त्रण थप्यो: प्रणालीले अब कागजातहरूबाट मात्र प्रतिक्रियाहरू उत्पन्न गर्छ जसमा प्रयोगकर्तालाई अधिकार दिइएको छ।

मूल्याङ्कन, प्रतिक्रिया र निरन्तर सुधार

एक RAG प्रणाली एक पटक स्थापित र बिर्सने उपकरण होइन; यसको निरन्तर मूल्याङ्कन र सुधार आवश्यक छ। यसको लागि आधार वास्तविक प्रश्नहरूको प्रणालीको उत्तरहरूको नियमित मापन हो। दुई प्रश्नहरू महत्त्वपूर्ण छन्: के प्रणालीले सही कागजात टुक्राहरू (पहुँच गुणस्तर) ल्याउँछ र के यसले ल्याइएको टुक्राहरू (उत्पादन गुणस्तर) बाट सही प्रतिक्रिया उत्पन्न गर्छ? यी दुई तहहरू अलग-अलग मूल्याङ्कन गर्न आवश्यक छ; किनभने सहि कागजात ल्याउनु र त्यसको गलत अर्थ लगाउनु र गलत कागजात ल्याउनु र इमानदारीपूर्वक हस्तान्तरण गर्नु फरक समस्या हो र फरक फरक समाधान चाहिन्छ। राम्रो अभ्यास भनेको "परीक्षण प्रश्नहरू" को एक सेटलाई ज्ञात सहि उत्तरहरू राख्नु हो र प्रत्येक अपडेटमा यो सेटको साथ प्रणालीको परीक्षण गर्नु हो। थप रूपमा, प्रयोगकर्ताहरूको "यो जवाफ सहयोगी थियो / स्रोत सटीक थियो" प्रतिक्रियाले कागजात आधार र गलत तरिकाले ल्याइएका भागहरूमा दुवै अन्तरहरू प्रकट गर्दछ। AI ले यस प्रतिक्रियालाई जम्मा गर्न र प्रायः असफल हुने प्रश्नहरूको प्रकारलाई संक्षेप गर्न मद्दत गर्न सक्छ; तर कुन कागजात थप्ने, अद्यावधिक गर्ने वा हटाउने भन्ने निर्णय सूचना प्रबन्धकको हो। प्रणालीलाई जीवित जीव जस्तै हेरचाह चाहिन्छ; एक उपेक्षित RAG समयको साथ पुरानो कागजातको कारणले बढ्दो भ्रामक हुन्छ।

सुझाव: तपाईंले RAG प्रणाली सेटअप गर्ने बित्तिकै, 20-30 वास्तविक प्रश्नहरू र ज्ञात सही उत्तरहरूको सानो परीक्षण सेट तयार गर्नुहोस्। प्रत्येक कागजात अद्यावधिकको साथ यो सेट चलाउनुले तुरुन्तै परिवर्तनले प्रणाली सुधार गर्छ वा तोड्छ भनेर देखाउँछ।

चार प्रतिलिपि गर्न मिल्ने टेम्प्लेटहरू

1) स्रोत आधारित प्रतिक्रिया प्रम्प्ट:

तपाईंको भूमिका: कर्पोरेट सूचना सहायक। तल प्रश्नको सन्दर्भमा ल्याइएका कागजातका टुक्राहरू छन्। यी टुक्राहरूमा आधारित जवाफ दिनुहोस् र जानकारीको प्रत्येक टुक्राको लागि कुन कागजात/टुक्रा यो बाट हो बताउनुहोस्। यदि भागहरूमा कुनै जवाफ छैन भने, "यो जानकारी प्रदान गरिएको कागजातहरूमा समावेश गरिएको छैन" भन्नुहोस्, अनुमान नगर्नुहोस्। प्रश्न: [यहाँ] / भागहरू: [यहाँ]

२) विरोधाभास र मुद्रा नियन्त्रण:

के निम्न टुक्राहरू बीच कुनै विरोधाभास वा फरक मिति संस्करणहरू छन्? यदि त्यसो हो भने, यसलाई चिन्ह लगाउनुहोस् र कुन मिति बढी देखिन्छ भनेर संकेत गर्नुहोस्। भागहरू (मितिहरू सहित): [यहाँ]

3) कागजात आधार सफाई लेखा परीक्षा:

तलको कागजात सूचीमा, त्यहाँ कुनै पुरानो, विवादित, वा अनिश्चित मूलका कागजातहरू छन् जुन RAG प्रणालीमा राख्नु अघि क्रमबद्ध गर्न आवश्यक छ? टिक गर्नुहोस् र किन लेख्नुहोस्। सूची (मिति/स्रोत सहित): [यहाँ]

4) गोपनीयता र पहुँच पूर्व नियन्त्रण:

के निम्न कागजातका टुक्राहरूमा संवेदनशील जानकारी (व्यक्तिगत डेटा, गोप्य सम्झौता, रणनीति) समावेश छ? प्रत्येकलाई "सार्वजनिक/प्रतिबन्धित पहुँच" को रूपमा वर्गीकृत गर्नुहोस् र औचित्य दिनुहोस्। Tracks: [here]

कमजोर प्रम्प्ट / बलियो प्रम्प्ट

कमजोर प्रम्प्ट:

हाम्रो संस्थाको अनुमति प्रक्रिया व्याख्या गर्नुहोस्।

यदि कुनै कागजातहरू दिइएन भने, एआईले आफ्नो सामान्य मेमोरी वा अन्य संस्थाहरूको कार्यान्वयनबाट मेड-अप प्रक्रिया उत्पादन गर्दछ; यो संस्थाको वास्तविक नियमसँग अप्रासंगिक हुन सक्छ।

शक्तिशाली प्रम्प्ट:

तपाईंको भूमिका: कर्पोरेट सूचना सहायक। संस्थाको अनुमति प्रक्रिया सम्बन्धी कागजातहरू (तिनीहरूको मितिहरू सहित) तल छन्। प्रत्येक चरणमा स्रोत कागजात र मिति उद्धृत गर्दै, यी भागहरूमा आधारित प्रश्नको जवाफ दिनुहोस्। यदि भागहरू विवादमा छन् भने, सबैभन्दा हालको प्रयोग गर्नुहोस् र त्यसो भन्नुहोस्। यदि यो कागजातमा छैन भने, "कुनै जानकारी छैन" भन्नुहोस्। प्रश्न: [यहाँ] / भागहरू: [यहाँ]

शक्तिशाली प्रम्प्ट; वास्तविक संस्था कागजातहरूमा जवाफ लिङ्क गर्दछ, स्रोत र मितिहरू सोध्छ, र ईमानदारीपूर्वक विरोधाभास र अन्तरलाई सम्बोधन गर्दछ।

RAG घटक र जोखिम तालिका

घटक

कार्य

मुख्य जोखिम

Assurance

Document base

Source of the answer

पुरानो / विवादास्पद कागजात

सरसफाई, इतिहास, उत्पत्ति

Retrieval

Find the relevant part

wrong piece

गुणस्तर परीक्षण, प्रतिक्रिया

उत्पादन

जवाफ दिनुहोस्

गलत टिप्पणी

स्रोत उद्धृत गर्दै, प्रमाणीकरण

Access control

Authority check

unauthorized disclosure

User based restriction

सामान्य गल्तीहरू

  • फोहोर कागजात आधार स्थापना गर्दै। पुरानो / विवादित कागजातले खराब प्रतिक्रिया उत्पन्न गर्दछ।
  • स्रोत उद्धृत नगरी जवाफ स्वीकार गर्दै। RAG को उद्देश्य ट्रेसिबिलिटी हो।
  • कागजात मिति जाँच गर्दैन। अपडेट गर्न सोचेको जवाफ पुरानो संस्करणबाट आउँछ।
  • पहुँच नियन्त्रण बाइपास गर्दै। अनधिकृत व्यक्तिले संवेदनशील जानकारी पहुँच गर्दछ।
  • सोच्दै कि RAG पूर्णतया भ्रमबाट मुक्त छ। गलत टुक्रा अझै पनि गलत जवाफ उत्पादन गर्दछ।

संक्षेपमा

RAG ले संगठनात्मक मेमोरीलाई स्रोत-आधारित उत्तरदायी प्रणालीमा रूपान्तरण गरेर ज्ञान व्यवस्थापनमा ठूलो मूल्य उत्पादन गर्छ; सामान्य AI को विपरीत, यसले संगठनको वास्तविक कागजातहरूको जवाफलाई लिङ्क र स्रोत बनाउँछ, जसले गर्दा भ्रम कम हुन्छ। तर सफलता सफा र अप-टु-डेट कागजात आधार, सही ट्र्याक पहुँच, स्रोत एट्रिब्युसन, मिति/वर्तमानता जाँच, र पहुँच नियन्त्रणमा निर्भर गर्दछ। RAG ले भ्रम रिसेट गर्दैन; आलोचनात्मक जवाफहरू स्रोतमा गएर प्रमाणित गरिन्छ र गोपनीयतालाई सुरुदेखि नै सम्मान गरिन्छ।

आवेदन कार्य

कागजातहरूको सानो सेट तयार गर्नुहोस् (5-8 वास्तविक वा नमूना एजेन्सी कागजातहरू, मितिहरू सहित); एक पुरानो र एक हालको विवादास्पद संस्करणमा सचेततापूर्वक राख्नुहोस्। "स्रोत-आधारित प्रतिक्रिया प्रम्प्ट" टेम्प्लेटको साथ एक प्रश्न सोध्नुहोस् र AI ले स्रोत उद्धृत गरेको छ कि छैन जाँच गर्नुहोस्। त्यसपछि AI ले "द्वन्द्व र हालको संस्करण जाँच" टेम्प्लेटको साथ द्वन्द्व र हालको संस्करणलाई सही रूपमा पत्ता लगाएको छ कि छैन भनेर मूल्याङ्कन गर्नुहोस्।

चेकलिस्ट

  • [ ] मैले कागजातको आधार अद्यावधिक गरें, पुराना/विपरित कागजातहरू हटाएँ।
  • [ ] मैले सुनिश्चित गरें कि प्रत्येक उत्तरले स्रोत कागजातलाई औंल्याउँछ।
  • [ ] मैले स्रोत कागजातहरूको मिति र वैधता जाँच गरें।
  • [ ] मैले पहुँच नियन्त्रणको साथ अनाधिकृत कागजातहरूबाट प्रतिक्रियाहरू सिर्जना गर्न रोकें।
  • [ ] मैले मूल कागजातमा गएर महत्वपूर्ण प्रतिक्रियाहरू प्रमाणित गरें।