लाभ:
- ज्ञान-आधारित पीढ़ी (आरएजी) के तर्क को समझना और यह मतिभ्रम को कम क्यों करता है
- केवल प्रदान किए गए स्रोत दस्तावेज़ों के आधार पर, मॉडल को उद्धरण के साथ प्रतिक्रिया देने की क्षमता
- जो प्रश्न स्रोत में नहीं हैं, उन्हें बिना प्रश्न बनाए सुरक्षित रूप से स्थानांतरित करके प्रबंधित करने की क्षमता
एक भाषा मॉडल बहुत कुछ "जानता" है, लेकिन यह आपकी कंपनी की आज की वापसी नीति, आपकी वर्तमान मूल्य सूची, या आपके शिपिंग समझौते को नहीं जानता है जो कल बदल गया। इससे भी बुरी बात यह है कि जब उसे पता नहीं होता, तो वह अक्सर इसे बना लेता है और बेहद आत्मविश्वास भरे लहजे में लिखता है। यह ग्राहक सेवा में एक घातक दोष है: मॉडल कहता है "रिफंड 30 दिनों के भीतर जारी किए जाते हैं" जबकि आपकी पॉलिसी 14 दिनों की हो सकती है। इस अंतर को पाटने वाले दृष्टिकोण को RAG कहा जाता है: पुनर्प्राप्ति-संवर्धित पीढ़ी, अर्थात, "पुनर्प्राप्ति-संवर्धित उत्पादन"।
विचार सरल है: मॉडल प्रश्न का उत्तर स्मृति से नहीं, बल्कि उस समय उसके सामने रखे गए सही स्रोत दस्तावेज़ों से देता है। सबसे पहले, प्रश्न से संबंधित दस्तावेज़ का सही टुकड़ा "पुनर्प्राप्ति" है, फिर मॉडल केवल उस टुकड़े के आधार पर उत्तर "उत्पन्न" करता है। इस इकाई में, आप RAG के तर्क को समझेंगे और सीखेंगे कि मॉडल पर कैसे लगाम लगाई जाए ताकि यह केवल आपके द्वारा प्रदान किए गए सत्यापित स्रोत तक ही सीमित रहे।
नोट: यह इकाई आरएजी के कामकाजी तर्क और त्वरित पक्ष को सिखाती है। एंटरप्राइज़-स्केल स्वचालित दस्तावेज़ पुनर्प्राप्ति सिस्टम (वेक्टर डेटाबेस, आदि) को तकनीकी स्थापना की आवश्यकता होती है; यहां अनुशासन उस प्रणाली के लिए सही ढंग से प्रतिक्रिया देने का आधार है।
RAG मतिभ्रम को कम क्यों करता है?
मतिभ्रम तब होता है जब मॉडल अवास्तविक जानकारी उत्पन्न करता है जैसे कि वह वास्तविक हो। मॉडल को ऐसी प्रतिक्रिया उत्पन्न करने के लिए प्रोग्राम किया गया है जो कोई अंतर दिखने पर "संभव" लगती है; पता नहीं यह सच है या नहीं. आरएजी इस अंतर को भरता है: आप मॉडल को प्रश्न के साथ वास्तविक प्रासंगिक पाठ देते हैं और कहते हैं "यहां से केवल उत्तर दें।" इस तरह मॉडल को फिट होने की "आवश्यकता" नहीं है।
इसके तीन घटक हैं:
- ज्ञान का आधार: अक्सर पूछे जाने वाले प्रश्न, नीति दस्तावेज़, उत्पाद मैनुअल, मूल्य सूची जैसे विश्वसनीय पाठ।
- पुनर्प्राप्ति: प्रश्न के उत्तर वाले दस्तावेज़ के टुकड़े को ढूंढना और उसे मॉडल को देना।
- सीमित संस्करण: मॉडल केवल आपूर्ति किए गए हिस्से के आधार पर उद्धरण के साथ प्रतिक्रिया करता है।
कदम दर कदम: स्रोत के प्रति एक वफादार प्रतिक्रिया
- स्रोत तैयार करें. वह पाठ ढूंढें जिस पर प्रतिक्रिया आधारित होगी (नीति, अक्सर पूछे जाने वाले प्रश्न) स्पष्ट और अद्यतित प्रारूप में।
- प्रॉम्प्ट में स्रोत एम्बेड करें. टेक्स्ट को <स्रोत> जैसे टैग में रखें।
- वफादारी नियम लिखें. "केवल स्रोत से प्राप्त जानकारी का उपयोग करें; स्रोत से न भटकें।"
- उद्धरण आवश्यक बनाएं. उसे यह बताने दें कि उत्तर किस अनुभाग पर आधारित है।
- गैर-संसाधन व्यवहार को पहचानें. यदि उत्तर स्रोत में नहीं है, तो उसे यह कहने दें कि "मेरे पास यह जानकारी नहीं है" और इसे आगे बढ़ा दें।
- सत्यापित करें। उत्तर की पुष्टि उस स्रोत वाक्य से तुलना करके करें जिस पर यह आधारित है।
प्रतिलिपि योग्य संकेत
अंतर्निहित स्रोत के आधार पर प्रतिक्रिया संकेत:
भूमिका: आप एक ग्राहक सहायता सहायक हैं। नीचे दिए गए <स्रोत>ब्लॉक में दी गई जानकारी के आधार पर ही प्रश्न का उत्तर दें। ऐसी कोई भी जानकारी न जोड़ें जो आपके सामान्य ज्ञान के स्रोत, अनुमान या उत्तर में न हो। अपने उत्तर के अंत में जिस अनुभाग पर आप भरोसा कर रहे हैं उसे "[स्रोत: ...]" प्रारूप में जोड़ें। यदि उत्तर स्रोत में नहीं है, तो निम्नलिखित लिखें: "मेरे पास इस विषय पर निश्चित जानकारी नहीं है, मैं आपको एक अधिकारी के पास स्थानांतरित कर रहा हूं जो सही उत्तर दे सकता है।"
बहु-स्रोत के मामले में, यह दिखाने का संकेत कि यह किस दस्तावेज़ पर आधारित है:
नीचे अनेक संसाधन क्रमांकित हैं। प्रश्न का उत्तर देते समय, आपके द्वारा उपयोग किए गए स्रोत की संख्या बताएं, जैसे [स्रोत 2]। यदि एक से अधिक स्रोत आपका खंडन करते हैं, तो स्पष्ट रूप से कहें और बताएं कि आपको पूछना चाहिए कि कौन सा अधिक अद्यतित है।<स्रोत>1) {{स्रोत_1 }}2) {{स्रोत_2 }}3) {{स्रोत_3 }}</स्रोत>प्रश्न: {{ ग्राहक_प्रश्न }}
संकेत दें कि गैर-स्रोत प्रश्न को सुरक्षित रूप से प्रबंधित करता है:
यदि प्रश्न का उत्तर आंशिक रूप से स्रोत में पाया गया है: केवल स्रोत द्वारा कवर किए गए भाग का उत्तर दें, और शेष भाग के लिए कहें "यह विवरण स्रोत में नहीं है"। छूटे हुए भाग को अनुमान लगाकर कभी न भरें।
प्रॉम्प्ट जो ग्राहक की भाषा में प्रतिक्रिया का अनुवाद करता है, लेकिन स्रोत के प्रति सच्चा रहता है:
स्रोत में आधिकारिक/तकनीकी अभिव्यक्ति का अनुवाद उस सरल भाषा में करें जिसे ग्राहक समझ सके, लेकिन अर्थ और संख्यात्मक मान (दिन, राशि, दर) न बदलें। उदाहरण के लिए, "14 कैलेंडर दिनों" को "लगभग दो सप्ताह" तक पूर्णांकित करना; पूरा मूल्य रखें.
कमजोर संकेत/मजबूत संकेत
कमजोर संकेत
शक्तिशाली संकेत
"हमें हमारी वापसी नीति के बारे में बताएं"
एम्बेड स्रोत + "केवल यहीं उत्तर दें" + उद्धरण का अनुरोध करें
मॉडल की स्मृति से उत्तर (शायद गलत)
अपने वर्तमान दस्तावेज़ से उत्तर दें
यदि यह स्रोत में नहीं है, तो वह इसे बना देता है
वह कहता है, "मेरे पास यह जानकारी नहीं है" और इसे आगे बढ़ा देता है।
संख्याओं को गोल और विकृत कर सकता है
दिन/राशि/दर को सटीक बनाए रखता है
अंतर यह है कि मजबूत संकेत मॉडल को एक एंकर (स्रोत पाठ) और एक प्रतिबंध (स्रोत से बाहर जाना) देता है। मॉडल अब स्मृति से नहीं, बल्कि उसके सामने मौजूद वास्तविकता से बोलता है।
तीन मिनी मामले
केस 1 - पुरानी नीति का जाल। एक स्टोर के बॉट ने बिना क्रेडिट के चलते हुए कहा, "रिटर्न 30 दिनों के भीतर स्वीकार किए जाते हैं।" हालांकि, कंपनी ने यह अवधि घटाकर 14 दिन कर दी। जब अद्यतन नीति पाठ को RAG इंस्टॉलेशन में स्रोत में जोड़ा जाता है, तो बॉट अब "14 कैलेंडर दिन [स्रोत: रिटर्न पॉलिसी, आलेख 2]" का जवाब देता है। झूठे वादों से उत्पन्न होने वाले रिफंड विवादों को रीसेट कर दिया गया है।
केस 2 - विरोधाभास को पकड़ना। एक ग्राहक ने शिपिंग लागत के बारे में पूछा। पुरानी और नई दोनों मूल्य सूचियाँ स्रोतों के रूप में सिस्टम में दर्ज की गईं। मल्टी-सोर्स प्रॉम्प्ट के लिए धन्यवाद, मॉडल ने कहा, "दो स्रोत अलग-अलग कीमतें देते हैं (49 टीएल और 59 टीएल); मुझे वर्तमान की पुष्टि करने की आवश्यकता है" और समस्या को मानव तक पहुंचाया। ग्राहक को गलत राशि बताने के बजाय, उन्होंने ईमानदारी से अनिश्चितता के बारे में बताया।
केस 3 - आंशिक प्रतिक्रिया अनुशासन। "क्या आप उत्पाद को विदेश भेजते हैं और सीमा शुल्क का भुगतान कौन करता है?" सवाल में सूत्र ने सिर्फ इतना कहा कि शिपमेंट किया गया था, टैक्स किसने चुकाया, इसके बारे में कुछ नहीं बताया गया. मॉडल ने कहा, "हां, शिपिंग विदेश में की जाती है [स्रोत: कार्गो एफएक्यू]। हालांकि, इस दस्तावेज़ में यह नहीं बताया गया है कि सीमा शुल्क का भुगतान कौन करता है; मैं इसे स्पष्ट करने के लिए आपको अधिकारी के पास स्थानांतरित कर रहा हूं।" आधे-सच्चे, आधे-मनगढ़ंत उत्तर के बजाय, इसने एक ईमानदार और आत्मविश्वासपूर्ण परिणाम दिया।
युक्ति: अपने ज्ञानकोष का नवीनतम और सत्य संस्करण का एकल स्रोत रखें। तीन अलग-अलग दस्तावेज़ों में एक ही जानकारी (जैसे रिटर्न अवधि) को अलग-अलग तरीके से लिखा जाना आरएजी का सबसे बड़ा दुश्मन है; मॉडल इस बात पर निर्भर करता है कि वह किसे देखता है, अलग-अलग प्रतिक्रिया देता है। पहले अपने दस्तावेज़ों की प्रतिलिपि बनाएँ, फिर उन्हें स्वचालित करें।
सत्यापन: केवल इसलिए आराम न करें क्योंकि स्रोत मौजूद है
आरएजी मतिभ्रम को बहुत कम कर देता है लेकिन इसे रीसेट नहीं करता है। मॉडल कभी-कभी स्रोत की गलत व्याख्या कर सकता है, दो वाक्यों को मिला सकता है, या ऐसा "निष्कर्ष" निकाल सकता है जो स्रोत में नहीं है। इसीलिए उद्धरण की आवश्यकता महत्वपूर्ण है: उस अनुभाग को खोलें जिस पर उत्तर आधारित होने का दावा करता है और जांचें कि क्या यह वास्तव में ऐसा कहता है। यह नियंत्रण गैर-परक्राम्य है, विशेषकर संख्याओं (दिन, राशि, दर) और शर्तों (अपवाद, स्थिति) वाली प्रतिक्रियाओं में।
सावधानी: यदि स्रोत स्वयं गलत या पुराना है, तो आरएजी ईमानदारी से उस गलती को दोहराता है। "मॉडल स्रोत से बोलता है" कहने का मतलब यह नहीं है कि "मॉडल सही ढंग से बोलता है"; आप अपने स्रोत की मुद्रा और सटीकता के लिए ज़िम्मेदार हैं।
प्रतिक्रिया के लिए ज्ञानकोष को तैयार रखना
RAG की गुणवत्ता काफी हद तक इस बात पर निर्भर करती है कि स्रोत पाठ कैसे लिखा गया है। मॉडल अच्छी तरह से संरचित, शीर्षक वाले, एकल-विषय पाठ की तुलना में अधिक सटीक प्रतिक्रिया देता है। व्यावहारिक सलाह: अपनी नीतियों को लंबे, नेस्टेड पैराग्राफों के बजाय संक्षिप्त, शीर्षक वाले अनुभागों में लिखें; प्रत्येक अनुभाग को एक ही प्रश्न का उत्तर देने दें ("वापसी की अवधि कितने दिन है?", "कौन से उत्पाद वापस नहीं किए जा सकते?")। अक्सर पूछे जाने वाले प्रश्नों (एफएक्यू) को प्रश्न-उत्तर प्रारूप में रखने से मॉडल के लिए सही भाग ढूंढना आसान हो जाता है। दिनांक, राशि और दर जैसे मूल्यों को स्पष्ट रूप से और पाठ के भीतर एक ही स्थान पर बताएं; एक ही संख्या को अलग-अलग अनुभागों में अलग-अलग लिखने से मॉडल भ्रमित हो जाता है।
एक और महत्वपूर्ण आदत है ज्ञान के भंडार को जीवित रखना। नीतियां, कीमतें और प्रमोशन अलग-अलग होते हैं; यदि स्रोत अद्यतन नहीं है, तो मॉडल पुराने सत्य को सुरक्षित रूप से दोहराता रहता है। प्रत्येक नीति परिवर्तन के साथ, स्रोत को अपडेट करें और मॉडल से बदले हुए विषय के बारे में कुछ परीक्षण प्रश्न दोबारा पूछें ताकि यह पुष्टि हो सके कि यह सही उत्तर देता है। यह छोटा लेकिन नियमित रखरखाव आरएजी प्रणाली को समय के साथ "चुपचाप गलत होने" से रोकता है।
सामान्य गलतियां
- स्रोत को दफनाए बिना और मॉडल के स्मरण पर भरोसा किए बिना "हमारी नीति समझाएं" कहना।
- "केवल स्रोत से उत्तर" सीमा और गैर-स्रोत व्यवहार को परिभाषित नहीं करना।
- किसी उद्धरण/स्रोत संदर्भ का अनुरोध न करना और उत्तर को अप्राप्य छोड़ देना।
- नॉलेज बेस में कई दस्तावेज़ों में एक ही जानकारी के परस्पर विरोधी संस्करण रखना।
- मॉडल को संख्यात्मक मानों को पूर्णांकित/व्याख्या करने की अनुमति देना।
- स्रोत को अद्यतन करना भूल जाना, जिसके कारण मॉडल ईमानदारी से पुरानी जानकारी को दोहराता है।
संक्षेप में
- RAG का अर्थ है कि मॉडल अपना उत्तर मेमोरी के बजाय वर्तमान स्रोत दस्तावेज़ से तैयार करता है।
- मतिभ्रम को कम करने का सबसे व्यावहारिक तरीका: स्रोत को दफना दें, कहें "केवल यहां उत्तर दें", उद्धरण के लिए पूछें।
- यदि उत्तर स्रोत में नहीं है, तो किसी मॉडल में फिट नहीं होना चाहिए; उसे कहना चाहिए "मेरे पास यह नहीं है" और इसे सौंप देना चाहिए।
- मॉडल को परस्पर विरोधी स्रोतों से अवगत कराएं; आपने संख्यात्मक मानों को सटीक रूप से संरक्षित किया है।
- आरएजी सटीकता आपके स्रोत की समयबद्धता पर निर्भर करती है; हमेशा उद्धरण की पुष्टि करें.
आवेदन कार्य
अपने स्वयं के व्यवसाय से एक वास्तविक नीति पाठ (रिटर्न, शिपिंग, या सदस्यता) लें और इसे ऊपर दिए गए मूल आरएजी प्रॉम्प्ट में एक स्रोत के रूप में एम्बेड करें। फिर तीन प्रश्न पूछें: (1) एक प्रश्न जिसका उत्तर स्रोत में स्पष्ट है, (2) एक प्रश्न जिसका उत्तर स्रोत में बिल्कुल भी नहीं है, (3) एक प्रश्न जिसका उत्तर स्रोत में केवल अधूरा है। सत्यापित करें कि मॉडल सही उत्तर देता है, कहता है "मेरे पास नहीं है," और ईमानदारी से क्रमशः आंशिक उत्तर और गायब उत्तर को चिह्नित करता है। प्रॉम्प्ट में निष्ठा और गैर-संसाधन नियमों को मजबूत करके विचलित व्यवहार को ठीक करें।
चेकलिस्ट
- [ ] मैंने वर्तमान स्रोत को एम्बेड किया है जिस पर प्रतिक्रिया प्रॉम्प्ट में आधारित होगी।
- [ ] मैंने "केवल स्रोत से उत्तर दें, इससे आगे न जाएं" नियम जोड़ा।
- [ ] मैंने एक स्रोत संदर्भ/उद्धरण आवश्यकता रखी है।
- [ ] यदि स्रोत में उत्तर उपलब्ध नहीं है तो मैंने प्रतिनिधिमंडल व्यवहार को परिभाषित किया है।
- [ ] मैं चाहता था कि संख्यात्मक मानों को सटीक रूप से संरक्षित रखा जाए।
- [ ] मैंने उस स्रोत वाक्य से उत्तर की पुष्टि की जिस पर यह आधारित है।