लाभ:
- मतिभ्रम के कारणों और ग्राउंडिंग की भूमिका की व्याख्या करें
- ऐसी तकनीकों को लागू करना जो मॉडल को 'मुझे नहीं पता' कहने पर मजबूर कर देती है यदि यह संदर्भ में नहीं है
- प्रतिक्रियाओं में सत्यापन योग्य स्रोत/उद्धरण जोड़कर विश्वास और लेखापरीक्षा सुनिश्चित करना
किसी भाषा मॉडल का सबसे खतरनाक व्यवहार किसी ऐसी बात को बनाना है जिसे वह नहीं जानता है, उसे आत्मविश्वासपूर्ण और प्रेरक लहजे में बनाना। इसे मतिभ्रम कहा जाता है। कॉर्पोरेट सहायक में मतिभ्रम न केवल कष्टप्रद है, बल्कि यह सर्वथा जोखिम भरा है: गलत दिन की छुट्टी, गलत कीमत, गलत कानूनी पदार्थ वास्तव में किसी कर्मचारी या ग्राहक को नुकसान पहुंचा सकते हैं। इस इकाई में, हम चर्चा करेंगे कि मतिभ्रम क्यों होता है, आरएजी में उन्हें कैसे कम किया जाए, और उत्तर को सत्यापन योग्य कैसे बनाया जाए।
मतिभ्रम का क्या कारण है?
मॉडल को अगला सबसे संभावित शब्द उत्पन्न करने के लिए प्रशिक्षित किया जाता है; "सच बोलें" नहीं, बल्कि "धाराप्रवाह और उचित पाठ तैयार करें"। यदि जानकारी गायब है, तो यह उस अंतर को सांख्यिकीय रूप से प्रशंसनीय लेकिन तथ्यात्मक रूप से गलत किसी चीज़ से भर सकती है। तीन विशिष्ट ट्रिगर:
- संदर्भ में कोई जवाब नहीं है, लेकिन मॉडल फिर भी कुछ कहने के लिए मजबूर महसूस करती है।
- संदर्भ विरोधाभासी या अपर्याप्त है; मॉडल भविष्यवाणी के साथ अंतर को बंद कर देता है।
- प्रश्न संदर्भ से परे है; मॉडल अपने सामान्य (और संभवतः पुराने) ज्ञान पर लौट आता है।
आरएजी मतिभ्रम को कम करता है क्योंकि यह मॉडल को एक वास्तविक स्रोत देता है - लेकिन यह इसे रीसेट नहीं करता है। यदि आप गलत भाग लाते हैं या "अंतर को भरने की स्वतंत्रता" मॉडल छोड़ते हैं, तो आरएजी वाला सिस्टम भी इसे फिट कर सकता है।
मतिभ्रम का प्रकार
लक्षण
मूल कारण
समाधान परत
पुनर्प्राप्ति से उत्पन्न
सही उत्तर दस्तावेज़ में है लेकिन वह नहीं आया
गलत/गायब भाग वितरित किया गया
चंकिंग, हाइब्रिड, री-रैंकिंग (यूनिट 3-4)
पीढ़ी का स्रोत
सही भाग आया लेकिन उत्तर गलत है/जोड़ा जाना चाहिए
मॉडल ने भविष्यवाणी के साथ अंतर को भर दिया
ग्राउंडिंग, "मुझे नहीं पता" अनुमति, कम रचनात्मकता
उद्धरण स्रोत
उत्तर सही है लेकिन स्रोत गलत है
मॉडल ने गलत भाग का उल्लेख किया
उद्धरण सत्यापन (इकाई 8 देखें)
संकेत: मतिभ्रम को दो भागों में विभाजित करें। पुनर्प्राप्ति से स्रोत: गलत/गायब भाग आ गया (समाधान: पुनर्प्राप्ति में सुधार)। जनरेशन स्रोत: सही भाग आ गया, लेकिन मॉडल ने इसे गलत तरीके से पढ़ा/जोड़ा (समाधान: शीघ्र और ग्राउंडिंग)। आप इसे तब तक ठीक नहीं कर सकते जब तक आप यह नहीं जानते कि यह कौन सा है।
ग्राउंडिंग: संदर्भ में उत्तर देना
ग्राउंडिंग मॉडल को बताने की सभी तकनीकों को दिया गया नाम है "बस मैं आपको जो पाठ देता हूं उस पर भरोसा करें, उससे आगे न जाएं।" उनकी सबसे बुनियादी और सबसे प्रभावी तकनीक: मॉडल को स्पष्ट रूप से 'मुझे नहीं पता' कहने की अनुमति देना। मॉडल, मानव की तरह, यह कहने में झिझकती है कि "मुझे नहीं पता"; आपको उसे ऐसा करने की स्पष्ट अनुमति देनी होगी।
केवल नीचे दिए गए संदर्भ के आधार पर उत्तर दें। यदि उत्तर संदर्भ में स्पष्ट रूप से नहीं है, तो बिल्कुल यह लिखें: "मुझे दस्तावेज़ में इस पर पर्याप्त जानकारी नहीं मिली।" कोई भी संख्या, दिनांक या नाम शामिल न करें जो संदर्भ में नहीं है। अनुमान मत लगाओ.
अतिरिक्त ग्राउंडिंग तकनीकें:
- उद्धरण आवश्यकता: प्रत्येक दावे से पहले, संदर्भ को शब्दशः उद्धृत करें ("दस्तावेज़ कहता है: '...'")। मॉडल के लिए मनगढ़ंत उद्धरण तैयार करना अधिक कठिन है।
- कम तापमान: तापमान (तापमान, रचनात्मकता/यादृच्छिक सेटिंग) कम होना चाहिए। नोट: कुछ मौजूदा मॉडलों में यह पैरामीटर हटा दिया गया है; उनमें, आप एक प्रॉम्प्ट के साथ ग्राउंडिंग प्रदान करते हैं। उच्च रचनात्मकता कॉर्पोरेट अखंडता की दुश्मन है।
- दायरा सीमा: "केवल सहमति नीति संबंधी मुद्दों पर प्रतिक्रिया दें; बाहर निकलने से विनम्रतापूर्वक इनकार करें।"
उद्धरण
मतिभ्रम के विरुद्ध सबसे मजबूत प्रणालीगत बचाव उत्तर को सत्यापन योग्य बनाना है। यदि उपयोगकर्ता देख सकता है कि उत्तर किस दस्तावेज़ पर आधारित है: (1) वह स्वयं गलती पकड़ सकता है, (2) ऑडिट संभव हो जाता है, (3) विश्वास बढ़ता है, और (4) मॉडल इस जागरूकता के साथ अधिक सावधानी से उत्पादन करता है कि "मुझे स्रोत का हवाला देना होगा"।
दो सामान्य दृष्टिकोण:
इनलाइन एट्रिब्यूशन: प्रत्येक दावे के आगे स्रोत टैग। "वार्षिक छुट्टी 14 दिन की है [1]।" नीचे [1] का पूरा दस्तावेज़ है।
संरचित आउटपुट: मॉडल को अलग-अलग फ़ील्ड में उत्तर और स्रोत सूची तैयार करने के लिए कहना; इंटरफ़ेस में संसाधनों को क्लिक करने योग्य लिंक के रूप में दिखाना।
# मॉडल (वैचारिक) के आधार पर एक संरचित उत्तर तैयार करना निम्नलिखित संरचना में अपना उत्तर दें:- उत्तर: <संदर्भ-आधारित उत्तर>- स्रोत: [{"part_no": 1, "फ़ाइल": "...", "अनुभाग": "..."}]- विश्वास: <उच्च|मध्यम|निम्न> # संदर्भ कितनी स्पष्टता से इसका समर्थन करता है? यदि संदर्भ उत्तर का समर्थन नहीं करता है, तो उत्तर क्षेत्र में "कोई जानकारी नहीं मिली" लिखें और स्रोतों को खाली छोड़ दें।
उद्धरण के वास्तव में काम करने के लिए, यह सत्यापित करना आवश्यक है कि एट्रिब्यूशन सही है। मॉडल कभी-कभी सही उत्तर दे सकता है लेकिन स्रोत गलत दे सकता है। उन्नत सिस्टम स्वचालित रूप से जांच करते हैं कि उत्पादित प्रत्येक दावा वास्तव में उस हिस्से में समर्थित है जिसे वह इंगित करता है (अगली इकाई में "वफादारी" माप)।
कमजोर/मजबूत: मतिभ्रम के विरुद्ध संकेत
कमज़ोर (रिक्त स्थान भरने के लिए निमंत्रण):
आपके पास मौजूद जानकारी के साथ प्रश्न का यथासंभव सर्वोत्तम उत्तर दें: {संदर्भ} प्रश्न: {प्रश्न}# मॉडल के लिए "जितना संभव हो सके" का अर्थ है "अनुमान लगाएं कि क्या आप नहीं जानते हैं"।
मजबूत (ग्राउंडिंग + अनुमति नहीं पता + स्रोत + विश्वास):
बस CONTEXT पर भरोसा करें. अन्यथा, कहें "मुझे कोई जानकारी नहीं मिली"; संख्या/दिनांक/नाम बनाएं। प्रत्येक दावे में [एन] स्रोत संख्या जोड़ें। संदर्भ द्वारा समर्थित विश्वास के स्तर को निर्दिष्ट करें। संदर्भ: [1]... [2]... प्रश्न: {प्रश्न}
तीन मिनी मामले
केस 1 - बना-बनाया आइटम नंबर। एक पैरालीगल ने एक "अनुच्छेद 17/बी" बयान बनाया जो संदर्भ से बाहर था और कर्मचारी को गलत जानकारी दी। जब निर्देश "कोई लेख संख्या न दें जो संदर्भ में नहीं है, अन्यथा कहें कि मुझे नहीं पता" + उद्धरण देने की बाध्यता जोड़ी गई, तो 40 उदाहरणों में मनगढ़ंत लेखों के मामले 11 से घटकर 0 हो गए।
केस 2 - सही उत्तर, गलत स्रोत। एक सहायता सहायक ने वापसी की सही अवधि बताई लेकिन गलत लेख का हवाला दिया; जब ग्राहक ने लिंक पर क्लिक किया तो एक अप्रासंगिक पेज खुल गया। जब उद्धरण सत्यापन (यह जांचना कि दावा उद्धृत अंश में दिखाई देता है) जोड़ा गया, तो गलत उद्धरण दर 23% से गिरकर 2% हो गई।
केस 3 - "मुझे नहीं पता" अनुमति नहीं दी गई। एक मानव संसाधन सहायक ने एक प्रश्न का प्रशंसनीय लेकिन गलत उत्तर दिया था जो दस्तावेज़ में नहीं था। जब स्पष्ट "मुझे नहीं पता" सहमति और पूर्ण पाठ ("मुझे दस्तावेज़ में इसके बारे में जानकारी नहीं मिली") को संकेत में जोड़ा गया, तो मनगढ़ंत के बजाय बिना उत्तर वाले प्रश्नों के लिए ईमानदार अस्वीकृति दर 8% से बढ़कर 95% हो गई।
सामान्य गलतियाँ
- "मुझे नहीं पता" की अनुमति नहीं: मॉडल निर्माण के साथ अंतर को भरता है।
- रचनात्मकता को ऊंचा रखना: यादृच्छिकता कॉर्पोरेट अखंडता के लिए हानिकारक है।
- स्रोत की पुष्टि किए बिना उस पर भरोसा करना: मॉडल सही उत्तर के साथ गलत स्रोत जोड़ सकता है।
- दो प्रकार के मतिभ्रम के बीच अंतर न करना: आप यह जाने बिना कि यह पुनर्प्राप्ति या पीढ़ी के कारण है, गलत जगह को सही कर देते हैं।
- सौंदर्य प्रसाधन के लिए उद्धरण को गलत समझना: स्रोत का उद्धरण पुष्टि और निवारक दोनों है; इसे गंभीरता से लें.
सावधानी: "मॉडल बहुत आश्वस्त दिखता है" और "मॉडल सही है" के समान नहीं है। मतिभ्रम आम तौर पर सबसे धाराप्रवाह और आत्मविश्वासपूर्ण वाक्य होते हैं। ट्रस्ट को उस स्रोत से पढ़ें जो वह इंगित करता है, वाक्य के लहजे से नहीं।
सारांश
- मतिभ्रम तब होता है जब मॉडल सूचना के अंतर को प्रशंसनीय लेकिन गलत पाठ से भर देता है; RAG कम हो जाता है लेकिन रीसेट नहीं होता।
- मतिभ्रम पुनर्प्राप्ति (गलत भाग) या पीढ़ी (गलत पढ़ने) के कारण हो सकता है; पहले कौन सा निर्धारित करें.
- ग्राउंडिंग की सबसे शक्तिशाली तकनीक मॉडल को स्पष्ट रूप से "मुझे नहीं पता" अनुमति देना है; उद्धरण की आवश्यकता और कम रचनात्मकता भी।
- उद्धरण उत्तर को सत्यापन योग्य बनाता है; यह दोनों आत्मविश्वास देता है और मॉडल को सावधानीपूर्वक तैयार करने के लिए प्रेरित करता है।
- उद्धरण की सटीकता की भी जाँच की जानी चाहिए; सही उत्तर के साथ गलत स्रोत भी जुड़ा हो सकता है।
आवेदन कार्य
(1) अपने सहायक से पूछने के लिए 4 प्रश्न तैयार करें, जिनके उत्तर दस्तावेज़ों (ट्रैप प्रश्न) में नहीं हैं। कमजोर और मजबूत संकेत के साथ प्रत्येक का परीक्षण करें और चिह्नित करें कि मॉडल फिट बैठता है या नहीं। (2) उन 4 प्रश्नों के लिए जिनके उत्तर दस्तावेज़ में हैं, मॉडल से वेल्ड संख्या उत्पन्न करें और मैन्युअल रूप से सत्यापित करें कि जो वेल्ड दिखाता है वह वास्तव में सही हिस्सा है या नहीं। (3) जांचें कि क्या मॉडल कम से कम एक मामले में "सही उत्तर, गलत स्रोत" देता है और एक वाक्य में लिखें कि आप इसे स्वचालित रूप से कैसे पकड़ सकते हैं।
जांच सूची
- [ ] मैं बता सकता हूं कि मतिभ्रम क्यों हो रहा है और आरएजी इसे कम करता है लेकिन इसे रीसेट नहीं करता है।
- [ ] मैं पुनर्प्राप्ति और पीढ़ी-प्रेरित मतिभ्रम के बीच अंतर कर सकता हूं और सही स्थान को सही कर सकता हूं।
- [ ] मैं प्रॉम्प्ट में स्पष्ट "मुझे नहीं पता" अनुमति और ग्राउंडिंग नियम जोड़ रहा हूं।
- [ ] मैं उत्तर में एक सत्यापन योग्य स्रोत (उद्धरण) जोड़ रहा हूं।
- [ ] मैं एट्रिब्यूशन की सटीकता की और जांच करने की आवश्यकता को समझता हूं।