नफा:
- भ्रमाची कारणे आणि ग्राउंडिंगची भूमिका स्पष्ट करा
- मॉडेल संदर्भात नसल्यास 'मला माहित नाही' असे म्हणणारी तंत्रे वापरणे
- प्रतिसादांमध्ये पडताळणीयोग्य स्रोत/उद्धरण जोडून विश्वास आणि लेखापरीक्षणक्षमता सुनिश्चित करणे
भाषेच्या मॉडेलचे सर्वात धोकादायक वर्तन म्हणजे त्याला माहित नसलेली एखादी गोष्ट आत्मविश्वासाने आणि मन वळवण्याच्या स्वरात बनवणे. याला मतिभ्रम म्हणतात. कॉर्पोरेट असिस्टंटमध्ये भ्रमनिरास करणे केवळ त्रासदायक नाही, ते अगदी धोकादायक आहे: चुकीचा दिवस, चुकीची किंमत, चुकीचे कायदेशीर पदार्थ खरोखर कर्मचारी किंवा ग्राहकाला हानी पोहोचवू शकतात. या युनिटमध्ये, आभास का होतो, ते RAG मध्ये कसे कमी करावे, आणि उत्तर तपासण्यायोग्य कसे बनवायचे ते आम्ही समाविष्ट करतो.
भ्रम कशामुळे होतो?
मॉडेलला पुढील संभाव्य शब्द तयार करण्यासाठी प्रशिक्षित केले जाते; "सत्य सांगा" नाही तर "अस्खलित आणि वाजवी मजकूर तयार करा". माहिती गहाळ असल्यास, ती सांख्यिकीयदृष्ट्या प्रशंसनीय परंतु वस्तुस्थितीनुसार चुकीची अंतर भरू शकते. तीन ठराविक ट्रिगर:
- संदर्भात उत्तर नाही, परंतु मॉडेलला तरीही काहीतरी सांगणे भाग पडते.
- संदर्भ परस्परविरोधी किंवा अपुरा आहे; मॉडेल अंदाजासह अंतर बंद करते.
- प्रश्न संदर्भाच्या पलीकडे जातो; मॉडेल स्वतःच्या सामान्य (आणि शक्यतो कालबाह्य) ज्ञानाकडे परत येते.
RAG भ्रम कमी करते कारण ते मॉडेलला एक वास्तविक स्त्रोत देते — परंतु ते ते रीसेट करत नाही. आपण चुकीचा भाग आणल्यास किंवा "अंतर भरण्याचे स्वातंत्र्य" मॉडेल सोडल्यास, RAG सह सिस्टम देखील त्यास फिट करू शकते.
भ्रमाचा प्रकार
लक्षण
मूळ कारण
समाधान थर
पुनर्प्राप्ती पासून उद्भवणारे
योग्य उत्तर दस्तऐवजात आहे परंतु ते आले नाही
चुकीचा/गहाळ भाग वितरित केला
चंकिंग, हायब्रिड, री-रँकिंग (युनिट 3-4)
पिढी स्रोत
योग्य भाग आला आहे परंतु उत्तर चुकीचे आहे/जोडणे आवश्यक आहे
मॉडेलने अंदाजाने अंतर भरले
ग्राउंडिंग, "मला माहित नाही" परवानगी, कमी सर्जनशीलता
उद्धरण स्त्रोत
उत्तर बरोबर आहे पण स्त्रोत चुकीचा आहे
मॉडेल चुकीचा भाग संदर्भित
उद्धरण पडताळणी (एकक 8 पहा)
सूचना: भ्रम दोन भागांमध्ये विभाजित करा. पुनर्प्राप्तीमधून स्त्रोत: चुकीचा/गहाळ भाग आला (उपाय: पुनर्प्राप्ती सुधारणे). जनरेशन स्रोत: योग्य भाग आला, परंतु मॉडेलने तो चुकीचा वाचला/जोडला (समाधान: प्रॉम्प्ट आणि ग्राउंडिंग). तो कोणता आहे हे कळल्याशिवाय तुम्ही त्याचे निराकरण करू शकत नाही.
ग्राउंडिंग: संदर्भातील उत्तराला खिळे ठोकणे
ग्राउंडिंग हे मॉडेलला सांगण्याच्या सर्व तंत्रांना दिलेले नाव आहे "फक्त मी तुम्हाला देत असलेल्या मजकुरावर अवलंबून राहा, त्यापलीकडे जाऊ नका." त्याचे सर्वात मूलभूत आणि सर्वात प्रभावी तंत्र: मॉडेलला स्पष्टपणे 'मला माहित नाही' म्हणण्याची परवानगी देणे. मॉडेल, मानवाप्रमाणे, "मला माहित नाही" म्हणण्यास संकोच करते; हे करण्यासाठी तुम्ही त्याला स्पष्ट परवानगी दिली पाहिजे.
फक्त खालील CONTEXT वर आधारित उत्तर द्या. संदर्भात उत्तर स्पष्टपणे नसल्यास, हे नक्की लिहा: "मला दस्तऐवजीकरणात याबद्दल पुरेशी माहिती सापडली नाही." संदर्भात नसलेली कोणतीही संख्या, तारखा किंवा नावे समाविष्ट करू नका. अंदाज लावू नका.
अतिरिक्त ग्राउंडिंग तंत्रः
- अवतरण आवश्यकता: प्रत्येक दाव्यापूर्वी, संदर्भ शब्दशः उद्धृत करा (“दस्तऐवज म्हणते: '...'”). फॅब्रिकेटेड कोट्स तयार करणे मॉडेलसाठी अधिक कठीण आहे.
- कमी तापमान: तापमान (तापमान, सर्जनशीलता/यादृच्छिक सेटिंग) कमी असावे. टीप: काही वर्तमान मॉडेल्समध्ये हे पॅरामीटर काढले गेले आहे; त्यामध्ये, तुम्ही प्रॉम्प्टसह ग्राउंडिंग प्रदान करता. उच्च सर्जनशीलता कॉर्पोरेट अखंडतेचा शत्रू आहे.
- व्याप्ती मर्यादा: "केवळ संमती धोरण समस्यांना प्रतिसाद द्या; निवड रद्द करण्यास नम्रपणे नकार द्या."
उद्धरण
मतिभ्रमंविरूद्ध सर्वात मजबूत प्रणालीगत संरक्षण म्हणजे उत्तर सत्यापित करणे. जर वापरकर्त्याने उत्तर कोणत्या दस्तऐवजावर आधारित आहे ते पाहू शकत असल्यास: (1) तो स्वतः चूक पकडू शकतो, (2) ऑडिट शक्य होते, (3) विश्वास वाढतो आणि (4) "मला स्त्रोत उद्धृत करणे आवश्यक आहे" या जागरूकतेने मॉडेल अधिक सावधपणे तयार करते.
दोन सामान्य पध्दती:
इनलाइन विशेषता: प्रत्येक दाव्याच्या पुढे स्रोत टॅग. "वार्षिक रजा १४ दिवसांची आहे [१]." खाली [१] चे संपूर्ण दस्तऐवजीकरण आहे.
स्ट्रक्चर्ड आउटपुट: मॉडेलला उत्तर आणि स्त्रोत सूची स्वतंत्र फील्डमध्ये तयार करण्यास सांगणे; इंटरफेसमध्ये क्लिक करण्यायोग्य लिंक्स म्हणून संसाधने दाखवत आहे.
# मॉडेलवर आधारित संरचित उत्तर तयार करणे (वैचारिक) तुमचे उत्तर खालील संरचनेत द्या:- उत्तर: <संदर्भ-आधारित उत्तर>- स्त्रोत: [{"भाग_no": 1, "फाइल": "...", "विभाग": "..."}]- विश्वास: <high|medium|low> # संदर्भ किती स्पष्टपणे समर्थन करतो? संदर्भ उत्तरास समर्थन देत नसल्यास, उत्तर फील्डमध्ये "माहिती सापडली नाही" असे लिहा आणि स्त्रोत रिक्त सोडा.
उद्धरण खरोखर कार्य करण्यासाठी, विशेषता योग्य असल्याचे सत्यापित करणे आवश्यक आहे. मॉडेल कधीकधी योग्य उत्तर देऊ शकते परंतु चुकीचा स्त्रोत देऊ शकते. प्रगत प्रणाली आपोआप तपासतात की उत्पादित केलेला प्रत्येक दावा तो दर्शवित असलेल्या भागामध्ये (पुढील युनिटमधील "विश्वासूपणा" मोजमाप) प्रत्यक्षात समर्थित आहे.
कमकुवत/सशक्त: भ्रम विरुद्ध त्वरित
कमकुवत (रिक्त भरण्यासाठी आमंत्रण):
तुमच्याकडे असलेल्या माहितीसह प्रश्नाचे उत्तर द्या: {संदर्भ} प्रश्न: {प्रश्न}# "तुम्ही शक्य तितके सर्वोत्तम" म्हणजे मॉडेलसाठी "तुम्हाला माहित नसल्यास अंदाज करा".
मजबूत (ग्राउंडिंग + परवानगी माहित नाही + स्त्रोत + विश्वास):
फक्त CONTEXT वर अवलंबून रहा. अन्यथा, "मला कोणतीही माहिती सापडली नाही" असे म्हणा; क्रमांक/तारीख/नाव तयार करा.प्रत्येक दाव्याला [n] स्त्रोत क्रमांक जोडा. संदर्भाद्वारे समर्थित विश्वासाची पातळी निर्दिष्ट करा. CONTEXT: [1]... [2]... प्रश्न: {प्रश्न}
तीन मिनी केसेस
केस 1 - मेड-अप आयटम नंबर. एका पॅरालीगलने "कलम 17/B" विधान केले जे संदर्भाबाहेर होते आणि कर्मचाऱ्याला खोटी माहिती दिली. "संदर्भात नसलेला लेख क्रमांक देऊ नका, अन्यथा मला माहीत नाही असे म्हणा" + उद्धृत करण्याचे बंधन जोडले गेल्यावर, 40 उदाहरणांमध्ये बनावट लेखांची प्रकरणे 11 वरून 0 पर्यंत कमी झाली.
केस 2 - बरोबर उत्तर, चुकीचा स्त्रोत. एका समर्थन सहाय्यकाने योग्य रिटर्न कालावधी सांगितला परंतु चुकीचा लेख उद्धृत केला; जेव्हा ग्राहकाने लिंकवर क्लिक केले तेव्हा एक असंबद्ध पृष्ठ उघडले. जेव्हा उद्धरण पडताळणी (उद्धृत केलेल्या तुकड्यात दावा दिसतो की नाही हे तपासणे) जोडले गेले तेव्हा खोटे-उद्धरण दर 23% वरून 2% पर्यंत घसरला.
प्रकरण 3 - "मला माहित नाही" परवानगी दिली गेली नाही. एका एचआर सहाय्यकाने कागदपत्रात नसलेल्या प्रश्नाचे प्रशंसनीय परंतु चुकीचे उत्तर दिले होते. जेव्हा स्पष्टपणे "मला माहित नाही" संमती आणि पूर्ण मजकूर ("मला दस्तऐवजीकरणात याबद्दल माहिती सापडली नाही") जोडले गेले तेव्हा, बनावट न करता उत्तर नसलेल्या प्रश्नांसाठी प्रामाणिकपणे नकार दर 8% वरून 95% पर्यंत वाढला.
सामान्य चुका
- "मला माहित नाही" परवानगी देत नाही: मॉडेल फॅब्रिकेशनसह अंतर भरते.
- सर्जनशीलता उच्च ठेवणे: यादृच्छिकता कॉर्पोरेट अखंडतेसाठी हानिकारक आहे.
- त्याची पडताळणी न करता स्त्रोतावर विश्वास ठेवणे: मॉडेल योग्य उत्तरास चुकीचा स्त्रोत संलग्न करू शकते.
- दोन प्रकारच्या भ्रमांमध्ये फरक न करणे: आपण चुकीची जागा पुनर्प्राप्ती किंवा पिढीमुळे होते हे जाणून घेतल्याशिवाय दुरुस्त करता.
- सौंदर्यप्रसाधनांसाठी चुकीचे उद्धरण: स्त्रोताचे उद्धरण पुष्टीकरण आणि प्रतिबंधक दोन्ही आहे; गांभीर्याने घ्या.
खबरदारी: "मॉडेल खूप आत्मविश्वासपूर्ण दिसत आहे" हे "मॉडेल बरोबर आहे" सारखे नाही. मतिभ्रम ही साधारणपणे सर्वात अस्खलित आणि आत्मविश्वासपूर्ण वाक्ये असतात. वाक्याच्या टोनवरून नव्हे तर ते सूचित केलेल्या स्त्रोतावरून विश्वास वाचा.
सारांशात
- जेव्हा मॉडेल प्रशंसनीय परंतु खोट्या मजकुराने माहितीतील अंतर भरते तेव्हा भ्रम आहे; RAG कमी होतो पण रीसेट होत नाही.
- भ्रम पुन्हा मिळवणे (चुकीचा भाग) किंवा पिढी (चुकीचे वाचन) यामुळे होऊ शकते; प्रथम कोणते ते ठरवा.
- ग्राउंडिंगचे सर्वात शक्तिशाली तंत्र म्हणजे मॉडेलला स्पष्टपणे "मला माहित नाही" परवानगी देणे; तसेच उद्धरण आवश्यकता आणि कमी सर्जनशीलता.
- उद्धरण उत्तर सत्यापित करते; हे दोन्ही आत्मविश्वास देते आणि मॉडेलला सावधपणे तयार करण्यास प्रवृत्त करते.
- उद्धरणाची अचूकता देखील तपासली पाहिजे; चुकीचा स्त्रोत योग्य उत्तराशी संलग्न केला जाऊ शकतो.
अर्ज कार्य
(1) तुमच्या सहाय्यकाला विचारण्यासाठी 4 प्रश्न तयार करा, ज्यांची उत्तरे कागदपत्रांमध्ये नाहीत (ट्रॅप प्रश्न). कमकुवत आणि मजबूत प्रॉम्प्टसह प्रत्येकाची चाचणी करा आणि मॉडेल फिट आहे की नाही हे चिन्हांकित करा. (2) 4 प्रश्नांसाठी ज्यांची उत्तरे दस्तऐवजात आहेत, मॉडेलला वेल्ड नंबर तयार करण्यास सांगा आणि ते दर्शविते वेल्ड खरोखर योग्य भाग आहे की नाही हे स्वतः सत्यापित करा. (३) मॉडेल किमान एका प्रकरणात "योग्य उत्तर, चुकीचा स्त्रोत" देते का ते तपासा आणि एका वाक्यात लिहा की तुम्ही हे आपोआप कसे पकडू शकता.
चेकलिस्ट
- [ ] मी सांगू शकतो की भ्रम का होत आहे आणि RAG ते कमी करते परंतु ते रीसेट करत नाही.
- [ ] मी पुनर्प्राप्ती आणि पिढी-प्रेरित भ्रम यांच्यात फरक करू शकतो आणि योग्य जागा दुरुस्त करू शकतो.
- [ ] मी प्रॉम्प्टमध्ये स्पष्ट "मला माहित नाही" परवानगी आणि ग्राउंडिंग नियम जोडत आहे.
- मी उत्तरामध्ये एक पडताळणीयोग्य स्रोत (उद्धरण) जोडत आहे.
- [ ] मला विशेषतेची अचूकता तपासण्याची गरज समजते.