प्रतिलिपि प्रस्तुत करने योग्यता और अंत-से-अंत परियोजना: हर चीज़ का संयोजन

लाभ:

• चार स्तंभों (बीज निर्धारण, डेटा संस्करण, मीडिया फ्रीजिंग, प्रयोग निगरानी) के साथ पुनरुत्पादन सुनिश्चित करने की क्षमता और एक ही रन को दोहराते समय एक ही परिणाम उत्पन्न करने की क्षमता
• मॉड्यूल के सभी स्टॉप (मेट्रिक्स, डेटा, मॉडल, एलएलएम घटक, eval, निष्पक्षता, सुरक्षा, वितरण, निगरानी) को एक एंड-टू-एंड श्रृंखला में संयोजित करने की क्षमता
• यह सत्यापित करने की क्षमता कि प्रत्येक पड़ाव पर महत्वपूर्ण निर्णय मानव के पास रहता है और ऑडिट योग्य तरीके से परियोजना का दस्तावेजीकरण करता है

किसी एमएल प्रोजेक्ट की सबसे घातक विफलता कोई दुर्घटना नहीं है; "फिर वही परिणाम नहीं मिल रहा।" यदि आप उस मॉडल के स्कोर को आज पुन: प्रस्तुत नहीं कर सकते हैं जिसे आपने तीन महीने पहले उत्पादन में डाला था, तो आप वास्तव में उस मॉडल को नियंत्रित नहीं करते हैं। इस समापन इकाई में, हम प्रतिलिपि प्रस्तुत करने योग्यता को गहरा करते हैं: समान इनपुट के साथ विश्वसनीय रूप से समान परिणाम प्राप्त करने और संपूर्ण मॉड्यूल को एंड-टू-एंड प्रोजेक्ट अनुशासन में संयोजित करने की क्षमता।

पुनरुत्पादन कठिन क्यों है

साधारण सॉफ्टवेयर में एक ही कोड एक ही आउटपुट देता है। एमएल में कई और चर हैं जो परिणाम निर्धारित करते हैं:

• यादृच्छिकता: डेटा फेरबदल, वजन आरंभीकरण, डेटा विभाजन - सभी यादृच्छिकता पर निर्भर करते हैं।
• डेटा: एक ही कोड अलग-अलग डेटा संस्करण के साथ अलग-अलग मॉडल तैयार करता है।
• पर्यावरण: लाइब्रेरी संस्करण, हार्डवेयर (सीपीयू/जीपीयू), यहां तक ​​कि ऑपरेटिंग सिस्टम भी परिणाम बदल सकता है।
• छिपा हुआ मामला: एक सहेजा न गया हाइपरपैरामीटर, एक मैन्युअल प्रीप्रोसेसिंग चरण, एक अचिह्नित चयन।

प्रतिलिपि प्रस्तुत करना "अच्छा होना" नहीं बल्कि एक वैज्ञानिक और इंजीनियरिंग अनिवार्यता है। जिस परिणाम को दोबारा प्रस्तुत नहीं किया जा सकता वह ऐसा दावा है जिसे सिद्ध नहीं किया जा सकता।

प्रतिलिपि प्रस्तुत करने योग्यता के चार स्तंभ

1. यादृच्छिकता को ठीक करें. सभी यादृच्छिक बीजों को एक ही स्थान पर सेट करें: डेटा विभाजन, मॉडल आरंभीकरण, डेटा फेरबदल। निश्चित बीज "समान परिणाम दोहराने पर समान परिणाम" की गारंटी का आधार है।

2. डेटा का संस्करण। रिकॉर्ड करें कि प्रत्येक प्रयोग किस डेटा संस्करण के साथ किया गया था (इकाई 2 में डेटा संस्करण)। "नवीनतम डेटा" अस्पष्ट है; "डेटा संस्करण v3, हैश abc123" सटीक है।

3. माध्यम को फ़्रीज़ करें. सभी निर्भरताओं को उनके सटीक संस्करणों में पिन करें (उदाहरण के लिए require.txt में numpy==1.26.4 जैसे सटीक संस्करण, या एक कंटेनर छवि)। "नवीनतम संस्करण" एक दिन सब कुछ तोड़ देगा।

4. सब कुछ ट्रैक करें (प्रयोग ट्रैकिंग)। प्रत्येक प्रयोग के लिए स्वचालित रूप से सहेजें: कोड संस्करण (गिट कमिट), डेटा संस्करण, सभी हाइपरपैरामीटर, मेट्रिक्स और आउटपुट संरचनाएं। एमएलफ्लो, वेट्स और बायसेस जैसे प्रयोग ट्रैकिंग उपकरण इसे व्यवस्थित रूप से करते हैं। पंजीकरण के बिना, प्रश्न "कौन सी सेटिंग सबसे अच्छी थी" अनुत्तरित रहता है।

सावधानी: "मैं बाद में याद करूंगा" सबसे महंगी भ्रांति है। दो सप्ताह बाद आपको याद नहीं रहेगा कि आपने कौन सा बीज, कौन सा डेटा, कौन सा हाइपरपैरामीटर इस्तेमाल किया था। स्वचालित ट्रैकिंग मेमोरी पर निर्भरता को समाप्त कर देती है।

कमजोर दृष्टिकोण/मजबूत दृष्टिकोण

कमज़ोर: "मुझे सबसे अच्छा मॉडल मिला, यह नोटबुक पर है, मुझे लगता है कि इसका स्कोर 89% था।"

मजबूत: "प्रयोग ट्रैकिंग टूल में #147 चलाएं: गिट कमिट ए3एफ9सी, डेटा संस्करण वी3 (हैश एबीसी123), सीड 42, सभी हाइपरपैरामीटर पंजीकृत, पीआर-एयूसी 0.887 का परीक्षण करें। जब मैं वही कमांड दोबारा चलाता हूं, तो मुझे वही परिणाम थोड़ा-थोड़ा करके मिलता है। मॉडल रजिस्ट्री में इस रन पर निर्भर करता है।"

अंतर: मजबूत दृष्टिकोण में परिणाम मेमोरी पर आधारित नहीं होता है, बल्कि एक निश्चित और निगरानी श्रृंखला पर आधारित होता है। हर कोई हर बार एक ही परिणाम दे सकता है।

एंड-टू-एंड प्रोजेक्ट: मॉड्यूल का संयोजन

आइए अब पूरे मॉड्यूल को एक एकल प्रोजेक्ट प्रवाह में संयोजित करें। एक वास्तविक एमएल सिस्टम इन स्टॉप्स से होकर गुजरता है, और प्रत्येक स्टॉप पिछले स्टॉप पर बनता है:

1. समस्या की परिभाषा: हम क्या हल कर रहे हैं, सफलता कैसे मापें (इकाई 3: सही मीट्रिक, व्यावसायिक संदर्भ)। मीट्रिक और सीमा प्रारंभ से ही स्पष्ट हैं।
2. डेटा पाइपलाइन: संग्रह, सत्यापन, सफाई, रिसाव-मुक्त विभाजन, संस्करणीकरण (इकाई 2)।
3. मॉडल विकास: प्रशिक्षण, आधारभूत तुलना, क्रॉस-सत्यापन, हार्ड सीड (इकाई 3 + यह इकाई)।
4. एलएलएम घटक (यदि लागू हो): आरएजी (यूनिट 4) और/या एजेंट (यूनिट 5); यदि आवश्यक हो तो फाइन-ट्यूनिंग (इकाई 6)।
5. मूल्यांकन: किनारे और सुरक्षा मामलों के साथ ईवल क्लस्टर, एलएलएम सिस्टम में मल्टी-लेयर ईवल (यूनिट 8)।
6. न्याय और नैतिकता लेखापरीक्षा: उपसमूह विश्लेषण, मॉडल कार्ड, व्याख्यात्मकता (इकाई 10)।
7. सुरक्षा ऑडिट: शीघ्र इंजेक्शन, गोपनीयता, आपूर्ति श्रृंखला (इकाई 9)।
8. वितरण: पैकेजिंग, क्रमिक वितरण, रोलबैक, मॉडल रजिस्ट्री (इकाई 7)।
9. निगरानी: तीन-परत निगरानी, ​​बहाव अलार्म (इकाई 8)।
10. प्रतिलिपि प्रस्तुत करने योग्यता: संपूर्ण श्रृंखला (इस इकाई) में बीज, डेटा संस्करण, मीडिया और प्रयोग ट्रैकिंग।

इस प्रवाह में, AI हर पड़ाव पर एक त्वरक और ब्लूप्रिंट जनरेटर है; लेकिन मीट्रिक चयन, डेटा निर्णय, निष्पक्षता प्राथमिकता, तैनाती सीमा, और रिलीज़ अनुमोदन - महत्वपूर्ण निर्णय मानव के पास रहते हैं। यह मॉड्यूल का सार है.

दस्तावेज़ीकरण: भविष्य आपको धन्यवाद देगा

एक अच्छा एमएल प्रोजेक्ट स्वयं दस्तावेज़ित होता है। कम से कम, निम्नलिखित लिखा जाना चाहिए: समस्या और सफलता मानदंड, डेटा स्रोत और संस्करण, मॉडल चयन और औचित्य, मूल्यांकन परिणाम (उपसमूहों सहित), ज्ञात सीमाएं और जोखिम, तैनाती और पुनर्प्राप्ति प्रक्रिया, निगरानी योजना। यह दस्तावेज़ उस व्यक्ति का सबसे अच्छा दोस्त है (शायद यह आप ही हैं) जो छह महीने बाद परियोजना पर लौटता है।

तीन मिनी मामले

केस 1 - खोया हुआ परिणाम। एक इंजीनियर ने एक महान मॉडल को प्रशिक्षित किया, लेकिन उसने बीज को ठीक नहीं किया और डेटा संस्करण को सहेजा नहीं। जब उन्होंने नौकरी छोड़ी, तो कोई भी उस परिणाम को दोहरा नहीं सका; मॉडल "ब्लैक बॉक्स लेजेंड" बन गया और अंततः इसे नए सिरे से बनाया गया। सप्ताह बर्बाद हो गए. पाठ: एक गैर-पुनरुत्पादन योग्य परिणाम एक गैर-मौजूद परिणाम है।

केस 2 - पर्यावरण का पतन। एक टीम ने निर्भरताएँ ठीक नहीं की थीं। जब कोई लाइब्रेरी स्वचालित रूप से अपडेट हो जाती है, तो मॉडल आउटपुट चुपचाप बदल जाता है और उत्पादन बाधित हो जाता है। समस्या ढूंढने में कई दिन लग गए. जब निर्भरताएँ स्थिर कर दी गईं और निश्चित संस्करणों के साथ कंटेनरीकृत कर दी गईं, तो समस्या दोबारा उत्पन्न नहीं हुई। सबक: पर्यावरण को स्थिर करें।

केस 3 - निगरानी की शक्ति. एक टीम ने स्वचालित रूप से प्रत्येक प्रयोग की निगरानी की। तीन महीने बाद, एक नियामक ऑडिट के दौरान, उन्होंने इस सवाल का जवाब दिया कि "किस डेटा के साथ, किस सेटिंग्स के साथ, किन समूहों में इसे क्या प्रदर्शन मिला?" मिनटों में पूरी रिकॉर्डिंग के साथ। निरीक्षण सुचारु रूप से चला। पाठ: निगरानी एक अनुपालन उपकरण है, न कि केवल इंजीनियरिंग।

कॉपी करने योग्य टेम्पलेट

इस एमएल प्रोजेक्ट के लिए पुनरुत्पादन जांच करें। - क्या सभी यादृच्छिकता बीज तय हो गए हैं (विभाजित, प्रारंभ करें, शफ़ल करें)? - क्या डेटा संस्करणित हैं? - क्या निर्भरताएँ सटीक संस्करणों पर जमी हुई हैं? - क्या प्रत्येक प्रयोग (कोड कमिट, डेटा, हाइपरपैरामीटर, मीट्रिक) ट्रैक किया गया है? प्रत्येक गुम कॉलम के लिए इसे ठीक करने के ठोस कदम लिखें। परियोजना संरचना: [विवरण]

इस एंड-टू-एंड एमएल प्रोजेक्ट के लिए एक योजना ढांचा तैयार करें। समस्या: [विवरण] निम्नलिखित स्टॉप को कवर करें और चिह्नित करें कि प्रत्येक स्टॉप पर मानव निर्णय कहां है: समस्या/मीट्रिक, पाइपलाइन, मॉडल, (आरएजी/एजेंट/फाइन-ट्यून?), मूल्यांकन, निष्पक्षता, सुरक्षा, वितरण, निगरानी, ​​प्रतिलिपि प्रस्तुत करने योग्यता। प्रत्येक पड़ाव के लिए मुख्य जोखिम और सत्यापन चरण लिखें।

इस परियोजना के लिए एक तकनीकी दस्तावेज़ीकरण टेम्पलेट तैयार करें। अनुभाग: समस्या+सफलता मानदंड, डेटा (स्रोत+संस्करण), मॉडल चयन+औचित्य, मूल्यांकन (उपसमूहों सहित), ज्ञात सीमाएं+जोखिम, तैनाती+रोलबैक, निगरानी योजना। प्रत्येक अनुभाग के लिए भरे जाने वाले फ़ील्ड को प्रश्न के रूप में दें।

मेरे प्रयोग निगरानी सेटअप की जाँच करें: क्या यह प्रत्येक रन पर स्वतः सहेजा जाता है: गिट कमिट, डेटा संस्करण/हैश, सभी हाइपरपैरामीटर, सभी मेट्रिक्स, पर्यावरण (लाइब्रेरी संस्करण)? क्या जब मैं वही रन दोबारा चलाता हूँ तो क्या मुझे वही परिणाम मिलता है? सेटअप: [विवरण]। खामियाँ और सुधार सूचीबद्ध करें।

प्रतिलिपि प्रस्तुत करने योग्यता स्तंभ तालिका

स्तंभ

क्या तय है

वाहन उदाहरण

यादृच्छिकता

सभी बीज

बीज सेटिंग

डेटा

डेटा संस्करण/हैश

डीवीसी

पर्यावरण

पुस्तकालय संस्करण

आवश्यकताएँ पिन, डॉकर

निगरानी

कोड+डेटा+सेटिंग+मेट्रिक

एमएलफ़्लो, डब्ल्यू एंड बी

सामान्य गलतियाँ

• बीज को ठीक नहीं करना. परिणाम दोहराया नहीं जा सकता.
• डेटा संस्करण सहेजा नहीं जा रहा. "किस डेटा से?" अनुत्तरित रहता है.
• व्यसनों से मुक्ति नहीं। एक अपडेट चुपचाप सब कुछ तोड़ देगा।
• प्रयोगों को स्मृति पर छोड़ना। दो सप्ताह बाद कुछ भी याद नहीं है.
• महत्वपूर्ण निर्णयों को कृत्रिम बुद्धिमत्ता पर छोड़ना। मेट्रिक्स, न्याय और वितरण निर्णय लोगों के पास रहने चाहिए।
• दस्तावेज़ीकरण स्थगित करना. भावी टीम (और आप) इसकी कीमत चुकाती है।

संक्षेप में

प्रतिलिपि प्रस्तुत करने योग्यता गंभीर एमएल इंजीनियरिंग का हस्ताक्षर है: गैर-पुनरुत्पादन योग्य परिणाम अप्राप्य दावा है। यह चार कॉलमों के साथ आता है - यादृच्छिकता ठीक करें, संस्करण डेटा, फ्रीज वातावरण, प्रत्येक प्रयोग को ट्रैक करें। एक एंड-टू-एंड प्रोजेक्ट इस मॉड्यूल के सभी स्टॉप्स (मीट्रिक, डेटा, मॉडल, एलएलएम घटक, ईवल, निष्पक्षता, सुरक्षा, वितरण, निगरानी) को एक इंटरकनेक्टेड श्रृंखला में जोड़ता है; कृत्रिम बुद्धिमत्ता हर पड़ाव पर एक त्वरक है, लेकिन महत्वपूर्ण निर्णय मानव के पास ही रहते हैं। भविष्य की टीम और ऑडिट के लिए हर चीज़ का दस्तावेजीकरण करें। यह अनुशासन वह ढाँचा है जो पूरे मॉड्यूल में आपके द्वारा सीखी गई हर चीज़ को बनाए रखता है।

आवेदन कार्य

चार प्रतिलिपि प्रस्तुत करने योग्य स्तंभों के विरुद्ध एक एमएल परियोजना की जाँच करें: क्या बीज अपरिवर्तनीय हैं, क्या डेटा संस्करणित है, क्या पर्यावरण स्थिर है, क्या प्रयोगों को ट्रैक किया गया है? किसी भी छूटे हुए कॉलम को ठीक करें और साबित करें कि आप एक ही रन को दो बार चला सकते हैं और एक ही परिणाम प्राप्त कर सकते हैं। फिर एक पृष्ठ पर परियोजना के अंत-से-अंत प्रवाह (10 स्टॉप) को आउटपुट करें और प्रत्येक स्टॉप पर "मानव निर्णय कहां है" चिह्नित करें। अंत में, एक संक्षिप्त तकनीकी दस्तावेज़ीकरण प्रारूप लिखें।

चेकलिस्ट

• [ ] सभी यादृच्छिकता बीज ठीक हो गए।
• [ ] प्रत्येक प्रयोग के साथ डेटा संस्करण/हैश रिकॉर्ड किया जाता है।
• [ ] निर्भरताएं फर्म संस्करणों (पिन/कंटेनर) पर जमी हुई हैं।
• [ ] प्रत्येक प्रयोग की स्वचालित रूप से निगरानी की जाती है (कोड+डेटा+सेटिंग+मीट्रिक)।
• [ ] जब मैं वही दौड़ दोहराता हूं, तो मुझे वही परिणाम मिलता है।
• [ ] मैंने सत्यापित और प्रलेखित किया है कि अंत-से-अंत प्रवाह में महत्वपूर्ण निर्णय मनुष्यों द्वारा किए जाते हैं।

मॉड्यूल परीक्षा

1. एक एमएल इंजीनियर के रूप में, वर्कफ़्लो में कृत्रिम बुद्धिमत्ता को स्थापित करते समय सबसे अच्छा तरीका क्या है?

• ए) एआई कम जोखिम वाले व्यवसायों में एक त्वरक है; मेट्रिक्स, डेटा और उत्पादन जैसे महत्वपूर्ण निर्णय मान्य रहते हैं और मानव पर छोड़ दिए जाते हैं
• बी) जब तक एआई आउटपुट अच्छे दिखते हैं, सत्यापन की कोई आवश्यकता नहीं है
• सी) मॉडल को उत्पादन में लगाने का निर्णय कृत्रिम बुद्धिमत्ता पर छोड़ने से समय की बचत होती है।
• D) आर्टिफिशियल इंटेलिजेंस केवल टेक्स्ट लिखने के लिए उपयोगी है, इसका डेटा और मॉडल कार्य से कोई लेना-देना नहीं है

विवरण: एआई कम जोखिम वाले, कोड, डेटा डाइजेस्ट और दस्तावेज़ जैसे आसानी से सत्यापित कार्यों के लिए एक शक्तिशाली त्वरक है; हालाँकि, धन, गोपनीयता और कानूनी दायित्व को प्रभावित करने वाले निर्णयों की जिम्मेदारी, जैसे मीट्रिक चयन, कौन सा डेटा प्रशिक्षण में जाता है, और मॉडल को उत्पादन में डालना, योग्य इंजीनियर और टीम के पास है। प्रत्येक आउटपुट का उपयोग सत्यापन के बिना नहीं किया जाना चाहिए।

2. स्कीमा सत्यापन को डेटा पाइपलाइन की शुरुआत में क्यों रखा जाता है?

• ए) क्योंकि यह सीधे मॉडल की सटीकता को बढ़ाता है
• बी) क्योंकि यह डेटा वर्जनिंग को अनावश्यक बनाता है
• सी) क्योंकि यह दूषित डेटा को जल्द से जल्द और सबसे सस्ते बिंदु पर पकड़ता है और इसे अगले चरणों में लीक होने से रोकता है ✔
• डी) क्योंकि यह लेबलिंग की आवश्यकता को समाप्त कर देता है

स्पष्टीकरण: जितनी जल्दी भ्रष्ट डेटा पकड़ा जाएगा, उसे ठीक करना उतना ही सस्ता होगा। स्कीमा सत्यापन लाइन की शुरुआत में अपेक्षित प्रकार और सीमा के बाहर डेटा को अस्वीकार करके भ्रष्ट डेटा को चुपचाप प्रशिक्षण या उत्पादन में लीक होने से रोकता है (उदाहरण के लिए इकाई परिवर्तन के साथ मूल्य स्थानांतरण 100x); उत्पादन में पकड़ी गई वही त्रुटि कई गुना अधिक महंगी होती है।

3. समय (समय श्रृंखला) से जुड़ी किसी समस्या में डेटा को प्रशिक्षण और परीक्षण में विभाजित करते समय सही दृष्टिकोण क्या है?

• ए) यादृच्छिक विभाजन का उपयोग करना क्योंकि यह हमेशा सबसे उचित तरीका है
• बी) अस्थायी विभाजन का उपयोग करना: अतीत के साथ प्रशिक्षण और भविष्य में परीक्षण द्वारा रिसाव को रोकना ✔
• सी) सभी डेटा को प्रशिक्षण और परीक्षण दोनों के रूप में उपयोग करना
• डी) प्रशिक्षण से पहले स्केलिंग मापदंडों में परीक्षण डेटा को शामिल करना

स्पष्टीकरण: समय श्रृंखला पर यादृच्छिक विभाजन मॉडल को 'भविष्य-देखने वाला' लाभ देता है जो उत्पादन में कभी नहीं होगा और मैट्रिक्स को कृत्रिम रूप से बढ़ा देता है (अस्थायी रिसाव)। सही एक अस्थायी विभाजन है: अतीत के साथ प्रशिक्षण, भविष्य में परीक्षण। यह उस वास्तविक प्रदर्शन को मापता है जो इसे उत्पादन में बनाए रखता है।

4. 1.5% की सकारात्मक वर्ग दर के साथ धोखाधड़ी का पता लगाने वाले मॉडल में सटीकता भ्रामक क्यों है?

• ए) क्योंकि असंतुलित डेटा पर सटीकता हमेशा कम होती है
• बी) क्योंकि सटीकता का उपयोग केवल प्रतिगमन समस्याओं पर किया जा सकता है
• सी) क्योंकि सटीकता गणना के लिए बहुत अधिक प्रसंस्करण शक्ति की आवश्यकता होती है
• डी) यहां तक कि बहुसंख्यक वर्ग की भविष्यवाणी करने वाला एक मामूली मॉडल भी बहुत सटीक हो सकता है, इस प्रकार वास्तविक सफलता छिप सकती है ✔

स्पष्टीकरण: असंतुलित डेटा पर, यहां तक कि एक बुनियादी मॉडल जो कहता है कि 'हर चीज़ को नकारात्मक कहें', लगभग 98.5% सटीकता प्राप्त करता है लेकिन एक भी धोखाधड़ी नहीं पकड़ पाएगा। इसलिए, असंतुलित वर्गीकरण में सटीकता के बजाय परिशुद्धता, रिकॉल, एफ1 या पीआर-एयूसी का उपयोग किया जाता है, और प्रत्येक मीट्रिक की व्याख्या एक आधार मॉडल के अनुसार की जाती है।

5. किसी मॉडल की मीट्रिक के बारे में बात करते समय बेसलाइन तुलना क्यों आवश्यक है?

• ए) क्योंकि बेस मॉडल हमेशा वास्तविक मॉडल से बेहतर होता है
• बी) क्योंकि यह केवल तभी स्पष्ट होता है जब एक साधारण बेसलाइन मॉडल ✔ से तुलना की जाती है कि कोई मीट्रिक सार्थक है या नहीं
• सी) क्योंकि बेस मॉडल क्रॉस-वैलिडेशन को अनावश्यक बनाता है
• डी) क्योंकि प्रत्येक रिपोर्ट में मूल मॉडल कानूनी रूप से आवश्यक है

स्पष्टीकरण: एक मीट्रिक अपने आप में अच्छा या बुरा नहीं है; बुनियादी मॉडल के अनुसार यह अच्छा या बुरा है। वाक्य '85% सही' का अर्थ लगभग बेकार है यदि बेस मॉडल पहले से ही 84% प्राप्त करता है, और यदि यह 50% प्राप्त करता है तो एकदम सही है। तुलना एंकर के बिना, मीट्रिक अर्थहीन है।

6. सबसे महत्वपूर्ण सुरक्षा तत्व कौन सा है जिसे RAG (रिट्रीवल-ऑगमेंटेड जेनरेशन) प्रणाली के उत्पादन प्रॉम्प्ट में शामिल किया जाना चाहिए?

• ए) केवल दिए गए स्रोत पर भरोसा करने का निर्देश, यदि स्रोत मौजूद नहीं है तो 'मुझे नहीं पता' कहने और स्रोत का हवाला देने का निर्देश ✔
• बी) मॉडल को यथासंभव लंबे और रचनात्मक उत्तर देने के लिए कहना
• सी) मॉडल संसाधनों पर अपने स्वयं के शैक्षिक ज्ञान को प्राथमिकता देता है
• डी) लाए गए दस्तावेजों में सभी निर्देशों को कमांड के रूप में लागू करें

स्पष्टीकरण: आरएजी का सबसे महत्वपूर्ण निर्देश मॉडल को केवल दिए गए स्रोत पर भरोसा करने के लिए कहना है, और यदि जानकारी स्रोत में नहीं है, तो 'मुझे नहीं पता' कहें और बिना बताए स्रोत का हवाला दें। इस त्रय के बिना, मॉडल संदर्भ को अनदेखा कर सकता है और मतिभ्रम उत्पन्न कर सकता है, और उत्तर अप्राप्य हो जाता है।

7. RAG प्रणाली गलत उत्तर देती है। निदान शुरू करने के लिए सबसे अच्छी जगह कहाँ है?

• ए) पहले फ़ेच को मापना (Recall@K): क्या सही टुकड़ा कभी आता है? ✔
• बी) तुरंत मॉडल को बड़े मॉडल से बदलें
• सी) प्रॉम्प्ट को बेतरतीब ढंग से बदलें और प्रयास जारी रखें
• डी) सभी दस्तावेजों को फाइन-ट्यूनिंग के साथ मॉडल में एम्बेड करना

स्पष्टीकरण: आरएजी की सबसे कमजोर कड़ी आमतौर पर उत्पादन नहीं, बल्कि फ़ेच है। यदि सही भाग कभी नहीं लाया जाता है, तो मॉडल उस जानकारी का उत्पादन नहीं कर सकता है, भले ही प्रॉम्प्ट में कितना भी सुधार किया गया हो। इसलिए, पहले Recall@K को यह देखने के लिए मापा जाता है कि सही भाग आया है या नहीं; यदि फ़ेच अच्छा है, तो उत्पादन और प्रॉम्प्ट की जांच की जाती है।

8. किसी एजेंट को उपकरण देते समय मानवीय अनुमोदन के पीछे कौन से कार्य किए जाने चाहिए?

• ए) कोई नहीं; एजेंट को प्रत्येक कार्य स्वायत्त रूप से करने में सक्षम होना चाहिए
• बी) केवल प्रतिवर्ती क्रियाएं जैसे डेटा पढ़ना और खोजना
• सी) अपरिवर्तनीय या उच्च प्रभाव वाली कार्रवाइयां जैसे पैसे ट्रांसफर करना, हटाना, भेजना
• डी) ऐसी कार्रवाइयां जिनमें केवल गणना शामिल है

विवरण: क्रियाएँ जोखिम स्तर के आधार पर अलग की जाती हैं। पुनर्प्राप्ति योग्य कार्य जैसे पढ़ना, खोजना, गणना करना और ड्राफ्ट तैयार करना स्वायत्त रूप से किया जा सकता है; हालाँकि, अपरिवर्तनीय या उच्च प्रभाव वाली कार्रवाइयों जैसे कि धन हस्तांतरित करना, ईमेल भेजना, डेटा हटाना, ऑर्डर देना आदि के लिए मानव अनुमोदन की आवश्यकता होती है। प्रत्येक अपरिवर्तनीय कार्रवाई सहमति के अधीन होनी चाहिए।

9. अप्रत्यक्ष त्वरित इंजेक्शन के जोखिम के विरुद्ध सर्वोत्तम डिज़ाइन दृष्टिकोण क्या है?

• ए) सिस्टम प्रॉम्प्ट में एक वाक्य 'खराब निर्देशों को अनदेखा करें' जोड़ना पर्याप्त है
• बी) बाहरी सामग्री में दिए गए निर्देशों पर भरोसा करके मॉडल को अधिक अधिकार दें
• सी) कोई सावधानी नहीं बरतनी क्योंकि इंजेक्शन को रोका नहीं जा सकता
• डी) बाहरी सामग्री को अविश्वसनीय डेटा के रूप में अलग करना और न्यूनतम प्राधिकरण, अनुमोदन और आउटपुट नियंत्रण के साथ स्तरित सुरक्षा स्थापित करना ✔

विवरण: एजेंट या आरएजी द्वारा संसाधित बाहरी सामग्री, जैसे वेब पेज, दस्तावेज़, ईमेल इत्यादि, अविश्वसनीय डेटा है और इसमें गुप्त निर्देश हो सकते हैं। सही दृष्टिकोण स्तरित रक्षा है: बाहरी सामग्री को स्पष्ट सीमांकक के साथ 'डेटा, कमांड नहीं' के रूप में अलग करना, न्यूनतम प्राधिकरण लागू करना, अपरिवर्तनीय कार्यों को मानव अनुमोदन के लिए बाध्य करना और आउटपुट का ऑडिट करना। निर्देशों की एक पंक्ति पर्याप्त नहीं है.

10. यह तय करते समय मुख्य अंतर क्या है कि किसी समस्या को फाइन-ट्यूनिंग या आरएजी के साथ हल किया जाना चाहिए?

• ए) सूचना समस्याओं को आरएजी के साथ बेहतर ढंग से हल किया जाता है, व्यवहार/प्रारूप की समस्याओं को फाइन-ट्यूनिंग के साथ बेहतर ढंग से हल किया जाता है ✔
• बी) हर समस्या का समाधान हमेशा फाइन-ट्यूनिंग से होना चाहिए
• सी) आरएजी का उपयोग केवल कोड जनरेशन के लिए किया जाता है, फाइन-ट्यूनिंग का उपयोग केवल अनुवाद के लिए किया जाता है
• डी) फाइन-ट्यूनिंग को हमेशा RAG की तुलना में सस्ता और तेज़ अपडेट किया जा सकता है

स्पष्टीकरण: मॉडल की नई जानकारी सिखाने में फाइन-ट्यूनिंग कमजोर और जोखिम भरा है; लेकिन शिक्षण व्यवहार, प्रारूप, स्वर और शैली में शक्तिशाली है। 'मॉडल कंपनी हमारे डेटा को नहीं जानती' एक सूचना समस्या है और आरएजी से संबंधित है। 'मॉडल को हमेशा हमारे सख्त प्रारूप में आउटपुट करने दें' एक व्यवहारिक समस्या है और फाइन-ट्यूनिंग के लिए एक उम्मीदवार है। इसके अतिरिक्त, फ़ाइन-ट्यूनिंग से पहले शीघ्र और कुछ-शॉट्स का उपभोग किया जाना चाहिए।

11. नए मॉडल को उत्पादन में डालते समय सुरक्षित तैनाती के लिए क्या अनिवार्य है?

• ए) यदि मॉडल परीक्षण में अच्छा है, तो इसे सीधे 100% ट्रैफ़िक के लिए खोलें
• बी) तैनाती के बाद बिल्कुल भी निगरानी स्थापित नहीं करना
• सी) चरणबद्ध तैनाती (छाया/कैनरी) और एक पूर्व-परीक्षणित रोलबैक योजना ✔
• डी) मूल्यांकन सीमा पूरी न होने पर भी मॉडल प्रकाशित करना

स्पष्टीकरण: नए मॉडल को सीधे सभी ट्रैफ़िक के लिए खोलना जोखिम भरा है; यदि यह गलत है, तो हर कोई प्रभावित होता है। सही बात यह है कि यह एक क्रमिक वितरण (छाया, कैनरी) है और प्रत्येक वितरण में एक परीक्षणित रोलबैक योजना होती है। क्लॉबैक योजना के बिना वितरण पूरा नहीं होता है; जब मॉडल उत्पादन में अप्रत्याशित व्यवहार करता है तो मिनटों के भीतर पिछले संस्करण पर वापस लौटने में सक्षम होने से उपयोगकर्ता की सुरक्षा होती है।

12. एक एमएल मॉडल उत्पादन में 'चुपचाप' कैसे विफल हो सकता है और इसे पकड़ने का तरीका क्या है?

• ए) मॉडल ढह जाता है; सर्वर लॉग यह दिखाते हैं
• बी) गलती किए बिना गलत भविष्यवाणियां करके; ✔ यह परिचालन, इनपुट और आउटपुट स्तरित निगरानी को कैप्चर करता है
• सी) मॉडल कभी भी चुपचाप विफल नहीं हो सकता, हमेशा अलार्म
• डी) किसी भी गिरावट को पकड़ने के लिए केवल विलंबता की निगरानी करना पर्याप्त है

स्पष्टीकरण: मॉडल बिना क्रैश हुए या त्रुटियां दिए केवल गलत भविष्यवाणियां करने से विफल हो सकता है; इसका मुख्य कारण डेटा ड्रिफ्ट और कॉन्सेप्ट ड्रिफ्ट है। केवल परिचालन मेट्रिक्स (विलंबता, त्रुटि दर) की निगरानी करना पर्याप्त नहीं है; इनपुट वितरण और आउटपुट/भविष्यवाणी वितरण की भी निगरानी की जानी चाहिए। यदि वास्तविक परिणाम में देरी हो तो इनपुट ड्रिफ्ट पूर्व चेतावनी देता है।

13. एलएलएम प्रणाली का मूल्यांकन करने के लिए एलएलएम-ए-जज का उपयोग करते समय कौन सा सिद्धांत आवश्यक है?

• ए) एलएलएम-रेफरी हमेशा सही होता है, मानव सत्यापन अनावश्यक है
• बी) रेफरी को केवल उत्तर की लंबाई के आधार पर निर्णय लेना चाहिए।
• सी) जब रेफरी का उपयोग किया जाता है तो नियम-आधारित नियंत्रण और मानव मूल्यांकन को पूरी तरह से त्याग दिया जाना चाहिए
• डी) जज स्कोर को मानव-लेबल वाले नमूने के साथ कैलिब्रेट किया जाना चाहिए और उन पर भरोसा करने से पहले उनके पूर्वाग्रह को मापा जाना चाहिए ✔

विवरण: एलएलएम-रेफरी भी एक मॉडल है; यह मतिभ्रमपूर्ण, पक्षपाती (लंबे, आत्मविश्वासपूर्ण उत्तरों का पक्ष लेने वाला) और असंगत हो सकता है। इसलिए, रेफरी स्कोर को मानव लेबल वाले नमूने के साथ कैलिब्रेट किया जाना चाहिए और उत्पादन निर्णय लेने से पहले उनके व्यवस्थित पूर्वाग्रह को मापा जाना चाहिए। एक असत्यापित रेफरी झूठा विश्वास देता है।

14. मॉडल पूर्वाग्रह का आकलन करते समय समग्र सटीकता को अपर्याप्त क्यों माना जाता है?

• ए) समग्र सटीकता पर्याप्त है क्योंकि यह हमेशा सबसे खराब समूह के प्रदर्शन को दर्शाती है
• बी) समग्र सटीकता अकेले अपर्याप्त है क्योंकि यह उपसमूहों के बीच व्यवस्थित अंतर (छिपे हुए भेदभाव) को अस्पष्ट कर सकती है ✔
• सी) क्योंकि सटीकता एक मीट्रिक है जिसका पूर्वाग्रह से कोई लेना-देना नहीं है
• डी) पूर्वाग्रह केवल मॉडल से आता है और इसका डेटा से कोई लेना-देना नहीं है।

स्पष्टीकरण: समग्र सटीकता उपसमूहों के बीच व्यवस्थित अंतर को अस्पष्ट कर सकती है। उदाहरण के लिए, जबकि समग्र सटीकता 88% है, रिकॉल एक समूह में 91% और दूसरे समूह में 67% हो सकता है; मॉडल व्यवस्थित रूप से उस समूह को छोड़ देता है। इसलिए, मॉडल का मूल्यांकन उपसमूहों (जनसांख्यिकी/खंड) के आधार पर किया जाना चाहिए और न्याय की किस परिभाषा को प्राथमिकता दी जानी चाहिए, इसका निर्णय हितधारकों के साथ किया जाना चाहिए।

15. एमएल परिणाम को पुनरुत्पादित करने के लिए किन चार चीजों को एक साथ तय किया जाना चाहिए?

• ए) केवल मॉडल का नाम, आकार, कीमत और रिलीज की तारीख
• बी) केवल जीपीयू ब्रांड और इंटरनेट स्पीड
• सी) केवल मॉडल का अंतिम सटीकता स्कोर; बाकी को स्मृति में रखा जा सकता है
• डी) यादृच्छिकता बीज, डेटा संस्करण, पर्यावरण (निर्भरता संस्करण) और प्रयोग ट्रैकिंग ✔

विवरण: प्रतिलिपि प्रस्तुत करने योग्यता चार स्तंभों के माध्यम से प्राप्त की जाती है: यादृच्छिकता बीज को ठीक करना, संस्करण डेटा (संस्करण/हैश), पर्यावरण को फ्रीज करना (सटीक लाइब्रेरी संस्करण/कंटेनर), और प्रत्येक प्रयोग को ट्रैक करना (कोड कमिट, डेटा, हाइपरपैरामीटर, मीट्रिक)। इस श्रृंखला के बिना उसी परिणाम को पुन: उत्पन्न करना संभव नहीं है; एक गैर-पुनरुत्पादित परिणाम एक ऐसा दावा है जिसे सिद्ध नहीं किया जा सकता है।