एमएलओपीएस फाउंडेशन, नैतिकता, गोपनीयता और जिम्मेदार विश्लेषण

लाभ:

• एमएलओपीएस चरणों (रिलीज़, परिनियोजन, निगरानी, पुनर्प्रशिक्षण, रोलबैक) और मॉडल बहाव को समझने और निगरानी परिनियोजन की योजना बनाने की क्षमता
• मॉडल निष्पक्षता, पारदर्शिता और जवाबदेही के सिद्धांतों को लागू करने और सांख्यिकीय सटीकता को नैतिक स्वीकार्यता से अलग करने की क्षमता
• केवीकेके/जीडीपीआर सिद्धांतों के साथ व्यक्तिगत डेटा की सुरक्षा करने और उच्च प्रभाव वाले निर्णयों में मानव को अंतिम जिम्मेदारी सौंपने की क्षमता

एक मॉडल को प्रशिक्षित करना और उच्च अंक प्राप्त करना अंत नहीं, बल्कि मध्य है। वास्तविक मूल्य तब आता है जब मॉडल को उत्पादन में लगाया जाता है और विश्वसनीय रूप से काम करता है, समय के साथ बिना किसी गिरावट के निगरानी की जाती है, और पूरी प्रक्रिया नैतिक और कानूनी सीमाओं के भीतर की जाती है। यह समापन इकाई तीन विषयों को जोड़ती है: एमएलओपीएस (लाइव होने का अनुशासन, मॉडलों की निगरानी और रखरखाव), नैतिकता (निष्पक्षता, पारदर्शिता, गैर-दुर्भावनापूर्ण) और गोपनीयता (व्यक्तिगत डेटा की सुरक्षा)। एआई इन क्षेत्रों में कोड, चेकलिस्ट और ब्लूप्रिंट तैयार करता है; लेकिन मनुष्य तय करते हैं कि कोई मॉडल लाइव होगा या नहीं, कौन प्रभावित होगा और किस डेटा का उपयोग किया जा सकता है। ये निर्णय तकनीकी नहीं, बल्कि जिम्मेदारी वाले निर्णय हैं।

एमएलओप्स: मॉडल एक उत्पाद की तरह रहता है

एमएलओपीएस (मशीन लर्निंग ऑपरेशंस - उत्पादन में मशीन लर्निंग मॉडल को चलाने, निगरानी करने और अद्यतन करने का अभ्यास) डेटा विज्ञान के लिए सॉफ्टवेयर विकास में डेवऑप्स का अनुकूलन है। मूल विचार: एक मॉडल एक फ़ाइल नहीं है जिसे एक बार प्रशिक्षित किया जाता है और भुला दिया जाता है, बल्कि एक जीवित उत्पाद है जिसे निरंतर रखरखाव की आवश्यकता होती है। प्रमुख चरण:

1. वर्जनिंग: कोड (Git), डेटा और मॉडल को एक साथ वर्जन किया जाता है; यह दर्ज किया जाता है कि कौन सा मॉडल किस डेटा और कोड के साथ तैयार किया गया था।

2. परिनियोजन: मॉडल को एपीआई या बैच जॉब के रूप में लाइव किया जाता है। यह आमतौर पर पहले छोटे दर्शकों को दिया जाता है (छाया/कैनरी वितरण)।

3. निगरानी: मॉडल और इनपुट डेटा के प्रदर्शन की लगातार निगरानी की जाती है।

4. पुनःप्रशिक्षण: जब प्रदर्शन गिरता है, तो मॉडल को अद्यतन डेटा के साथ पुनःप्रशिक्षित किया जाता है।

पैटर्न बदलाव: मौन विकृति

उत्पादन में सबसे बड़ा खतरा मॉडल ड्रिफ्ट (मॉडल ड्रिफ्ट/डेटा ड्रिफ्ट) है। दुनिया बदलती है; जिन शर्तों पर आपने अपने मॉडल को प्रशिक्षित किया है (ग्राहक व्यवहार, कीमतें, मौसम, कानून) समय के साथ बदल जाते हैं और मॉडल अप्रचलित होने लगता है। उदाहरण के लिए, महामारी से पहले प्रशिक्षित एक मांग मॉडल महामारी के दौरान पूरी तरह से गलत है। बहाव दो रूपों में होता है: डेटा बहाव (इनपुट डेटा परिवर्तनों का वितरण) और अवधारणा बहाव (इनपुट और लक्ष्य परिवर्तनों के बीच संबंध)। इन्हें पकड़ने का तरीका निगरानी है: इनपुट वितरण, पूर्वानुमान वितरण और (यदि संभव हो) वास्तविक परिणाम की तुलना में प्रदर्शन को लगातार ट्रैक करें।

सावधानी: उत्पादन में लगाया गया मॉडल अपने आप खराब हो जाएगा; यह "अगर" का नहीं बल्कि "कब" का मामला है। मॉनिटरिंग स्थापित किए बिना मॉडल तैनात करना उसके इंजन को नियंत्रित किए बिना कार चलाने जैसा है; एक दिन यह चुपचाप वहीं बैठ जाता है और आपको ध्यान नहीं आता।

एमएलओपीएस तत्व

प्रयोजन

यदि उपेक्षा की गई

संस्करणीकरण

यह जानना कि क्या उत्पादित किया जाता है

गैर प्रतिलिपि प्रस्तुत करने योग्य, गैर पता लगाने योग्य

निगरानी

जल्दी ही पर्ची देख लेना

मॉडल चुपचाप टूट जाता है

पुनःप्रशिक्षण

अद्यतित रहें

भविष्यवाणियाँ पुरानी हो जाती हैं

रोलबैक

ख़राब मॉडल पर लौटें

दोषपूर्ण मॉडल लाइव रहता है

दस्तावेज़ीकरण

पारदर्शिता, कारोबार

जानकारी एक ही व्यक्ति में अटक जाती है

नैतिकता: आदर्श निर्णय लोगों को प्रभावित करते हैं

डेटा मॉडल का उपयोग उन निर्णयों में तेजी से किया जा रहा है जो लोगों के जीवन को प्रभावित करते हैं: क्रेडिट, नियुक्ति, बीमा, न्याय। इस शक्ति के साथ जिम्मेदारी भी आती है। प्रमुख नैतिक जोखिम:

पूर्वाग्रह और भेदभाव: मॉडल ऐतिहासिक डेटा में अन्याय सीख सकता है और उसे कायम रख सकता है। यदि किसी निश्चित समूह को अतीत में कम श्रेय दिया गया है, तो मॉडल मानता है कि यह एक "नियम" है और भेदभाव को स्वचालित करता है। इसीलिए निष्पक्षता विश्लेषण - यह जाँचना कि क्या मॉडल विभिन्न समूहों (लिंग, आयु, क्षेत्र) के लिए समान प्रदर्शन करता है - आवश्यक है।

पारदर्शिता और व्याख्यात्मकता: आपको यह समझाने में सक्षम होना चाहिए कि किसी मॉडल ने किसी व्यक्ति को क्यों अस्वीकार कर दिया। "ब्लैक बॉक्स ने ऐसा कहा" नैतिक और अक्सर कानूनी रूप से अस्वीकार्य है। इसीलिए व्याख्यात्मक उपकरण (सुविधा महत्व, SHAP मान) मूल्यवान हैं।

जवाबदेही: यदि मॉडल गलत निर्णय लेता है तो कौन जिम्मेदार है? इसका उत्तर हमेशा एक व्यक्ति/संस्था होता है, कोई मॉडल नहीं। उच्च प्रभाव वाले निर्णयों में मानवीय निरीक्षण (लूप में मानव - अंतिम निर्णय को मंजूरी देने वाला मानव) को संरक्षित किया जाना चाहिए।

सावधानी: एक मॉडल सांख्यिकीय रूप से "सही" हो सकता है लेकिन नैतिक रूप से अस्वीकार्य हो सकता है। एक अत्यधिक सटीक मॉडल जो व्यवस्थित रूप से एक समूह को नुकसान पहुँचाता है, एक अच्छा मॉडल नहीं है। ईमानदारी न्याय का विकल्प नहीं है.

गोपनीयता: व्यक्तिगत डेटा को सावधानीपूर्वक संरक्षित किया जाता है

डेटा विज्ञान का कच्चा माल अक्सर व्यक्तिगत डेटा होता है, और यह डेटा कानून द्वारा संरक्षित है: तुर्किये में केवीकेके, यूरोप में जीडीपीआर। मूल सिद्धांत हैं: उद्देश्य सीमा (डेटा का उपयोग उस उद्देश्य के अलावा किसी अन्य उद्देश्य के लिए नहीं किया जाता है जिसके लिए इसे एकत्र किया गया था), डेटा न्यूनीकरण (आवश्यकता से अधिक डेटा एकत्र/रखाव नहीं किया जाता है), गुमनामीकरण (पहचान संबंधी जानकारी हटा दी जाती है) और सुरक्षा (डेटा को एन्क्रिप्टेड रखा जाता है और पहुंच प्रतिबंधित है)। एआई टूल के साथ काम करते समय महत्वपूर्ण नियम: कभी भी वास्तविक व्यक्तिगत डेटा को सार्वजनिक एआई टूल में पेस्ट न करें। अधिकांश समय, विश्लेषण के लिए एक आरेख और एक अनाम/सिंथेटिक नमूना पर्याप्त होता है।

सूचना सुरक्षा के संदर्भ में एक अतिरिक्त जोर: रक्षात्मक और वैध विश्लेषण उद्देश्यों के लिए डेटा विज्ञान उपकरणों और तकनीकों का उपयोग केवल उन डेटा और प्रणालियों पर करें जिनके लिए आपके पास अधिकार है। किसी अन्य के डेटा तक अनधिकृत पहुंच, व्यक्तियों की पुनः पहचान (गुमनाम डेटा से पहचान निकालना) या अनधिकृत प्रोफाइलिंग दोनों अवैध और अनैतिक हैं।

तीन मिनी मामले

केस 1 - ट्रैक न किया गया पतन। एक ई-कॉमर्स कंपनी अपने अनुशंसा मॉडल के साथ लाइव हुई और ट्रैकिंग की व्यवस्था नहीं की। 4 महीनों के बाद उत्पाद सूची बहुत बदल गई है; मॉडल ने पुराने उत्पादों की अनुशंसा करना जारी रखा और रूपांतरण दर चुपचाप 30% कम हो गई। महीनों तक किसी ने ध्यान नहीं दिया. सबक: बिना निगरानी के तैनाती अंधी हो रही है।

केस 2 - छिपा हुआ भेदभाव। एक नियुक्ति स्क्रीनिंग मॉडल ने ऐतिहासिक डेटा में लिंग असंतुलन और व्यवस्थित रूप से महिला उम्मीदवारों को कम आंकने के बारे में सीखा। इस पर ध्यान नहीं दिया गया क्योंकि कोई निष्पक्षता विश्लेषण नहीं था; एक ऑडिट में इसका खुलासा हुआ और संस्थान को गंभीर प्रतिष्ठा/कानूनी जोखिम का सामना करना पड़ा। पाठ: उच्च-प्रभाव वाले मॉडल में समूह-आधारित निष्पक्षता नियंत्रण आवश्यक है।

केस 3 - गोपनीयता का उल्लंघन। एक विश्लेषक ने वास्तविक ग्राहक ईमेल और खरीद इतिहास वाली एक फ़ाइल को सार्वजनिक एआई टूल में लोड किया और कहा, "सेगमेंट को सारांशित करें।" व्यक्तिगत डेटा ने संस्थान छोड़ दिया है; केवीकेके प्रक्रिया शुरू हो गई है. सही तरीका पहचान फ़ील्ड को हटाना और केवल अनाम संपत्तियों को साझा करना था। पाठ: वास्तविक व्यक्तिगत डेटा खुले टूल में प्रवेश नहीं करता है।

चार प्रतिलिपि योग्य टेम्पलेट

1) पूर्व-तैनाती चेकलिस्ट:

आपकी भूमिका: एमएलओपीएस सलाहकार। किसी मॉडल को उत्पादन में डालने से पहले मुझे जिन चीजों की जांच करने की आवश्यकता है उन्हें सूचीबद्ध करें: वर्जनिंग, मॉनिटरिंग मेट्रिक्स, रोलबैक योजना, प्रदर्शन सीमा, डेटा बहाव चेतावनी, जिम्मेदार व्यक्ति। प्रत्येक आइटम के लिए एक वाक्य "यह महत्वपूर्ण क्यों है" स्पष्टीकरण जोड़ें। मैं निर्णय लूंगा.

2) मॉडल शिफ्ट ट्रैकिंग डिज़ाइन:

उत्पादन में एक वर्गीकरण मॉडल के लिए एक बहाव निगरानी योजना का सुझाव दें: (1) मुझे किस इनपुट वितरण की निगरानी करनी चाहिए, (2) भविष्यवाणी वितरण के लिए कौन सा अलार्म, (3) वास्तविक परिणाम आने पर प्रदर्शन की तुलना कैसे करें, (4) किस सीमा पर पुन: प्रशिक्षण शुरू किया जाना चाहिए। एक कोड स्केलेटन भी प्रदान करें.

3) निष्पक्षता नियंत्रण:

कोड लिखें जो विभिन्न समूहों (उदाहरण के लिए आयु बैंड, क्षेत्र) के लिए मेरे मॉडल के प्रदर्शन की तुलना करता है: प्रत्येक समूह के लिए याद/सटीकता और सकारात्मक निर्णय दर। यदि समूहों के बीच कोई महत्वपूर्ण अंतर हो तो चेतावनी दें। कारणात्मक/राजनीतिक व्याख्याएँ करना; बस मुझे अंतर दिखाएं और मैं निर्णय पर विचार करूंगा।

4) गोपनीयता पूर्व जांच:

एआई टूल को डेटा देने से पहले, जांचें: क्या नीचे कॉलम सूची में व्यक्तिगत/पहचान डेटा (नाम, ईमेल, आईडी, फोन, पता, आईपी) है? यदि हां, तो सूचीबद्ध करें कि किसे हटाया जाना चाहिए या अज्ञात किया जाना चाहिए। कॉलम: [सूची]। उद्देश्य: केवल अनाम स्कीमा साझा करना।

कमजोर संकेत/मजबूत संकेत

कमजोर संकेत:

मेरा मॉडल तैयार है, लाइव हो जाएं।

परिनियोजन एक कदम नहीं है; निगरानी, ​​रोलबैक, निष्पक्षता और गोपनीयता नियंत्रण के बिना लाइव होना आपदा के लिए एक मूक निमंत्रण है।

शक्तिशाली संकेत:

आपकी भूमिका: जिम्मेदार एमएलओपीएस सलाहकार। मेरे मॉडल को प्रशिक्षित किया गया है, मैं लाइव होने से पहले पूरी तैयारी चाहता हूं। उत्पन्न करें: (1) पूर्व-परिनियोजन चेकलिस्ट, (2) बहाव निगरानी योजना, (3) समूह-आधारित निष्पक्षता जांच कोड, (4) गोपनीयता जांच (क्या कोई व्यक्तिगत डेटा है)। यह भी सुझाव दें कि उच्च प्रभाव वाले निर्णयों में मानवीय सहमति की रक्षा कैसे की जाए। अंतिम निर्णय मेरे हैं.

यहां वितरण, निगरानी, ​​निष्पक्षता और गोपनीयता को एक ही जिम्मेदार प्रक्रिया के रूप में माना जाता है।

सामान्य गलतियाँ

• निगरानी स्थापित किए बिना एक मॉडल तैनात करना। मॉडल चुपचाप फिसल जाता है और विकृत हो जाता है; इसे नोटिस करने में महीनों लग सकते हैं.
• न्याय जांच को दरकिनार करना. एक उच्च-निष्ठा मॉडल एक समूह को व्यवस्थित रूप से नुकसान पहुंचा सकता है।
• एक अस्पष्टीकृत ब्लैक बॉक्स निर्णय लेना। उच्च प्रभाव वाले निर्णय समझाने योग्य होने चाहिए; "मॉडल ने ऐसा कहा" पर्याप्त नहीं है।
• एआई टूल खोलने के लिए वास्तविक व्यक्तिगत डेटा देना। केवीकेके/जीडीपीआर उल्लंघन; आरेख और अनाम उदाहरण पर्याप्त हैं.
• मॉडल को निर्णय सौंपना. जिम्मेदारी हमेशा एक व्यक्ति की होती है; उच्च प्रभाव वाली मानव निगरानी बनाए रखी जाती है।

युक्ति: इससे पहले कि आप प्रत्येक मॉडल के साथ लाइव हों, एक प्रश्न ज़ोर से पूछें: "यदि यह मॉडल कल चुपचाप टूट जाता है या किसी समूह को गलत तरीके से दंडित करता है, तो मैं इसे कैसे नोटिस करूंगा और इसे वापस लाऊंगा?" यदि आपके पास इस प्रश्न का स्पष्ट उत्तर नहीं है, तो मॉडल अभी उत्पादन के लिए तैयार नहीं है।

सारांश

एक मॉडल का काम उच्च स्कोर के साथ समाप्त नहीं होता है, बल्कि उत्पादन में विश्वसनीय और जिम्मेदारी से काम करने के साथ समाप्त होता है। एमएलओपीएस लाइव होने, बहाव की निगरानी करने, पुनः प्रशिक्षण देने और मॉडल को वापस लाने का अनुशासन है; ट्रैकिंग के बिना तैनाती मूक पतन है। नैतिकता के लिए मॉडल की निष्पक्षता, पारदर्शिता और जवाबदेही की आवश्यकता होती है; सांख्यिकीय सटीकता नैतिक स्वीकार्यता का विकल्प नहीं है। गोपनीयता का अर्थ है केवीकेके/जीडीपीआर सिद्धांतों के साथ व्यक्तिगत डेटा की सुरक्षा करना और वास्तविक डेटा को खुले टूल से दूर रखना। ये सभी निर्णय तकनीकी नहीं बल्कि जिम्मेदारी वाले निर्णय होते हैं और हमेशा इंसान के होते हैं।

आवेदन कार्य

इसे ऐसे समझें जैसे कि आप अपने द्वारा बनाए गए (या काल्पनिक) मॉडल को उत्पादन में लगाने जा रहे हैं और चार सूचियाँ भर रहे हैं: (1) पूर्व-तैनाती चेकलिस्ट, (2) ड्रिफ्ट मेट्रिक्स जिन्हें आप ट्रैक करेंगे, (3) समूह-आधारित निष्पक्षता नियंत्रण योजना, (4) गोपनीयता नियंत्रण। फिर इस प्रश्न का ठोस उत्तर लिखें "अगर यह कल चुपचाप टूट जाए तो मैं इसे कैसे नोटिस करूंगा और इसे वापस कैसे लाऊंगा?"

चेकलिस्ट

• [ ] क्या मैं मॉडल को मॉनिटरिंग (स्लिप अलर्ट) और रोलबैक योजना के साथ तैनात कर रहा हूं?
• [ ] क्या मैंने विभिन्न समूहों के लिए निष्पक्षता/प्रदर्शन अंतर की जाँच की है?
• [ ] क्या मैंने उच्च प्रभाव वाले निर्णयों पर मानव-इन-द-लूप बनाए रखा है?
• [ ] क्या मैंने व्यक्तिगत डेटा को केवीकेके/जीडीपीआर सिद्धांतों के साथ सुरक्षित रखा है और उन्हें खुले टूल से दूर रखा है?
• [ ] क्या मैंने अंतिम ज़िम्मेदारी किसी इंसान पर रखी है, मॉडल पर नहीं?

मॉड्यूल परीक्षा

1. एक डेटा वैज्ञानिक कृत्रिम बुद्धिमत्ता से पूछता है, "इस डेटा पर यादृच्छिक वन कितना सटीक है?" मॉडल को बिल्कुल भी प्रशिक्षित किए बिना, और सीधे प्रेजेंटेशन में "89%" का उत्तर डाल देता है। इस दृष्टिकोण में मूलभूत गलती क्या है?

• ए) कृत्रिम बुद्धिमत्ता को डेटा और मॉडल दिए बिना मेट्रिक्स की प्रतीक्षा करना; इस बात को नज़रअंदाज़ करना कि यह जो संख्या उत्पन्न करता है वह नकली है और वास्तविक मीट्रिक केवल प्रशिक्षण और परीक्षण के माध्यम से ही पाया जा सकता है ✔
• बी) यादृच्छिक वन के बजाय लॉजिस्टिक रिग्रेशन का उपयोग करना चाहिए
• सी) सटीकता दर हमेशा 90% से ऊपर होनी चाहिए।
• डी) प्रेजेंटेशन में मेट्रिक्स शामिल करना सख्त मना है

स्पष्टीकरण: कृत्रिम बुद्धिमत्ता मॉडल और डेटा तक पहुंच के बिना एक मीट्रिक तैयार नहीं कर सकती; वह जो नंबर देता है वह मतिभ्रम (मनगढ़ंत) है। मॉडल को वास्तव में प्रशिक्षित और परीक्षण किए जाने के बाद ही मीट्रिक डेटा वैज्ञानिक की अपनी गणना द्वारा प्राप्त की जाती है। असत्यापित आउटपुट एक अहस्ताक्षरित रिपोर्ट की तरह है।

2. मंथन पूर्वानुमान के लिए डेटा एकत्र करते समय 'खाता बंद करने का कारण' कॉलम शामिल किया जाता है; यह कॉलम ग्राहक के जाने के बाद ही भरा जाता है। मॉडल परीक्षण सेट पर 97% देता है, लेकिन उत्पादन में काम नहीं करता है। इस स्थिति का नाम और कारण क्या है?

• ए) अधिक सीखना; मॉडल बहुत जटिल है
• बी) डेटा लीक; ✔ ऐसी जानकारी का उपयोग करना जो भविष्यवाणी के समय उपलब्ध नहीं होगी, लेकिन एक सुविधा के रूप में लक्ष्य का परिणाम है
• सी) अपर्याप्त शिक्षा; मॉडल बहुत सरल है
• डी) चयन पूर्वाग्रह; छोटा नमूना आकार

स्पष्टीकरण: यह एक क्लासिक डेटा लीक है: 'समापन कारण' लक्ष्य का परिणाम है और भविष्यवाणी के समय अभी भी खाली है। मॉडल इस भविष्य के ज्ञान के साथ काम करता है, यह परीक्षण सेट पर बहुत अच्छा दिखता है लेकिन उत्पादन में क्रैश हो जाता है क्योंकि वह कॉलम खाली है। प्रत्येक कॉलम में 'क्या भविष्यवाणी के समय यह मेरे पास था' प्रश्न पूछा जाना चाहिए।

3. एक विश्लेषक राजस्व कॉलम में लापता मानों को माध्य से भरता है; लेकिन लापता लोग वास्तव में निम्न-आय वर्ग से संबंधित हैं जिन्होंने कभी भी आय घोषित नहीं की है (व्यवस्थित लापता)। यह भरना ग़लत क्यों है?

• ए) माध्य हमेशा माध्यिका से बड़ा होता है, इसलिए यह गलत है
• बी) लुप्त मानों को कभी नहीं भरना चाहिए, उन्हें हमेशा हटा देना चाहिए
• सी) माध्य के साथ व्यवस्थित अंतर को भरने से उस समूह का कृत्रिम रूप से प्रतिनिधित्व करके डेटा विकृत हो जाता है; 'खाली क्यों है?' का प्रश्न पूछे बिना ही भर दिया गया। ✔
• डी) औसत की गणना करने से प्रदर्शन समस्या पैदा होती है क्योंकि यह बहुत धीमी है

स्पष्टीकरण: कमी का कारण समाधान निर्धारित करता है। जब व्यवस्थित रूप से गायब (एक निश्चित समूह में केंद्रित अंतर) को औसत से भर दिया जाता है, तो वह समूह कृत्रिम रूप से 'औसत आय' बन जाता है और डेटा विकृत हो जाता है। इसे भरने से पहले यह प्रश्न पूछना चाहिए कि 'यह खाली क्यों है'; व्यवस्थित/महत्वपूर्ण लुप्त माध्य नहीं भरा जाना चाहिए।

4. एक टीम को 'विज्ञापन खर्च' और 'बिक्री' के बीच 0.78 का सहसंबंध मिलता है और बजट दोगुना हो जाता है; हालाँकि, जो चीज़ वास्तव में दोनों को ट्रिगर करती है वह मौसमी अभियान हैं। सांख्यिकी में कौन सा सिद्धांत इस त्रुटि की व्याख्या करता है?

• ए) सहसंबंध कार्य-कारण नहीं है; एक छिपा हुआ तीसरा चर दोनों चर को प्रभावित कर सकता है ✔
• बी) चूंकि 0.78 का सहसंबंध बहुत कम है, इसलिए संबंध को नजरअंदाज किया जाना चाहिए
• सी) सहसंबंध हमेशा कार्य-कारण साबित होता है, टीम ने इसे सही पाया
• डी) विज्ञापन और बिक्री के बीच संबंध की गणना गणितीय रूप से नहीं की जा सकती।

स्पष्टीकरण: सहसंबंध कार्य-कारण नहीं है. दो चर एक साथ कार्य कर सकते हैं क्योंकि एक छिपा हुआ तीसरा चर (यहां मौसमी अभियान) उन दोनों को प्रभावित करता है। यह निष्कर्ष कि एक दूसरे का कारण बनता है, केवल प्रयोग और क्षेत्र ज्ञान के माध्यम से स्थापित किया जा सकता है; अकेले सहसंबंधों की संख्या कार्य-कारण का प्रमाण नहीं है।

5. धोखाधड़ी का पता लगाने वाला मॉडल 99.2% सटीकता दिखाता है और टीम जश्न मनाती है; हालाँकि, डेटा में नकली लेनदेन दर केवल 0.8% है और मॉडल की रिकॉल 6% है। यह तालिका क्या दर्शाती है?

• ए) मॉडल एकदम सही है क्योंकि सटीकता 99% से अधिक है
• बी) असंतुलित डेटा के साथ सटीकता भ्रामक है; मॉडल लगभग सभी नकली (कम रिकॉल) को याद करता है, उपयुक्त मीट्रिक को देखा जाना चाहिए ✔
• सी) कोई समस्या नहीं है क्योंकि मॉडल की रिकॉल अधिक है
• डी) नकली दर कम होने के कारण मॉडल बनाने की कोई आवश्यकता नहीं थी

स्पष्टीकरण: असंतुलित डेटा में 'सटीकता' भ्रामक है। जब मॉडल लगभग हर लेनदेन को 'स्वच्छ' कहता है, तो उसे उच्च सटीकता मिलती है क्योंकि नकली बहुत कम होते हैं, लेकिन यह नकली को पकड़ने में विफल रहता है, जो इसका मुख्य उद्देश्य है (याद रखें 6%)। इसलिए, असंतुलित समस्याओं में, ध्यान सटीकता पर नहीं है, बल्कि भ्रम मैट्रिक्स और नौकरी के उद्देश्य के लिए उपयुक्त मैट्रिक्स पर है, जैसे कि रिकॉल/सटीकता।

6. मांग पूर्वानुमान परियोजना में, समय-निर्भर डेटा को यादृच्छिक रूप से प्रशिक्षण/परीक्षण में विभाजित किया जाता है। मॉडल 93% सटीकता देता है लेकिन उत्पादन में क्रैश हो जाता है। विभाजन का सही दृष्टिकोण क्या होना चाहिए?

• ए) परीक्षण सेट को बढ़ाना, उदा. विभाजन 50%/50%
• बी) अधिक जटिल मॉडल का उपयोग करना
• सी) विभाजन को पूरी तरह से हटा दें और सभी डेटा के साथ प्रशिक्षित करें
• डी) कालानुक्रमिक विभाजन: पुरानी अवधि के साथ प्रशिक्षण और नई अवधि के साथ परीक्षण, इस प्रकार मॉडल को भविष्य देखने से रोकता है ✔

स्पष्टीकरण: यदि समय श्रृंखला डेटा में यादृच्छिक विभाजन किया जाता है, तो मॉडल भविष्य को देखता है और प्रशिक्षण में अतीत की भविष्यवाणी करता है; यह एक रिसाव है और ऐसी सफलता उत्पन्न करता है जो वास्तव में अस्तित्व में नहीं है। सही दृष्टिकोण कालानुक्रमिक विभाजन है: पुरानी अवधि के साथ प्रशिक्षण और नई अवधि के साथ परीक्षण, उत्पादन में वास्तविक स्थिति का अनुकरण करना (अतीत से भविष्य की भविष्यवाणी करना)।

7. फीचर इंजीनियरिंग में स्केलिंग (स्टैंडर्डस्केलर) मापदंडों की गणना किस डेटा से की जानी चाहिए और उन्हें कैसे लागू किया जाना चाहिए?

• ए) इसकी गणना सभी डेटा (प्रशिक्षण + परीक्षण एक साथ) से की जानी चाहिए ताकि यह अधिक सटीक हो
• बी) इसकी गणना प्रत्येक पंक्ति के लिए, उस पंक्ति के अपने मूल्य से अलग से की जानी चाहिए
• सी) केवल परीक्षण डेटा से गणना की जानी चाहिए
• डी) इसकी गणना केवल प्रशिक्षण डेटा से की जानी चाहिए, फिर वही पैरामीटर परीक्षण डेटा पर लागू किए जाने चाहिए; अन्यथा यह लीक हो जाएगा ✔

स्पष्टीकरण: स्केलिंग, एन्कोडिंग और पैडिंग जैसे सभी परिवर्तनों (माध्य, मानक विचलन, आदि) के मापदंडों को केवल प्रशिक्षण डेटा से सीखा जाना चाहिए, फिर इसे परीक्षण डेटा पर लागू किया जाना चाहिए। परीक्षण डेटा को ध्यान में रखने से भी परीक्षण जानकारी प्रशिक्षण में हस्तक्षेप करती है, यानी रिसाव होती है, और मॉडल उससे बेहतर दिखता है। पाइपलाइन का उपयोग यह सुनिश्चित करता है।

8. एक मॉडल प्रशिक्षण सेट पर 98% सटीकता और परीक्षण सेट पर 72% सटीकता देता है। यह लक्षण क्या दर्शाता है और क्या करना चाहिए?

• ए) अपर्याप्त शिक्षा; मॉडल को और अधिक जटिल बनाया जाना चाहिए
• बी) डेटा लीक; परीक्षण सेट बदला जाना चाहिए
• सी) ओवरफिटिंग; मॉडल को सरल बनाया जाना चाहिए, नियमितीकरण और क्रॉस-सत्यापन लागू किया जाना चाहिए ✔
• डी) एक सामान्य स्थिति; शिक्षा का स्कोर वैसे भी हमेशा अधिक होता है, सावधानियाँ अनावश्यक हैं

स्पष्टीकरण: प्रशिक्षण में बहुत अधिक स्कोर और परीक्षण में काफी कम स्कोर ओवरफिटिंग का एक क्लासिक लक्षण है: मॉडल ने वास्तविक पैटर्न के बजाय प्रशिक्षण डेटा के शोर को याद किया है। समाधानों में मॉडल को सरल बनाना, अधिक डेटा, नियमितीकरण और क्रॉस-सत्यापन के साथ राज्य की पुष्टि करना शामिल है। केवल शिक्षा स्कोर पर निर्भर रहना इस ख़तरे को छिपा देता है।

9. एक प्रबंधन प्रस्तुति में, एक बार चार्ट का y-अक्ष जिसमें बिक्री 1,000 से बढ़कर 1,020 हो गई है, वृद्धि को भारी दिखाने के लिए 980 से शुरू किया गया है। वास्तविक वृद्धि 2% है. यह एक नैतिक मुद्दा क्यों है?

• ए) एक छोटा y-अक्ष एक छोटे से अंतर को दृष्टिगत रूप से बढ़ा-चढ़ाकर पेश करता है और दर्शक को गुमराह करता है; निष्पक्षता के लिए, तुलना सलाखों में अक्ष 0 ✔ से शुरू होना चाहिए
• बी) बार चार्ट का उपयोग बिक्री डेटा के लिए कभी नहीं किया जा सकता है
• ग) कोई समस्या नहीं है; चार्ट को प्रभावशाली दिखाना हमेशा अच्छा होता है
• डी) वाई-अक्ष हमेशा डेटा के सबसे बड़े मूल्य से शुरू होना चाहिए

स्पष्टीकरण: तुलनात्मक उद्देश्यों के लिए बार चार्ट में, y-अक्ष आम तौर पर 0 से शुरू होना चाहिए। अक्ष को काटने और 980 पर शुरू करने से 2% का छोटा अंतर देखने में बहुत बड़ा लगता है और दर्शक को गुमराह करता है। डेटा प्रोफेशनल की नैतिक ज़िम्मेदारी ईमानदार ग्राफ़ बनाना है जो डेटा को बढ़ा-चढ़ाकर या कम करके न बताएं।

10. एक विश्लेषक ऑर्डर को उत्पाद तालिका के साथ जोड़ने के बाद कुल टर्नओवर को 3 गुना पाता है; लाइनों की संख्या 240 हजार से बढ़कर 690 हजार हो गई। इस मूक त्रुटि को रोकने के लिए क्या किया जाना चाहिए था?

• ए) कुल टर्नओवर को 3 से विभाजित करें
• बी) हमेशा JOIN के बजाय अलग क्वेरी का उपयोग करें
• सी) उत्पाद तालिका को पूरी तरह से हटाना
• डी) मर्ज/जॉइन के बाद पंक्तियों की संख्या की जांच करना और यह सत्यापित करना कि वे सही कुंजी के माध्यम से जुड़े हुए हैं; प्रतिकृति को जल्दी पकड़ना ✔

स्पष्टीकरण: जब उत्पाद तालिका में प्रत्येक उत्पाद (उदाहरण के लिए अलग-अलग रंग) के लिए कई पंक्तियाँ होती हैं, तो गलत कुंजी के माध्यम से JOIN प्रत्येक ऑर्डर को डुप्लिकेट कर देगा और कुल को बढ़ा देगा। कोड त्रुटियों के बिना चलता है लेकिन परिणाम गलत होता है। इससे बचने का तरीका प्रत्येक मर्ज/जॉइन के बाद पंक्तियों की संख्या की जांच करना और सही कुंजी के साथ मर्ज करना है।

11. एक हायरिंग स्क्रीनिंग मॉडल ऐतिहासिक डेटा में लिंग असंतुलन और व्यवस्थित रूप से कम स्कोर वाली महिला उम्मीदवारों के बारे में सीखता है, लेकिन इसकी समग्र सटीकता अधिक है। इसका अर्थ क्या है?

• ए) कोई समस्या नहीं है क्योंकि मॉडल में उच्च सटीकता है
• बी) सांख्यिकीय सटीकता नैतिक स्वीकार्यता का विकल्प नहीं है; मॉडल ने पिछले भेदभाव के बारे में जान लिया है, समूह-आधारित निष्पक्षता जांच आवश्यक है ✔
• सी) मॉडल की सटीकता को और बढ़ाने से समस्या हल हो जाती है
• डी) निष्पक्षता डेटा विज्ञान के दायरे से बाहर है

स्पष्टीकरण: भले ही कोई मॉडल सांख्यिकीय रूप से सही हो, यह नैतिक रूप से अस्वीकार्य हो सकता है। मॉडल पिछले डेटा में अन्याय सीखता है और भेदभाव को स्वचालित करता है। उच्च सत्यनिष्ठा न्याय का विकल्प नहीं है; उच्च-प्रभाव वाले मॉडल में, निष्पक्षता नियंत्रण, जो विभिन्न समूहों के लिए प्रदर्शन/निर्णय अंतर को मापता है, आवश्यक है और अंतिम जिम्मेदारी मानव की होती है।

12. एक कर्मचारी सार्वजनिक एआई टूल में वास्तविक ग्राहक ईमेल और खरीद इतिहास वाली एक फ़ाइल अपलोड करता है और 'सेगमेंट को सारांशित करें' कहता है। यह एक गंभीर गलती क्यों है और सही तरीका क्या है?

• ए) कोई समस्या नहीं है; AI उपकरण कभी भी डेटा संग्रहीत नहीं करते हैं
• बी) त्रुटि यह है कि फ़ाइल बहुत बड़ी है; कम किया जाना चाहिए था
• सी) किसी खुले टूल को वास्तविक व्यक्तिगत डेटा प्रदान करना केवीकेके/जीडीपीआर का उल्लंघन है; पहचान फ़ील्ड हटा दी जानी चाहिए थी और केवल अनाम स्कीमा/संपत्ति साझा की जानी चाहिए थी ✔
• डी) केवल एक्सेल के बजाय सीएसवी का उपयोग किया जाना चाहिए था

स्पष्टीकरण: जब वास्तविक व्यक्तिगत डेटा (जैसे ई-मेल, नाम, आदि) सार्वजनिक रूप से उपलब्ध कृत्रिम बुद्धिमत्ता उपकरण को दिया जाता है, तो केवीकेके / जीडीपीआर के दायरे में गोपनीयता का उल्लंघन होगा; डेटा संगठन छोड़ देता है. अधिकांश समय, विश्लेषण के लिए एक आरेख और एक अनाम/सिंथेटिक नमूना पर्याप्त होता है। सही तरीका पहचान फ़ील्ड को हटाना और केवल अनाम संपत्तियों को साझा करना है।

13. एक अनुशंसा मॉडल को उत्पादन में डाल दिया गया है लेकिन ट्रैकिंग स्थापित नहीं की गई है; जब 4 महीने के बाद उत्पाद सूची बदलती है, तो मॉडल पुराने उत्पादों की अनुशंसा करना जारी रखता है और रूपांतरण दर चुपचाप 30% कम हो जाती है। इस घटना का नाम क्या है?

• ए) अधिक सीखना; मॉडल प्रशिक्षण सेट को याद रखता है
• बी) मॉडल बहाव; जैसे-जैसे दुनिया बदलती है, मॉडल चुपचाप अप्रचलित हो जाता है, किसी का ध्यान नहीं जाता क्योंकि निगरानी स्थापित नहीं होती है ✔
• सी) चयन पूर्वाग्रह; नमूना पूर्वाग्रह
• डी) डेटा न्यूनीकरण उल्लंघन

स्पष्टीकरण: यह मॉडल बहाव (मॉडल/डेटा बहाव) है: जब दुनिया बदलती है (कैटलॉग, व्यवहार, मौसम) तो जिन परिस्थितियों में मॉडल को प्रशिक्षित किया गया था वे स्थितियां बदल जाती हैं और मॉडल चुपचाप टूट जाता है। उत्पादन में लगाया गया मॉडल अपने आप खराब हो जाता है; यह 'कब' की बात है. निगरानी (इनपुट और प्रदर्शन पर नज़र रखने) के बिना तैनाती से गिरावट का पता लगाना असंभव हो जाता है।

14. एक मॉडल जो एकल प्रशिक्षण/परीक्षण विभाजन में 88% सटीकता प्राप्त करता है, उसमें 88%, 71%, 83%, 64%, 79% के 5 गुना क्रॉस-सत्यापन स्कोर होते हैं। यह क्या दर्शाता है और क्रॉस-वैलिडेशन क्यों महत्वपूर्ण है?

• ए) मॉडल स्थिर है; 88% वास्तविक प्रदर्शन है
• बी) क्रॉस-सत्यापन अनावश्यक है; एक डिब्बा ही काफी है
• सी) स्कोर की बड़ी अस्थिरता इंगित करती है कि मॉडल अस्थिर है; क्रॉस-वैलिडेशन प्रदर्शन को कई बिनों के औसत और वितरण पर आधारित करता है, एक भी भाग्यशाली बिन पर नहीं ✔
• डी) उच्चतम स्कोर (88%) की रिपोर्ट करना सबसे अच्छा है

स्पष्टीकरण: एक ही डिब्बा भाग्यशाली या अशुभ हो सकता है; 88% केवल उस आसान विभाजन का परिणाम था। क्रॉस-वैलिडेशन डेटा को कई बार विभाजित करता है, प्रदर्शन को माध्य (यहां ~77%) पर आधारित करता है और स्कोर की अस्थिरता दिखाता है। यहां उच्च अस्थिरता से पता चलता है कि मॉडल अस्थिर है; किसी एक डिब्बे पर भरोसा करना भ्रामक है।