शुरू से अंत तक अनुप्रयोग: मूल्यांकन, सत्यापन, नैतिकता और सीमाएँ

लाभ:

• एक छोटा परीक्षण सेट (eval) स्थापित करने की क्षमता जो आपके अपने डेटा के साथ एक मॉडल का मूल्यांकन करता है
• मानव सत्यापन, सीमाएं और जिम्मेदार उपयोग नीति को वर्कफ़्लो में शामिल करें
• मतिभ्रम, गोपनीयता और नैतिक जोखिमों को पहचानें और कम करने वाले उपाय लागू करें

आपने सही मॉडल चुना है; क्या काम पूरा हो गया? नहीं, असली काम तो अब शुरू होता है. आपके व्यवसाय में एक मॉडल डालने का मतलब आपके अपने डेटा के विरुद्ध उसका परीक्षण करना, उसके आउटपुट को मान्य करना और उसे जिम्मेदारी से तैयार करना है। यह अंतिम इकाई पूरे मॉड्यूल को एंड-टू-एंड एप्लिकेशन में बदल देती है: आप सीखेंगे कि एक छोटा परीक्षण सूट (eval) कैसे स्थापित करें, वर्कफ़्लो में मानव सत्यापन को एम्बेड करें, मतिभ्रम और गोपनीयता जोखिमों का प्रबंधन करें और नैतिक सीमाएं बनाएं। एक बार इकाई समाप्त हो जाने पर, आप न केवल एक मॉडल का चयन करने में सक्षम होंगे बल्कि उसे आत्मविश्वास के साथ चालू करने में भी सक्षम होंगे।

मूल्यांकन (मूल्यांकन): अपने स्वयं के डेटा के साथ परीक्षण

अब आप जानते हैं कि केवल आपका वास्तविक डेटा, विज्ञापन नहीं, यह बता सकता है कि कोई मॉडल आपके व्यवसाय के लिए उपयुक्त है या नहीं। इसे मापने का तरीका एक मूल्यांकन सेट (eval) स्थापित करना है: आपके काम से नमूनों का एक छोटा संग्रह जिसके लिए सही उत्तर ज्ञात है।

एक साधारण eval इस प्रकार स्थापित किया गया है:

1. 10-30 वास्तविक नमूने एकत्र करें। ऐसे इनपुट चुनें जो आपके काम के लिए विशिष्ट हों (कठिन और आसान मिश्रण)।
2. प्रत्येक उदाहरण के लिए "सही/अपेक्षित आउटपुट" निर्धारित करें। कोई विशेषज्ञ क्या उत्तर देगा?
3. उम्मीदवारों को उन्हीं उदाहरणों के माध्यम से चलाएँ। जिन मॉडलों की आप तुलना कर रहे हैं उनका एक-एक करके उसी सेट से परीक्षण करें।
4. परिणाम स्कोर करें. कितने उदाहरणों में यह सत्य है? उससे गलती कहां हुई? क्या गलतियाँ स्वीकार्य हैं?
5. तुलना करें और चुनें. उच्चतम समग्र स्कोर नहीं, बल्कि वह चुनें जो आपके लिए सबसे महत्वपूर्ण उदाहरणों में सबसे विश्वसनीय हो।

टिप: लीडरबोर्ड पर आंख मूंदकर भरोसा न करें। एक मॉडल विश्व स्तर पर पहले स्थान पर हो सकता है, लेकिन आपके विशिष्ट तुर्की कानूनी पाठों में दूसरे स्थान वाले मॉडल से भी बदतर प्रदर्शन कर सकता है। आपके स्वयं के 20 नमूनों का मूल्यांकन सैकड़ों सार्वजनिक परीक्षणों से अधिक मूल्यवान है।

मतिभ्रम: मॉडल का सबसे घातक जोखिम

मतिभ्रम तब होता है जब मॉडल एक विश्वसनीय भाषा में ऐसी जानकारी उत्पन्न करता है जो वास्तव में सत्य नहीं होती है। "मुझे नहीं पता" कहने के बजाय, मॉडल एक गैर-मौजूद कानून, एक बना-बनाया आँकड़ा, या एक झूठी तारीख पेश कर सकता है; इसके अलावा, वह यह कार्य अत्यंत विश्वसनीय भाषा में करता है। यह एआई का सबसे खतरनाक पहलू है क्योंकि त्रुटि सत्य के रूप में सामने आती है।

आप मतिभ्रम को पूरी तरह ख़त्म नहीं कर सकते, लेकिन आप इसे कम कर सकते हैं और पकड़ सकते हैं:

• इसे स्रोत पर आधारित करें: मॉडल को आपके द्वारा प्रदान किए गए दस्तावेज़ों से उत्तर उत्पन्न करने के लिए कहें, न कि उसकी अपनी "मेमोरी" (आरएजी तर्क) से।
• अनुरोध स्रोत: कहें, "प्रत्येक दावे के आगे, वह दस्तावेज़/अनुभाग लिखें जिस पर वह आधारित है"; यदि वह कोई स्रोत नहीं दे सकता, तो संदेह करें।
• लोगों से यह कहना कि वे निश्चित नहीं हैं: निर्देश "यदि आप निश्चित नहीं हैं, तो 'स्पष्ट नहीं' लिखें" मॉडल फिटिंग को कम करता है।
• मानव सत्यापन: महत्वपूर्ण आउटपुट को मानव द्वारा सत्यापित किया जाना चाहिए।

सावधानी: कानूनी, चिकित्सा या वित्तीय निर्णयों के लिए इसे मान्य किए बिना कभी भी मॉडल आउटपुट का उपयोग न करें। मॉडल द्वारा निर्मित एक "कानून लेख" या "खुराक जानकारी" पूरी तरह से मनगढ़ंत हो सकती है। इन क्षेत्रों में, AI एक मसौदा/प्रारंभिक उपकरण है; एक सक्षम व्यक्ति के पास हमेशा अंतिम शब्द होता है।

मानव सत्यापन की आवश्यकता

आर्टिफिशियल इंटेलिजेंस एक ऐसे उपकरण के रूप में सबसे अच्छा काम करता है जो लोगों को गति प्रदान करता है, न कि उन्हें काम से निकाल देता है। सही सेटअप इस प्रकार है: मॉडल ड्राफ्ट तैयार करता है या पूर्व-अर्हता प्राप्त करता है; मानव समीक्षा करता है, सुधारता है और अनुमोदन करता है। सत्यापन कितना कठोर होना चाहिए यह त्रुटि की लागत पर निर्भर करता है।

खोज

त्रुटि लागत

मानव सत्यापन

उत्पाद विवरण ड्राफ्ट

कम

नमूना नियंत्रण पर्याप्त है

ग्राहक ईमेल प्रतिक्रिया

मध्यम

प्री-सबमिशन समीक्षा

अनुबंध जोखिम विश्लेषण

उच्च

लेख दर लेख विशेषज्ञ पुष्टि

चिकित्सा/वित्तीय सलाह

बहुत ऊँचा

पूर्ण विशेषज्ञ सत्यापन, केवल AI समर्थन

यह तालिका "प्रत्येक आउटपुट को मैन्युअल रूप से जांचने" और "बिल्कुल भी जांच न करने" के बीच संतुलन बनाती है। जबकि कम लागत वाली नौकरियों के लिए नमूना नियंत्रण पर्याप्त है, उच्च कीमत वाली नौकरियों के लिए प्रत्येक आउटपुट को सत्यापित किया जाना चाहिए।

नैतिक और जिम्मेदार उपयोग

हालाँकि मॉडल चयन एक तकनीकी निर्णय की तरह लग सकता है, इसके पीछे नैतिक जिम्मेदारियाँ हैं:

• पारदर्शिता: अपने ग्राहकों या कर्मचारियों को बताएं कि आप उचित स्थानों पर एआई का उपयोग कर रहे हैं। ग्राहक को यह जानने का अधिकार है कि वे किसी इंसान से बात कर रहे हैं या एआई से।
• पूर्वाग्रह: मॉडल उस डेटा से पूर्वाग्रह प्राप्त कर सकते हैं जिस पर उन्हें प्रशिक्षित किया गया है। भर्ती और क्रेडिट मूल्यांकन जैसे संवेदनशील क्षेत्रों में परिणामों की निष्पक्षता की निगरानी करें।
• गोपनीयता: इकाई 8 में सीखे गए डेटा सुरक्षा सिद्धांतों को वर्कफ़्लो में शामिल करें; व्यक्तिगत डेटा लापरवाही से न भेजें.
• जवाबदेही: जब कोई गलती होती है, तो "एआई ने इसे बनाया" बचाव पर्याप्त नहीं है। जिम्मेदारी वाहन का उपयोग करने वाली संस्था की है। तो दस्तावेज़ सत्यापन प्रक्रियाएँ।

टिप: अपने वर्कफ़्लो में थोड़ी "जिम्मेदारीपूर्ण उपयोग नीति" लिखें: कौन सी नौकरियां एआई का उपयोग कर सकती हैं, कौन सा डेटा नहीं भेजा जा सकता है, इसे कौन सत्यापित करेगा, और त्रुटियों की रिपोर्ट कैसे की जाएगी। यह एक पृष्ठ का दस्तावेज़ भविष्य में बड़ी समस्याओं से बचाता है।

तीन यथार्थवादी मामले

केस 1 - eval स्थापित किए बिना पछतावा। एक बीमा टीम सबसे लोकप्रिय मॉडल का परीक्षण किए बिना दावों का सारांश बनाना शुरू कर देती है। दो सप्ताह के बाद, उन्हें एहसास हुआ कि मॉडल अक्सर तुर्की तकनीकी शब्दों में गलतियाँ करता है और कुछ मात्राएँ गलत तरीके से पढ़ता है। जब वे 20 नमूनों का एक मूल्यांकन स्थापित करते हैं और तीन मॉडलों की तुलना करते हैं, तो वे उस मॉडल पर स्विच करते हैं जो सबसे लोकप्रिय नहीं है लेकिन तुर्की तकनीकी ग्रंथों में अधिक सटीक है। हानि: दो सप्ताह और प्रूफरीडिंग श्रम। पाठ: पहले eval, बाद में तैनात करें।

केस 2 - वह प्रक्रिया जो मतिभ्रम को पकड़ लेती है। एक पैरालीगल मॉडल प्रिंटआउट में "सुप्रीम कोर्ट के फैसले" का संदर्भ देखता है। चूँकि उनकी प्रक्रिया में "प्रत्येक संदर्भ को सत्यापित करें" नियम है, वह निर्णय की तलाश करता है और पाता है कि ऐसा कोई निर्णय मौजूद नहीं है; उन्होंने एक मॉडल बनाया. मानव सत्यापन के कारण मनगढ़ंत जानकारी कभी भी ग्राहक तक नहीं पहुंचती। सत्यापन नियम के बिना, प्रतिष्ठा की हानि गंभीर हो सकती थी।

केस 3 - पारदर्शिता के साथ भरोसा करें। एक ई-कॉमर्स कंपनी एआई के साथ ग्राहक सहायता प्रतिक्रियाएं तैयार करती है, लेकिन प्रत्येक प्रतिक्रिया के तहत एक नोट जोड़ती है: "यह प्रतिक्रिया कृत्रिम बुद्धिमत्ता समर्थन के साथ तैयार की गई थी और हमारे एक प्रतिनिधि द्वारा इसकी समीक्षा की गई थी।" ग्राहक त्वरित प्रतिक्रिया और किसी इंसान को लगे हुए देखने के आत्मविश्वास दोनों से अधिक संतुष्ट हैं। पारदर्शिता छिपाने की कमजोरी नहीं, बल्कि विश्वास का स्रोत है।

कमजोर संकेत/मजबूत संकेत: सत्यापन योग्य आउटपुट

कमजोर संकेत:

मुझे इस अनुबंध की जोखिम भरी धाराओं के बारे में बताएं?

मॉडल फिट कर सकते हैं; कोई स्रोत नहीं, अनिश्चितता का कोई संकेत नहीं।

शक्तिशाली संकेत:

आपकी भूमिका: अनुबंध विश्लेषक (अंतिम निर्णय एक वकील का होता है)। कार्य: निम्नलिखित अनुबंध में संभावित जोखिम भरे खंडों को उजागर करें। प्रत्येक निष्कर्ष के लिए: (1) खंड संख्या और शब्दशः उद्धरण, (2) यह जोखिम भरा क्यों है, (3) आपका आत्मविश्वास स्तर (उच्च/मध्यम/निम्न)। पाठ में केवल खंडों पर भरोसा करें; ऐसी कोई भी चीज़ मनगढ़ंत न बनाएं जो पाठ में न हो। जहां आप निश्चित नहीं हैं, वहां "वकील की पुष्टि आवश्यक" लिखें। [अनुबंध]

मजबूत संकेत प्रत्येक दावे को स्रोत (अनुच्छेद संख्या + उद्धरण) से जोड़ता है, इसके लिए आत्मविश्वास के स्तर की आवश्यकता होती है, और मनगढ़ंत बातें रोकती है; यह मतिभ्रम को पकड़ने योग्य बनाता है।

कॉपी करने योग्य टेम्पलेट

1. इवल सेट डिज़ाइन:

निम्नलिखित कार्य [कार्य] के लिए एक मूल्यांकन सेट डिज़ाइन करें। 15 नमूना इनपुट (आसान-मध्यम-कठिन मिश्रित) का सुझाव दें, प्रत्येक के लिए "अपेक्षित सही आउटपुट" कैसे परिभाषित किया जाएगा, और एक स्कोरिंग मानदंड (1-5) निर्धारित करें।

2. मतिभ्रम कम करने वाला आवरण:

निर्माण को कम करने के लिए निम्नलिखित संकेत को फिर से लिखें: "[PROMPT]"। स्रोतों का हवाला देने, आत्मविश्वास का स्तर निर्दिष्ट करने के लिए नियम जोड़ें, और "यदि आप निश्चित नहीं हैं तो मुझे बताएं।"

3. सत्यापन प्रवाह डिज़ाइन:

निम्नलिखित वर्कफ़्लो में [वर्कफ़्लो] एआई आउटपुट के लिए एक मानव सत्यापन चरण डिज़ाइन करें। निर्धारित करें कि त्रुटि की लागत के आधार पर सत्यापन कितना कठोर होना चाहिए; लिखो कौन क्या जाँचेगा कब।

4. जिम्मेदार उपयोग नीति का मसौदा:

[उद्योग] में एक टीम के लिए एक पेज की "जिम्मेदार एआई उपयोग नीति" का मसौदा तैयार करें। निम्नलिखित शीर्षक शामिल करें: अनुमत उपयोग, निषिद्ध डेटा, सत्यापन जिम्मेदारी, पारदर्शिता रिपोर्टिंग, त्रुटि रिपोर्टिंग।

सामान्य गलतियाँ

• इवल के बिना तैनाती: मॉडल को अपने डेटा के साथ परीक्षण किए बिना शुरू करना और ग्राहक/नौकरी में प्रतिबिंबित होने के बाद त्रुटियों को नोटिस करना।
• मतिभ्रम पर भरोसा करना: संदर्भों की पुष्टि किए बिना मॉडल की आश्वस्त भाषा को सत्य के रूप में उपयोग करना।
• मानव सत्यापन को दरकिनार करना: उच्च लागत वाले निर्णयों में आउटपुट को अनियंत्रित छोड़ना; "एआई ने यह किया" बचाव पर झुकाव।
• पारदर्शिता से बचना: एआई के अपने उपयोग को छिपाना; ऐसा होने पर आत्मविश्वास की हानि का अनुभव करना।
• नैतिकता और पूर्वाग्रह की अनदेखी: आउटपुट की निष्पक्षता की निगरानी के बिना संवेदनशील निर्णय (नियुक्ति, क्रेडिट) का उपयोग करना।

संक्षेप में

• किसी मॉडल को तैनात करने से पहले, अपने स्वयं के डेटा के साथ एक छोटा ईवल सेट सेट करें और उम्मीदवारों का परीक्षण करें; समग्र रैंकिंग आपके व्यवसाय का प्रतिनिधित्व नहीं करती.
• मतिभ्रम मॉडल द्वारा झूठी भाषा का आत्मविश्वासपूर्ण उत्पादन है; स्रोत एट्रिब्यूशन, विश्वास के स्तर और मानव सत्यापन द्वारा कैप्चर किया गया।
• मानव सत्यापन की कठोरता को त्रुटि की लागत के अनुसार समायोजित किया जाता है; महत्वपूर्ण क्षेत्रों में AI ही एकमात्र सहारा है, निर्णय मानव का है।
• पारदर्शिता, पूर्वाग्रह नियंत्रण, गोपनीयता और जवाबदेही; जिम्मेदार एआई उपयोग के चार स्तंभ हैं। एक पेज की नीति बड़े जोखिमों को रोकती है।

आवेदन कार्य

पूरे मॉड्यूल में आपके द्वारा चुने गए उम्मीदवार मॉडल के लिए इस इकाई (ईवल सेट डिज़ाइन) में टेम्पलेट 1 के साथ 15 उदाहरणों का एक मूल्यांकन सेट सेट करें और इस सेट के विरुद्ध कम से कम दो मॉडल की तुलना करें। फिर डिज़ाइन करें कि आउटपुट को टेम्पलेट 3 (सत्यापन प्रवाह) के साथ मनुष्यों द्वारा कैसे सत्यापित किया जाएगा और टेम्पलेट 4 (जिम्मेदार उपयोग नीति) के साथ अपनी टीम के लिए एक-पेज नीति का मसौदा तैयार करें। ये तीन डिलिवरेबल्स पूरे मॉड्यूल को एक व्यावहारिक तैनाती योजना में बदल देते हैं।

चेकलिस्ट

• [ ] अपने स्वयं के डेटा के साथ, मैं एक छोटा इवल सेट स्थापित कर सकता हूं और मॉडलों की तुलना कर सकता हूं।
• [ ] मैं मतिभ्रम को पहचान सकता हूं और उसे कम करने और रोकने के उपाय लागू कर सकता हूं।
• [ ] मैं त्रुटि की लागत के आधार पर मानव सत्यापन की कठोरता को समायोजित कर सकता हूं।
• [ ] मैं कार्यप्रवाह में पारदर्शिता, पूर्वाग्रह, गोपनीयता और जवाबदेही सिद्धांतों को शामिल कर सकता हूं।
• [ ] मैं एक पेज की जिम्मेदार एआई उपयोग नीति का मसौदा तैयार कर सकता हूं।

मॉड्यूल परीक्षा

1. एआई 'प्रदाता' और 'मॉडल परिवार' के बीच क्या अंतर है?

• ए) प्रदाता वह कंपनी है जो मॉडल विकसित करती है, और मॉडल परिवार एक ब्रांड के तहत उस कंपनी का मॉडल समूह है ✔
• बी) वे बिल्कुल एक ही चीज़ हैं और एक दूसरे के स्थान पर उपयोग किए जाते हैं
• सी) प्रदाता मॉडल की कीमत है, मॉडल परिवार मॉडल की गति है।
• डी) मॉडल परिवार कंपनी को संदर्भित करता है, आपूर्तिकर्ता एकल मॉडल संस्करण को संदर्भित करता है

विवरण: प्रदाता वह कंपनी है जिसने मॉडल विकसित किया है (जैसे एंथ्रोपिक); मॉडल परिवार वह मॉडल समूह है जिसे वह कंपनी किसी ब्रांड के तहत एकत्र करती है (उदाहरण के लिए, क्लाउड)। मॉडल संस्करण परिवार के भीतर एक विशिष्ट संस्करण है।

2. किसी मॉडल के 'वजन' को सबसे सटीक रूप से कैसे परिभाषित किया जा सकता है?

• ए) यह टोकन की संख्या है जो मॉडल प्रति मिनट उत्पन्न कर सकता है
• बी) यह अरबों संख्यात्मक पैरामीटर हैं जिन्हें मॉडल प्रशिक्षण के दौरान सीखता है और अपनी जानकारी संग्रहीत करता है। ✔
• C) यह मॉडल का मासिक सदस्यता शुल्क है
• डी) यह मॉडल द्वारा समर्थित भाषाओं की संख्या है

विवरण: वज़न अरबों संख्यात्मक पैरामीटर हैं जिन्हें मॉडल प्रशिक्षण के दौरान सीखता है; यह वह जगह है जहां 'मॉडल जो कुछ भी जानता है' संग्रहीत है। बंद/स्पष्ट वजन भेद इस बात पर निर्भर करता है कि क्या इन मापदंडों को डाउनलोड और चलाया जा सकता है।

3. 'ओपन-वेट' और 'ओपन-सोर्स' के बारे में कौन सा कथन सत्य है?

• ए) वे बिल्कुल एक जैसी अवधारणाएं हैं और दोनों असीमित व्यावसायिक उपयोग देते हैं
• बी) ओपन वेट हमेशा प्रशिक्षण डेटा को भी सार्वजनिक करता है
• ग) यह वही बात नहीं है; ओपन वेटिंग में, आमतौर पर केवल पैरामीटर साझा किए जाते हैं और लाइसेंस की शर्तें व्यावसायिक उपयोग को सीमित कर सकती हैं ✔
• डी) ओपन सोर्स मॉडल डाउनलोड नहीं किए जा सकते, ओपन वेट मॉडल डाउनलोड किए जा सकते हैं

स्पष्टीकरण: ओपन वेटिंग में, केवल मॉडल पैरामीटर साझा किए जाते हैं; प्रशिक्षण डेटा और प्रक्रिया का अक्सर खुलासा नहीं किया जाता है, और कुछ लाइसेंस व्यावसायिक उपयोग को सीमित करते हैं। इसलिए 'ओपन वेट' बिल्कुल 'ओपन सोर्स' के समान नहीं है।

4. लंबे अनुबंधों को पढ़ने और उनका विश्लेषण करने वाली कानूनी टीम के लिए निम्नलिखित में से कौन सी सबसे निर्णायक मॉडल सुविधा है?

• ए) सबसे कम टोकन मूल्य होना
• बी) दृश्य (मल्टीमॉडल) प्रसंस्करण क्षमता होना
• सी) ओपन वेट लाइसेंस होना
• डी) एक विस्तृत संदर्भ विंडो होना ✔

स्पष्टीकरण: मॉडल को समग्र रूप से लंबे दस्तावेज़ों को संसाधित करने के लिए एक बड़ी संदर्भ विंडो की आवश्यकता होती है; संदर्भ विंडो टोकन की कुल मात्रा है जिसे मॉडल एक समय में ध्यान में रख सकता है।

5. बंद वजन मॉडल के लिए टोकन मूल्य निर्धारण के बारे में कौन सा सत्य है?

• ए) आउटपुट टोकन आमतौर पर इनपुट टोकन ✔ की तुलना में काफी अधिक महंगा होता है
• बी) इनपुट और आउटपुट हमेशा बिल्कुल समान कीमत पर होते हैं
• सी) केवल निश्चित मासिक शुल्क लिया जाता है, उपयोग राशि अप्रासंगिक है
• डी) इनपुट टोकन हमेशा आउटपुट से कई गुना अधिक महंगा होता है

स्पष्टीकरण: कीमत की गणना प्रति टोकन की जाती है, और मॉडल द्वारा उत्पादित आउटपुट टोकन आमतौर पर आपके द्वारा भेजे गए इनपुट टोकन से कई गुना अधिक महंगा होता है। इसलिए, लंबे और अनावश्यक प्रिंटआउट से लागत तेजी से बढ़ती है।

6. एक मॉडल में कौन सी सुविधा एक लेखांकन टीम के लिए आवश्यक है जो चालान छवियों से स्वचालित रूप से डेटा निकालना चाहती है?

• ए) सबसे व्यापक संभव संदर्भ विंडो
• बी) मल्टीमॉडैलिटी (दृश्य प्रसंस्करण क्षमता) ✔
• सी) ओपन वेट लाइसेंस
• डी) तर्क का उच्चतम स्तर

स्पष्टीकरण: दृश्य सामग्री को समझने के लिए, मॉडल को छवियों के साथ-साथ पाठ को भी संसाधित करने में सक्षम होना चाहिए, अर्थात यह मल्टीमॉडल होना चाहिए। मल्टीमॉडैलिटी मॉडल की कई प्रकार के डेटा, जैसे टेक्स्ट, इमेज और कभी-कभी ऑडियो को संभालने की क्षमता है।

7. उच्च-मात्रा वाले, सरल कार्य (उदाहरण के लिए हजारों समीक्षाओं का सकारात्मक/नकारात्मक वर्गीकरण) के लिए सबसे तार्किक विकल्प क्या है?

• ए) हमेशा सबसे मजबूत और सबसे महंगा तर्क मॉडल
• बी) एक मॉडल जो केवल खुले वजन और अपने सर्वर पर काम करता है
• सी) एक हल्का और कम लागत वाला मॉडल, क्योंकि कार्य सरल है और वॉल्यूम अधिक है ✔
• डी) सबसे व्यापक संदर्भ विंडो वाला मॉडल

विवरण: एक हल्का, कम लागत वाला मॉडल सरल, उच्च-मात्रा वाले कार्यों को पूरा करता है; सबसे शक्तिशाली और महंगे मॉडल का उपयोग करने से यहां अनावश्यक लागत पैदा होती है। सही दृष्टिकोण कार्य की कठिनाई को मॉडल स्तर से मिलाना है।

8. KVKK के संदर्भ में किसी विदेशी-आधारित AI प्रदाता को व्यक्तिगत डेटा युक्त टेक्स्ट भेजने का क्या कारण है?

• ए) यह कोई कानूनी दायित्व नहीं बनाता है
• बी) केवल तभी मायने रखता है जब प्रदाता ईयू में हो, किसी अन्य मामले में नहीं
• सी) यह सभी परिस्थितियों में सख्ती से प्रतिबंधित है, भले ही डेटा गुमनाम हो या नहीं
• डी) विदेश में डेटा ट्रांसफर पर विचार किया जाता है और यह केवीकेके ✔ की विशेष शर्तों के अधीन है

स्पष्टीकरण: विदेश में किसी प्रदाता के सर्वर पर ऑपरेटिंग डेटा को 'विदेश में डेटा ट्रांसफर' माना जाता है और यह इस विषय पर केवीकेके की विशेष शर्तों (जैसे स्पष्ट सहमति, पर्याप्तता निर्णय, उचित आश्वासन) के अधीन है।

9. किसी मॉडल का 'तर्क' मोड क्या करता है और यह लागत को कैसे प्रभावित करता है?

• ए) यह जटिल समस्याओं में सटीकता बढ़ाता है, लेकिन लागत और देरी बढ़ाता है क्योंकि यह अधिक टोकन उत्पन्न करता है ✔
• बी) मॉडल को हमेशा मुफ़्त बनाता है
• सी) केवल मॉडल द्वारा समर्थित भाषाओं की संख्या बढ़ जाती है
• डी) हमेशा उत्तर छोटे करें और लागत कम करें

विवरण: रीज़निंग मोड मॉडल को उत्तर देने से पहले चरण दर चरण 'सोचने' की अनुमति देता है; यह बहु-चरणीय और जटिल समस्याओं में सटीकता बढ़ाता है, लेकिन यह लागत और देरी भी बढ़ाता है क्योंकि यह अधिक टोकन उत्पन्न करता है।

10. आपके अपने व्यवसाय के लिए किसी मॉडल का मूल्यांकन (मूल्यांकन) करते समय सबसे विश्वसनीय तरीका क्या है?

• ए) केवल सबसे लोकप्रिय मॉडल चुनना और बिना परीक्षण के उसका उपयोग करना
• बी) अपने स्वयं के वास्तविक कार्यों का एक छोटा परीक्षण सेट सेट करें और इसके साथ मॉडल की तुलना करें ✔
• सी) केवल विज्ञापनों में उल्लिखित बेंचमार्क स्कोर को देख रहा हूं
• डी) उच्चतम संदर्भ विंडो वाले मॉडल को स्वचालित रूप से सर्वश्रेष्ठ के रूप में स्वीकार करें

स्पष्टीकरण: लीडरबोर्ड पर आंख मूंदकर भरोसा करने के बजाय, अपने स्वयं के वास्तविक कार्यों का एक छोटा परीक्षण सेट बनाएं और इस सेट पर मॉडल की तुलना करने से वह पता चलेगा जो वास्तव में आपके व्यवसाय के लिए उपयुक्त है।

11. यह ज्ञान कि मॉडल आउटपुट में 'मतिभ्रम' हो सकता है, आपके वर्कफ़्लो को कैसे आकार देना चाहिए?

• ए) आउटपुट को हमेशा सही माना जाना चाहिए और सीधे प्रकाशित किया जाना चाहिए
• बी) मतिभ्रम केवल मुफ़्त मॉडल में देखा जाता है, भुगतान किए गए मॉडल में नहीं
• सी) महत्वपूर्ण निर्णयों में, आउटपुट को एक मानव द्वारा सत्यापित किया जाना चाहिए और स्रोतों की पुष्टि की जानी चाहिए ✔
• डी) केवल मॉडल को बदलकर मतिभ्रम को पूरी तरह से समाप्त किया जा सकता है

स्पष्टीकरण: मतिभ्रम तब होता है जब मॉडल एक विश्वसनीय भाषा में ऐसी जानकारी उत्पन्न करता है जो वास्तव में सत्य नहीं होती है। इस जोखिम के कारण, मानव द्वारा आउटपुट का सत्यापन आवश्यक होना चाहिए, विशेष रूप से कानूनी, चिकित्सा और वित्तीय निर्णयों के लिए।

12. परिपक्व संस्थानों द्वारा अपनाए गए 'मॉडल पोर्टफोलियो' दृष्टिकोण का मूल तर्क क्या है?

• ए) प्रत्येक कार्य को एक ही, सबसे महंगे मॉडल द्वारा पूरा करके सरलता सुनिश्चित करना।
• बी) केवल सबसे सस्ते मॉडल का उपयोग करना और गुणवत्ता को पूरी तरह से नजरअंदाज करना
• सी) किसी भी मॉडल का उपयोग न करें और सभी कार्य मैन्युअल रूप से करें
• डी) कार्य के अनुसार विभिन्न मॉडलों का उपयोग करके लागत को अनुकूलित करना और एक ही प्रदाता पर निर्भरता कम करना

विवरण: मॉडल पोर्टफोलियो में कार्य के अनुसार विभिन्न मॉडलों का उपयोग करना है: सरल और भारी नौकरियों के लिए सस्ता मॉडल, जटिल नौकरियों के लिए शक्तिशाली मॉडल, गोपनीय डेटा के लिए खुला वजन/क्षेत्रीय मॉडल। यह लागत को अनुकूलित करता है और एकल प्रदाता पर निर्भरता को कम करता है।

13. मॉडल चयन के लिए मूल देश और डेटा प्रतिधारण नीति एक मानदंड क्यों हो सकती है?

• ए) क्योंकि यह सीधे नियामक, डेटा संप्रभुता और गोपनीयता आवश्यकताओं को प्रभावित करता है ✔
• बी) केवल इसलिए कि यह मॉडल की प्रतिक्रिया गति निर्धारित करता है
• सी) क्योंकि यह मॉडल द्वारा समर्थित फ़ाइल स्वरूपों को निर्धारित करता है
• डी) क्योंकि इसका कोई व्यावहारिक प्रभाव नहीं है, यह सिर्फ एक विपणन विवरण है

विवरण: वह देश जहां मॉडल का डेवलपर स्थित है और कहां/कितना डेटा संग्रहीत है; यह कानूनी विनियमन, डेटा संप्रभुता और गोपनीयता के मामले में निर्णायक है। उदाहरण के लिए, एक ऐसे संगठन के लिए जो यूरोपीय संघ के भीतर होस्ट करना चाहता है, एक क्षेत्रीय प्रदाता या शून्य भंडारण विकल्प महत्वपूर्ण हो जाता है।

14. कौन सा सबसे अच्छा स्पष्टीकरण देता है कि किसी कार्य में 'एकल सर्वश्रेष्ठ मॉडल' की तलाश करना भ्रामक क्यों है?

• ए) सभी मॉडलों में वास्तव में बिल्कुल समान क्षमताएं होती हैं
• बी) मॉडल विभिन्न आकारों में मजबूत होते हैं, इसलिए 'सर्वोत्तम' कार्य की आवश्यकता पर निर्भर करता है ✔
• सी) सबसे महंगा मॉडल स्वचालित रूप से हर कार्य में सर्वश्रेष्ठ होता है
• डी) मॉडल का चयन पूरी तरह से यादृच्छिक रूप से किया जाना चाहिए

विवरण: मॉडल गति, लागत, संदर्भ, बहुविधता, गोपनीयता और तर्क जैसे विभिन्न आयामों पर मजबूत हैं। एक मॉडल जो एक आयाम पर अग्रणी है वह दूसरे आयाम पर कमजोर हो सकता है; इसलिए 'सर्वोत्तम' हमेशा कार्य की आवश्यकता पर निर्भर करता है।