जेनरेटिव एआई कैसे काम करता है?

लाभ:

टोकन संभाव्यता और भविष्यवाणी की अवधारणाओं को सहजता से समझा सकता है
यह समझता है कि एक भाषा मॉडल 'टुकड़े-टुकड़े' पाठ क्यों उत्पन्न करता है
यह व्याख्या कर सकते हैं कि मॉडल कभी निर्णायक और कभी रचनात्मक व्यवहार क्यों करता है

जब आप किसी भाषा मॉडल में "इस्तांबुल के बारे में सबसे अच्छी बात" लिखते हैं, तो यह कुछ ही सेकंड में एक धाराप्रवाह पैराग्राफ तैयार कर देता है। ये कैसे होता है? क्या मॉडल वास्तव में "सोचता है" या इसके पीछे कोई बहुत सरल लेकिन शक्तिशाली तंत्र है? इस इकाई में हम बताएंगे कि तकनीकी समीकरणों में जाए बिना, लेकिन सही अंतर्ज्ञान स्थापित करके, जेनरेटिव एआई कैसे काम करता है। यह अंतर्ज्ञान आगे आने वाली हर चीज़ का आधार है - विशेष रूप से मतिभ्रम, सत्यापन और अच्छे त्वरित लेखन के विषय। जेनरेटिव एआई, यानी, "जेनरेटिव आर्टिफिशियल इंटेलिजेंस", उन टूल का सामान्य नाम है जो मौजूदा उत्तर खोजने और लाने के बजाय स्क्रैच से टेक्स्ट बनाते हैं।

मूल विचार: अगले भाग की भविष्यवाणी करना

आश्चर्य की बात यह है कि एक भाषा मॉडल जो एकमात्र बुनियादी कार्य सीखता है वह यह है कि "किसी पाठ के किस भाग का अनुसरण करने की सबसे अधिक संभावना है?" प्रश्न का उत्तर देना है. मॉडल पूरा वाक्य तैयार करके आपके सामने पेश नहीं करता. इसके बजाय, यह वाक्य को बाएँ से दाएँ टुकड़े-टुकड़े करके प्रस्तुत करता है।

यहां बताया गया है कि यह चरण दर चरण कैसे काम करता है:

यह आपके द्वारा लिखे गए पाठ (संकेत) को पढ़ता है।
इस पाठ का अनुसरण करने के लिए सबसे संभावित भाग की भविष्यवाणी करता है।
वह टुकड़ा जोड़ता है.
यह नवगठित पाठ को फिर से देखता है और अगले सबसे संभावित अंश का अनुमान लगाता है।
उत्तर पूरा होने तक दोहराते रहें।

उदाहरण: यदि आपने मॉडल को यह टेक्स्ट दिया है कि "सुबह उठते ही एक गर्म कप लें...", तो संभवतः इसकी अगली कड़ी "चाय" या "कॉफ़ी" होगी; "डामर" नहीं. मॉडल ने लाखों पाठों से ऐसी संभावनाओं को सीखा है। फिर वह "चाय" जोड़ता है, फिर नए वाक्य को देखता है और अगले सबसे संभावित भाग का अनुमान लगाता है, इत्यादि।

दूसरे शब्दों में, प्रत्येक चरण पर, मॉडल ने जो लिखा है उसे देखकर अगला कदम उठाता है। इसीलिए इसे कभी-कभी "स्वतः पूर्ण का बहुत उन्नत संस्करण" कहा जाता है। लेकिन इस सादृश्य से प्रतिभा को कम नहीं आंका जाना चाहिए; सही पैमाने पर, यह भविष्यवाणी ऐसे परिणाम उत्पन्न कर सकती है जो तर्क की तरह दिखते हैं।

टोकन: एक शब्द के छोटे टुकड़े

मॉडल वास्तव में पूर्ण "शब्दों" के साथ नहीं बल्कि छोटे टुकड़ों के साथ काम करता है जिन्हें टोकन कहा जाता है। एक टोकन; कभी-कभी यह एक संपूर्ण शब्द होता है, कभी-कभी यह किसी शब्द का हिस्सा होता है, कभी-कभी यह विराम चिह्न होता है।

"पुस्तक" एक एकल टोकन हो सकता है।
"हमारी पुस्तकों से" को कई टोकन में विभाजित किया जा सकता है जैसे "पुस्तक", "एस", "हमारी", "से"।
रिक्त स्थान और विराम चिह्न भी टोकन के रूप में गिने जाते हैं।

ध्यान दें: टोकन केवल एक तकनीकी विवरण नहीं है। अधिकांश एआई उपकरण टोकन की संख्या के आधार पर शुल्क लेते हैं, और एक समय में संसाधित होने वाले टेक्स्ट (संदर्भ विंडो) मॉडल की लंबाई भी टोकन में सीमित होती है। तो "आप कितनी देर तक लिखते हैं" एक प्रत्यक्ष लागत और सीमा है।

संभाव्यता और "गर्मजोशी": दृढ़ संकल्प या रचनात्मकता?

प्रत्येक चरण में, मॉडल एक निश्चित उत्तर नहीं बल्कि संभावित निरंतरताओं की एक संभाव्यता सूची तैयार करता है। उदाहरण के लिए, "गर्म" शब्द के बाद: चाय 55%, कॉफ़ी 35%, दूध 7%, अन्य 3%। तो वह किसे चुनता है?

यहां, तापमान नामक एक सेटिंग चलन में आती है। तापमान एक प्रकार की रचनात्मकता घुंडी है जो यह निर्धारित करती है कि मॉडल कितना "जोखिम" उठाएगा।

सेटिंग

व्यवहार

निष्कर्ष

यह कहाँ उपयोगी है?

कम तापमान

हमेशा सबसे संभावित विकल्प लेता है

स्थिर, दोहराने योग्य

कानूनी सारांश, तकनीकी विवरण, डेटा निष्कर्षण

मध्यम तापमान

संतुलित विकल्प

स्वाभाविक लेकिन सुसंगत

सामान्य ईमेल, रिपोर्ट ड्राफ्ट

उच्च तापमान

कम संभावना वाले विकल्प आज़माता है

रचनात्मक, विविध, अप्रत्याशित

विचार-मंथन, नारा, नाम उत्पादन

यह अक्सर पूछे जाने वाले प्रश्न की भी व्याख्या करता है: "जब मैं एक ही प्रश्न दो बार पूछता हूं तो मुझे अलग-अलग उत्तर क्यों मिलते हैं?" क्योंकि चयन प्रक्रिया में कुछ यादृच्छिकता होती है; मॉडल किसी डेटाबेस से कोई निश्चित उत्तर नहीं लेता है, यह उसे हर बार पुन: प्रस्तुत करता है।

कमजोर संकेत/मजबूत संकेत

यह जानने से कि मॉडल "संभावना" के साथ काम करता है, यह भी बदल जाता है कि आप इसे कैसे निर्देश देते हैं। आप जितना अधिक संदर्भ देंगे, सही निरंतरता की संभावना उतनी ही अधिक होगी।

कमज़ोर संकेत: एक परिचयात्मक पाठ लिखें.

परिणाम: मॉडल सबसे "औसत" और सामान्य पाठ तैयार करता है क्योंकि यह नहीं जानता कि कौन सा उत्पाद, कौन सा दर्शक, कौन सा स्वर है।

सशक्त संकेत: एक छोटे कैफ़े की नई फ़िल्टर कॉफ़ी के लिए एक इंस्टाग्राम प्रचार पाठ लिखें। श्रोता: 25-35 वर्ष के, कॉफ़ी प्रेमी। स्वर: मैत्रीपूर्ण, संक्षिप्त. अधिकतम 3 वाक्य, अंत में 2 हैशटैग।

परिणाम: एक प्रयोग करने योग्य पाठ जो प्रासंगिक है क्योंकि संदर्भ संभावनाओं को कम कर देता है।

तीन मिनी मामले

केस 1 - विपणन, उच्च विविधता। एक टीम एक नए उत्पाद के लिए 30 नारे चाहती थी। अपनी उच्च तापमान सेटिंग के साथ, मॉडल ने विभिन्न, रचनात्मक विकल्प तैयार किए; टीम ने 30 में से 4 का चयन और विकास किया। कुल समय: 10 मिनट। यदि यह हाथ से किया जाता तो आधा दिन लग जाता।

केस 2 - कानून, उच्च दृढ़ संकल्प। उसी कंपनी की कानूनी टीम एक अनुबंध खंड को सरल बना रही थी। वे निरंतरता चाहते थे, रचनात्मकता नहीं; कम तापमान के साथ मॉडल ने हर बार लगभग समान, रूढ़िवादी सारांश दिया। इस प्रकार, विभिन्न परीक्षणों के बीच कोई असंगति नहीं थी।

केस 3 - "यह क्यों बदला?" सवाल। एक कर्मचारी ने एक ही ईमेल ड्राफ्ट का दो बार अनुरोध किया और दो अलग-अलग परिणाम प्राप्त किए; उसने सोचा कि यह एक "गलती" थी। वास्तव में, यह मॉडल की यादृच्छिकता का एक स्वाभाविक परिणाम है। एक बार जब कर्मचारी ने अपने पसंदीदा संस्करण को सहेजना सीख लिया और कहा कि यदि आवश्यक हो तो "इसे पिछले संस्करण की तरह बनाएं", कोई समस्या नहीं थी।

क्या मॉडल "समझ गया"?

यह सबसे कौतुहलपूर्ण प्रश्न है. मॉडल ने शब्दों के बीच सांख्यिकीय संबंधों को इतनी अच्छी तरह से सीख लिया है कि यह कई कार्यों को समझने का दिखावा करता है। लेकिन इसकी कोई सचेत समझ, इरादा या वास्तविकता-नियंत्रण तंत्र नहीं है। यह "सबसे संभावित अगली कड़ी" का निर्माण करता है; यह "सबसे सटीक जानकारी" प्रदान करने की गारंटी नहीं देता है। यह भेद मतिभ्रम के विषय का आधार है, जिसकी चर्चा हम अगली इकाइयों में करेंगे।

सामान्य गलतियाँ

मॉडल को खोज इंजन समझ लेना. मॉडल इंटरनेट पर खोज नहीं करता है और संसाधनों को पुनः प्राप्त नहीं करता है (जब तक कि कोई विशेष खोज सुविधा न हो); स्मृति से संभावित पाठ उत्पन्न करता है। तो वह स्रोत/आंकड़ा बना सकता है।
प्रवाह को सटीकता समझने की भूल करना। सिर्फ इसलिए कि पाठ सुंदर और आत्मविश्वासपूर्ण है इसका मतलब यह नहीं है कि इसकी सामग्री सही है।
हर बार एक ही जवाब की उम्मीद. यादृच्छिकता स्वाभाविक है; महत्वपूर्ण कार्यों के लिए अपना पसंदीदा आउटपुट सहेजें।
बहुत लंबा, अनावश्यक टेक्स्ट चिपकाना और टोकन सीमा को आगे बढ़ाना। लंबाई लागत बढ़ाती है और मॉडल का ध्यान भटका सकती है; बस आवश्यक सन्दर्भ दीजिए।

ध्यान दें: सिर्फ इसलिए कि मॉडल धाराप्रवाह और आत्मविश्वास से बोलती है इसका मतलब यह नहीं है कि वह सही ढंग से बोलती है। प्रवाह संभाव्यता अनुमान का स्वाभाविक परिणाम है; सटीकता एक ऐसी चीज़ है जिसकी जाँच अलग से और स्वतंत्र रूप से की जानी चाहिए।

संक्षेप में

जेनरेटिव एआई अगले सबसे संभावित खंड (टोकन) की भविष्यवाणी करके चरण दर चरण पाठ उत्पन्न करता है; वाक्य को टुकड़े-टुकड़े करके बनाता है।
टोकन शब्दों के छोटे हिस्से होते हैं और लागत और लंबाई दोनों सीमाएँ निर्धारित करते हैं।
प्रत्येक चरण पर, मॉडल संभावनाओं की एक सूची तैयार करता है; तापमान सेटिंग यह निर्धारित करती है कि आउटपुट कितना स्थिर या रचनात्मक होगा।
एक ही प्रश्न के भिन्न-भिन्न उत्तरों का कारण इस प्रक्रिया में निहित यादृच्छिकता है।
मॉडल धाराप्रवाह बोलती है, लेकिन इससे यह गारंटी नहीं मिलती कि वह सच बोल रही है; प्रवाह और सटीकता अलग-अलग चीजें हैं।

अनुप्रयोग कार्य

अपने एआई टूल को लगातार दो बार एक ही रचनात्मक कार्य दें (उदाहरण के लिए "एक त्वरित धन्यवाद नोट लिखें") और देखें कि आउटपुट कैसे भिन्न होते हैं। फिर उसी कार्य को संदर्भ जोड़ते हुए "पावरफुल प्रॉम्प्ट" टेम्पलेट के साथ दोहराएं, और दोनों परिणामों के बीच गुणवत्ता में अंतर पर ध्यान दें।

जांच सूची

[ ] मैं समझा सकता हूं कि मॉडल "अगले संभावित खंड की भविष्यवाणी" करके पाठ तैयार करता है।
मैं जानता हूं कि [ ] टोकन क्या है और इसका मतलब लागत/सीमा क्यों है।
[ ] मैं उन नौकरियों के बीच अंतर कर सकता हूं जिनमें दृढ़ संकल्प की आवश्यकता होती है और जिनमें रचनात्मकता की आवश्यकता होती है।
[ ] मैं जानता हूं कि एक ही प्रश्न के अलग-अलग उत्तर मिलना सामान्य बात है।
[ ] मैंने यह समझ लिया है कि प्रवाह सटीकता की कोई गारंटी नहीं है।