लाभ:
- टोकन, सन्दर्भ सञ्झ्याल र दैनिक भाषामा बहुविधताका अवधारणाहरू व्याख्या गर्ने क्षमता
- निदान गर्नुहोस् कि कार्यलाई व्यापक सन्दर्भ वा बहुविधता चाहिन्छ
- यी अवधारणाहरूले लागत र मोडेल चयनलाई कसरी असर गर्छ भन्ने कुरालाई ध्यानमा राख्ने क्षमता
अहिलेसम्म हामी प्रदायकहरू र मोडेल प्रकारहरूसँग परिचित छौं। यद्यपि, सही मोडेल चयनको लागि, यो पनि बुझ्न आवश्यक छ कि मोडेलहरू "भित्र" कसरी काम गर्छन्; किनभने मूल्य, क्षमता, र उपलब्धता निर्णयहरू सबै तीनवटा मूल अवधारणाहरूमा निर्भर हुन्छन्: टोकन, सन्दर्भ विन्डो, र बहुविधता। यी अवधारणाहरू नजान्ने व्यक्तिले मूल्य पाना पढ्न सक्दैन र "के यो कागजात मोडेलमा फिट हुनेछ?" प्रश्नको जवाफ दिन सक्दैन र दृश्य प्रशोधन आवश्यक छ देख्न सक्दैन। यो एकाइको अन्त्यमा, तपाईंले दैनिक भाषामा यी तीन अवधारणाहरू व्याख्या गर्न सक्षम हुनुहुनेछ, कामलाई फराकिलो सन्दर्भ वा बहुविधता चाहिन्छ कि भनेर निदान गर्न, र लागतमा तिनीहरूको प्रभावलाई ध्यानमा राख्न सक्नुहुन्छ।
टोकन: शब्दको सट्टा मोडेलद्वारा प्रयोग गरिएको एकाइ
आर्टिफिसियल इन्टेलिजेन्स मोडेलहरूले पाठलाई शब्दद्वारा होइन, तर सानो टुक्रामा टोकन भनिन्छ। एक टोकन; यो कुनै शब्द, शब्दको अंश, विराम चिह्न वा स्पेस हुन सक्छ। कुनै नराम्रो गणना गर्न: अंग्रेजीमा, एक औसत टोकन लगभग चार वर्णहरू छन्, र 100 शब्दहरू लगभग 130-150 टोकनहरू छन्। टर्कीमा, यो दर प्रत्यय र लामो शब्दहरूको कारण अलि बढी हुन सक्छ; अर्को शब्दमा, एउटै अर्थ भएको टर्की पाठले अङ्ग्रेजी भन्दा अलि बढी टोकन खपत गर्छ।
यो जान्न किन महत्त्वपूर्ण छ? किनकि सबै कुरा टोकनमा चार्ज र मापन गरिन्छ। तपाईंले मोडेलमा पठाउनुभएको पाठ (इनपुट) र मोडेलद्वारा उत्पादित प्रतिक्रिया (आउटपुट)लाई छुट्टै टोकनको रूपमा गणना गरिन्छ। तपाईंको इनभ्वाइस र मोडेलको क्षमता दुवै टोकनमा छन्।
सुझाव: पाठमा कति टोकनहरू छन् भन्ने अनुमान गर्न, वर्णहरूको संख्यालाई चारले विभाजन गर्नुहोस्। 4,000 क्यारेक्टरको इमेल लगभग 1,000 टोकन हुन्छ। टर्कीमा, सुरक्षित पक्षमा रहनको लागि थोरै उच्च मान्नुहोस्।
सन्दर्भ विन्डो: मोडेलको "छोटो अवधि मेमोरी"
सन्दर्भ सञ्झ्याल टोकनहरूको कुल मात्रा हो जुन मोडेलले एक पटकमा दिमागमा राख्न सक्छ। यस विन्डोमा इनपुट र आउटपुट सँगै फिट हुनुपर्छ। यसलाई एकैचोटि टेबलमा फैलाउन सक्ने कागजको मात्रा जस्तै सोच्नुहोस्: टेबलमा फिट नहुने कागज त्यस क्षणमा तपाईंको दृष्टिको क्षेत्र बाहिर छ।
यदि मोडेलको सन्दर्भ सञ्झ्याल 200,000 टोकनहरू छन् भने, यो लगभग 150,000 शब्दहरू, वा धेरै मध्यम आकारका पुस्तकहरूसँग बराबर हुन्छ। 1 मिलियन टोकनहरूले समग्र रूपमा धेरै ठूला कागजातहरू प्रशोधन गर्न सक्छन्। केही शक्तिशाली मोडेलहरू आज (जस्तै क्लाउड ओपस 4.8 र सोननेट 5) 1 मिलियन टोकन सन्दर्भहरू प्रस्ताव गर्छन्, जबकि हल्का वजनका मोडेलहरू प्राय: साना विन्डोहरूसँग आउँछन् (जस्तै हाइकु 4.5 को लागि 200,000 टोकनहरू)।
यो किन महत्त्वपूर्ण छ? किनभने यदि कागजात सन्दर्भ सञ्झ्यालमा फिट हुँदैन भने, मोडेलले यो सबै सँगै देख्न सक्दैन। तपाईंले 200,000 टोकन मोडेललाई पूर्ण रूपमा 500-पृष्ठ अनुबंध दिन सक्नुहुन्न; तपाईंले कागजातलाई भागहरूमा विभाजन गर्नुहोस् (जसले भागहरू बीचको सम्बन्ध गुमाउन सक्छ) वा फराकिलो सन्दर्भ भएको मोडेल छनौट गर्नुहोस्।
सावधानी: सन्दर्भ विन्डो ठूलो भएको कारणले गर्दा प्रत्येक कागजात भर्नु बुद्धिमानी होइन। तपाईंले सञ्झ्यालमा जति धेरै टोकनहरू राख्नुहुन्छ, त्यति नै तपाईंले भुक्तानी गर्नुहुन्छ, र कहिलेकाहीँ मोडेलले धेरै लामो पाठहरूमा मध्य विवरणहरू छुटाउन सक्छ। यो काम गर्ने भाग मात्र पठाउन अक्सर सस्तो र अधिक सही छ।
सन्दर्भ विन्डो एक निर्णय मापदण्ड हो
खोज
अनुमानित आवश्यक सन्दर्भ
उपयुक्त स्तर
छोटो ईमेल प्रतिक्रिया
धेरै सय टोकन
हल्का
एक पृष्ठ सारांश
धेरै हजार टोकन
हल्का / सन्तुलित
40-पृष्ठ रिपोर्ट विश्लेषण
~ 30,000 टोकन
सन्तुलित / बलियो
300-पृष्ठ अनुबंध समीक्षा
~250,000 टोकन
व्यापक सन्दर्भ संग शक्तिशाली
एकै पटक सयौं कागजातहरू प्रशोधन गर्नुहोस्
500,000+ टोकनहरू
फराकिलो सन्दर्भ
यो तालिका प्रश्नको जवाफ दिन्छ "कुन मोडेल?" यसले देखाउँछ कि प्रश्नको अंश कागजात आकार द्वारा सीधा जवाफ दिइन्छ। छोटो कामको लागि ठूलो सन्दर्भको साथ महँगो मोडेल किन्न यो बर्बाद हो; सानो सञ्झ्याल भएको मोडेल ठूला कागजातहरूको लागि अपर्याप्त छ।
बहुविधता: पाठभन्दा पर जाँदै
बहुविधता भनेको पाठ मात्र होइन धेरै प्रकारका डाटा (छवि, अडियो, कहिलेकाहीँ भिडियो) ह्यान्डल गर्ने मोडेलको क्षमता हो। यहाँ "मोडल" को अर्थ "डेटा प्रकार" हो; multimodal को अर्थ "धेरै प्रकार" हो।
- पाठ-मात्र मोडेल: लिखित पाठ मात्र पढ्छ र लेख्छ।
- मल्टीमोडल मोडेल: बिलको फोटो पढ्न, ग्राफमा प्रवृति व्याख्या गर्न, हस्तलिखित नोट डिकोड गर्न, कहिलेकाहीँ आवाज रेकर्डिङ ट्रान्सक्राइब गर्न सकिन्छ।
यो किन महत्त्वपूर्ण छ? किनभने तपाईंको व्यवसायको प्रकृतिले बहुविधता आवश्यक हुन सक्छ। इनभ्वाइस छविहरूबाट रकम निकाल्ने लेखा टोली, उत्पादनको तस्बिरहरू वर्गीकरण गर्ने ई-वाणिज्य टोली, वा क्षतिको तस्बिरहरूको मूल्याङ्कन गर्ने बीमा टोलीले पाठ मात्र पढ्ने मोडेलसँग यो काम गर्न सक्दैन। यी कार्यहरूको लागि भिजुअल प्रशोधन आवश्यक छ।
तीन यथार्थवादी केसहरू
केस १ - टोकन लागत आश्चर्य। सामग्री टोलीले मोडेललाई 20-पृष्ठ "ब्रान्ड गाइड" कागजात पनि पठाउँछ किनभने तिनीहरूले प्रत्येक ब्लग पोस्ट उत्पादन गर्छन्। यो गाइड लगभग 15,000 टोकन हो। तिनीहरूले एक महिना 2,000 लेख उत्पादन; त्यसोभए केवल गाइड बारम्बार पठाउनु भनेको इनपुटको 30 मिलियन टोकनहरू हो। गाइडलाई छोटो पारेर र सम्बन्धित खण्ड (लगभग 2,000 टोकनहरू) मात्र पठाएर, तिनीहरूले इनपुटलाई सातौंमा घटाउँछन् र बिललाई उल्लेखनीय रूपमा घटाउँछन्।
केस 2 - सन्दर्भ विन्डो पर्याप्त छैन। एउटा कानुनी फर्मले २८० पृष्ठको मर्जर सम्झौताको समीक्षा गर्न चाहन्छ। तिनीहरूले प्रयास गरेको पहिलो मोडेलमा 200,000 टोकनहरूको बाइन्डिङ थियो र कागजात फिट भएन; जब कागजात च्यातिएको छ, मोडेलले याद गर्न सक्दैन कि पहिलो खण्डको लेखले अन्तिम खण्डको लेखको विरोध गर्दछ। जब यो 1 मिलियन टोकन सन्दर्भको साथ मोडेलमा स्विच हुन्छ, यसले सम्पूर्ण कागजात पढ्छ र विरोधाभास समात्छ। यहाँ सन्दर्भ विन्डोले प्रत्यक्ष रूपमा शुद्धता निर्धारण गर्दछ।
केस 3 - बहुविधता अनिवार्य छ। बीमा कम्पनीले सवारीसाधनको क्षतिको फोटोबाट प्रारम्भिक मूल्याङ्कन गर्न चाहन्छ। पाठ मात्र पढ्ने मोडेलसँग यो असम्भव छ; एक बहुविध मोडेल जसले फोटो "हेर्छ" आवश्यक छ। जब तिनीहरू बहुविध मोडेलमा स्विच गर्छन्, तिनीहरूले एक पूर्व-स्क्रिनिङ प्रणाली स्थापना गर्छन् जसले फोटोमा स्थान र क्षतिको गम्भीरतालाई वर्गीकृत गर्दछ र विशेषज्ञलाई निर्देशन दिन्छ। तथापि, तिनीहरू नोट गर्छन् कि मानव विशेषज्ञले अन्तिम निर्णय गर्छ; किनभने मोडेल प्रारम्भिक स्क्रीनिंग उपकरण हो, अन्तिम शब्द होइन।
कमजोर प्रम्प्ट / बलियो प्रम्प्ट
कमजोर प्रम्प्ट:
यो कागजात संक्षेप गर्नुहोस्। [धेरै लामो कागजात टाँसियो]
शक्तिशाली प्रम्प्ट:
तल 40-पृष्ठ रिपोर्ट संक्षेप गर्नुहोस्। पहिले प्रतिवेदनमा टोकनहरूको अनुमानित सङ्ख्या अनुमान गर्नुहोस् र हामीलाई बताउनुहोस् कि यो सामान्य सन्तुलित मोडेलको सन्दर्भ विन्डोमा फिट हुन्छ। त्यसपछि यो ढाँचामा सारांश दिनुहोस्: 5-वस्तु कार्यकारी सारांश + 3 जोखिमपूर्ण निष्कर्षहरू। रिपोर्टमा जानकारी मात्र प्रयोग गर्नुहोस्; "रिपोर्टमा स्पष्ट छैन" भनी तपाई निश्चित नभएको भागलाई चिन्ह लगाउनुहोस्। [रिपोर्ट]
शक्तिशाली प्रम्प्ट टोकन/सन्दर्भ सचेत दुबै हो र आउटपुटको ढाँचा र प्रमाणीकरणलाई नियन्त्रण गर्दछ।
प्रतिलिपि गर्न मिल्ने टेम्प्लेटहरू
1. टोकन भविष्यवाणी:
निम्न पाठको लागि टोकनहरूको अनुमानित संख्या अनुमान गर्नुहोस् र यसलाई इनपुट लागतको सन्दर्भमा व्याख्या गर्नुहोस्: "[TEXT]"। यसलाई अलिकति गोलो बनाउनुहोस्, यो टर्की हो भनेर ध्यानमा राख्दै।
2. सन्दर्भ उपलब्धता जाँच:
मेरो काम निम्न कागजातहरू प्रशोधन गर्नु हो: प्रति महिना [QTY] कागजातहरूको औसत [PAGES]। यो आकार कुन सन्दर्भ विन्डो आवश्यक छ? कुन प्रकाश/सन्तुलित/बलियो स्तर पर्याप्त हुनेछ? यदि यसलाई भत्काउन आवश्यक छ भने के जोखिम उत्पन्न हुन्छ?
3. बहुविध निदान:
मेरो कार्यप्रवाह: [DESCRIPTION]। के यस स्ट्रिममा भिजुअल, अडियो वा भिडियो प्रशोधन छ? यदि त्यसो हो भने, के बहुविध मोडेल आवश्यक छ, वा यसलाई पाठ (OCR/ट्रान्सक्रिप्शन) मा रूपान्तरण गर्न सकिन्छ र पाठ मोडेलको साथ समाधान गर्न सकिन्छ? दुई मार्गहरूको फाइदा/विपक्ष तुलना गर्नुहोस्।
4. सन्दर्भ अनुकूलन:
म प्रत्येक अनुरोधको साथ मोडेलमा कागजात पठाउँछु, तर धेरै जसो अनावश्यक छ। म यस कागजातबाट [TASK] को लागि वास्तवमा आवश्यक पर्ने भागहरू कसरी निकाल्न सक्छु? इनपुट घटाउन ३ ठोस तरिकाहरू सुझाव दिनुहोस् र अनुमानित टोकन बचत संकेत गर्नुहोस्।
सामान्य गल्तीहरू
- एक शब्दको लागि गलत टोकन: टोकन एक शब्द भन्दा फरक छ; इनभ्वाइस र क्षमता सधैं टोकनमा छन्, शब्दहरूमा गणना भ्रामक छ।
- सन्दर्भ सञ्झ्याल अनन्त छ भनेर सोच्दै: प्रत्येक मोडेलको सीमा हुन्छ; यदि कागजात फिट हुँदैन भने, मोडेलले सम्पूर्ण देख्न सक्दैन।
- अनावश्यक ठूलो सन्दर्भ प्रयोग गर्दै: छोटो कामको लागि ठूलो सन्दर्भको साथ महँगो मोडेल किन्नुहोस्; वा प्रत्येक अनुरोधको लागि ठूला कागजातहरू भर्नुहोस् र व्यर्थ भुक्तान गर्नुहोस्।
- बहुविधता मान्दै: हरेक मोडेलले भिजुअल प्रक्रिया गर्न सक्दैन; दृश्य कार्यको लागि, मोडेल बहुविध हो भनेर पुष्टि नगरी सुरु गर्नुहोस्।
- टर्कीको टोकन लोड बिर्सने: टर्की पाठहरूले सामान्यतया उही अर्थको लागि अलि बढी टोकनहरू खपत गर्दछ; लागत अनुमानमा यसलाई बेवास्ता गर्दै।
संक्षेपमा
- टोकन एउटा सानो एकाइ हो जसमा मोडेलले पाठ प्रशोधन गर्छ; इनपुट र आउटपुट टोकनको रूपमा अलग-अलग मापन र इनभ्वाइस गरिन्छ।
- सन्दर्भ सञ्झ्याल मोडेलले एकै समयमा दिमागमा राख्न सक्ने कुल टोकनहरू हो; कागजातको आकारले प्रत्यक्ष रूपमा मोडेल चयनलाई असर गर्छ।
- मल्टीमोडालिटी भनेको भिजुअल/अडियो जस्ता गैर-पाठ डेटा प्रशोधन गर्ने मोडेलको क्षमता हो; यो दृश्य कार्यहरूको लागि आवश्यक छ।
- यी तीन अवधारणाहरू दुवै प्रश्नसँग सान्दर्भिक छन् "कुन मोडेल?" साथै "कति लाग्छ?" यसले प्रश्नहरूको आधार बनाउँछ।
आवेदन कार्य
आफ्नो व्यवसायमा आवर्ती AI कार्य छनौट गर्नुहोस्। 1st टेम्प्लेट (टोकन भविष्यवाणी) ले यो कार्यमा कतिवटा टोकनहरू सामान्य इनपुट छन् गणना गर्नुहोस्। त्यसपछि टेम्प्लेट २ (सन्दर्भ उपलब्धता जाँच) सँग कुन स्तर पर्याप्त छ भनेर निर्धारण गर्नुहोस्। यदि तपाईंसँग भिजुअल काम छ भने, तेस्रो टेम्प्लेट (मल्टिमोडैलिटी डायग्नोसिस) सँग मल्टीमोडल मोडेल आवश्यक छ कि छैन भनेर स्पष्ट गर्नुहोस्। हामी अर्को एकाइको लागत गणनामा परिणामस्वरूप टोकन अनुमान प्रयोग गर्नेछौं।
चेकलिस्ट
- [ ] मलाई टोकनको अवधारणा र पाठमा कति टोकनहरू छन् भनेर अनुमान लगाउने तरिका थाहा छ।
- [ ] म कन्टेक्स्ट सञ्झ्याललाई "टेबल/मेमोरी" एनालोजीसँग व्याख्या गर्न सक्छु।
- [ ] म एक कागजात एक मोडेल मा फिट हुनेछ कि मूल्याङ्कन गर्न सक्नुहुन्छ।
- [ ] म निदान गर्न सक्छु जब बहुविधता आवश्यक छ।
- [ ] म टर्कीको टोकन ओभरहेड र अनावश्यक सन्दर्भको लागतलाई ध्यानमा राख्छु।