मॉडल चयन: सही कार्य के लिए सही मॉडल

लाभ:

• क्षमता, गति और लागत पर मॉडल परिवार (तेज़/संतुलित/शक्तिशाली) की तुलना कर सकते हैं
• कार्य की जटिलता के अनुसार मॉडल चयन और रूटिंग रणनीतियों को डिज़ाइन करता है
• मॉडल चयन को साक्ष्यों के एक छोटे से सेट के आधार पर आधारित करता है

एकमात्र निर्णय जो एलएलएम एकीकरण में आपके पैसे और गुणवत्ता को निर्धारित करता है वह यह है कि आप किस मॉडल का उपयोग करते हैं। सामान्य प्रतिक्रिया है "सबसे मजबूत मॉडल चुनें"; हालाँकि, इसका मतलब अक्सर अनावश्यक लागत और देरी होती है। सही दृष्टिकोण सबसे हल्का मॉडल चुनना है जो प्रत्येक कार्य को पूरा करता है और उस विकल्प को माप पर आधारित करता है, अनुमान पर नहीं। इस इकाई में, आप क्षमता/गति/लागत अक्ष पर मॉडल परिवार की तुलना करेंगे, कार्य जटिलता के अनुसार एक मॉडल रूटिंग रणनीति स्थापित करेंगे, और मूल्यांकन के एक छोटे सेट के साथ चयन का प्रमाण देंगे।

आदर्श परिवार को समझना

प्रदाता आम तौर पर तीन श्रेणियां प्रदान करते हैं: तेज़/सस्ता, स्थिर और शक्तिशाली। उनके बीच संबंध को तीन अक्षों पर संक्षेपित किया गया है: क्षमता (मुश्किल कार्यों को हल करने की शक्ति), गति (विलंबता), लागत (टोकन मूल्य)।

कक्षा

उदाहरण

प्रतिभा

गति

लागत

उपलब्ध कार्य

तेज़

हाइकु 4.5

मध्यम

बहुत ऊँचा

कम

वर्गीकरण, लेबलिंग, संक्षिप्त सारांश, अभिविन्यास

संतुलित

सॉनेट 5

उच्च

उच्च

मध्यम

सामान्य प्रयोजन, कोडिंग, बहु-चरणीय प्रवाह, अधिकांश एजेंट कार्य

मजबूत

ओपस 4.8

उच्चतम

मध्यम

उच्च

जटिल तर्क, लंबी दूरी के स्वायत्त कार्य, कठिन विश्लेषण

गंभीर अंतर्दृष्टि: अधिक शक्तिशाली मॉडल हर काम पर बेहतर प्रदर्शन नहीं करता है। एक सरल "अत्यावश्यक या नहीं" लेबलिंग में, मजबूत मॉडल और तेज़ मॉडल समान सही उत्तर देते हैं; अंतर केवल इतना है कि शक्तिशाली 5 गुना अधिक महंगा और धीमा है। अतिरिक्त प्रतिभा तभी मूल्य उत्पन्न करती है जब मिशन को इसकी आवश्यकता होती है।

चरण दर चरण: मॉडल कैसे चुनें?

1. कार्य को वर्गीकृत करें. क्या यह नियमित/पैटर्न (लेबलिंग, अनुमान), या ओपन-एंडेड/मल्टी-स्टेप (विश्लेषण, योजना, कोड) है?
2. सबसे हल्के उम्मीदवार से शुरुआत करें. इसे तेज़ मॉडल के साथ आज़माएँ. यदि यह पर्याप्त है, तो रुकें।
3. यदि यह पर्याप्त नहीं है, तो उच्च कक्षा में चले जाएँ। यदि सटीकता कम है, तो संतुलित पर जाएं, यदि वह पर्याप्त नहीं है, तो मजबूत पर जाएं।
4. मापो, अनुमान मत लगाओ। प्रत्येक उम्मीदवार की सटीकता और लागत की तुलना eval के एक छोटे सेट (नीचे) से करें।
5. पुनर्निर्देशन सेट करें. किसी एकल मॉडल से कनेक्ट करने के बजाय, कार्य को "राउटर" के साथ सही मॉडल में वितरित करें।

मॉडल रूटिंग

वास्तविक कार्यभार मिश्रित हैं: आने वाले अधिकांश अनुरोध सरल हैं, कुछ कठिन हैं। उन सभी को शक्तिशाली मॉडल पर भेजना बर्बादी है; उन सभी को तेज़ मॉडल में भेजने से गुणवत्ता कम हो जाती है। रूटिंग इसका समाधान करती है: एक सस्ता मॉडल (या एक सरल नियम) पहले कार्य को वर्गीकृत करता है, फिर कार्य उपयुक्त मॉडल पर जाता है।

# राउटर प्रॉम्प्ट (सस्ते मॉडल के साथ काम करता है) आने वाले अनुरोध को उसकी कठिनाई के अनुसार वर्गीकृत करें। केवल निम्नलिखित JSON लौटाएँ:

• सरल → तेज़ मॉडल (सस्ता, तेज़) पर जाएँ।
• जटिल → शक्तिशाली मॉडल (महंगा लेकिन आवश्यक) पर जाएं।

यह पैटर्न औसत लागत को काफी कम कर देता है क्योंकि अधिकांश ट्रैफ़िक आम तौर पर सरल होता है।

युक्ति: रेफरल निर्णय के लिए हमेशा एलएलएम की आवश्यकता नहीं होती है। "यदि टेक्स्ट 20 शब्दों से कम है तो फास्ट मॉडल पर जाएं" जैसे सरल नियम भी एक मार्गदर्शक हैं और शून्य अतिरिक्त टोकन लागत लाते हैं। पहले नियम आज़माएं.

विकल्प को साक्ष्य से जोड़ना: छोटा इवल क्लस्टर

"यह मुझे बेहतर लगता है" के आधार पर कोई मॉडल न चुनें। मूल्यांकन (मूल्यांकन सेट) नमूनों का एक छोटा सा सेट है जिसके लिए सही उत्तर ज्ञात है; आप प्रत्येक मॉडल को इस सेट पर चलाते हैं और सटीकता, लागत और विलंबता को मापते हैं।

# इवल सेटअप टेम्प्लेट1) 20-50 वास्तविक उदाहरण एकत्र करें, प्रत्येक पर "सही उत्तर" हाथ से लिखें। 2) इस सेट पर प्रत्येक मॉडल (तेज/संतुलित/मजबूत) चलाएं। 3) प्रत्येक मॉडल के लिए: सही की संख्या, औसत थ्रूपुट टोकन, प्रति अनुरोध लागत, औसत समय।4) वह मॉडल चुनें जो "सबसे सस्ता पर्याप्त सटीकता देता है"।

# इवल तुलना तालिका (भरें)मॉडल | सटीकता | प्रति अनुरोध लागत | औसत अवधिहाइकु | ...% | ... $ | ... एसएनसॉनेट | ...% | ... $ | ... स्नोपस | ...% | ... $ | ...सेकंड

कमजोर संकेत/मजबूत संकेत (मॉडल चयन निर्णय)

# WEAK (निर्णय का कोई आधार नहीं)आइए सर्वोत्तम मॉडल का उपयोग करें, बजट महत्वपूर्ण नहीं है।

# मजबूत (माप के आधार पर निर्णय) 50 नमूनों के मूल्यांकन में, हाइकु ने 96% सटीकता दी, सॉनेट ने 97% सटीकता दी; अंतर सांख्यिकीय रूप से महत्वहीन है. हाइकु को इसलिए चुना गया क्योंकि यह 5 गुना सस्ता और 2 गुना तेज है। यदि सटीकता 95% से कम हो जाती है, तो सॉनेट में अपग्रेड करने का निर्णय स्वचालित रूप से किया जाएगा।

शक्तिशाली संस्करण; चयन को एक संख्या, एक सीमा और एक वृद्धि नियम से बांधता है। यह दोनों आज के निर्णय का बचाव करता है और भविष्य में परिवर्तन का प्रबंधन करता है।

तीन मिनी मामले

केस 1 - अत्यधिक शक्तिशाली मॉडल से बच निकलना। एक कॉल सेंटर ओपस के साथ सभी बातचीत के सारांश तैयार कर रहा था; मासिक बिल अधिक था. 40-नमूना मूल्यांकन पर, सॉनेट सटीकता में ओपस से 1% पीछे था लेकिन उसकी लागत एक तिहाई थी। उन्होंने सारांश कार्य को सॉनेट में स्थानांतरित कर दिया; मासिक लागत $9,000 से घटकर $3,100 हो गई, बिना किसी गुणवत्ता संबंधी शिकायत के।

केस 2 - पुनर्निर्देशन के साथ मिश्रित ट्रैफ़िक। कानूनी तकनीकी टीम के 80% अनुरोध सरल दस्तावेज़ टैगिंग थे, 20% जटिल अनुबंध विश्लेषण थे। वे उन सभी को शक्तिशाली मॉडल के पास भेज रहे थे। उन्होंने एक सस्ता राउटर जोड़ा और हाइकु में सरल नौकरियां और ओपस में जटिल नौकरियां वितरित कीं; औसत अनुरोध लागत में 64% की गिरावट आई, जबकि विश्लेषण गुणवत्ता कायम रही।

केस 3 - बिना मापे आकार घटाने की लागत। लागत कम करने के लिए, एक टीम ने जटिल चिकित्सा कोड निष्कर्षण को सीधे तेज़ मॉडल में घटा दिया; उन्होंने मूल्यांकन नहीं किया. लाइव में, सटीकता 92% से गिरकर 78% हो गई, जिसके परिणामस्वरूप गलत अनुमान वापस आ गए। उन्हें पहले मूल्यांकन करना था: उस कार्य के लिए शक्तिशाली मॉडल की आवश्यकता थी। पाठ: घटाव और उन्नयन दोनों माप से होते हैं।

सामान्य गलतियाँ

• "सबसे मजबूत मॉडल" रिफ्लेक्स: सरल कार्यों में बर्बादी और अनावश्यक देरी।
• माप के बिना मॉडल बदलना: बिना माप के कमी और इज़ाफ़ा दोनों जोखिम भरा है।
• एकल मॉडल में लॉक करना: मिश्रित ट्रैफ़िक में रूटिंग अक्सर अधिक कुशल होती है।
• राउटर को हमेशा एलएलएम समझना: सरल नियम शून्य लागत पर काम कर सकते हैं।
• बूस्ट सीमा निर्धारित नहीं करना: यदि सटीकता गिरती है तो क्या होता है, इसे पहले से परिभाषित किया जाना चाहिए।
• मॉडल संस्करण को ठीक नहीं करना: रिकॉर्ड करें कि आप उत्पादन में किस मॉडल/संस्करण पर काम कर रहे हैं; संस्करण परिवर्तन से व्यवहार बदल सकता है.

गहरा: मूल्यांकन और वृद्धिशील परीक्षण को कायम रखना

मॉडल का चयन एक बार का निर्णय नहीं है। प्रदाता नए मॉडल पेश करते हैं, कीमतें बदलती हैं, आपकी नौकरी का विवरण विकसित होता है। इसलिए एक बार eval क्लस्टर सेट करें और भूलें नहीं; इसे एक जीवित प्राणी की तरह पकड़ें। जब कोई नया मॉडल आता है, तो आप उसके माध्यम से वही 20-50 नमूने चलाते हैं, तालिका को अपडेट करते हैं, और फिर से अपना निर्णय लेते हैं। यह आपको "पैटर्न-स्विचिंग अंतर्ज्ञान" जाल से बचाता है।

दूसरी उन्नत तकनीक फ़ॉलबैक/कैस्केड पैटर्न है। आप पहले सस्ते मॉडल को काम दें; यदि आउटपुट में कम आत्मविश्वास है या सत्यापन परत (इकाई 11) इसे अस्वीकार कर देती है, तो आप उसी अनुरोध को आगे बढ़ाते हैं। इसलिए अधिकांश ट्रैफ़िक सस्ते मॉडल पर हल हो जाता है, केवल शेष अल्पसंख्यक महंगे मॉडल पर जाता है। यह निश्चित एकल-मॉडल दृष्टिकोण की तुलना में सस्ता और अधिक टिकाऊ दोनों है।

तीसरा बिंदु यह है कि eval में न केवल सटीकता बल्कि लागत और विलंबता भी शामिल है। यदि कोई मॉडल 1% अधिक सटीक है, लेकिन 3 गुना अधिक महंगा और 2 गुना धीमा है, तो अधिकांश नौकरियों के लिए समझौता इसके लायक नहीं है। तीन अक्षों (सटीकता, लागत, विलंबता) के आधार पर निर्णय लें और "पर्याप्तता सीमा" को परिभाषित करें: "यदि सटीकता 95% से ऊपर है, तो सबसे सस्ता चुनें।"

अंत में, रिकॉर्ड करें कि आपने उत्पादन में किस मॉडल/संस्करण का उपयोग किया। यदि किसी दिन आउटपुट गुणवत्ता बदल जाती है, तो सबसे पहले आप यह देखेंगे कि मॉडल संस्करण बदल गया है या नहीं। संस्करण ट्रैसेबिलिटी से गुणवत्ता संबंधी समस्याओं के मूल कारण का पता लगाना तेज़ हो जाता है।

एक और चेतावनी: eval क्लस्टर को आपके वास्तविक कार्यभार का प्रतिनिधित्व करना चाहिए। केवल आसान उदाहरणों से युक्त एक मूल्यांकन यह छिपाता है कि मॉडल कठिन मामलों में कहाँ लड़खड़ाता है और आपको झूठे विश्वास में डाल देता है। एक अच्छा eval; इसमें सामान्य आसान उदाहरणों के साथ-साथ कोने-कोने के मामले भी शामिल हैं जिनका आप वास्तविकता में सामना करते हैं (अस्पष्ट, अपूर्ण, विरोधाभासी इनपुट)। यह कठिन अल्पसंख्यक आपके मॉडल की पसंद को निर्धारित करता है, क्योंकि हर मॉडल वैसे भी आसान बहुमत में सफल होता है। अपने इवल को समय-समय पर नए वास्तविक उदाहरण देकर ताज़ा और प्रतिनिधि बनाए रखें।

संक्षेप में

सही मॉडल सबसे हल्का मॉडल है जो काम पूरा करता है; अधिक शक्तिशाली हर काम में बेहतर नहीं है, यह बस अधिक महंगा और धीमा है। कार्य को वर्गीकृत करना और सबसे हल्के उम्मीदवार से शुरू करना, मिश्रित ट्रैफ़िक को रूटिंग के साथ वितरित करना, और मूल्यांकन के एक छोटे सेट के साथ चयन को प्रमाणित करना गुणवत्ता बनाए रखते हुए लागत को कई गुना कम कर देता है।

आवेदन कार्य

कार्यभार चुनें. (1) कार्य को सरल/जटिल के रूप में वर्गीकृत करें। (2) 20 वास्तविक उदाहरणों (उनके सही उत्तरों के साथ) का एक छोटा सा मूल्यांकन सेट डिज़ाइन करें। (3) तीन मॉडल वर्गों के लिए सटीकता/लागत/समय तुलना तालिका तैयार करने की योजना बनाएं। (4) यदि आपके पास मिश्रित ट्रैफ़िक है, तो एक रूटिंग नियम लिखें और एक वृद्धि सीमा निर्धारित करें।

चेकलिस्ट

• [ ] मैं क्षमता/गति/लागत अक्ष पर मॉडल परिवार की तुलना कर सकता हूं।
• [ ] मैं "सबसे हल्का सफल मॉडल" सिद्धांत लागू कर सकता हूं।
• [ ] मैं कार्य जटिलता के अनुसार मॉडल रूटिंग सेट कर सकता हूं।
• [ ] eval के एक छोटे से सेट के साथ मैं चयन को साक्ष्य से बांध सकता हूं।
• [ ] मैं अपग्रेड/डिमोशन सीमा को परिभाषित कर सकता हूं।