मॉडेल निवड: योग्य नोकरीसाठी योग्य मॉडेल

नफा:

क्षमता, गती आणि खर्चावर मॉडेल कुटुंबाची (जलद/संतुलित/शक्तिशाली) तुलना करू शकते
कार्य जटिलतेनुसार मॉडेल निवड आणि राउटिंग धोरणे डिझाइन करते
इव्हल्सच्या छोट्या संचासह पुराव्यावर आधारित मॉडेल निवड

LLM इंटिग्रेशनमध्ये तुमचा पैसा आणि गुणवत्तेसाठी तुमचा सर्वात मोठा दणका ठरवणारा एकच निर्णय तुम्ही कोणते मॉडेल वापरता. सामान्य प्रतिक्षेप म्हणजे "सर्वात मजबूत मॉडेल निवडा"; तथापि, याचा अर्थ अनेकदा अनावश्यक खर्च आणि विलंब होतो. योग्य दृष्टीकोन म्हणजे सर्वात हलके मॉडेल निवडणे जे प्रत्येक कार्य पूर्ण करते आणि त्या निवडीचा आधार मोजमापावर आधारित आहे, अंदाजावर नाही. या युनिटमध्ये, तुम्ही क्षमता/गती/किंमत अक्षावर मॉडेल कुटुंबाची तुलना कराल, कार्याच्या जटिलतेनुसार मॉडेल राउटिंग धोरण स्थापित कराल आणि मूल्यमापनांच्या छोट्या संचासह निवडीचा पुरावा द्याल.

मॉडेल कुटुंब समजून घेणे

प्रदाते साधारणपणे तीन वर्ग देतात: जलद/स्वस्त, स्थिर आणि शक्तिशाली. त्यांच्यातील संबंध तीन अक्षांवर सारांशित केले आहेत: क्षमता (कठीण कार्ये सोडवण्याची शक्ती), गती (विलंब), किंमत (टोकन किंमत).

वर्ग

उदाहरण

प्रतिभा

गती

खर्च

उपलब्ध कार्ये

जलद

हायकू 4.5

मध्यम

खूप उच्च

कमी

वर्गीकरण, लेबलिंग, संक्षिप्त सारांश, अभिमुखता

संतुलित

सॉनेट 5

उच्च

मध्यम

सामान्य उद्देश, कोडिंग, बहु-चरण प्रवाह, बहुतेक एजंट कार्य

मजबूत

ओपस ४.८

सर्वोच्च

मध्यम

उच्च

जटिल तर्क, दीर्घ-श्रेणी स्वायत्त कार्ये, कठीण विश्लेषण

गंभीर अंतर्दृष्टी: अधिक शक्तिशाली मॉडेल प्रत्येक कामावर चांगली कामगिरी करत नाही. साध्या "अर्जंट किंवा नाही" लेबलिंगमध्ये, मजबूत मॉडेल आणि वेगवान मॉडेल समान योग्य उत्तर देतात; फरक एवढाच आहे की शक्तिशाली 5 पट जास्त महाग आणि हळू आहे. जेव्हा मिशनला त्याची आवश्यकता असते तेव्हाच अतिरिक्त प्रतिभा मूल्य निर्माण करते.

स्टेप बाय स्टेप: मॉडेल कसे निवडायचे?

कार्याचे वर्गीकरण करा. हे रूटीन/पॅटर्न केलेले आहे (लेबलिंग, अनुमान), किंवा ओपन-एंडेड/मल्टी-स्टेप (विश्लेषण, नियोजन, कोड)?
सर्वात हलक्या उमेदवारासह प्रारंभ करा. जलद मॉडेल वापरून पहा. ते पुरेसे असल्यास, थांबा.
ते पुरेसे नसल्यास, उच्च वर्गात जा. जर अचूकता कमी असेल तर, संतुलितकडे जा, जर ते पुरेसे नसेल तर मजबूतकडे जा.
मोजा, अंदाज लावू नका. प्रत्येक उमेदवाराच्या अचूकतेची आणि किंमतीची तुलना एका लहान इव्हलसह (खाली) करा.
पुनर्निर्देशन सेट करा. एका मॉडेलशी कनेक्ट करण्याऐवजी, "राउटर" सह योग्य मॉडेलवर कार्य वितरित करा.

मॉडेल राउटिंग

वास्तविक वर्कलोड मिश्रित आहेत: बहुतेक येणाऱ्या विनंत्या सोप्या असतात, काही कठीण असतात. ते सर्व शक्तिशाली मॉडेलवर पाठवणे एक कचरा आहे; ते सर्व जलद मॉडेलवर पाठवल्याने गुणवत्ता कमी होते. राउटिंग हे निराकरण करते: स्वस्त मॉडेल (किंवा एक साधा नियम) प्रथम कार्याचे वर्गीकरण करते, नंतर कार्य योग्य मॉडेलकडे जाते.

# राउटर प्रॉम्प्ट (स्वस्त मॉडेलसह कार्य करते) येणाऱ्या विनंतीचे त्याच्या अडचणीनुसार वर्गीकरण करा. फक्त खालील JSON परत करा:{"अडचण": "साधा|complex"}साधे: एकल-चरण, सूत्रात्मक, लहान-उत्तर. जटिल: बहु-चरण तर्क, विश्लेषण किंवा दीर्घ पिढी आवश्यक आहे. विनंती: """{{request}}"""

साध्या → जलद मॉडेलवर जा (स्वस्त, जलद).
जटिल → शक्तिशाली मॉडेलवर जा (महाग पण आवश्यक).

या पॅटर्नमुळे सरासरी किंमत लक्षणीयरीत्या कमी होते कारण बहुतेक रहदारी सामान्यतः सोपी असते.

टीप: रेफरल निर्णयासाठी नेहमी LLM आवश्यक नसते. "मजकूर 20 शब्दांपेक्षा कमी असल्यास जलद मॉडेलवर जा" सारखे सोपे नियम देखील मार्गदर्शक आहेत आणि शून्य अतिरिक्त टोकन खर्च आणतात. प्रथम नियम वापरून पहा.

लिंकिंग चॉइस टू एव्हिडन्स: द स्मॉल इव्हल क्लस्टर

"ते मला चांगले दिसते" यावर आधारित मॉडेल निवडू नका. Eval (मूल्यांकन संच) नमुन्यांचा एक छोटा संच आहे ज्यासाठी योग्य उत्तर ज्ञात आहे; तुम्ही या सेटवर प्रत्येक मॉडेल चालवा आणि अचूकता, किंमत आणि विलंब मोजता.

# Eval सेटअप टेम्पलेट1) 20-50 वास्तविक उदाहरणे गोळा करा, प्रत्येकावर "योग्य उत्तर" लिहा. 2) या सेटवर प्रत्येक मॉडेल (जलद/संतुलित/मजबूत) चालवा. 3) प्रत्येक मॉडेलसाठी: दुरुस्त्यांची संख्या, सरासरी थ्रूपुट टोकन, प्रति विनंती खर्च, सरासरी वेळ.4) "पुरेशी अचूकता" देणारे मॉडेल निवडा.

# Eval तुलना सारणी (भरा) मॉडेल | अचूकता | प्रति विनंती खर्च | सरासरी कालावधी हायकू | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...से

कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट (मॉडेल निवड निर्णय)

# कमकुवत (निर्णयासाठी आधार नाही) चला सर्वोत्तम मॉडेल वापरू, बजेट महत्वाचे नाही.

# स्ट्राँग (मापनावर आधारित निर्णय) 50 नमुन्यांमध्ये, हायकूने 96% अचूकता दिली, सॉनेटने 97% अचूकता दिली; फरक सांख्यिकीयदृष्ट्या नगण्य आहे. हायकू निवडले कारण ते 5 पट स्वस्त आणि 2 पट वेगवान आहे. अचूकता 95% पेक्षा कमी झाल्यास, सॉनेटवर अपग्रेड करण्याचा निर्णय आपोआप घेतला जाईल.

शक्तिशाली आवृत्ती; निवडीला संख्या, थ्रेशोल्ड आणि एस्केलेशन नियमाशी जोडते. हे दोन्ही आजच्या निर्णयाचे रक्षण करते आणि भविष्यातील बदलाचे व्यवस्थापन करते.

तीन मिनी केसेस

केस 1 - जबरदस्त मॉडेलपासून सुटका. एक कॉल सेंटर ओपससह सर्व संभाषण सारांश तयार करत होता; मासिक बिल जास्त होते. 40-सॅम्पल इव्हलमध्ये, सॉनेट अचूकतेमध्ये ओपसच्या 1% मागे होते परंतु त्याची किंमत एक तृतीयांश होती. त्यांनी सारांश कार्य सॉनेटमध्ये हलवले; कोणत्याही गुणवत्तेच्या तक्रारींशिवाय मासिक खर्च $9,000 वरून $3,100 वर घसरला.

केस 2 — पुनर्निर्देशनासह मिश्रित रहदारी. कायदेशीर टेक टीमच्या 80% विनंत्या सोप्या दस्तऐवज टॅगिंगच्या होत्या, 20% जटिल करार विश्लेषण होत्या. ते सर्व शक्तिशाली मॉडेलकडे पाठवत होते. त्यांनी स्वस्त राउटर जोडले आणि हायकूला साध्या नोकऱ्या आणि ओपसमध्ये जटिल नोकऱ्या वितरित केल्या; सरासरी विनंती खर्च 64% ने घसरला, तर विश्लेषण गुणवत्ता राखली गेली.

केस 3 - मापन न करता आकार कमी करण्याची किंमत. खर्च कमी करण्यासाठी, एका संघाने थेट जलद मॉडेलमध्ये जटिल वैद्यकीय कोड काढणे कमी केले; त्यांचे मूल्यमापन झाले नाही. थेट मध्ये, अचूकता 92% वरून 78% पर्यंत घसरली, परिणामी चुकीचे निष्कर्ष परत आले. त्यांना प्रथम मूल्यमापन करावे लागले: त्या कार्यासाठी शक्तिशाली मॉडेल आवश्यक होते. धडा: घट आणि उंची दोन्ही मोजमापाने केले जातात.

सामान्य चुका

"सर्वात मजबूत मॉडेल" रिफ्लेक्स: साध्या कार्यांमध्ये कचरा आणि अनावश्यक विलंब.
मोजमाप न करता मॉडेल बदलणे: घट आणि वाढ या दोन्ही गोष्टी इव्हलशिवाय धोकादायक आहेत.
एकाच मॉडेलमध्ये लॉक करणे: मिश्रित रहदारीमध्ये राउटिंग अनेकदा अधिक कार्यक्षम असते.
LLM साठी राउटर नेहमी चुकीचे समजणे: साधे नियम शून्य खर्चावर कार्य करू शकतात.
बूस्ट थ्रेशोल्ड सेट न करणे: अचूकता कमी झाल्यास काय होते ते आगाऊ परिभाषित केले पाहिजे.
मॉडेल आवृत्ती निश्चित करत नाही: उत्पादनात तुम्ही कोणत्या मॉडेल/आवृत्तीवर काम करत आहात याची नोंद करा; आवृत्ती बदलल्याने वर्तन बदलू शकते.

सखोल: शाश्वत Eval आणि वाढीव चाचणी

मॉडेल निवड हा एकवेळचा निर्णय नाही. प्रदाते नवीन मॉडेल सादर करतात, किमती बदलतात, तुमचे नोकरीचे वर्णन विकसित होते. त्यामुळे एकदा eval क्लस्टर सेट करा आणि विसरू नका; एखाद्या जिवंत माणसाप्रमाणे धरा. जेव्हा एखादे नवीन मॉडेल बाहेर येते, तेव्हा तुम्ही तेच 20-50 नमुने त्याद्वारे चालवा, टेबल अपडेट करा आणि तुमचा निर्णय पुन्हा घ्या. हे "पॅटर्न-स्विचिंग अंतर्ज्ञान" सापळ्यापासून तुमचे संरक्षण करते.

दुसरे प्रगत तंत्र फॉलबॅक / कॅस्केड पॅटर्न आहे. आपण प्रथम स्वस्त मॉडेलला कार्य द्या; आउटपुटमध्ये कमी आत्मविश्वास असल्यास किंवा सत्यापन स्तर (युनिट 11) नाकारत असल्यास, तुम्ही तीच विनंती वाढवता. त्यामुळे बहुतांश वाहतूक स्वस्त मॉडेलवर सोडवली जाते, फक्त उर्वरित अल्पसंख्याक महाग मॉडेलवर जातात. हे निश्चित सिंगल-मॉडेल दृष्टिकोनापेक्षा स्वस्त आणि अधिक टिकाऊ आहे.

तिसरा मुद्दा असा आहे की eval मध्ये केवळ अचूकता नाही तर खर्च आणि विलंब देखील समाविष्ट आहे. एखादे मॉडेल 1% अधिक अचूक परंतु 3 पट अधिक महाग आणि 2 पट हळू असल्यास, बहुतेक नोकऱ्यांसाठी ट्रेड-ऑफ फायदेशीर नाही. तीन अक्षांसह निर्णय घ्या (अचूकता, खर्च, विलंब) आणि "पर्याप्तता थ्रेशोल्ड" परिभाषित करा: "अचूकता 95% पेक्षा जास्त असल्यास, सर्वात स्वस्त निवडा."

शेवटी, तुम्ही उत्पादनात कोणते मॉडेल/आवृत्ती वापरली ते रेकॉर्ड करा. जर एखाद्या दिवशी आउटपुटची गुणवत्ता बदलली, तर मॉडेल आवृत्ती बदलली आहे की नाही हे आपण पहाल. आवृत्ती शोधण्यायोग्यता गुणवत्तेच्या समस्यांचे मूळ कारण शोधणे जलद करते.

आणखी एक चेतावणी: eval क्लस्टरने तुमच्या वास्तविक वर्कलोडचे प्रतिनिधित्व केले पाहिजे. फक्त सोप्या उदाहरणांचा समावेश असलेले एव्हल लपवते जेथे मॉडेल कठीण प्रकरणांमध्ये अडखळते आणि तुम्हाला खोट्या आत्मविश्वासात आणते. एक चांगला eval; यामध्ये सामान्य सोपी उदाहरणे तसेच तुम्हाला प्रत्यक्षात आढळणाऱ्या कॉर्नर केसेसचा समावेश आहे (अस्पष्ट, अपूर्ण, विरोधाभासी इनपुट). हे कठीण अल्पसंख्याक तुमची मॉडेल निवड ठरवते, कारण प्रत्येक मॉडेल सहज बहुसंख्य तरीही यशस्वी होते. वेळोवेळी नवीन वास्तविक उदाहरणे देऊन आपले Eval ताजे आणि प्रतिनिधी ठेवा.

सारांशात

योग्य मॉडेल हे सर्वात हलके मॉडेल आहे जे काम पूर्ण करते; अधिक सामर्थ्यवान हे प्रत्येक कामात चांगले नसते, ते अधिक महाग आणि हळू असते. कार्याचे वर्गीकरण करणे आणि सर्वात हलक्या उमेदवारापासून सुरुवात करणे, राउटिंगसह मिश्रित रहदारी वितरीत करणे आणि इव्हलच्या छोट्या संचासह निवड निश्चित करणे गुणवत्ता राखून खर्च अनेक वेळा कमी करते.

अर्ज कार्य

वर्कलोड निवडा. (1) कार्याचे वर्गीकरण सोपे/जटिल असे करा. (2) 20 वास्तविक उदाहरणे (त्यांच्या योग्य उत्तरांसह) एक लहान इव्हल संच तयार करा. (३) तीन मॉडेल वर्गांसाठी अचूकता/किंमत/वेळ तुलना सारणी तयार करण्यासाठी योजना तयार करा. (४) तुमच्याकडे मिश्रित रहदारी असल्यास, राउटिंग नियम लिहा आणि एस्केलेशन थ्रेशोल्ड सेट करा.

चेकलिस्ट

[] मी मॉडेल कुटुंबाची क्षमता/गती/किंमत अक्षावर तुलना करू शकतो.
मी "सर्वात हलके यशस्वी मॉडेल" तत्त्व लागू करू शकतो.
[] मी कार्य जटिलतेनुसार मॉडेल राउटिंग सेट करू शकतो.
[ ] इव्हलच्या छोट्या संचासह मी निवडीला पुराव्याशी बांधील करू शकतो.
मी अपग्रेड/डिमोशन थ्रेशोल्ड परिभाषित करू शकतो.