लाभ:
- इनपुट/आउटपुट टोकन मूल्य निर्धारण और चालान आइटम को पढ़ने की क्षमता
- किसी मोटे फॉर्मूले के साथ वर्कफ़्लो की मासिक लागत का अनुमान लगाने की क्षमता
- कैशिंग, बैच प्रोसेसिंग और मॉडल स्टेजिंग जैसी लागत-कटौती विधियों को लागू करना
यह अनुमान लगाने में सक्षम होना कि किसी मॉडल की लागत कितनी होगी, निर्णय निर्माता के सबसे व्यावहारिक कौशल में से एक है। "मैं मासिक रूप से क्या भुगतान करूं?" यदि आप प्रश्न का उत्तर नहीं दे सकते, तो आप न तो बजट की योजना बना सकते हैं और न ही सही स्तर का चयन कर सकते हैं। अच्छी खबर यह है कि मूल्य निर्धारण जितना लगता है उससे कहीं अधिक सरल है, और एक बार जब आप इसे समझ जाते हैं तो आप स्वयं एक मोटा अनुमान लगा सकते हैं। इस इकाई में, आप सीखेंगे कि इनपुट/आउटपुट टोकन मूल्य निर्धारण कैसे पढ़ें, एक सरल सूत्र के साथ वर्कफ़्लो की मासिक लागत का अनुमान कैसे लगाएं, और ऐसे तरीके जो वास्तव में लागत को कम करते हैं।
अंगूठे का नियम: इनपुट और आउटपुट की कीमत अलग-अलग होती है
बंद-वजन मॉडल में, मूल्य की गणना संसाधित टोकन की मात्रा के आधार पर की जाती है और दो अलग-अलग आइटम होते हैं:
- इनपुट टोकन (इनपुट): वह टेक्स्ट जो आप मॉडल को भेजते हैं। आपका संकेत, आपके दस्तावेज़, आपके नमूने।
- आउटपुट टोकन: मॉडल आपके लिए जो उत्तर तैयार करता है।
महत्वपूर्ण बिंदु: आउटपुट टोकन अक्सर इनपुट टोकन से कई गुना अधिक महंगा होता है। ऐसा इसलिए है क्योंकि आउटपुट का उत्पादन करना मॉडल के लिए कम्प्यूटेशनल रूप से अधिक महंगा है। उदाहरण के लिए, एक मॉडल में, इनपुट $3 प्रति मिलियन टोकन हो सकता है जबकि आउटपुट $15 हो सकता है; इसलिए आउटपुट पांच गुना अधिक महंगा है। इसका मतलब यह है कि लंबे और अनावश्यक उत्तर बजट को जल्दी ख़त्म कर सकते हैं।
टिप: लागत कम करने के सबसे आसान तरीकों में से एक है मॉडल से अनावश्यक रूप से लंबे उत्तर न मांगना। "अधिकतम 5 लेख", "एकल पैराग्राफ", "केवल तालिका निर्यात करें" जैसे प्रतिबंध गुणवत्ता बढ़ाते हैं और आउटपुट टोकन बचाते हैं।
वर्तमान मूल्य उदाहरण
नीचे कई मॉडलों की अनुमानित कीमतें हैं (प्रति मिलियन टोकन, अमेरिकी डॉलर)। ये मान उस अवधि के हैं जिसमें यह मॉड्यूल तैयार किया गया था और बार-बार बदलते रहते हैं; सटीक निर्णय के लिए प्रदाता के वर्तमान मूल्य पृष्ठ की जाँच करें।
मॉडल
मंच
इनपुट $/1M
आउटपुट $/1M
क्लाउड ओपस 4.8
मजबूत
~5
~25
क्लाउड सॉनेट 5
संतुलित
~3
~15
क्लाउड हाइकु 4.5
हल्का
~1
~5
जैसा कि तालिका में देखा गया है, मजबूत स्तर और हल्के स्तर के बीच कीमत में पांच गुना तक का अंतर हो सकता है। इसीलिए "सभी व्यवसायों के लिए सबसे उपयुक्त मॉडल" दृष्टिकोण अक्सर पैसे की बर्बादी है। एक सस्ते मॉडल द्वारा सरल कार्य और एक शक्तिशाली मॉडल द्वारा कठिन कार्य करने से गुणवत्ता की हानि के बिना बड़ी बचत होती है। इकाई 7 और 9 में हम इस विचार को और गहरा करेंगे।
मासिक लागत का अनुमान: सरल सूत्र
एक मोटे मासिक लागत अनुमान के लिए, आप इस सूत्र का उपयोग कर सकते हैं:
मासिक लागत ≈ (प्रति माह अनुरोधों की संख्या × औसत इनपुट टोकन × इनपुट मूल्य / 1,000,000)+ (प्रति माह अनुरोधों की संख्या × औसत आउटपुट टोकन × आउटपुट मूल्य / 1,000,000)
चलिए एक उदाहरण चलाते हैं. मान लीजिए कि एक ई-कॉमर्स टीम प्रति माह 50,000 उत्पाद विवरण तैयार करती है। प्रत्येक अनुरोध औसतन 500 टोकन इनपुट (उत्पाद जानकारी) भेजता है और 300 टोकन आउटपुट (विवरण) प्राप्त करता है। एक संतुलित मॉडल में (इनपुट ~3, आउटपुट ~15):
- इनपुट लागत: 50,000 × 500 × 3 / 1,000,000 = $75
- आउटपुट लागत: 50,000 × 300 × 15 / 1,000,000 = $225
- कुल ≈ $300/माह
यदि उन्होंने हल्के मॉडल में समान कार्य किया (इनपुट ~1, आउटपुट ~5):
- इनपुट: 50,000 × 500 × 1 / 1,000,000 = $25
- आउटपुट: 50,000 × 300 × 5 / 1,000,000 = $75
- कुल ≈ $100/माह
तो केवल चरण चयन ही उसी कार्य को $300 से $100 तक कम कर सकता है। उत्पाद विवरण जैसे अपेक्षाकृत सरल कार्य के लिए, हल्का मॉडल अक्सर पर्याप्त से अधिक होता है।
सावधानी: यह सूत्र एक मोटा अनुमान है; वास्तविक बिलिंग कैश उपयोग, पुनः प्रयास और तर्क मोड जैसे कारकों के साथ भिन्न होती है। फिर भी, बजट की पुष्टि प्राप्त करने या दो मॉडलों की तुलना करने के लिए यह एक बहुत अच्छी शुरुआत है। निर्णय लेने से पहले एक छोटे पायलट के साथ वास्तविक संख्या को मापना सबसे अच्छा है।
लागत कम करने के पाँच तरीके
- सही स्तर चुनें. सरल, हल्का मॉडल। यह बचत का सबसे बड़ा स्रोत है।
- इनपुट छोटा करें. प्रत्येक अनुरोध के लिए बड़े दस्तावेज़ भरने के बजाय, केवल प्रासंगिक अनुभाग (इकाई 5 में संदर्भ अनुकूलन) भेजें।
- आउटपुट सीमित करें. उत्तर की लंबाई और प्रारूप स्पष्ट करें; अनावश्यक रूप से लंबा उत्तर = अनावश्यक लागत।
- कैशिंग का प्रयोग करें. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. यदि आप एक ही बड़े निर्देश को हजारों बार भेज रहे हैं तो यह महत्वपूर्ण बचत प्रदान करता है।
- बैच प्रोसेसिंग करें. यदि आप जल्दी में नहीं हैं, तो "बैच" विकल्प, जो थोक में कई अनुरोध भेजते हैं और उन्हें छूट पर संसाधित करते हैं, लागत को काफी कम कर देते हैं।
तीन यथार्थवादी मामले
केस 1 - कदम परिवर्तन के साथ बचत। एक ग्राहक सेवा टीम सबसे मजबूत मॉडल के साथ आने वाले सभी ईमेल का सारांश दे रही थी, और उनका मासिक बिल ~$900 था। सारांश बनाना एक सरल कार्य था; जब वे संतुलित स्तर पर चले गए, तो आउटपुट गुणवत्ता लगभग समान रही, लेकिन बिल ~$250 तक गिर गया। बचत ~$7,800 प्रति वर्ष, केवल सही स्तर चुनकर।
केस 2 - कैश से बचत। एक सॉफ़्टवेयर टीम प्रत्येक कोड समीक्षा अनुरोध के साथ समान 8,000 टोकन "कोडिंग मानक" दस्तावेज़ भेज रही थी। प्रति दिन 400 अनुरोध × 8,000 टोकन = बड़ा दोहराव वाला इनपुट। जब उन्होंने कैश सुविधा चालू की, तो यह निश्चित विभाजन बहुत सस्ते में पढ़ा जाने लगा और इनपुट लागत का एक महत्वपूर्ण हिस्सा गायब हो गया।
केस 3 - आउटपुट सीमित करके बचत। जब एक मार्केटिंग टीम ने उत्पाद विवरण मांगा, तो मॉडल ने एक बार में लंबे, पुष्प पैराग्राफ तैयार किए। जब उन्होंने "अधिकतम 60 शब्द, एकल पैराग्राफ" प्रतिबंध जोड़ा, तो स्पष्टीकरण अधिक उपयोगी हो गए और आउटपुट टोकन आधा हो गया। जबकि गुणवत्ता में वृद्धि हुई, लागत में कमी आई; जीत-जीत.
कमजोर संकेत/मजबूत संकेत
कमजोर संकेत:
मुझे इस उत्पाद के लिए एक अच्छा विवरण लिखें. [उत्पाद जानकारी]
मॉडल जब तक चाहे तब तक लिख सकती है; आउटपुट टोकन अनियंत्रित है.
शक्तिशाली संकेत:
आपकी भूमिका: ई-कॉमर्स कॉपीराइटर। उत्पाद की जानकारी]। कार्य: उत्पाद विवरण लिखें. प्रतिबंध: अधिकतम 60 शब्द, एक पैराग्राफ, गैर-तकनीकी ग्राहकों के लिए अपील, 2 लाभ + 1 उपयोग मामला शामिल है। फैंसी विशेषणों से बचें.
शक्तिशाली प्रॉम्प्ट गुणवत्ता और आउटपुट लंबाई (और इसलिए लागत) दोनों को नियंत्रित करता है।
कॉपी करने योग्य टेम्पलेट
1. मासिक लागत अनुमान:
मैं मासिक रूप से [मात्रा] अनुरोध करता हूं। औसत इनपुट ~[NUM] टोकन, आउटपुट ~[NUM] टोकन। सूत्र के साथ निम्नलिखित मॉडलों ([मॉडल ए], [मॉडल बी]) के लिए मासिक लागत की गणना करें और एक तालिका में तुलना करें। इनपुट/आउटपुट कीमतें [कीमतें] स्वीकार करें।
टियर 2 तुलना:
मेरा कर्तव्य [कार्य]। क्या इस कार्य के लिए वास्तव में एक शक्तिशाली मॉडल की आवश्यकता है, या हल्का/संतुलित मॉडल पर्याप्त है? गुणवत्ता और लागत के संदर्भ में मूल्यांकन करें और पायलट परीक्षण के लिए मेरे लिए 2 स्तरों का सुझाव दें।
3. लागत में कमी स्क्रीनिंग:
निम्नलिखित वर्कफ़्लो में लागत कम करने के तरीकों की पहचान करें: [वर्कफ़्लो]। प्रत्येक कैस्केड, इनपुट कटौती, आउटपुट बाउंड, कैश और बैच प्रोसेसिंग हेडर के लिए व्यवहार्यता और अनुमानित बचत लिखें।
4. आउटपुट सीमा:
गुणवत्ता को कम किए बिना आउटपुट टोकन को कम करने के लिए निम्नलिखित संकेत को फिर से लिखें: "[PROMPT]"। लंबाई, प्रारूप और अनावश्यक दोहराव के लिए अनुकूलन करें।
सामान्य गलतियाँ
- इनपुट/आउटपुट अंतर को छोड़ना: यह जाने बिना कि आउटपुट बहुत अधिक महंगा है, लंबे उत्तरों की अनुमति देना।
- हर काम के लिए सबसे शक्तिशाली मॉडल: एक महंगे मॉडल के साथ एक साधारण काम करना और अनावश्यक रूप से कई गुना अधिक भुगतान करना।
- आउटपुट लंबाई जारी करना: किसी भी प्रारूप या लंबाई प्रतिबंध लगाए बिना मॉडल को असीमित लेखन अनुमति देना।
- कैश और बैच को अनदेखा करना: दोहराए गए इनपुट और गैर-जरूरी कार्यों के लिए गंभीर बचत के अवसर चूकना।
- यह सोचना कि कीमतें नवीनतम हैं: पुरानी मूल्य तालिका पर भरोसा करना और गलत तरीके से बजट की योजना बनाना; कीमतें अक्सर बदलती रहती हैं.
संक्षेप में
- कीमत की गणना टोकन के आधार पर की जाती है; इनपुट और आउटपुट की कीमत अलग-अलग होती है, और आउटपुट अक्सर कई गुना अधिक महंगा होता है।
- आप मोटे तौर पर अनुरोधों की संख्या × औसत टोकन × मूल्य सूत्र द्वारा मासिक लागत का अनुमान लगा सकते हैं।
- सही चरण चयन ही लागत को कई गुना कम कर सकता है।
- इनपुट न्यूनीकरण, आउटपुट सीमित करना, कैशिंग और बैच प्रोसेसिंग व्यावहारिक तरीके हैं जो बिल को काफी कम करते हैं।
आवेदन कार्य
पिछली इकाई में आपके द्वारा अनुमानित टोकन मान प्राप्त करें। इस इकाई (मासिक लागत अनुमान) में टेम्पलेट 1 के साथ अपने व्यवसाय की मासिक लागत की गणना दो अलग-अलग स्तरों पर करें। फिर, तीसरे टेम्पलेट (लागत कटौती स्कैन) के साथ, यह अनुमान लगाएं कि प्रत्येक विधि आपके वर्कफ़्लो में कितनी बचत ला सकती है। दो सबसे आशाजनक तरीकों को चुनने और उन्हें अपने अगले महीने के बजट में लागू करने की योजना बनाएं।
चेकलिस्ट
- [ ] मैं जानता हूं कि इनपुट और आउटपुट टोकन की कीमत अलग-अलग होती है और आउटपुट अधिक महंगा होता है।
- [ ] मैं सरल सूत्र के साथ वर्कफ़्लो की मासिक लागत का मोटे तौर पर अनुमान लगा सकता हूं।
- [ ] मैं एक उदाहरण के साथ सही स्तर चुनने का लागत प्रभाव दिखा सकता हूं।
- [ ] मैं लागत कटौती के पांच तरीकों को पहचान सकता हूं और उपयुक्त एक को चुन सकता हूं।
- [ ] मैं आउटपुट टोकन को कम करने के लिए एक संकेत को फिर से लिख सकता हूं।