लाभ:
- टोकन, इनपुट/आउटपुट टोकन भेदभाव र टोकनकरणको अवधारणा व्याख्या गर्नुहोस्।
- टोकनको संख्या र एकाइ मूल्यबाट अनुरोधको लागत र मासिक कार्यभार गणना गर्न सक्छ
- लागत मा मोडेल चयन र शीघ्र लम्बाइ को प्रभाव तुलना गर्न सक्नुहुन्छ
तपाईं LLM API को अर्थशास्त्र बुझे बिना मापन मा समाधान निर्माण गर्न सक्नुहुन्न। एक डेमो एक पटक चल्छ; मुख्य कुरा भनेको प्रति महिना हजारौं कलहरू गर्दा बिल कस्तो हुनेछ भनेर भविष्यवाणी गर्न सक्षम हुनु हो। यस इकाईमा हामीले चीजहरूको पैसा पक्ष सेट अप गर्छौं: टोकन के हो, किन इनपुट र आउटपुटको मूल्य फरक हुन्छ, अनुरोधको लागत कसरी गणना गर्ने, र मासिक कार्यभारको बजेट कसरी गर्ने। यो जानकारीले तपाईंलाई पछिल्ला एकाइहरूमा अनुकूलन प्रविधिहरू (क्यासिङ, मोडेल चयन, ब्याच) को फिर्ती मापन गर्न अनुमति दिन्छ।
टोकन के हो?
टोकन सबैभन्दा सानो एकाइ हो जसमा मोडेलले पाठ प्रशोधन गर्दछ। एक शब्द सधैं टोकन होइन; टोकन सामान्यतया शब्द को एक भाग हो। सामान्यतया, अंग्रेजीमा, 1 टोकन ≈ 4 वर्ण ≈ 0.75 शब्दहरू हो। टर्की र कोडमा, अनुपात भिन्न हुन्छ: टर्की शब्दहरू प्रायः यसको प्रत्यय संरचना र वर्णमालाको कारण अंग्रेजीमा भन्दा धेरै टोकनहरूमा विभाजित हुन्छन्। तसर्थ, आँखाले अनुमान गर्नुको सट्टा प्रदायकको टोकन गणना उपकरणको साथ टोकनहरूको संख्या मापन गर्न आवश्यक छ।
टोकनाइजेशन (टोकनमा पाठ विभाजित गर्ने प्रक्रिया) प्रत्येक मोडेलको लागि फरक हुन सक्छ। यसका दुईवटा व्यावहारिक नतिजाहरू छन्: (१) एउटै पाठले फरक-फरक मोडेलहरूमा फरक-फरक सङ्ख्याका टोकनहरू उत्पादन गर्न सक्छ; (२) अन्य प्रदायकहरू (जस्तै OpenAI को tiktoken पुस्तकालय) बाट टोकनाइजरहरूसँग गरिएका भविष्यवाणीहरू क्लाउडका लागि गलत हुनेछन् — तपाईंले प्रयोग गरिरहनुभएको मोडेलको लागि टोकन गणना टिप प्रयोग गर्नुहोस्।
संकेत: "कति टोकनहरू बारे?" आँखा चिम्लिएर प्रश्नको जवाफ नदिनुहोस्। टोकन गणना API मार्फत प्रतिनिधि पाठ पास गर्नुहोस्; मापन मा आधार बजेट निर्णय।
इनपुट र आउटपुट टोकनहरू
इनभ्वाइसमा दुई वस्तुहरू हुन्छन्:
- इनपुट टोकनहरू: तपाईंले मोडेलमा पठाउनुभएको कुनै पनि कुरा — प्रणाली प्रम्प्ट, विगतका भ्रमणहरू, प्रयोगकर्ता सन्देश, कागजात यदि कुनै छ भने। यी सबै एकैचोटि प्रशोधन गरिन्छ।
- आउटपुट टोकन: मोडेल द्वारा उत्पादित प्रतिक्रिया। प्रत्येक आउटपुट टोकनको लागि, मोडेलले चरण-दर-चरण गणना गर्दछ।
धेरै प्रदायकहरूसँग, आउटपुट इनपुट भन्दा धेरै गुणा महँगो छ। कारण सरल छ: आउटपुट टोकन-द्वारा-टोकन उत्पादन गर्नु भन्दा एकैचोटि इनपुट पढ्नु सस्तो छ। यो विषमता थाहा पाउँदा "संक्षिप्त जवाफहरू आवश्यक छ" जस्ता अनुकूलनहरू किन प्रभावकारी छन् भनेर वर्णन गर्दछ।
नमूना मूल्यहरू (प्रति 1 मिलियन टोकन, USD)
तलको तालिका एक सन्दर्भ हो; मूल्य समय अनुसार परिवर्तन हुन सक्छ, कृपया आफ्नो प्रदायकको हालको सूची पुष्टि गर्नुहोस्।
मोडेल वर्ग
नमूना मोडेल
इनपुट ($/1M)
आउटपुट ($/1M)
सामान्य प्रयोग
छिटो/सस्तो
हाइकु ४.५
१.००
५.००
वर्गीकरण, लेबलिंग, सरल सारांश
सन्तुलित
सनेट ५
३.००
१५.००
सामान्य उद्देश्य, कोडिङ, एजेन्ट काम
बलियो
ओपस ४.८
५.००
२५.००
जटिल तर्क, लामो दायरा कार्यहरू
प्रत्येक कक्षामा, आउटपुट इनपुटको 5 गुणा हुन्छ; यसबाहेक, शक्तिशाली मोडेलको इनपुट पनि सस्तो मोडेलको इनपुटको 5 गुणा हुन्छ। यी दुई अक्षहरू (इनपुट↔आउटपुट र मोडेल वर्ग) तपाईंको लागत निर्णयहरूको रूपरेखा बनाउँछन्।
लागत कसरी गणना गर्ने?
सूत्र सरल छ:
लागत = (इनपुट_टोकन / 1,000,000) × इनपुट_मूल्य + (आउटपुट_टोकन / 1,000,000) × आउटपुट_मूल्य
नमूना खाता। Sonnet 5 को साथ अनुरोध: 1,500 इनपुट टोकन, 400 आउटपुट टोकन।
इनपुट = 1,500 / 1,000,000 × 3.00 = $0.0045 आउटपुट = 400 / 1,000,000 × 15.00 = $0.0060 कुल = $0.0105 (लगभग 1 सेन्ट)
एक कल सस्तो देखिन्छ। तर भोल्युमद्वारा गुणन गर्नुहोस्: प्रति दिन २०,००० कलहरू → $२१० प्रति दिन, ~$६,३०० प्रति महिना। यो जहाँ स्केल खेलमा आउँछ।
मासिक बजेट टेम्प्लेट
कार्यभारको मासिक लागत निकाल्न, यो टेम्प्लेट प्रयोग गर्नुहोस्:
1) प्रति अनुरोध औसत इनपुट टोकन: ......2) प्रति अनुरोध औसत आउटपुट टोकन: ......3) प्रति दिन अनुरोधहरूको संख्या: ......4) प्रति महिना काम गरेको दिन: ......5) प्रति अनुरोध लागत = (1)/1M×input_price + (2)/1M×output_price6) मासिक लागत = (5) × (3) × (3)
यो ढाँचालाई स्प्रेडसिटमा हालेर र तपाईंले मोडेल परिवर्तन गर्दा योगफल कसरी बज्छ भनेर हेर्नुले मोडेल चयन (एकाइ 5) र क्यास (एकाइ 6) निर्णयहरूलाई मूर्त रूप दिन्छ।
प्रतिलिपि गर्न मिल्ने टेम्प्लेटहरूसँग प्रम्प्टलाई छोटो पार्दै
धेरै जसो लागत अनावश्यक रूपमा लामो प्रम्प्टहरू र बर्बाद आउटपुटबाट आउँछ। तलका टेम्प्लेटहरूले प्रत्यक्ष बचत प्रदान गर्दछ।
# आउटपुट लम्बाइ सीमित गर्नुहोस्। अधिकतम 3 वस्तुहरूको साथ जवाफ दिनुहोस्। तर्क वा परिचयात्मक वाक्य थप्नुहोस्।
# अनुरोध गरिएको फिल्ड मात्र फर्काउनुहोस् निम्न JSON मात्र फर्काउनुहोस्, अन्य कुनै पाठ नथप्नुहोस्:{"श्रेणी": "...", "अत्यावश्यक": "लो|मध्यम|उच्च"}
# अनावश्यक सन्दर्भ हटाउनुहोस्निम्न पाठबाट मिति र रकम मात्र हटाउनुहोस्। सम्पूर्ण पाठ नदोहोर्याउनुहोस्।पाठ: """{{text}}"""
# लामो भाषण संक्षेप गर्नुहोस् (इनपुट बचत) यो भाषणलाई 5 वस्तुहरूमा संक्षेप गर्नुहोस्। म पछिका राउन्डहरूमा पूर्ण विगतको सट्टा यो सारांश प्रयोग गर्नेछु। बोली: """{{विगत}}"""
कमजोर प्रम्प्ट / बलियो प्रम्प्ट (लागतको सन्दर्भमा)
# कमजोर (आउटपुट, महँगो रिलीज) यो समर्थन अनुरोध विश्लेषण र मलाई एक व्यापक समीक्षा लेख्नुहोस्।
# स्ट्रङ्ग (आउटपुट, सस्तो र अनुमानित सीमित) यो समर्थन अनुरोध वर्गीकृत गर्नुहोस्। केवल निम्न JSON फिर्ता गर्नुहोस्:{"category":"invoice|technical|refund| other","urgency":"low|medium|high"}विवरण नलेख्नुहोस्।
कमजोर संस्करणले 500 आउटपुट टोकनहरू उत्पादन गर्दछ; बलियो संस्करण ~ 15। किनभने आउटपुट महँगो छ, यो प्रति कल एक महत्त्वपूर्ण भिन्नता हो र भोल्युम संग गुणा हुन्छ।
तीन मिनी केसहरू
केस १ - लामो प्रम्प्टको लुकेको लागत। लेखा स्वचालनले प्रत्येक इनभ्वाइसलाई क्रमबद्ध गरेको रूपमा, यसले प्रत्येक अनुरोधमा इनपुटको रूपमा 40-पृष्ठ "नियम पुस्तिका" थप्यो: प्रति अनुरोध ~ 12,000 इनपुट टोकनहरू। Sonnet 5 12,000/1M×3 = $0.036 भर्खरै प्रविष्ट गरियो। 5,000 बिल प्रति दिन → $180 प्रति दिन। नियमपुस्तिका (एकाइ 6) क्यास गरेर इनपुट लागत ~ 90% ले घट्यो।
केस २ - मोडेलको आकार घटाउने भुक्तानी। एउटा टोलीले Opus 4.8: 300 इनपुट + 10 आउटपुट टोकनहरूसँग सरल "सकारात्मक/नकारात्मक" भावना ट्यागिङ गरिरहेको थियो। Opus लागत 300/1M×5 + 10/1M×25 = $0.00175। हाइकुमा स्विच गर्दै, 300/1M×1 + 10/1M×5 = $0.00035 — 5x सस्तो, शुद्धतामा भिन्नता अतुलनीय थियो। प्रति महिना 3 मिलियन कलहरूमा, भिन्नता $ 5,250 → $ 1,050 छ।
केस 3 - आउटपुट जारी गर्दै। जब मार्केटिङ टोलीले उत्पादन विवरण उत्पादन गर्छ, यसले आउटपुटमा कुनै सीमा तोक्दैन; मोडेल कहिलेकाहीँ 1,500 टोकन भने। जब मैले "60 शब्द अधिकतम" निर्देशन थपे, औसत आउटपुट 900 बाट 90 टोकनमा झर्यो। मुद्रण महँगो भएकोले मासिक बिल एक तिहाइले घट्यो र पाठहरू थप उपयोगी हुन थाले।
सामान्य गल्तीहरू
- आँखा द्वारा टोकन अनुमान: तपाईं विशेष गरी टर्की र कोड मा गलत हुन सक्छ। मापन गर्नुहोस्।
- इनपुट र आउटपुट एउटै हो भनी मान्दै: आउटपुट सामान्यतया धेरै महँगो हुन्छ; अधिकांश अनुकूलन आउटपुट छोटो पारेर आउँछ।
- एकल कलको सस्तोताबाट मूर्ख नहुनुहोस्: निर्णय भोल्युम द्वारा गरिन्छ। $0.01 × मिलियन = $10,000।
- अर्को प्रदायकको टोकनाइजरको साथ भविष्यवाणी: गलत परिणाम दिन्छ; मोडेलको टोकन गणना उपकरण प्रयोग गर्नुहोस्।
- कुराकानी इतिहासको असीमित विस्तार: प्रत्येक राउन्ड प्रविष्टिमा थपिएको छ; लामो कुराकानीमा संक्षेप गर्नुहोस्।
- 'max_tokens' अनावश्यक रूपमा उच्च राख्दै: बजेट योजना र कटौती हुने जोखिम लुकाउँछ; यथार्थपरक मूल्य दिनुहोस्।
गहिरो: सन्दर्भ विन्डो र लामो इनपुट लागत
"प्रति अनुरोध" मात्र होइन "वार्तालापमा" मूल्य कसरी स्ट्याक हुन्छ भनेर हेर्नको लागि यो महत्त्वपूर्ण छ। मोडेलले प्रशोधन गर्न सक्ने पाठको कुल मात्रालाई सन्दर्भ विन्डो भनिन्छ; इनपुट र आउटपुटको योग यो सञ्झ्यालमा फिट हुनुपर्छ। आधुनिक मोडेलहरूले धेरै ठूला सञ्झ्यालहरू प्रस्ताव गर्छन् (सयौं हजारौं, लाखौं टोकनहरू पनि), तर यसको मतलब यो होइन कि तपाईंले "असीमित रूपमा भर्नुहोस्" - तपाईंले सञ्झ्यालमा जे राख्नुहुन्छ, इनपुटको रूपमा बिल गरिन्छ।
लामो कुराकानीको जाल यो हो: प्रत्येक नयाँ राउन्डमा तपाईले सम्पूर्ण इतिहास फेरि पठाउनुहुन्छ (एकाइ 1 मा राज्यविहीनता)। 20-राउन्ड कुराकानीमा, 20 औं अनुरोधले सम्पूर्ण पहिलो 19 राउन्डहरू इनपुटको रूपमा बोक्छ। यसरी, कुराकानी लामो हुँदै जाँदा, प्रति अनुरोध लागत रैखिक रूपमा भन्दा संचयी रूपमा बढ्छ। एजेन्ट सहायकसँगको ५०-राउन्ड कुराकानीले पहिलो राउन्डको दर्जनौं पटक इनपुट लागत उत्पादन गर्न सक्छ।
यसलाई व्यवस्थापन गर्न दुई तरिकाहरू छन्। पहिलो रिक्याप हो: पुराना राउन्डहरूलाई एकल रिक्याप ब्लकमा कम्प्रेस गर्दै, अन्तिम केही राउन्डहरू मात्र कच्चा राखेर। दोस्रो प्रम्प्ट क्यासिङ (इकाई 6) हो: पूर्ण मूल्यमा बारम्बार प्रशोधन गर्नुको सट्टा मूल्यको दशौं भागमा निश्चित सन्दर्भ पढ्नुहोस्। सँगै, तिनीहरूले लामो, सन्दर्भ-गहन कार्यभारहरूमा बिललाई उल्लेखनीय रूपमा घटाउँछन्। त्यसैले टोकन अर्थशास्त्र सम्पूर्ण सत्रको डिजाइनको बारेमा हो, एकल अनुरोध होइन।
संक्षेपमा
टोकन सबैभन्दा सानो एकाइ हो जसमा पाठ प्रशोधन गरिन्छ; इनपुट र आउटपुट अलग-अलग मूल्य निर्धारण गरिन्छ, र आउटपुट प्रायः धेरै महँगो हुन्छ। लागत एकाइ मूल्य द्वारा गुणा टोकन संख्या हो, र वास्तविक निर्णय भोल्युम द्वारा गरिन्छ। प्रम्प्ट छोटो पार्दै, आउटपुट सीमित गर्दै, र कार्य पूरा गर्ने सबैभन्दा हल्का मोडेल छनौट गर्ने सबैभन्दा प्रत्यक्ष लिभरहरू हुन् जसले लागत धेरै पटक घटाउँछ।
आवेदन कार्य
तपाईंको आफ्नै कार्य छनौट गर्नुहोस्। (१) प्रतिनिधि प्रम्प्टको लागि इनपुट र अनुमानित आउटपुट टोकनहरूको संख्या निर्धारण गर्नुहोस् (सम्भव भएमा टोकन गणना उपकरणको साथ मापन गर्नुहोस्)। (2) तीन मोडेल वर्गहरूको लागि प्रति अनुरोध लागत गणना गर्नुहोस्। (३) तपाईको दैनिक संख्याको अनुरोध अनुमान गर्नुहोस् र तीनवटा मोडेलको लागि मासिक बजेट निकाल्नुहोस्। (4) आउटपुट छोटो गर्न र अपेक्षित बचतहरू नोट गर्न निर्देशन थप्नुहोस्।
चेकलिस्ट
- [ ] म टोकन को अवधारणा व्याख्या गर्न सक्छु र त्यो टोकनकरण मोडेल मा निर्भर गर्दछ।
- [ ] मलाई थाहा छ किन इनपुट र आउटपुट टोकनहरूको मूल्य फरक हुन्छ।
- [ ] म सूत्रसँग अनुरोधको लागत गणना गर्न सक्छु।
- [ ] म टेम्प्लेट प्रयोग गरेर कार्यभारको लागि मासिक बजेट सिर्जना गर्न सक्छु।
- [ ] म उदाहरणको साथ आउटपुट र मोडेल घटाउने फाइदाहरू देखाउन सक्छु।