منطق الرمز والتسعير

المكاسب:

• اشرح مفهوم الرمز المميز وتمييز رمز الإدخال/الإخراج والترميز.
• يمكن حساب تكلفة الطلب وعبء العمل الشهري من عدد الرموز وسعر الوحدة
• يمكن مقارنة تأثير اختيار النموذج والمدة السريعة على التكلفة

لا يمكنك بناء حل على نطاق واسع دون فهم اقتصاديات LLM APIs. يتم تشغيل العرض التوضيحي مرة واحدة؛ الشيء الرئيسي هو أن تكون قادرًا على التنبؤ بقيمة الفاتورة عند إجراء آلاف المكالمات شهريًا. قمنا في هذه الوحدة بإعداد الجانب المالي للأشياء: ما هو الرمز المميز، ولماذا يتم تسعير المدخلات والمخرجات بشكل مختلف، وكيفية حساب تكلفة الطلب، وكيفية وضع ميزانية لعبء العمل الشهري. تتيح لك هذه المعلومات قياس العائد من تقنيات التحسين (التخزين المؤقت واختيار النموذج والدفعة) في الوحدات اللاحقة.

ما هو الرمز؟

الرمز المميز هو أصغر وحدة يقوم فيها النموذج بمعالجة النص. الكلمة ليست دائما رمزا. عادة ما يكون الرمز جزءًا من الكلمة. تقريبًا، باللغة الإنجليزية، الرمز المميز هو ≈ 4 أحرف ≈ 0.75 كلمة. في اللغة التركية والرموز، تختلف النسبة: غالبًا ما يتم تقسيم الكلمات التركية إلى رموز أكثر من الكلمات الإنجليزية بسبب تركيبها اللاحق والأبجدية. لذلك، من الضروري قياس عدد الرموز المميزة باستخدام أداة عد الرموز المميزة الخاصة بالموفر بدلاً من التخمين بالعين المجردة.

قد يختلف الترميز (عملية تقسيم النص إلى رموز مميزة) لكل نموذج. وهذا له نتيجتان عمليتان: (1) قد ينتج عن النص نفسه أعداد مختلفة من الرموز المميزة في نماذج مختلفة؛ (2) ستكون التنبؤات التي تم إجراؤها باستخدام الرموز المميزة من مقدمي خدمات آخرين (مثل مكتبة tiktoken الخاصة بـ OpenAI) غير دقيقة بالنسبة لكلود - استخدم نصيحة عد الرموز المميزة للنموذج الذي تستخدمه.

تلميح: "كم عدد الرموز تقريبًا؟" لا تجيب على السؤال بشكل أعمى. تمرير نص تمثيلي من خلال واجهة برمجة تطبيقات عد الرموز المميزة؛ قرارات الميزانية الأساسية على القياس.

رموز الإدخال والإخراج

تتكون الفاتورة من عنصرين:

• رموز الإدخال: أي شيء ترسله إلى النموذج — موجه النظام، الجولات السابقة، رسالة المستخدم، الوثائق إن وجدت. تتم معالجة هذه في وقت واحد.
• رموز الإخراج: الاستجابة التي ينتجها النموذج. بالنسبة لكل رمز مميز للإخراج، يقوم النموذج بإجراء الحساب خطوة بخطوة.

مع معظم مقدمي الخدمة، يكون الإنتاج أغلى بعدة مرات من المدخلات. والسبب بسيط: قراءة المدخلات دفعة واحدة أرخص من إنتاج المخرجات رمزًا تلو الآخر. إن معرفة عدم التماثل هذا يفسر سبب فعالية التحسينات مثل "تتطلب إجابات موجزة".

أسعار العينات (لكل مليون رمز، بالدولار الأمريكي)

الجدول أدناه هو مرجع. قد تتغير الأسعار بمرور الوقت، يرجى تأكيد القائمة الحالية لمزود الخدمة الخاص بك.

فئة النموذج

نموذج عينة

الإدخال (دولار/1 مليون)

الناتج (دولار/1 مليون)

الاستخدام النموذجي

سريع/رخيص

هايكو 4.5

1.00

5.00

التصنيف ووضع العلامات وملخص بسيط

متوازن

السوناتة 5

3.00

15.00

الأغراض العامة، الترميز، عمل الوكيل

قوي

أوبوس 4.8

5.00

25.00

التفكير المعقد والمهام طويلة المدى

في كل فئة، الناتج هو 5 أضعاف المدخلات؛ علاوة على ذلك، فحتى مدخلات النموذج القوي تبلغ 5 أضعاف مدخلات النموذج الرخيص. يشكل هذان المحوران (المدخلات والمخرجات وفئة النموذج) إطار عمل قرارات التكلفة الخاصة بك.

كيفية حساب التكلفة؟

الصيغة بسيطة:

التكلفة = (رمز الإدخال / 1,000,000) × سعر الإدخال + (رمز الإخراج / 1,000,000) × سعر الإخراج

حساب عينة. طلب مع Sonnet 5: 1500 رمز إدخال و400 رمز إخراج.

الإدخال = 1,500 / 1,000,000 × 3.00 = 0.0045 دولار أمريكي الإخراج = 400 / 1,000,000 × 15.00 = 0.0060 دولار أمريكي الإجمالي = 0.0105 دولار أمريكي (حوالي سنت واحد)

مكالمة واحدة تبدو رخيصة. لكن اضرب في الحجم: 20000 مكالمة يوميًا → 210 دولارًا أمريكيًا في اليوم، ~ 6300 دولارًا أمريكيًا في الشهر. هذا هو المكان الذي يلعب فيه الحجم.

نموذج الميزانية الشهرية

لاستخراج التكلفة الشهرية لعبء العمل، استخدم هذا القالب:

1) متوسط رمز الإدخال لكل طلب: ......2) متوسط رمز الإخراج لكل طلب: ......3) عدد الطلبات في اليوم: ......4) أيام العمل شهريًا: ......5) التكلفة لكل طلب = (1)/1M×input_price + (2)/1M×output_price6) التكلفة الشهرية = (5) × (3) × (4)

يؤدي سكب هذا النمط في جدول بيانات ورؤية كيفية ظهور المجموع عند تغيير النموذج إلى تجسيد قرارات اختيار النموذج (الوحدة 5) وذاكرة التخزين المؤقت (الوحدة 6).

تقصير الموجه باستخدام قوالب قابلة للنسخ

تأتي معظم التكلفة من المطالبات الطويلة غير الضرورية والمخرجات الضائعة. توفر القوالب أدناه وفورات مباشرة.

# الحد من طول الإخراج. الإجابة بحد أقصى 3 عناصر. أضف سببًا منطقيًا أو جملة تمهيدية.

# قم بإرجاع الحقل المطلوب فقط قم بإرجاع JSON التالي فقط، لا تقم بإضافة أي نص آخر:{"category": "..."، "urgency": "low|medium|high"}

# إزالة السياق غير الضروري، قم بإزالة التاريخ والمبلغ فقط من النص التالي. لا تكرر النص بأكمله. النص: """{{text}}"""

# تلخيص الخطاب الطويل (حفظ الإدخال) لخص هذا الخطاب في 5 عناصر. سأستخدم هذا الملخص بدلاً من الماضي الكامل في الجولات اللاحقة. الكلام: """{{الماضي}}"""

موجه ضعيف / موجه قوي (من حيث التكلفة)

# ضعيف (مخرجات الإصدارات باهظة الثمن) قم بتحليل طلب الدعم هذا واكتب لي مراجعة شاملة.

# قوي (يقيد الإنتاج ورخيص ويمكن التنبؤ به) قم بتصنيف طلب الدعم هذا. ما عليك سوى إرجاع JSON التالي:{"category":invoice|technical|refund|other"،"urgency":low|medium|high"}لا تكتب وصفًا.

ربما تنتج النسخة الضعيفة 500 رمزًا مميزًا للإخراج؛ نسخة قوية ~15. نظرًا لأن الإخراج مكلف، فهذا فرق كبير لكل مكالمة ويتضاعف مع الحجم.

ثلاث حالات صغيرة

الحالة 1 - التكلفة الخفية للموجه الطويل. عندما قامت أتمتة المحاسبة بفرز كل فاتورة، أضافت "دفتر قواعد" مكون من 40 صفحة كمدخل لكل طلب: ~ 12000 رمز إدخال لكل طلب. مع Sonnet 5 12,000/1M×3 = 0.036 دولار دخلت للتو. 5000 فاتورة في اليوم → 180 دولارًا في اليوم. من خلال التخزين المؤقت لكتاب القواعد (الوحدة 6)، انخفضت تكلفة الإدخال بنسبة 90% تقريبًا.

الحالة 2 - مردود تقليص حجم النموذج. كان أحد الفرق يقوم بوضع علامات بسيطة على المشاعر "الإيجابية/السلبية" باستخدام Opus 4.8: 300 إدخال + 10 رموز إخراج. تكلفة التأليف 300/1M×5 + 10/1M×25 = 0.00175 USD. بالتبديل إلى Haiku، 300/1M×1 + 10/1M×5 = 0.00035 دولار - 5 مرات أرخص، كان الفرق في الدقة لا يُقاس. على 3 ملايين مكالمة شهريًا، يكون الفرق 5,250 دولارًا ← 1,050 دولارًا.

الحالة 3 - الافراج عن الإخراج. عندما يقوم فريق التسويق بإنتاج وصف للمنتج، فإنه لا يضع أي حدود على الإنتاج؛ كان النموذج يقول أحيانًا 1500 رمزًا. عندما أضفت تعليمات "60 كلمة كحد أقصى"، انخفض متوسط ​​الإخراج من 900 إلى 90 رمزًا. وبما أن الطباعة كانت باهظة الثمن، فقد انخفضت الفاتورة الشهرية بمقدار الثلث، وأصبحت النصوص أكثر فائدة.

الأخطاء الشائعة

• تخمين الرمز بالعين: يمكن أن تكون مخطئًا خاصة في اللغة التركية والرمز. يقيس.
• بافتراض أن المدخلات والمخرجات هي نفسها: المخرجات عادة ما تكون أكثر تكلفة بكثير؛ معظم التحسين يأتي من تقصير الإخراج.
• لا تنخدع برخص تكلفة مكالمة واحدة: يتم اتخاذ القرار من حيث الحجم. 0.01 × مليون = 10,000 دولار.
• التنبؤ باستخدام رمز مميز لموفر آخر: يعطي نتائج غير صحيحة؛ استخدم أداة عد الرموز المميزة للنموذج.
• توسيع غير محدود لسجل المحادثات: تتم إضافة كل جولة إلى الإدخال؛ تلخيص في محادثات طويلة.
• الاحتفاظ بـ "max_tokens" مرتفعًا بشكل غير ضروري: يخفي خطة الميزانية وخطر التخفيض؛ إعطاء قيمة واقعية.

أعمق: نافذة السياق وتكلفة الإدخال الطويلة

من المهم أن نرى كيف يتراكم السعر "عبر المحادثة" وليس فقط "لكل طلب". يُطلق على إجمالي كمية النص التي يمكن للنموذج معالجتها اسم نافذة السياق؛ يجب أن يتناسب مجموع المدخلات والمخرجات مع هذه النافذة. تقدم النماذج الحديثة نوافذ كبيرة جدًا (مئات الآلاف، وحتى ملايين الرموز)، لكن هذا لا يعني أنه يمكنك "ملؤها إلى ما لا نهاية" - أي شيء تضعه في النافذة يتم محاسبته كمدخل.

الفخ في المحادثات الطويلة هو كما يلي: مع كل جولة جديدة، ترسل السجل بأكمله مرة أخرى (انعدام الجنسية في الوحدة 1). في محادثة مدتها 20 جولة، يحمل الطلب العشرون أول 19 جولة كاملة كمدخل. وبالتالي، كلما أصبحت المحادثة أطول، تنمو تكلفة الطلب بشكل تراكمي وليس خطيًا. يمكن لمحادثة مدتها 50 جولة مع مساعد الوكيل أن تنتج تكاليف مدخلات تبلغ عشرات المرات في الجولة الأولى.

هناك طريقتان لإدارة هذا. الأول هو الخلاصة: ضغط الجولات القديمة في كتلة خلاصة واحدة، مع الاحتفاظ فقط بالجولات القليلة الأخيرة كما هي. والثاني هو التخزين المؤقت الفوري (الوحدة 6): قراءة السياق الثابت بعشر السعر بدلاً من معالجته بشكل متكرر بالسعر الكامل. تعمل معًا على تقليل تكلفة أعباء العمل الطويلة والمكثفة السياق بشكل كبير. لذا فإن اقتصاديات الرمز المميز تدور حول تصميم الجلسة بأكملها، وليس طلبًا واحدًا.

باختصار

الرمز المميز هو أصغر وحدة تتم فيها معالجة النص؛ يتم تسعير المدخلات والمخرجات بشكل منفصل، وغالبًا ما يكون الإخراج أكثر تكلفة بكثير. التكلفة هي عدد الرموز مضروبًا في سعر الوحدة، ويتم اتخاذ القرار الحقيقي حسب الحجم. إن تقصير الموجه، والحد من المخرجات، واختيار النموذج الأخف الذي ينجز المهمة هي الروافع الأكثر مباشرة التي تقلل التكلفة عدة مرات.

مهمة التطبيق

اختر مهمة خاصة بك. (1) تحديد عدد الرموز المميزة للمدخلات والمخرجات المقدرة لموجه تمثيلي (قم بالقياس باستخدام أداة عد الرموز المميزة إن أمكن). (2) احسب التكلفة لكل طلب لفئات النماذج الثلاثة. (3) قم بتقدير عدد طلباتك اليومية واستخرج الميزانية الشهرية للنماذج الثلاثة. (4) أضف تعليمات لتقصير المخرجات ولاحظ التوفير المتوقع.

قائمة مرجعية

• [ ] يمكنني شرح مفهوم الرموز المميزة وأن هذا الرمز يختلف باختلاف النموذج.
• [ ] أعرف سبب اختلاف أسعار رموز الإدخال والإخراج.
• [ ] يمكنني حساب تكلفة الطلب باستخدام الصيغة.
• [ ] يمكنني إنشاء ميزانية شهرية لحجم العمل باستخدام قالب.
• [ ] يمكنني أن أوضح بمثال فائدة تقصير المخرجات وتقليل النموذج.