فائدہ:
- ٹوکن، ان پٹ/آؤٹ پٹ ٹوکن امتیاز اور ٹوکنائزیشن کے تصور کی وضاحت کریں۔
- ٹوکن کی تعداد اور یونٹ کی قیمت سے درخواست کی لاگت اور ماہانہ ورک بوجھ کا حساب لگا سکتا ہے۔
- ماڈل کے انتخاب کے اثرات اور قیمت پر فوری لمبائی کا موازنہ کر سکتے ہیں۔
آپ LLM APIs کی معاشیات کو سمجھے بغیر پیمانے پر حل نہیں بنا سکتے۔ ایک ڈیمو ایک بار چلتا ہے۔ اہم بات یہ ہے کہ یہ اندازہ لگانا ہے کہ جب ماہانہ ہزاروں کالیں آتی ہیں تو بل کیا ہوگا۔ اس یونٹ میں ہم چیزوں کا رقمی پہلو ترتیب دیتے ہیں: ٹوکن کیا ہے، کیوں ان پٹ اور آؤٹ پٹ کی قیمت مختلف ہوتی ہے، درخواست کی لاگت کا حساب کیسے لگایا جائے، اور ماہانہ ورک بوجھ کا بجٹ کیسے بنایا جائے۔ یہ معلومات آپ کو بعد کی اکائیوں میں اصلاح کی تکنیک (کیشنگ، ماڈل سلیکشن، بیچ) کی واپسی کی پیمائش کرنے کی اجازت دیتی ہے۔
ٹوکن کیا ہے؟
ٹوکن سب سے چھوٹی اکائی ہے جس میں ماڈل ٹیکسٹ پر کارروائی کرتا ہے۔ ایک لفظ ہمیشہ نشانی نہیں ہوتا۔ ٹوکن عام طور پر کسی لفظ کا حصہ ہوتا ہے۔ موٹے طور پر، انگریزی میں، 1 ٹوکن ≈ 4 حروف ≈ 0.75 الفاظ ہے۔ ترکی اور کوڈ میں، تناسب مختلف ہوتا ہے: ترکی کے الفاظ اکثر اس کی لاحقہ ساخت اور حروف تہجی کی وجہ سے انگریزی کے مقابلے زیادہ ٹوکن میں تقسیم ہوتے ہیں۔ لہٰذا، آنکھوں سے اندازہ لگانے کے بجائے پرووائیڈر کے ٹوکن گنتی کے آلے سے ٹوکن کی تعداد کی پیمائش کرنا ضروری ہے۔
ٹوکنائزیشن (ٹیکسٹ کو ٹوکن میں تقسیم کرنے کا عمل) ہر ماڈل کے لیے مختلف ہو سکتا ہے۔ اس کے دو عملی نتائج ہیں: (1) ایک ہی متن سے مختلف ماڈلز میں مختلف نمبروں کے ٹوکن مل سکتے ہیں۔ (2) دوسرے فراہم کنندگان کے ٹوکنائزرز کے ساتھ کی گئی پیشین گوئیاں (مثال کے طور پر OpenAI کی tiktoken لائبریری) Claude کے لیے غلط ہوں گی — آپ جو ماڈل استعمال کر رہے ہیں اس کے لیے ٹوکن گنتی ٹِپ استعمال کریں۔
اشارہ: "کتنے ٹوکن کے بارے میں؟" آنکھ بند کر کے سوال کا جواب نہ دیں۔ ٹوکن گنتی API کے ذریعے نمائندہ متن پاس کریں۔ پیمائش پر بیس بجٹ کے فیصلے۔
ان پٹ اور آؤٹ پٹ ٹوکنز
رسید دو اشیاء پر مشتمل ہے:
- ان پٹ ٹوکنز: جو کچھ بھی آپ ماڈل کو بھیجتے ہیں — سسٹم پرامپٹ، ماضی کے دورے، صارف کا پیغام، دستاویزات اگر کوئی ہو۔ ان سب پر ایک ساتھ کارروائی کی جاتی ہے۔
- آؤٹ پٹ ٹوکنز: ماڈل کے ذریعہ تیار کردہ ردعمل۔ ہر آؤٹ پٹ ٹوکن کے لیے، ماڈل مرحلہ وار حساب کتاب کرتا ہے۔
زیادہ تر فراہم کنندگان کے ساتھ، آؤٹ پٹ ان پٹ سے کئی گنا زیادہ مہنگا ہے۔ وجہ سادہ ہے: ان پٹ کو ایک ساتھ پڑھنا آؤٹ پٹ ٹوکن ٹوکن ٹوکن بنانے سے سستا ہے۔ اس توازن کو جاننا اس بات کی وضاحت کرتا ہے کہ "مختصر جوابات کی ضرورت ہے" جیسی اصلاحیں اتنی موثر کیوں ہیں۔
نمونے کی قیمتیں (فی 1 ملین ٹوکن، USD)
نیچے دی گئی جدول ایک حوالہ ہے۔ قیمتیں وقت کے ساتھ بدل سکتی ہیں، براہ کرم اپنے فراہم کنندہ کی موجودہ فہرست کی تصدیق کریں۔
ماڈل کلاس
نمونہ ماڈل
ان پٹ ($/1M)
آؤٹ پٹ ($/1M)
عام استعمال
تیز / سستا
ہائیکو 4.5
1.00
5.00
درجہ بندی، لیبلنگ، سادہ خلاصہ
متوازن
سونٹ 5
3.00
15.00
عام مقصد، کوڈنگ، ایجنٹ کا کام
مضبوط
اوپس 4.8
5.00
25.00
پیچیدہ استدلال، طویل فاصلے کے کام
ہر کلاس میں، آؤٹ پٹ ان پٹ سے 5 گنا ہے؛ مزید یہ کہ طاقتور ماڈل کا ان پٹ بھی سستے ماڈل کے ان پٹ سے 5 گنا زیادہ ہے۔ یہ دو محور (ان پٹ↔آؤٹ پٹ اور ماڈل کلاس) آپ کے لاگت کے فیصلوں کا فریم ورک بناتے ہیں۔
لاگت کا حساب کیسے لگائیں؟
فارمولا سادہ ہے:
لاگت = (ان پٹ_ٹوکن / 1,000,000) × ان پٹ_قیمت + (آؤٹ پٹ_ٹوکن / 1,000,000) × آؤٹ پٹ_قیمت
نمونہ اکاؤنٹ۔ سونیٹ 5 کے ساتھ ایک درخواست: 1,500 ان پٹ ٹوکن، 400 آؤٹ پٹ ٹوکن۔
ان پٹ = 1,500 / 1,000,000 × 3.00 = $0.0045 آؤٹ پٹ = 400 / 1,000,000 × 15.00 = $0.0060 کل = $0.0105 (تقریبا 1 سینٹ)
ایک کال سستی لگتی ہے۔ لیکن حجم سے ضرب کریں: 20,000 کالز فی دن → $210 فی دن، ~$6,300 فی مہینہ۔ یہ وہ جگہ ہے جہاں پیمانے کھیل میں آتا ہے۔
ماہانہ بجٹ کا سانچہ
کام کے بوجھ کی ماہانہ لاگت کو نکالنے کے لیے، یہ ٹیمپلیٹ استعمال کریں:
1) اوسط ان پٹ ٹوکن فی درخواست: ......2) اوسط آؤٹ پٹ ٹوکن فی درخواست: ......3) فی دن درخواستوں کی تعداد: ......4) ماہانہ کام کرنے والے دن: ......5) فی درخواست لاگت = (1)/1M×input_price + (2)/1M×output_price6) ماہانہ لاگت = (5) × (3) × (3)
اس پیٹرن کو ایک اسپریڈشیٹ میں ڈالنا اور یہ دیکھنا کہ جب آپ ماڈل کو تبدیل کرتے ہیں تو رقم کیسے نکلتی ہے ماڈل کے انتخاب (یونٹ 5) اور کیشے (یونٹ 6) کے فیصلوں کو مجسم بناتی ہے۔
کاپی ایبل ٹیمپلیٹس کے ساتھ پرامپٹ کو مختصر کرنا
زیادہ تر لاگت غیر ضروری طور پر طویل اشارے اور ضائع شدہ پیداوار سے آتی ہے۔ ذیل کے سانچے براہ راست بچت فراہم کرتے ہیں۔
# آؤٹ پٹ کی لمبائی کو محدود کریں۔ زیادہ سے زیادہ 3 آئٹمز کے ساتھ جواب دیں۔ ایک منطقی یا تعارفی جملہ شامل کریں۔
# صرف درخواست کردہ فیلڈ کو واپس کریں صرف مندرجہ ذیل JSON کو واپس کریں، کوئی دوسرا متن شامل نہ کریں:{"category": "...", "urgency": "low|medium|high"}
# غیر ضروری سیاق و سباق کو ہٹا دیں درج ذیل متن سے صرف تاریخ اور رقم کو ہٹا دیں۔ پورے متن کو نہ دہرائیں۔ متن: """{{text}}"""
# لمبی تقریر کا خلاصہ کریں (ان پٹ سیونگ) اس تقریر کا خلاصہ 5 آئٹمز میں کریں۔ میں اس خلاصے کو بعد کے راؤنڈز میں مکمل ماضی کے بجائے استعمال کروں گا۔ تقریر: """{{ماضی}}"""
کمزور فوری / مضبوط اشارہ (قیمت کے لحاظ سے)
# کمزور (آؤٹ پٹ جاری کرتا ہے، مہنگا) اس سپورٹ کی درخواست کا تجزیہ کریں اور مجھے ایک جامع جائزہ لکھیں۔
# مضبوط (آؤٹ پٹ کو محدود کرتا ہے، سستا اور پیش قیاسی) اس سپورٹ کی درخواست کی درجہ بندی کریں۔ بس درج ذیل JSON کو واپس کریں:{"category":"انوائس|ٹیکنیکل|ریفنڈ|دیگر","ضرورت":"کم
کمزور ورژن شاید 500 آؤٹ پٹ ٹوکن تیار کرتا ہے۔ مضبوط ورژن ~ 15۔ چونکہ آؤٹ پٹ مہنگا ہے، یہ فی کال ایک اہم فرق ہے اور حجم کے ساتھ ضرب ہوتا ہے۔
تین چھوٹے کیسز
کیس 1 - طویل پرامپٹ کی پوشیدہ قیمت۔ جیسا کہ ایک اکاؤنٹنگ آٹومیشن نے ہر انوائس کو ترتیب دیا، اس نے ہر درخواست میں بطور ان پٹ 40 صفحات کی "قاعدہ کتاب" شامل کی: فی درخواست ~12,000 ان پٹ ٹوکن۔ سونیٹ 5 کے ساتھ 12,000/1M×3 = $0.036 ابھی داخل ہوا۔ 5,000 بلز فی دن → $180 فی دن۔ رول بک (یونٹ 6) کو کیش کرنے سے ان پٹ لاگت میں ~90% کی کمی واقع ہوئی۔
کیس 2 - ماڈل کو کم کرنے کی ادائیگی۔ ایک ٹیم Opus 4.8: 300 ان پٹ + 10 آؤٹ پٹ ٹوکن کے ساتھ سادہ "مثبت/منفی" جذبات کی ٹیگنگ کر رہی تھی۔ Opus کی قیمت 300/1M×5 + 10/1M×25 = $0.00175۔ ہائیکو پر سوئچ کرنا، 300/1M×1 + 10/1M×5 = $0.00035 — 5x سستا، درستگی میں فرق بہت زیادہ تھا۔ ماہانہ 3 ملین کالز پر، فرق $5,250 → $1,050 ہے۔
کیس 3 - آؤٹ پٹ جاری کرنا۔ جب ایک مارکیٹنگ ٹیم نے پروڈکٹ کی تفصیل تیار کی، تو اس نے آؤٹ پٹ پر کوئی حد مقرر نہیں کی۔ ماڈل نے کبھی کبھی 1,500 ٹوکن کہا۔ جب میں نے "60 الفاظ زیادہ سے زیادہ" ہدایات شامل کیں تو اوسط آؤٹ پٹ 900 سے 90 ٹوکن تک گر گیا۔ چونکہ پرنٹنگ مہنگی تھی، اس لیے ماہانہ بل ایک تہائی کم ہو گیا، اور متن زیادہ مفید ہو گیا۔
عام غلطیاں
- آنکھ سے ٹوکن کا اندازہ لگانا: آپ خاص طور پر ترکی اور کوڈ میں غلط ہو سکتے ہیں۔ پیمائش کریں۔
- فرض کریں کہ ان پٹ اور آؤٹ پٹ ایک جیسے ہیں: آؤٹ پٹ عام طور پر بہت زیادہ مہنگا ہوتا ہے۔ زیادہ تر اصلاح آؤٹ پٹ کو مختصر کرنے سے آتی ہے۔
- ایک کال کی سستی سے بیوقوف نہ بنیں: فیصلہ حجم کے لحاظ سے کیا جاتا ہے۔ $0.01 × ملین = $10,000۔
- دوسرے فراہم کنندہ کے ٹوکنائزر کے ساتھ پیشن گوئی: غلط نتائج دیتا ہے؛ ماڈل کے ٹوکن گنتی کا آلہ استعمال کریں۔
- بات چیت کی تاریخ کی لامحدود توسیع: ہر دور کو اندراج میں شامل کیا جاتا ہے۔ طویل گفتگو میں خلاصہ کریں۔
- `max_tokens` کو غیر ضروری طور پر زیادہ رکھنا: بجٹ پلان اور کٹوتی کے خطرے کو چھپاتا ہے۔ ایک حقیقت پسندانہ قدر دیں۔
گہرا: سیاق و سباق کی کھڑکی اور لمبی ان پٹ لاگت
یہ دیکھنا ضروری ہے کہ قیمت "بات چیت کے دوران" کیسے بڑھتی ہے نہ کہ صرف "فی درخواست"۔ متن کی کل مقدار جس پر ماڈل عمل کر سکتا ہے اسے سیاق و سباق کی ونڈو کہا جاتا ہے۔ ان پٹ اور آؤٹ پٹ کا مجموعہ اس ونڈو میں فٹ ہونا چاہیے۔ جدید ماڈلز بہت بڑی ونڈو پیش کرتے ہیں (سیکڑوں ہزاروں، یہاں تک کہ لاکھوں ٹوکن)، لیکن اس کا مطلب یہ نہیں ہے کہ آپ اسے "لامحدود طور پر بھر سکتے ہیں" — آپ جو کچھ بھی ونڈو میں ڈالتے ہیں اسے ان پٹ کے طور پر بل کیا جاتا ہے۔
طویل گفتگو کا جال یہ ہے: ہر نئے دور کے ساتھ آپ پوری تاریخ دوبارہ بھیج دیتے ہیں (یونٹ 1 میں بے وطنی)۔ 20 راؤنڈ کی گفتگو میں، 20 ویں درخواست میں پورے پہلے 19 راؤنڈ بطور ان پٹ ہوتے ہیں۔ اس طرح، جیسے جیسے بات چیت طویل ہوتی جاتی ہے، فی درخواست لاگت لکیری کے بجائے مجموعی طور پر بڑھ جاتی ہے۔ ایجنٹ کے اسسٹنٹ کے ساتھ 50 دور کی بات چیت پہلے راؤنڈ سے کئی گنا زیادہ لاگت پیدا کر سکتی ہے۔
اس کا انتظام کرنے کے دو طریقے ہیں۔ پہلا ریکپ ہے: پرانے راؤنڈز کو ایک ہی ریکپ بلاک میں کمپریس کرنا، صرف آخری چند راؤنڈز کو کچا رکھنا۔ دوسرا فوری کیشنگ ہے (یونٹ 6): مقررہ سیاق و سباق کو پوری قیمت پر بار بار پروسیس کرنے کے بجائے قیمت کے دسویں حصے پر پڑھنا۔ ایک ساتھ مل کر، وہ طویل، سیاق و سباق سے متعلق کام کے بوجھ پر بل کو نمایاں طور پر کم کرتے ہیں۔ لہذا ٹوکن اکنامکس پورے سیشن کے ڈیزائن کے بارے میں ہے، ایک درخواست نہیں۔
خلاصہ میں
ٹوکن سب سے چھوٹی اکائی ہے جس میں متن پر کارروائی کی جاتی ہے۔ ان پٹ اور آؤٹ پٹ کی قیمت الگ الگ ہوتی ہے، اور آؤٹ پٹ اکثر زیادہ مہنگا ہوتا ہے۔ لاگت ٹوکنز کی تعداد ہے جسے یونٹ کی قیمت سے ضرب دیا جاتا ہے، اور اصل فیصلہ حجم کے حساب سے کیا جاتا ہے۔ پرامپٹ کو مختصر کرنا، آؤٹ پٹ کو محدود کرنا، اور سب سے ہلکے ماڈل کا انتخاب کرنا جو کام کو پورا کرتا ہے وہ سب سے براہ راست لیور ہیں جو لاگت کو کئی گنا کم کرتے ہیں۔
درخواست کا کام
اپنا ایک کام منتخب کریں۔ (1) نمائندہ پرامپٹ کے لیے ان پٹ اور تخمینہ شدہ آؤٹ پٹ ٹوکن کی تعداد کا تعین کریں (اگر ممکن ہو تو ٹوکن گنتی کے آلے سے پیمائش کریں)۔ (2) تین ماڈل کلاسز کے لیے فی درخواست لاگت کا حساب لگائیں۔ (3) اپنی روزانہ کی درخواستوں کی تعداد کا اندازہ لگائیں اور تین ماڈلز کے لیے ماہانہ بجٹ حاصل کریں۔ (4) آؤٹ پٹ کو مختصر کرنے کے لیے ایک ہدایات شامل کریں اور متوقع بچت کو نوٹ کریں۔
چیک لسٹ
- میں ٹوکن کے تصور کی وضاحت کر سکتا ہوں اور یہ کہ ٹوکنائزیشن ماڈل کے لحاظ سے مختلف ہوتی ہے۔
- میں جانتا ہوں کہ ان پٹ اور آؤٹ پٹ ٹوکن کی قیمت مختلف کیوں ہوتی ہے۔
- میں فارمولے کے ساتھ درخواست کی لاگت کا حساب لگا سکتا ہوں۔
- میں ایک ٹیمپلیٹ کا استعمال کرتے ہوئے کام کے بوجھ کے لیے ماہانہ بجٹ بنا سکتا ہوں۔
- [ ] میں مثال کے ساتھ آؤٹ پٹ کو مختصر کرنے اور ماڈل میں کمی کا فائدہ دکھا سکتا ہوں۔