فائدہ:
- روزمرہ کی زبان میں ٹوکن، سیاق و سباق کی کھڑکی اور ملٹی موڈیلٹی کے تصورات کی وضاحت کرنے کی صلاحیت
- تشخیص کریں کہ آیا کسی کام کے لیے وسیع سیاق و سباق کی ضرورت ہے یا کثیر موڈیالٹی
- اس بات کو ذہن میں رکھنے کی صلاحیت کہ یہ تصورات لاگت اور ماڈل کے انتخاب کو کیسے متاثر کرتے ہیں۔
اب تک ہم فراہم کنندگان اور ماڈل کی اقسام سے واقف ہیں۔ تاہم، صحیح ماڈل کے انتخاب کے لیے، یہ سمجھنا بھی ضروری ہے کہ ماڈل "اندر" کیسے کام کرتے ہیں۔ کیونکہ قیمت، صلاحیت، اور دستیابی کے فیصلے تین بنیادی تصورات پر انحصار کرتے ہیں: ٹوکن، سیاق و سباق کی کھڑکی، اور ملٹی موڈیلٹی۔ کوئی شخص جو ان تصورات کو نہیں جانتا ہے وہ قیمت کا شیٹ نہیں پڑھ سکتا اور سوچتا ہے کہ "کیا یہ دستاویز ماڈل کے مطابق ہو گی؟" سوال کا جواب نہیں دے سکتا اور یہ نہیں دیکھ سکتا کہ بصری پروسیسنگ کب ضروری ہے۔ اس یونٹ کے اختتام تک، آپ روزمرہ کی زبان میں ان تینوں تصورات کی وضاحت کرنے کے قابل ہو جائیں گے، یہ تشخیص کر سکیں گے کہ آیا کسی کام کے لیے وسیع سیاق و سباق کی ضرورت ہے یا ملٹی موڈیلیٹی، اور لاگت پر ان کے اثرات کو مدنظر رکھیں گے۔
ٹوکن: لفظ کے بجائے ماڈل کے ذریعہ استعمال ہونے والی اکائی
مصنوعی ذہانت کے ماڈلز متن کو لفظ بہ لفظ نہیں بلکہ چھوٹے ٹکڑوں میں پروسیس کرتے ہیں جسے ٹوکن کہتے ہیں۔ ایک ٹوکن؛ یہ ایک لفظ، کسی لفظ کا حصہ، اوقاف کا نشان، یا جگہ ہو سکتا ہے۔ ایک موٹا حساب کرنے کے لیے: انگریزی میں، ایک اوسط ٹوکن تقریباً چار حروف کا ہوتا ہے، اور 100 الفاظ تقریباً 130-150 ٹوکن ہوتے ہیں۔ ترکی میں، لاحقہ اور طویل الفاظ کی وجہ سے یہ شرح قدرے زیادہ ہو سکتی ہے۔ دوسرے الفاظ میں، ایک ہی معنی کے ساتھ ایک ترکی متن انگریزی کے مقابلے میں قدرے زیادہ ٹوکن استعمال کرتا ہے۔
یہ جاننا کیوں ضروری ہے؟ کیونکہ ہر چیز کو ٹوکن میں چارج اور ماپا جاتا ہے۔ آپ جو متن (ان پٹ) ماڈل کو بھیجتے ہیں اور ماڈل کے ذریعہ تیار کردہ ردعمل (آؤٹ پٹ) کو الگ الگ ٹوکن کے طور پر شمار کیا جاتا ہے۔ آپ کی رسید اور ماڈل کی صلاحیت دونوں ٹوکن میں ہیں۔
اشارہ: متن کے کتنے ٹوکنز ہیں اس کا اندازہ لگانے کے لیے، حروف کی تعداد کو چار سے تقسیم کریں۔ ایک 4,000 کریکٹر ای میل تقریباً 1,000 ٹوکنز ہے۔ ترکی میں، محفوظ طرف رہنے کے لیے تھوڑا اونچا فرض کریں۔
سیاق و سباق کی کھڑکی: ماڈل کی "شارٹ ٹرم میموری"
سیاق و سباق کی ونڈو ٹوکنز کی کل مقدار ہے جسے ماڈل ایک وقت میں ذہن میں رکھ سکتا ہے۔ اس ونڈو میں ان پٹ اور آؤٹ پٹ کو ایک ساتھ فٹ ہونا چاہیے۔ اس کے بارے میں اس طرح سوچیں جیسے آپ ایک میز پر ایک ہی وقت میں جتنا کاغذ پھیلا سکتے ہیں: وہ کاغذ جو میز پر فٹ نہیں بیٹھتا ہے وہ اس وقت آپ کے نقطہ نظر سے باہر ہے۔
اگر کسی ماڈل کی سیاق و سباق کی ونڈو 200,000 ٹوکن ہے، تو یہ تقریباً 150,000 الفاظ، یا کئی درمیانے درجے کی کتابوں کے برابر ہے۔ 1 ملین ٹوکن مجموعی طور پر بہت بڑی دستاویزات پر کارروائی کر سکتے ہیں۔ آج کل کچھ طاقتور ماڈلز (مثلاً Claude Opus 4.8 اور Sonnet 5) 1 ملین ٹوکن سیاق و سباق پیش کرتے ہیں، جبکہ ہلکے وزن والے ماڈل اکثر چھوٹی ونڈوز کے ساتھ آتے ہیں (جیسے ہائیکو 4.5 کے لیے 200,000 ٹوکن)۔
یہ کیوں ضروری ہے؟ کیونکہ اگر کوئی دستاویز سیاق و سباق کی کھڑکی میں فٹ نہیں ہوتی ہے، تو ماڈل ان سب کو ایک ساتھ نہیں دیکھ سکتا۔ آپ 200,000 ٹوکن ماڈل کو مکمل طور پر 500 صفحات کا معاہدہ نہیں دے سکتے۔ آپ یا تو دستاویز کو حصوں میں تقسیم کرتے ہیں (جس سے حصوں کے درمیان تعلق ختم ہو سکتا ہے) یا وسیع تر سیاق و سباق کے ساتھ ماڈل کا انتخاب کریں۔
احتیاط: ہر دستاویز کو پُر کرنا عقلمندی نہیں ہے کیونکہ یہ صرف اس وجہ سے ہے کہ سیاق و سباق کی کھڑکی بڑی ہے۔ آپ جتنے زیادہ ٹوکن ونڈو میں ڈالیں گے، اتنا ہی زیادہ آپ ادا کریں گے، اور بعض اوقات ماڈل بہت لمبی تحریروں میں درمیانی تفصیلات سے محروم ہوسکتا ہے۔ صرف کام کرنے والے حصے کو بھیجنا اکثر سستا اور زیادہ درست ہوتا ہے۔
سیاق و سباق کی کھڑکی فیصلہ کن معیار ہے۔
جستجو
تقریباً مطلوبہ سیاق و سباق
مناسب سطح
مختصر ای میل جواب
کئی سو ٹوکن
ہلکا پھلکا
ایک صفحہ کا خلاصہ
کئی ہزار ٹوکن
ہلکا/متوازن
40 صفحات پر مشتمل رپورٹ کا تجزیہ
~30,000 ٹوکن
متوازن/مضبوط
300 صفحات پر مشتمل معاہدہ کا جائزہ
~250,000 ٹوکن
وسیع تناظر کے ساتھ طاقتور
ایک ساتھ سینکڑوں دستاویزات پر کارروائی کریں۔
500,000+ ٹوکنز
وسیع ترین سیاق و سباق
یہ جدول اس سوال کا جواب دیتا ہے کہ "کون سا ماڈل؟" اس سے پتہ چلتا ہے کہ سوال کے کچھ حصے کا جواب براہ راست دستاویز کے سائز سے دیا جاتا ہے۔ مختصر ملازمتوں کے لیے بڑے سیاق و سباق کے ساتھ مہنگا ماڈل خریدنا فضول ہے۔ ایک چھوٹی کھڑکی والا ماڈل بڑی دستاویزات کے لیے ناکافی ہے۔
ملٹی موڈیلٹی: متن سے آگے جانا
ملٹی موڈیلٹی ایک ماڈل کی متعدد قسم کے ڈیٹا (تصویر، آڈیو، بعض اوقات ویڈیو) کو ہینڈل کرنے کی صلاحیت ہے، نہ کہ صرف متن۔ یہاں "Modal" کا مطلب ہے "ڈیٹا کی قسم"؛ ملٹی موڈل کا مطلب ہے "کئی قسمیں"۔
- صرف متنی ماڈل: صرف تحریری متن پڑھتا اور لکھتا ہے۔
- ملٹی موڈل ماڈل: بل کی تصویر پڑھ سکتے ہیں، گراف پر رجحان کی ترجمانی کر سکتے ہیں، ہاتھ سے لکھے ہوئے نوٹ کو ڈی کوڈ کر سکتے ہیں، کبھی کبھی آواز کی ریکارڈنگ کو نقل کر سکتے ہیں۔
یہ کیوں ضروری ہے؟ کیونکہ آپ کے کاروبار کی نوعیت کو ملٹی موڈیلٹی کی ضرورت ہو سکتی ہے۔ ایک اکاؤنٹنگ ٹیم جو انوائس کی تصاویر سے رقم نکالتی ہے، ایک ای کامرس ٹیم جو پروڈکٹ کی تصاویر کی درجہ بندی کرتی ہے، یا ایک انشورنس ٹیم جو نقصان کی تصاویر کا جائزہ لیتی ہے یہ کام ایسے ماڈل کے ساتھ نہیں کر سکتی جو صرف متن پڑھتا ہے۔ ان کاموں کے لیے بصری پروسیسنگ ضروری ہے۔
تین حقیقت پسندانہ مقدمات
کیس 1 - ٹوکن لاگت کا سرپرائز۔ مواد کی ٹیم ماڈل کو 20 صفحات پر مشتمل "برانڈ گائیڈ" دستاویز بھی بھیجتی ہے کیونکہ وہ ہر بلاگ پوسٹ تیار کرتی ہے۔ یہ گائیڈ تقریباً 15,000 ٹوکن ہے۔ وہ ماہانہ 2,000 مضامین تیار کرتے ہیں۔ تو صرف گائیڈ کو بار بار بھیجنے کا مطلب ہے کہ 30 ملین ٹوکن ان پٹ۔ گائیڈ کو مختصر کرکے اور صرف متعلقہ سیکشن (تقریباً 2,000 ٹوکن) بھیج کر، وہ ان پٹ کو ساتویں حصے تک کم کر دیتے ہیں اور بل کو نمایاں طور پر کم کر دیتے ہیں۔
کیس 2 - سیاق و سباق کی ونڈو کافی نہیں ہے۔ ایک قانونی فرم 280 صفحات پر مشتمل انضمام کے معاہدے کا جائزہ لینا چاہتی ہے۔ پہلا ماڈل جس کی انہوں نے کوشش کی اس میں 200,000 ٹوکنز کی پابندی تھی اور دستاویز فٹ نہیں تھی۔ جب دستاویز پھٹ جاتی ہے، تو ماڈل یہ نہیں دیکھ سکتا کہ پہلے حصے کا مضمون آخری حصے کے مضمون سے متصادم ہے۔ جب یہ 1 ملین ٹوکن سیاق و سباق کے ساتھ ایک ماڈل پر سوئچ کرتا ہے، تو یہ دستاویز کو مجموعی طور پر پڑھتا ہے اور تضاد کو پکڑتا ہے۔ یہاں سیاق و سباق کی کھڑکی براہ راست درستگی کا تعین کرتی ہے۔
کیس 3 - ملٹی موڈیلٹی ضروری ہے۔ ایک انشورنس کمپنی گاڑی کے نقصان کی تصاویر سے ابتدائی تشخیص کرنا چاہتی ہے۔ یہ ایک ماڈل کے ساتھ ناممکن ہے جو صرف متن پڑھتا ہے۔ ایک ملٹی موڈل ماڈل جو تصویر کو "دیکھتا ہے" کی ضرورت ہے۔ جب وہ ملٹی موڈل ماڈل پر سوئچ کرتے ہیں، تو وہ ایک پری اسکریننگ سسٹم قائم کرتے ہیں جو تصویر میں مقام اور نقصان کی شدت کو موٹے طور پر درجہ بندی کرتا ہے اور ماہر کو ہدایت کرتا ہے۔ تاہم، وہ نوٹ کرتے ہیں کہ ایک انسانی ماہر حتمی فیصلہ کرتا ہے۔ کیونکہ ماڈل ایک ابتدائی اسکریننگ ٹول ہے، حتمی لفظ نہیں۔
کمزور پرامپٹ / مضبوط اشارہ
کمزور اشارہ:
اس دستاویز کا خلاصہ کریں۔ [بہت لمبی دستاویز چسپاں کی گئی]
طاقتور اشارہ:
ذیل میں 40 صفحات پر مشتمل رپورٹ کا خلاصہ کریں۔ پہلے رپورٹ میں ٹوکنز کی تخمینی تعداد کا اندازہ لگائیں اور ہمیں بتائیں کہ آیا یہ ایک عام متوازن ماڈل کے سیاق و سباق کی کھڑکی میں فٹ بیٹھتا ہے۔ پھر اس فارمیٹ میں خلاصہ دیں: 5-آئٹم ایگزیکٹو سمری + 3 خطرناک نتائج۔ رپورٹ میں صرف معلومات کا استعمال کریں؛ اس حصے کو نشان زد کریں جس کے بارے میں آپ کو یقین نہیں ہے "رپورٹ میں واضح نہیں ہے"۔ [رپورٹ]
طاقتور پرامپٹ ٹوکن/سیاق و سباق سے آگاہ ہے اور آؤٹ پٹ کے فارمیٹ اور تصدیق کو کنٹرول کرتا ہے۔
کاپی کرنے کے قابل ٹیمپلیٹس
1. ٹوکن پیشن گوئی:
درج ذیل متن کے لیے ٹوکنز کی تخمینی تعداد کا اندازہ لگائیں اور اس کی ان پٹ لاگت کے لحاظ سے تشریح کریں: "[TEXT]"۔ اسے تھوڑا سا گول کریں، اس بات کو مدنظر رکھتے ہوئے کہ یہ ترکی ہے۔
2. سیاق و سباق کی دستیابی کی جانچ:
میرا کام درج ذیل دستاویزات پر کارروائی کرنا ہے: اوسطا [صفحات] فی ماہ [QTY] دستاویزات۔ اس سائز کو کس سیاق و سباق کی ونڈو کی ضرورت ہے؟ روشنی/متوازن/مضبوط سطحوں میں سے کون سا کافی ہوگا؟ اگر اسے ختم کرنے کی ضرورت ہو تو کیا خطرہ پیدا ہوتا ہے؟
3. کثیر الجہتی تشخیص:
میرا ورک فلو: [تفصیل]۔ کیا اس سلسلے میں بصری، آڈیو یا ویڈیو پروسیسنگ ہے؟ اگر ایسا ہے تو، کیا ملٹی موڈل ماڈل کی ضرورت ہے، یا کیا اسے ٹیکسٹ (OCR/ٹرانسکرپشن) میں تبدیل کیا جا سکتا ہے اور ٹیکسٹ ماڈل کے ساتھ حل کیا جا سکتا ہے؟ دونوں راستوں کے فائدے اور نقصانات کا موازنہ کریں۔
4. سیاق و سباق کی اصلاح:
میں ہر درخواست کے ساتھ ماڈل کو ایک دستاویز بھیجتا ہوں، لیکن اس میں سے زیادہ تر غیر ضروری ہے۔ میں اس دستاویز سے وہ حصے کیسے نکال سکتا ہوں جو درحقیقت [TASK] کے لیے درکار ہیں؟ ان پٹ کو کم کرنے کے 3 ٹھوس طریقے تجویز کریں اور ٹوکن کی تخمینی بچت کی نشاندہی کریں۔
عام غلطیاں
- ایک لفظ کے لیے غلط ٹوکن: ٹوکن لفظ سے مختلف ہے؛ رسید اور صلاحیت ہمیشہ ٹوکن میں ہوتی ہے، الفاظ میں حساب لگانا گمراہ کن ہے۔
- سیاق و سباق کی کھڑکی کو لامحدود سمجھنا: ہر ماڈل کی ایک حد ہوتی ہے۔ اگر دستاویز فٹ نہیں ہوتی ہے، تو ماڈل پورا نہیں دیکھ سکتا۔
- غیر ضروری بڑے سیاق و سباق کا استعمال: ایک مختصر کام کے لیے بڑے سیاق و سباق کے ساتھ مہنگا ماڈل خریدنا؛ یا ہر درخواست کے لیے بڑی دستاویزات پُر کریں اور بیکار ادائیگی کریں۔
- ملٹی موڈیلٹی فرض کرنا: ہر ماڈل بصری پر کارروائی نہیں کرسکتا۔ بصری کام کے لیے، اس بات کی تصدیق کیے بغیر شروع کریں کہ ماڈل ملٹی موڈل ہے۔
- ترکی کے ٹوکن بوجھ کو بھول جانا: ترکی کے متن میں عام طور پر اسی معنی کے لیے قدرے زیادہ ٹوکن استعمال ہوتے ہیں۔ لاگت کے تخمینہ میں اس کو نظر انداز کرنا۔
خلاصہ میں
- ٹوکن ایک چھوٹی اکائی ہے جس میں ماڈل ٹیکسٹ پر کارروائی کرتا ہے۔ ان پٹ اور آؤٹ پٹ کو ٹوکن کے طور پر الگ الگ ماپا اور انوائس کیا جاتا ہے۔
- سیاق و سباق کی کھڑکی وہ کل ٹوکن ہے جو ماڈل ایک وقت میں ذہن میں رکھ سکتا ہے۔ دستاویز کا سائز براہ راست ماڈل کے انتخاب کو متاثر کرتا ہے۔
- ملٹی موڈیلٹی ماڈل کی غیر متنی ڈیٹا جیسے کہ بصری/آڈیو پر کارروائی کرنے کی صلاحیت ہے۔ یہ بصری کاموں کے لیے ضروری ہے۔
- یہ تینوں تصورات اس سوال سے متعلق ہیں کہ "کون سا ماڈل؟" اس کے ساتھ ساتھ "اس کی قیمت کتنی ہے؟" یہ سوالات کی بنیاد بناتا ہے۔
درخواست کا کام
اپنے کاروبار میں بار بار چلنے والا AI ٹاسک منتخب کریں۔ 1st ٹیمپلیٹ (ٹوکن پیشن گوئی) کا حساب لگائیں کہ اس کام میں ایک عام ان پٹ کتنے ٹوکن ہے۔ پھر تعین کریں کہ کون سی سطح ٹیمپلیٹ 2 کے ساتھ کافی ہے (سیاق و سباق کی دستیابی کی جانچ)۔ اگر آپ کے پاس بصری کام ہے، تو واضح کریں کہ آیا تیسرے سانچے کے ساتھ ملٹی موڈل ماڈل کی ضرورت ہے۔ ہم اگلے یونٹ کی لاگت کے حساب کتاب میں نتیجے میں آنے والے ٹوکن تخمینہ کا استعمال کریں گے۔
چیک لسٹ
- میں ٹوکن کا تصور جانتا ہوں اور اس بات کا اندازہ لگا سکتا ہوں کہ متن میں کتنے ٹوکن ہیں۔
- میں سیاق و سباق کی ونڈو کو "ٹیبل/میموری" تشبیہ کے ساتھ سمجھا سکتا ہوں۔
- [ ] میں اندازہ کر سکتا ہوں کہ آیا کوئی دستاویز ماڈل میں فٹ ہو گی۔
- میں تشخیص کر سکتا ہوں جب کثیر موڈالٹی ضروری ہو۔
- [ ] میں ترکی کے ٹوکن اوور ہیڈ اور غیر ضروری سیاق و سباق کی قیمت کو مدنظر رکھتا ہوں۔