فائدہ:
- کارپس پیمائش کا مسودہ تیار کرنے کی صلاحیت جیسے کہ الفاظ کی فریکوئنسی، ٹکراؤ، الفاظ کی فراوانی اور مصنوعی ذہانت کے ساتھ مطلوبہ الفاظ
- یہ جانتے ہوئے کہ مصنوعی ذہانت قطعی گنتی میں ناقابل اعتبار ہے اور ایک الگ ٹول سے ہر شمار کی تصدیق کرنے کے قابل ہے
- یہ سمجھنے کی صلاحیت کہ عدد خود سے کچھ نہیں کہتا اور وہ لسانی تشریح جو معنی قائم کرتی ہے وہ انسانوں سے تعلق رکھتی ہے۔
ادب اور زبان کا مطالعہ صرف "تبصرہ" نہیں ہے۔ اس کا ایک قابل پیمائش اور قابل شمار پہلو بھی ہے۔ ایک مصنف کتنے مختلف الفاظ استعمال کرتا ہے، وہ کن الفاظ کے ساتھ استعمال کرنا پسند کرتا ہے، کون سے الفاظ ایک دور میں عام ہو جاتے ہیں- یہ لسانیات (وہ سائنس جو زبان کی آواز، ساخت، معنی اور استعمال کا مطالعہ کرتی ہے) اور خاص طور پر کارپس لسانیات کے ذریعے تحقیق کی جاتی ہے۔ کارپس عبارتوں کا مجموعہ ہے، جیسے کسی مصنف کے مکمل کام، اخبار کا سالانہ ذخیرہ، یا کسی دور کی نظمیں۔ کارپس تجزیہ اس حصے میں عددی نمونوں کو تلاش کرتا ہے۔
اس یونٹ میں، ہم AI کو ایک کارپس تجزیہ اسسٹنٹ کے طور پر استعمال کرنا سیکھیں گے: تیزی سے میٹرکس نکالنا جیسے کہ لفظ کی فریکوئنسی (متن میں ایک لفظ کے آنے کی تعداد)، collocation (لفظوں کے جوڑے جو کثرت سے ایک ساتھ ہوتے ہیں، جیسے کہ "سیاہ" + "میرا خوش قسمتی")، الفاظ کی فراوانی، اور موسمی تغیر۔ لیکن شروع سے ایک انتباہ: AI تنہا گنتی کرتے وقت غلطیاں کر سکتا ہے۔ بڑی اور درست گنتی کے لیے خصوصی ٹولز کی ضرورت ہوتی ہے، اور آپ ماہرِ لسانیات ہیں جو ہر عدد کے معنی قائم کرتے ہیں۔
AI کہاں مضبوط ہے اور کہاں یہ کارپس تجزیہ میں کمزور ہے؟
اس کی خوبیاں یہ ہیں: چھوٹے اور درمیانے درجے کے متن میں نمونوں کو پہچاننا، کسی متن کے ذخیرہ الفاظ کے بارے میں مفروضے پیدا کرنا، تضحیک کے لیے امیدواروں کو تجویز کرنا، کسی نتیجے کی تشریح کرنا، طریقہ کار کو بیان کرنا۔ AI پوچھتا ہے "اس مصنف میں کون سے جملے نمایاں ہیں؟" یہ سوال کا فوری آغاز کرتا ہے۔
کمزوری: درست گنتی۔ AI ایک زبان کا ماڈل ہے، کیلکولیٹر نہیں؛ ایک طویل متن میں "یہ کتنی بار ہوا ہے" کے سوال کا تخمینی اور بعض اوقات غلط جواب دے سکتا ہے۔ درست تعدد کے لیے، درست کولیکیشن کے اعدادوشمار، یا ہزاروں الفاظ کے بڑے کارپس اسکیننگ کے لیے، خصوصی سافٹ ویئر (مثلاً کارپس ٹولز جیسے AntConc یا اسپریڈ شیٹ) کا استعمال کیا جاتا ہے۔ AI ان ٹولز کے آؤٹ پٹ کی تشریح میں قیمتی ہے۔ لیکن اسے آنکھیں بند کرکے خام گنتی کرنے پر مجبور نہ کریں۔
ٹپ: اگر آپ کو صحیح نمبر کی ضرورت ہے تو، دو طریقے استعمال کریں: ایک ٹول کو چھوٹے متن میں گنتی کریں اور AI سے اس کی ترجمانی کریں۔ یا اے آئی کاؤنٹ کریں اور کسی اور طریقے سے اس کی تصدیق کریں۔ بغیر تصدیق کے "AI نے کہا کہ یہ 47 بار ہوتا ہے" کا جملہ استعمال نہ کریں۔
ایک مرحلہ وار کارپس مطالعہ
- ایک سوال رکھو۔ "اس شاعر میں رنگین الفاظ کیسے تقسیم ہوتے ہیں؟" واضح سوال کے بغیر گنتی بے معنی ہے جیسے:
- کارپس کی وضاحت کریں۔ کون سی تحریریں؟ کون سا ایڈیشن؟ کون سا دور؟ سرحد صاف ہونی چاہیے۔
- پیمائش کا انتخاب کریں۔ تعدد، تال میل، ذخیرہ الفاظ کی فراوانی؟
- پیمائش اور تصدیق کریں۔ گنتی کریں، پھر دوسرے طریقے سے تصدیق کریں۔
- تبصرہ اکیلے نمبر کچھ نہیں کہتے؛ یہ آپ کا تبصرہ ہے جو اس تلاش کو معنی خیز بناتا ہے کہ "دوسرے دور میں رنگین الفاظ دوگنا ہو گئے"۔
ذخیرہ الفاظ کی فراوانی کا ایک کثرت سے استعمال ہونے والا پیمانہ مختلف الفاظ کی تعداد اور الفاظ کی کل تعداد (قسم/ٹوکن تناسب) کا تناسب ہے۔ اگر یہ تناسب زیادہ ہے، تو متن لفظی قسم ہے، اور اگر یہ کم ہے، تو اس کا مطلب ہے کہ یہ تکرار ہے۔ لیکن یہ تناسب متن کی لمبائی سے متاثر ہوتا ہے۔ مختصر اور طویل متن کا براہ راست موازنہ کرتے وقت محتاط رہیں۔
تین چھوٹے مقدمات
کیس 1 - Collocation نے ایک انداز کا مظاہرہ کیا۔ ایک محقق نے ایک ناول نگار کے 3 ناولوں میں صفت اسم کے جوڑے کی جانچ کی۔ AI نے تجویز کیا کہ لفظ "پیلا" 5 مختلف اسموں سے میل کھاتا ہے۔ محقق نے نصوص میں سے 4 کی تصدیق کی اور 1 کو من گھڑت قرار دیا۔ تصدیق شدہ نمونہ مصنف کے وضاحتی انداز کے بارے میں ایک مقالہ بیان بن گیا۔
کیس 2 - گنتی کی غلطی پکڑی گئی۔ ایک طالب علم نے AI سے پوچھا کہ 2,000 الفاظ کے متن میں لفظ "رات" کتنی بار ظاہر ہوا ہے۔ اے آئی نے کہا "23"۔ جب طالب علم نے متن کو اسپریڈشیٹ میں پھینکا اور اسے شمار کیا تو اصل تعداد 17 تھی۔ یہ واضح ہو گیا ہے کہ AI کی خام گنتی ناقابل اعتبار ہے۔
کیس 3 - متواتر تبدیلی نے تنازعہ کو جنم دیا۔ ایک گروہ نے شاعر کی ابتدائی اور آخری نظموں میں تجریدی الفاظ کے تناسب کا موازنہ کیا۔ AI کے پہلے مسودے نے ایک رجحان تجویز کیا؛ جب گروپ نے متن پر واپس جا کر گنتی کی تصدیق کی تو رجحان حقیقی نکلا، لیکن AI کی طرف سے تجویز کردہ "اسباب" ناقابل تصدیق قیاس آرائیاں تھیں اور انہیں ختم کر دیا گیا۔
چار کاپی کرنے کے قابل ٹیمپلیٹس
1) لفظ تعدد خاکہ (تصدیق کے ساتھ):
مندرجہ ذیل متن میں 15 سب سے زیادہ پائے جانے والے مواد والے الفاظ (فنکشن والے الفاظ جیسے کہ کنکشنز اور پریپوزیشنز کو خارج کریں) ان کی تخمینی تعدد کے ساتھ درج کریں۔ انتباہ: نوٹ کریں کہ شمار درست نہیں ہوسکتے ہیں اور نوٹ کریں کہ "درست ہونے کے لیے، ان کی تصدیق الگ گنتی کے آلے سے ہونی چاہیے۔" متن: [متن یہاں چسپاں کریں]
2) کوکلیشن امیدوار:
ذیل کے متن میں الفاظ کے جوڑے (کولوکیشنز) تجویز کریں جو اکثر ایک ساتھ ہوتے ہیں۔ ہر جوڑے کے لیے متن سے کم از کم ایک اقتباس دیں۔ دوہرا من گھڑت جس کا متن میں کوئی مساوی نہیں ہے۔ اگر آپ کو یقین نہیں ہے، تو اسے "تصدیق کی ضرورت ہے" کے بطور نشان زد کریں۔ متن: [پیسٹ ٹیکسٹ]
3) الفاظ کا موازنہ:
میں آپ کو دو متن دوں گا۔ ہر ایک کے لیے: تخمینی کل الفاظ، مختلف الفاظ کی اقسام کے بارے میں مشاہدات، اور نمایاں الفاظ کے ڈومینز (مثلاً رنگ، فطرت، جذبات)۔ بیان کریں کہ نمبرز لگ بھگ ہیں۔ میری تصدیق کے مقابلے کی تشریح چھوڑ دیں۔ متن A: [...] متن B: [...]
4) نتیجہ کی تشریح:
مجھے گنتی کے ایک ٹول سے درج ذیل نتائج ملے: [پیسٹ نتائج]۔ 2-3 مفروضے تیار کریں کہ ان نمبروں کا لسانی اعتبار سے کیا مطلب ہو سکتا ہے۔ ہر مفروضے کو "ثبوت کی ضرورت ہے" کے بطور نشان زد کریں اور مجھے بتائیں کہ میں اسے کیسے جانچ سکتا ہوں۔ ضرورت سے زیادہ تبصروں سے گریز کریں۔
کمزور فوری / مضبوط اشارہ
کمزور: "اس عبارت میں کون سا لفظ زیادہ آتا ہے؟"
مضبوط: "اس متن میں اکثر مواد والے الفاظ کو ان کی تخمینی تعدد کے ساتھ درج کریں؛ فنکشن کے الفاظ کو خارج کردیں۔ یہ واضح کریں کہ نمبر بالکل درست نہیں ہیں اور ان کی ایک الگ ٹول سے تصدیق کرنے کی ضرورت ہے۔ ہر لفظ کے لیے ایک مثال کے طور پر جملہ دیں۔"
طاقتور پرامپٹ AI کو گنتی کی حد کو قبول کرنے پر مجبور کرتا ہے اور آپ کو سامنے بتاتا ہے کہ تصدیق کی ضرورت ہے۔ کمزور پرامپٹ میں، AI ایک نمبر دیتا ہے اور آپ نہیں جانتے کہ یہ غلط ہو سکتا ہے۔
پیمائش اور وشوسنییتا کی میز
پیمائش
کیا ظاہر کرتا ہے
اکیلے AI
صحیح طریقہ
لفظ کی تعدد
اکثر الفاظ
کے بارے میں، خطرناک
کاؤنٹر + اے آئی کمنٹری
colocation
جو ایک ساتھ گزرے
امیدوار پیدا کرتا ہے۔
متن سے تصدیق
قسم/ٹوکن کا تناسب
زبانی تنوع
گمراہ کن ہو سکتا ہے۔
ٹول کے ساتھ اکاؤنٹ
موسمی تبدیلی
وقت کے ساتھ رجحان
مفروضے پیدا کرتا ہے۔
پیمائش اور تصدیق کریں۔
اختتامی تبصرہ
مطلب
طاقتور لیکن مبالغہ آرائی
انسانی فیصلہ
کلیدی لفظ اور این گرام تصورات
کارپس تجزیہ میں دو تصورات آپ کے کام کو آسان بناتے ہیں۔ پہلا کلیدی لفظ ہے (انگریزی میں کلیدی لفظ - وہ لفظ جو کسی متن یا مصنف میں عام زبان کے مقابلے میں توقع سے زیادہ کثرت سے ہوتا ہے، اس متن کو اس کا "کردار" دیتا ہے)۔ مصنف کے مطلوبہ الفاظ اس کی دلچسپیوں اور انداز کو ظاہر کرتے ہیں۔ مثال کے طور پر، اگر "سمندر" اور "علیحدگی" شاعر میں توقع سے زیادہ کثرت سے واقع ہوتی ہے، تو یہ شماریاتی پھیلاؤ تشریح کا نقطہ آغاز بن جاتا ہے۔ مطلوبہ الفاظ کی شناخت کے لیے، یہ ضروری ہے کہ کسی متن کی تعدد کا موازنہ حوالہ کارپس کی تعدد کے ساتھ کیا جائے (مقابلے کے لیے استعمال ہونے والے متن کا ایک عمومی، بڑا حصہ)؛ یہ موازنہ ایک حتمی ٹول کا کام ہے، یہ ایک حساب ہے جسے AI خود سے قابل اعتماد طریقے سے نہیں بنا سکتا۔
دوسرا n-gram ہے (ایک متن میں n لگاتار الفاظ کی ترتیب؛ دو الفاظ کی ترتیب کو "bigram" کہا جاتا ہے، تین الفاظ کی ترتیب کو "trigram" کہا جاتا ہے)۔ N-gram تجزیہ مصنف کے فارمولک تاثرات اور کثرت سے استعمال ہونے والے جملے کو ظاہر کرتا ہے۔ مثال کے طور پر، اگر کوئی مصنف "قسم" یا "تاہم" جیسے جملے بہت کثرت سے استعمال کرتا ہے، تو یہ جملے بنانے کی اس کی عادت کی نشاندہی کرتا ہے۔ AI ان جملے کو بطور امیدوار تجویز کر سکتا ہے۔ لیکن حقیقی تعدد اور شماریاتی اہمیت کے لیے گنتی کے آلے پر واپس جانا ضروری ہے۔
اشارہ: AI کو بتائیں، "اس متن میں قابل ذکر جملے (دو یا تین الفاظ) کو امیدواروں کے طور پر درج کریں، اور ہر ایک کے لیے متن سے ایک مثال دیں۔" امیدواروں کی فہرست لیں اور ایک الگ ٹول سے اصل تعدد کی پیمائش کریں۔ AI کو بطور "نوٹیسر"، ایجنٹ کو "کاؤنٹر" کے طور پر اور خود کو "ترجمان" کے طور پر رکھیں۔
عام غلطیاں
- AI کی خام گنتی پر بھروسہ کرنا۔ AI ایک کیلکولیٹر نہیں ہے؛ الگ ٹول کے ذریعہ صحیح نمبر کی تصدیق کریں۔
- بغیر تبصرہ کے نمبر پیش کرنا۔ "47 بار پاس" کچھ نہیں کہتا۔ آپ معنی پیدا کرتے ہیں۔
- متن کی لمبائی کو نظر انداز کرنا۔ گیت کے تنوع کی شرح لمبائی کے لحاظ سے حساس ہے۔
- تالیف کی تصدیق کیے بغیر مقالہ بنانا۔ غیر AI جوڑے تجویز کر سکتے ہیں؛ متن سے تصدیق کریں۔
- انتہائی تبصرہ۔ بغیر ثبوت کے AI کی تجویز کردہ "وجوہات" کو قبول نہ کریں۔
خلاصہ میں
کارپس تجزیہ ادب کے قابل شمار پہلو کو کھولتا ہے: تعدد، ٹکراؤ، الفاظ، متواتر تبدیلی۔ AI اس علاقے میں نمونوں کو پہچاننے اور نتائج کی تشریح کرنے میں طاقتور ہے۔ لیکن یہ مطلق گنتی میں ناقابل اعتبار ہے۔ علیحدہ ٹول کے ساتھ نمبر کی تصدیق کریں، متن سے ٹکراؤ کی تصدیق کریں، اور ہر نمبر کے معنی خود قائم کریں۔ نمبر ثبوت نہیں، ثبوت کا دروازہ ہے۔
درخواست کا کام
ایک مختصر متن منتخب کریں (500-1000 الفاظ)۔ مواد کے لفظ کی شناخت کریں (جیسے "رات" یا "سڑک")۔ پہلے اپنے آپ کو متن میں شمار کریں۔ پھر اے آئی کو اس کا شمار کریں۔ دو نتائج کا موازنہ کریں؛ اگر کوئی اختلاف ہے تو اس کی وجہ تلاش کریں۔ پھر متن میں اس لفظ کے فنکشن پر ایک پیراگراف کا تبصرہ لکھیں - نمبر کو معنی میں تبدیل کریں۔
چیک لسٹ
- [ ] میں نے ایک واضح لسانی سوال ڈالا۔
- [ ] میں نے کارپس (متن، ایڈیشن، مدت) کی حدود کی وضاحت کی۔
- میں نے دوسرے طریقے سے AI کی گنتی کی تصدیق کی۔
- [ ] میں نے متن سے ملاوٹ کی تصدیق کی۔
- [ ] میں نے نمبر کو تبصرہ کیے بغیر نہیں چھوڑا۔ میں نے خود معنی پیدا کیے ہیں۔