فائدہ:
- ہیلوسینیشن کی وجوہات اور گراؤنڈنگ کے کردار کی وضاحت کریں۔
- ایسی تکنیکوں کا اطلاق کرنا جو ماڈل کو 'مجھے نہیں معلوم' کہنے پر مجبور کرتی ہیں اگر یہ سیاق و سباق میں نہیں ہے۔
- جوابات میں قابل تصدیق ذرائع/حوالہ جات شامل کر کے اعتماد اور آڈٹ کو یقینی بنانا
لینگویج ماڈل کا سب سے خطرناک سلوک یہ ہے کہ وہ پراعتماد اور قائل کرنے والے لہجے میں ایسی چیز بنا لے جسے وہ نہیں جانتا۔ اسے ہیلوسینیشن کہتے ہیں۔ کارپوریٹ اسسٹنٹ میں ہیلوسینیٹ کرنا صرف پریشان کن نہیں ہے، یہ بالکل خطرناک ہے: غلط دن کی چھٹی، غلط قیمت، غلط قانونی مادہ درحقیقت کسی ملازم یا گاہک کو نقصان پہنچا سکتا ہے۔ اس یونٹ میں، ہم اس بات کا احاطہ کرتے ہیں کہ فریب کیوں پیدا ہوتا ہے، انہیں RAG میں کیسے کم کیا جائے، اور جواب کو قابل تصدیق کیسے بنایا جائے۔
ہیلوسینیشن کا سبب کیا ہے؟
ماڈل کو اگلا سب سے زیادہ امکان والا لفظ تیار کرنے کی تربیت دی جاتی ہے۔ "سچ بتاؤ" نہیں بلکہ "روانی اور معقول متن تیار کریں"۔ اگر معلومات غائب ہے، تو یہ اعدادوشمار کے لحاظ سے قابل فہم لیکن حقیقت میں غلط چیز سے خلا کو پُر کر سکتی ہے۔ تین عام محرکات:
- سیاق و سباق میں کوئی جواب نہیں ہے، لیکن ماڈل بہرحال کچھ کہنے پر مجبور محسوس کرتی ہے۔
- سیاق و سباق متضاد یا ناکافی ہے؛ ماڈل پیشین گوئی کے ساتھ خلا کو بند کرتا ہے۔
- سوال سیاق و سباق سے بالاتر ہے۔ ماڈل اپنے عام (اور ممکنہ طور پر فرسودہ) علم کی طرف لوٹتا ہے۔
RAG فریب کو کم کرتا ہے کیونکہ یہ ماڈل کو ایک حقیقی ذریعہ فراہم کرتا ہے - لیکن یہ اسے دوبارہ ترتیب نہیں دیتا ہے۔ اگر آپ غلط حصہ لاتے ہیں یا "خالی کو پُر کرنے کی آزادی" ماڈل کو چھوڑ دیتے ہیں تو RAG والا سسٹم بھی اسے فٹ کر سکتا ہے۔
فریب کی قسم
علامت
بنیادی وجہ
حل کی پرت
بازیافت سے پیدا ہوتا ہے۔
درست جواب دستاویز میں موجود ہے لیکن نہیں پہنچا
غلط/گمشدہ حصہ ڈیلیور کر دیا گیا۔
چنکنگ، ہائبرڈ، ری رینکنگ (یونٹ 3-4)
جنریشن کا ماخذ
صحیح حصہ آیا لیکن جواب غلط ہے/ شامل کرنا ضروری ہے۔
ماڈل نے پیشین گوئی کے ساتھ خلا کو پُر کیا۔
گراؤنڈنگ، "میں نہیں جانتا" اجازت، کم تخلیقی صلاحیت
حوالہ ماخذ
جواب درست ہے لیکن ماخذ غلط ہے۔
ماڈل نے غلط حصے کا حوالہ دیا۔
حوالہ کی توثیق (یونٹ 8 دیکھیں)
اشارہ: فریب کو دو حصوں میں تقسیم کریں۔ بازیافت سے ماخذ: غلط/گمشدہ حصہ آگیا (حل: بازیافت کو بہتر بنائیں)۔ جنریشن ماخذ: صحیح حصہ آیا، لیکن ماڈل نے اسے غلط طریقے سے پڑھا/شامل کیا (حل: فوری اور بنیاد)۔ آپ اسے ٹھیک نہیں کر سکتے جب تک کہ آپ کو معلوم نہ ہو کہ یہ کون سا ہے۔
گراؤنڈنگ: سیاق و سباق میں جواب کیل لگانا
گراؤنڈنگ وہ نام ہے جو ماڈل کو بتانے کی تمام تکنیکوں کو دیا گیا ہے "صرف اس متن پر بھروسہ کریں جو میں آپ کو دیتا ہوں، اس سے آگے نہ بڑھیں۔" اس کی سب سے بنیادی اور سب سے زیادہ مؤثر تکنیک: واضح طور پر ماڈل کو 'مجھے نہیں معلوم' کہنے کی اجازت دینا۔ ماڈل، انسان کی طرح، یہ کہنے میں ہچکچاتے ہیں کہ "میں نہیں جانتا"؛ آپ کو اسے ایسا کرنے کے لیے واضح اجازت دینی چاہیے۔
جواب صرف نیچے دیے گئے CONTEXT کی بنیاد پر دیں۔ اگر جواب سیاق و سباق میں واضح نہیں ہے تو، بالکل یہ لکھیں: "مجھے دستاویزات میں اس پر کافی معلومات نہیں مل سکیں۔" کوئی نمبر، تاریخ، یا نام شامل نہ کریں جو سیاق و سباق میں نہ ہوں۔ اندازہ نہ لگائیں۔
اضافی گراؤنڈنگ تکنیک:
- اقتباس کی ضرورت: ہر دعوے سے پہلے، سیاق و سباق کا لفظی حوالہ دیں ("دستاویز کہتی ہے: '...'")۔ من گھڑت اقتباسات تیار کرنا ماڈل کے لیے زیادہ مشکل ہے۔
- کم درجہ حرارت: درجہ حرارت (درجہ حرارت، تخلیقیت/بے ترتیب ترتیب) کم ہونا چاہیے۔ نوٹ: کچھ موجودہ ماڈلز میں اس پیرامیٹر کو ہٹا دیا گیا ہے۔ ان میں، آپ ایک پرامپٹ کے ساتھ بنیاد فراہم کرتے ہیں۔ اعلیٰ تخلیقی صلاحیت کارپوریٹ سالمیت کی دشمن ہے۔
- دائرہ کار کی حد: "صرف رضامندی سے متعلق پالیسی کے مسائل کا جواب دیں؛ شائستگی سے آپٹ آؤٹ کرنے سے انکار کریں۔"
حوالہ
فریب کے خلاف سب سے مضبوط نظامی دفاع جواب کو قابل تصدیق بنانا ہے۔ اگر صارف دیکھ سکتا ہے کہ جواب کس دستاویز پر مبنی ہے: (1) وہ خود غلطی کو پکڑ سکتا ہے، (2) آڈٹ ممکن ہو جاتا ہے، (3) اعتماد بڑھتا ہے، اور (4) ماڈل اس آگاہی کے ساتھ زیادہ احتیاط سے تیار کرتا ہے کہ "مجھے ذریعہ کا حوالہ دینا پڑے گا"۔
دو عام نقطہ نظر:
ان لائن انتساب: ہر دعوی کے آگے سورس ٹیگ۔ "سالانہ چھٹی 14 دن ہے [1]۔" ذیل میں [1] کی مکمل دستاویزات ہیں۔
سٹرکچرڈ آؤٹ پٹ: ماڈل سے الگ الگ فیلڈز میں جواب اور سورس لسٹ تیار کرنے کے لیے پوچھنا؛ انٹرفیس میں وسائل کو کلک کے قابل لنکس کے طور پر دکھا رہا ہے۔
# ماڈل (تصوراتی) کی بنیاد پر ایک منظم جواب تیار کرنا اپنا جواب درج ذیل ڈھانچے میں دیں:- جواب: <سیاق و سباق پر مبنی جواب>- ذرائع: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # سیاق و سباق کس حد تک واضح طور پر اس کی حمایت کرتا ہے؟ اگر سیاق و سباق جواب کی حمایت نہیں کرتا ہے، تو جواب کے خانے میں "کوئی معلومات نہیں ملی" لکھیں اور ذرائع کو خالی چھوڑ دیں۔
Citation کے واقعی کام کرنے کے لیے، یہ تصدیق کرنا ضروری ہے کہ انتساب درست ہے۔ ماڈل بعض اوقات صحیح جواب دے سکتا ہے لیکن غلط ذریعہ دے سکتا ہے۔ اعلی درجے کے نظام خود بخود جانچتے ہیں کہ تیار کردہ ہر دعوے کو درحقیقت اس حصے میں تائید حاصل ہے جس کی طرف اشارہ کیا گیا ہے (اگلی یونٹ میں "وفاداری" کی پیمائش)۔
کمزور/مضبوط: ہیلوسینیشن کے خلاف فوری
کمزور (خالی جگہ پر کرنے کی دعوت):
آپ کے پاس موجود معلومات کے ساتھ سوال کا بہترین جواب دیں: {context} سوال: {سوال}# "جتنا بہتر آپ کر سکتے ہیں" کا مطلب ہے "اگر آپ نہیں جانتے ہیں" ماڈل کے لیے۔
مضبوط (گراؤنڈنگ + نہیں معلوم اجازت + ذریعہ + اعتماد):
بس CONTEXT پر بھروسہ کریں۔ بصورت دیگر، بولیں "مجھے کوئی معلومات نہیں مل سکی"؛ نمبر/تاریخ/نام بنائیں۔ ہر دعوے میں [n] سورس نمبر شامل کریں۔ سیاق و سباق سے تعاون یافتہ اعتماد کی سطح کی وضاحت کریں۔ CONTEXT: [1]... [2]... سوال: {سوال}
تین چھوٹے کیسز
کیس 1 - تیار کردہ آئٹم نمبر۔ ایک پیرا لیگل نے "آرٹیکل 17/B" بیان بنایا جو سیاق و سباق سے ہٹ کر تھا اور ملازم کو غلط معلومات فراہم کرتا تھا۔ جب ہدایت "ایسا مضمون نمبر نہ دیں جو سیاق و سباق میں نہ ہو، ورنہ کہیں کہ میں نہیں جانتا" + اقتباس کی ذمہ داری شامل کی گئی، تو 40 مثالوں میں من گھڑت مضامین کے کیسز 11 سے کم ہو کر 0 رہ گئے۔
کیس 2 - درست جواب، غلط ذریعہ۔ ایک معاون معاون نے صحیح واپسی کی مدت بتائی لیکن غلط مضمون کا حوالہ دیا۔ جب گاہک نے لنک پر کلک کیا تو ایک غیر متعلقہ صفحہ کھل گیا۔ جب حوالہ کی توثیق (یہ جانچنا کہ آیا دعویٰ حوالہ شدہ حصے میں ظاہر ہوتا ہے) کو شامل کیا گیا تو، غلط حوالہ کی شرح 23% سے گھٹ کر 2% ہوگئی۔
کیس 3 - "میں نہیں جانتا" کی اجازت نہیں دی گئی تھی۔ ایک HR اسسٹنٹ نے اس سوال کا ایک قابل فہم لیکن غلط جواب دیا تھا جو دستاویز میں نہیں تھا۔ جب واضح طور پر "میں نہیں جانتا" رضامندی اور مکمل متن ("مجھے دستاویزات میں اس کے بارے میں معلومات نہیں مل سکی") کو فوری طور پر شامل کیا گیا، تو من گھڑت کے بجائے بغیر جواب کے سوالات کے لیے دیانتداری سے مسترد ہونے کی شرح 8% سے بڑھ کر 95% ہو گئی۔
عام غلطیاں
- "میں نہیں جانتا" کی اجازت نہیں دینا: ماڈل من گھڑت کام سے خلا کو پُر کرتا ہے۔
- تخلیقی صلاحیتوں کو بلند رکھنا: بے ترتیب پن کارپوریٹ سالمیت کے لیے نقصان دہ ہے۔
- ماخذ کی تصدیق کیے بغیر اس پر بھروسہ کرنا: ماڈل صحیح جواب کے ساتھ غلط ذریعہ منسلک کر سکتا ہے۔
- دو قسم کے فریب میں فرق نہ کرنا: آپ غلط جگہ کو یہ جانے بغیر درست کرتے ہیں کہ یہ بازیافت یا نسل کی وجہ سے ہے۔
- کاسمیٹکس کے لیے غلط حوالہ: ماخذ کا حوالہ تصدیق اور روک تھام دونوں ہے۔ اسے سنجیدگی سے لے لو.
احتیاط: "ماڈل بہت پراعتماد لگتا ہے" جیسا کہ "ماڈل درست ہے" جیسا نہیں ہے۔ Halucinations عام طور پر سب سے زیادہ روانی اور پراعتماد جملے ہوتے ہیں۔ ٹرسٹ کو اس ذریعہ سے پڑھیں جس سے یہ اشارہ کرتا ہے، نہ کہ جملے کے لہجے سے۔
خلاصہ میں
- ہیلوسینیشن اس وقت ہوتا ہے جب ماڈل معلوماتی خلا کو قابل فہم لیکن غلط متن سے پُر کرتا ہے۔ RAG کم کرتا ہے لیکن دوبارہ ترتیب نہیں دیتا ہے۔
- فریب کی وجہ بازیافت (غلط حصہ) یا نسل (غلط پڑھنے) کی وجہ سے ہوسکتی ہے۔ پہلے کون سا تعین کریں۔
- گراؤنڈنگ کی سب سے طاقتور تکنیک ماڈل کو واضح طور پر "مجھے نہیں معلوم" کی اجازت دینا ہے۔ حوالہ کی ضرورت اور کم تخلیقی صلاحیت بھی۔
- اقتباس جواب کو قابل تصدیق بناتا ہے۔ یہ دونوں اعتماد دیتا ہے اور ماڈل کو احتیاط کے ساتھ تیار کرنے پر زور دیتا ہے۔
- اقتباس کی درستگی کو بھی چیک کیا جانا چاہیے۔ صحیح جواب کے ساتھ غلط ماخذ منسلک کیا جا سکتا ہے۔
درخواست کا کام
(1) اپنے اسسٹنٹ سے پوچھنے کے لیے 4 سوالات تیار کریں، جن کے جوابات دستاویزات میں نہیں ہیں (ٹریپ سوالات)۔ کمزور اور مضبوط اشارے سے ہر ایک کی جانچ کریں اور نشان زد کریں کہ آیا ماڈل فٹ بیٹھتا ہے یا نہیں۔ (2) ان 4 سوالات کے لیے جن کے جوابات دستاویز میں ہیں، ماڈل سے ویلڈ نمبر تیار کریں اور دستی طور پر تصدیق کریں کہ آیا یہ جو ویلڈ دکھاتا ہے وہ اصل میں صحیح حصہ ہے۔ (3) چیک کریں کہ آیا ماڈل کم از کم ایک معاملے میں "صحیح جواب، غلط ذریعہ" دیتا ہے اور ایک جملے میں لکھیں کہ آپ اسے خود بخود کیسے پکڑ سکتے ہیں۔
چیک لسٹ
- [ ] میں بتا سکتا ہوں کہ ہیلوسینیشن کیوں ہو رہا ہے اور RAG اسے کم کرتا ہے لیکن اسے دوبارہ ترتیب نہیں دیتا۔
- میں بازیافت اور نسل سے پیدا ہونے والے فریب میں فرق کر سکتا ہوں اور صحیح جگہ کو درست کر سکتا ہوں۔
- [ ] میں پرامپٹ میں واضح "مجھے نہیں معلوم" اجازت اور بنیادی اصول شامل کر رہا ہوں۔
- میں جواب میں ایک قابل تصدیق ذریعہ (حوالہ) شامل کر رہا ہوں۔
- [ ] میں انتساب کی درستگی کو مزید جانچنے کی ضرورت کو سمجھتا ہوں۔