فائدہ:
- اسکیما اور اصول پر مبنی آؤٹ پٹ کی توثیق کی تہوں کو قائم کرنے کی صلاحیت
- اعلیٰ اثر والے فیصلوں میں بامعنی طور پر انسان کی ضرورت کی صلاحیت
- دوسرے ماڈل کے ساتھ تصدیق اور اعتماد کی حد پر مبنی روٹنگ ڈیزائن کرنے کی صلاحیت
ایک زبان کا ماڈل سیال، قائل کرنے والا، اور اکثر درست پیدا کرتا ہے — لیکن "قائل کرنے والا" "درست" جیسا نہیں ہے۔ ماڈل خاموشی سے کسی رقم، تاریخ، یا JSON فیلڈ میں فٹ ہو سکتا ہے۔ اسے ہیلوسینیشن کہتے ہیں (ماڈل اعتماد کے ساتھ ایسی معلومات تیار کرتا ہے جو حقیقت میں موجود نہیں ہے)۔ ایک انٹرپرائز سسٹم میں، اگر وہ آؤٹ پٹ اگلے مرحلے پر جاتا ہے - ایک ادائیگی، ایک ای میل، ایک ڈیٹا بیس لکھنا - غلطی حقیقی دنیا میں پھیل جاتی ہے۔ اس یونٹ میں، ہم سسٹم میں داخل ہونے سے پہلے آؤٹ پٹ کو تصدیقی پرتوں کے ساتھ فلٹر کرنا سیکھیں گے اور اعلیٰ اثر والے فیصلوں کے لیے انسان کے اندر لوپ کی ضرورت ہے۔
آؤٹ پٹ کی توثیق کیوں ضروری ہے؟
ماڈل آؤٹ پٹ کو دو بنیادی طریقوں سے خراب کیا جا سکتا ہے: فارمیٹ (متوقع JSON اسکیما کے مطابق نہیں ہے، فیلڈ غائب/زیادہ ہے) اور مواد (فارمیٹ درست ہے لیکن قدر غلط ہے — ایک غیر موجود پروڈکٹ کوڈ، ایک غیر منطقی تاریخ)۔ سیکیورٹی کے معاملے میں ایک تیسری جہت ہے: بدنیتی پر مبنی آؤٹ پٹ (انجیکشن یا لیک کے نتیجے میں پیدا ہونے والی بدنیتی پر مبنی کمانڈ)۔ ایک ٹھوس نظام تینوں کو دروازے پر روکتا ہے۔
احتیاط: "ماڈل عام طور پر درست" پیداوار کا معیار نہیں ہے۔ بغیر تصدیق کے نظام میں، ایک ہزار میں ایک غلطی کا مطلب ہے کہ روزانہ 100،000 درخواستوں میں 100 غلط لین دین۔
تصدیق کی پرتیں: مرحلہ وار
- اسکیما کی توثیق۔ مشین سے چیک کریں کہ آؤٹ پٹ متوقع ڈھانچے کے مطابق ہے: کیا فیلڈز موجود ہیں، کیا ان کی قسمیں درست ہیں، کیا مطلوبہ فیلڈز بھرے گئے ہیں؟
- اصول/کاروباری منطق کی توثیق۔ کیا اقدار کاروباری اصولوں سے ملتی ہیں؟ (رقم> 0، تاریخ مستقبل میں نہیں ہے، پروڈکٹ کوڈ کیٹلاگ سے تعلق رکھتا ہے۔)
- حوالہ/ذریعہ کنٹرول۔ اگر ماڈل کوئی دعویٰ پیش کرتا ہے تو کیا اسے ماخذ سے جوڑا جا سکتا ہے؟ (کیا آر اے جی کا حوالہ درحقیقت دستاویز میں ہے؟)
- دوسرے ماڈل (ایل ایل ایم-بطور جج) کے ساتھ توثیق۔ ایک آزاد ماڈل آؤٹ پٹ کو "درست/نامکمل/خطرناک" کے طور پر جانچتا ہے۔
- اعتماد کی حد اور واقفیت۔ اگر ماڈل یا تصدیق کنندہ کم اعتماد کی اطلاع دیتا ہے، تو آؤٹ پٹ خود بخود پاس نہیں ہوتا ہے۔ انسانوں کو ہدایت کی جاتی ہے۔
- انسانی کنٹرول۔ اعلی طاقت یا کم محفوظ نتیجہ ماہر کی منظوری پر منحصر ہے۔
چار کاپی ایبل ٹیمپلیٹس
اسکیم + "اگر آپ نہیں جانتے ہیں تو اسے بنائیں" ایک ساتھ:
جواب صرف درج ذیل JSON اسکیما میں واپس کریں: "کم" لکھیں۔ کبھی بھی تخمینہ اس طرح نہ لکھیں جیسے یہ بالکل درست ہو۔
دوسرے ماڈل کے ساتھ تصدیق (جج پرامپٹ):
آپ ایک آزاد تصدیق کنندہ ہیں۔ ذیل میں ایک <ذریعہ> متن اور ایک <دعوی> ہے۔ یہ دیکھنے کے لیے چیک کریں کہ آیا دعوی میں موجود ہر نمبر اور تاریخ ماخذ میں لفظی طور پر آتی ہے۔ ہر ایک کے لیے، کہیں: "تصدیق شدہ | ماخذ میں نہیں | منبع سے متصادم ہے۔" اگر ان میں سے ایک بھی 'غیر حاضر/متصادم' ہے، تو نتیجہ کو "انسانی جائزے کی ضرورت" کے بطور نشان زد کریں۔<source>{{ text }}</source><claim>{{ model_output }}</claim>
ٹرسٹ تھریشولڈ روٹنگ کا اصول:
روٹنگ کا اصول:- emin_misin = "زیادہ" اور رقم < 10,000 TL -> خودکار پروسیسنگ- emin_misin = "میڈیم" یا رقم 10,000-100,000 TL -> دوسرے ماڈل کی توثیق- emin_misin = "کم" یا رقم> 100,000 TL - انسانی ایپ درکار ہے
انسانی آڈٹ سمری کارڈ (جائزہ کو تیز کرتا ہے):
فیصلہ کسی شخص کو پیش کرتے وقت، یہ کارڈ پیش کریں:- کیا تجویز کیا جا رہا ہے؟ (ایک جملہ) - یہ کس ماخذ پر مبنی ہے؟ (مضمون/دستاویز کا حوالہ) - 2 کمزور ترین مفروضے کیا ہیں؟- اگر منظور ہو جائیں تو کیا ان کو تبدیل کیا جا سکتا ہے؟ (ہاں/نہیں)
کمزور پرامپٹ / مضبوط اشارہ
غریب نقطہ نظر
مضبوط نقطہ نظر
"انوائس سے رقم گھٹائیں" (مفت متن)
سخت JSON اسکیما + null + ٹرسٹ فیلڈ
آؤٹ پٹ کو براہ راست ادائیگی کے نظام پر لکھنا
اسکیما → اصول → انسانی منظوری (اگر ضروری ہو)
صرف ماڈل کو بتانا "یقین رکھو"
دوسرے ماڈل کے ساتھ نمبر/تاریخ کی توثیق
یکساں اعتماد کے ساتھ ہر آؤٹ پٹ پر کارروائی کرنا
اثر و رسوخ اور اعتماد پر مبنی روٹنگ
مضبوط نقطہ نظر سے یہ امید نہیں ہوتی کہ ماڈل درست ہے۔ یہ ایک دروازہ بناتا ہے جو آپ کو پکڑ لے گا جب آپ غلط ہوں گے۔
تین چھوٹے کیسز
کیس 1 - اکیلے اسکیم کافی نہیں تھی۔ اکاؤنٹنگ آٹومیشن انوائسز سے رقم کو JSON کے بطور نکال رہا تھا۔ اسکیم درست تھی، لیکن ماڈل نے انوائس (اعشاریہ شفٹ) پر "1,250.00" کے بجائے "125,000" تیار کیا۔ اسکیم اس پر قبضہ کرنے میں ناکام رہی۔ اصول کی توثیق ("رقم 1% انوائس کی کل اشیاء کے مطابق ہونی چاہیے") پکڑی گئی اور 112,500 TL کی غلط ریکارڈنگ کو روکا گیا۔
کیس 2 - دوسرے ماڈل نے ہیلوسینیشن کو پکڑ لیا۔ "برطرفی کا 30 دن کا نوٹس،" ایک قانونی معاون معاون نے معاہدے کے خلاصے میں کہا۔ تاہم معاہدے میں یہ 90 دن کا تھا۔ جب آزاد جج نے ماڈل کو "ماخذ سے متصادم" کے طور پر جھنڈا لگایا، تو آؤٹ پٹ انسان کو بھیج دیا گیا اور اسے درست کیا گیا۔ اگر یہ خودکار ہوتا تو صارف غلط تاریخ کی بنیاد پر منسوخی کو مطلع کرتا۔
کیس 3 - روٹنگ نے بوجھ میں 70% کمی کی۔ انشورنس کلیمز سسٹم نے خود بخود کم رقم اور زیادہ سیکیورٹی والے دعووں کی منظوری دی ہے اور ماہر کو صرف اوپر کی حد/کم محفوظ والے دعوے بھیجے ہیں۔ 3,200 یومیہ مطالبات میں سے صرف 950 انسانوں پر گرے۔ ماہرین نے اپنا وقت واقعی خطرناک 30% کے لیے وقف کیا، لین دین کا اوسط وقت 4 گھنٹے سے گھٹ کر 40 منٹ تک رہ گیا۔
مشورہ: انسانی کنٹرول قائم نہ کریں تاکہ "لوگ سب کچھ دیکھ سکیں" - اس سے لوگ تھک جائیں گے اور منظوری ربڑ سٹیمپ بن جائے گی۔ اس کے بجائے، صرف اعلیٰ اثر اور کم اعتماد کے نتائج کو انسان تک پہنچائیں؛ یہ اس بات پر توجہ مرکوز کرتا ہے کہ واقعی کیا اہم ہے۔
انسانی کنٹرول کو معنی خیز بنانا
ہیومن ان دی لوپ کاغذ پر چیک باکس لگانے کے بارے میں نہیں ہے۔ جائزہ لینے والے کے پاس (1) فیصلے کو سمجھنے کے لیے سیاق و سباق، (2) ماخذ تک رسائی، اور (3) "نہیں" کہنے کا اختیار ہونا چاہیے۔ دوسری صورت میں، کنٹرول کاسمیٹک رہتا ہے. ریویو کارڈ (اوپر چوتھا ٹیمپلیٹ) کا مقصد صرف وہی سیاق و سباق فراہم کرنا ہے۔
عام غلطیاں
- صرف اسکیما کی توثیق کرنا اور مواد/قدر کی غلطیوں کو چھوڑنا۔
- یہ سوچ کر کہ ماڈل کو "یقینی بنائیں" کہہ کر آپ حقیقی تصدیق کر رہے ہیں۔
- اعلیٰ اثر والے، ناقابل واپسی فیصلوں کو خودکار طور پر نافذ کریں۔
- ہر آؤٹ پٹ پر انسانی کنٹرول ڈالنا اور منظوری کو بے معنی ربڑ سٹیمپ میں تبدیل کرنا۔
- ماخذ اور سیاق و سباق بتائے بغیر جائزہ لینے والے کو "منظور کریں" کہنا۔
- ٹرسٹ تھریشولڈ اور روٹنگ قائم کیے بغیر ایک جیسے رسک کے ساتھ تمام آؤٹ پٹ پر کارروائی کرنا۔
خلاصہ میں
- آؤٹ پٹ تین طریقوں سے خراب ہوتا ہے: شکل، مواد، اور بدنیتی پر مبنی ارادے؛ ایک ٹھوس نظام تینوں دروازے پر رک جاتا ہے۔
- پرتیں: اسکیما کی توثیق، اصول/کاروباری منطق، سورس کنٹرول، دوسرا ماڈل (ایل ایل ایم-بطور جج)، اور ٹرسٹ تھریشولڈ روٹنگ۔
- زیادہ اثر والے اور کم حفاظتی نتائج کے لیے ہیومن ان دی لوپ لازمی ہونا چاہیے۔
- انسانی جائزہ بامعنی ہونا چاہیے: جائزہ لینے والے کے پاس سیاق و سباق، وسائل تک رسائی، اور "نہیں" کہنے کا اختیار ہونا چاہیے۔
- حفاظت اور افادیت دونوں صرف خطرناک لوگوں کو انسانوں تک پہنچانے سے حاصل کی جاتی ہیں، ہر پیداوار کو نہیں۔
درخواست کا کام
اپنے AI آؤٹ پٹ سے ایک مثال لیں۔ پہلے JSON اسکیما کی وضاحت کریں اور آؤٹ پٹ کو اس پر مجبور کریں۔ پھر کم از کم دو کاروباری اصول لکھیں (مثال کے طور پر، "رقم کل آئٹمز سے ملتی ہے")۔ آخر میں، ایک روٹنگ ٹیبل ترتیب دیں: کون سا اعتماد/اثر کا مجموعہ خود بخود چلا جاتا ہے، جو دوسرے ماڈل پر جاتا ہے، جو انسان کو جاتا ہے؟ ایک ناقص نمونہ بنائیں اور مشاہدہ کریں کہ ہر پرت اسے کہاں پکڑتی ہے۔
چیک لسٹ
- میں آؤٹ پٹ کے لیے ایک سخت اسکیما کی وضاحت کرتا ہوں اور مشین سے اس کی تصدیق کرتا ہوں۔
- میں نے کم از کم ایک کاروبار/قواعد کی توثیق (قدر منطق) شامل کی ہے۔
- میں دعوے کو ماخذ سے جوڑ سکتا ہوں اور ان کی جانچ کر سکتا ہوں۔
- دوسرا ماڈل یا انسانی توثیق اعلی اثر/کم حفاظتی نتائج کے لیے دستیاب ہے۔
- اعتماد اور اثر و رسوخ کی بنیاد پر روٹنگ کا اصول بیان کیا گیا ہے۔
- جائزہ لینے والے کو سیاق و سباق، ماخذ، اور مسترد کرنے کا اختیار فراہم کیا جاتا ہے۔