فائدہ:
- خودکار QA اور لسانی LQA تہوں میں فرق کرنے اور دونوں کو درست ترتیب میں لاگو کرنے کی صلاحیت
- ایم کیو ایم جیسے غلطی کے فریم ورک کے ساتھ زمرہ اور وزن (اہم/بڑی/معمولی) کے مطابق ترجمہ کا معروضی جائزہ لینے کی صلاحیت
- AI کو بطور آڈیٹر استعمال کرتے وقت حتمی فیصلہ کرنے کے قابل ہونا، اس کے اپنے ترجمے میں اس کے اندھے پن، غلطیوں کے خطرے اور خودکار میٹرکس کی حدود کو جانتے ہوئے
جس لمحے آپ کہتے ہیں کہ ترجمہ "ہو گیا"، یہ آدھا کام ہے۔ دوسرا نصف یہ ثابت کرنا ہے کہ وہ ترجمہ درحقیقت قابل اعتماد ہے۔ اس یونٹ میں، آپ ترجمہ کے معیار کی پیمائش کرنے کے منظم طریقے سیکھیں گے: خودکار QA چیک، انسانی بنیادوں پر LQA ایرر فریم ورک، کوالٹی میٹرکس، اور AI کو بطور "انسپکٹر" استعمال کرنے کا طریقہ — اور اس کی حدود۔ مقصد "میرے خیال میں یہ اچھا ہے" کی سبجیکٹیوٹی سے ہٹ کر ایک ماہر بننا ہے جو معیار کی تعریف، پیمائش اور ثابت کرتا ہے۔
کوالٹی کنٹرول کی دو قسمیں: خودکار اور لسانی
QA (کوالٹی ایشورنس) ترجمہ میں دو تہوں میں کام کرتا ہے:
خودکار QA: اسٹائلسٹک غلطیاں جو CAT ٹولز اور اسکرپٹس پکڑتے ہیں — نمبر کی مماثلت، غائب/زیادہ جگہ، متضاد اصطلاح، غیر ترجمہ شدہ سیگمنٹ، خراب پلیس ہولڈر/ٹیگ، ڈبل اسپیس، اوقاف۔ یہ مشین کے ذریعے تیزی سے اور مکمل طور پر اسکین کیے جاتے ہیں۔ یہ انسانی نظروں سے بچ جاتا ہے لیکن گاڑی اسے پکڑ لیتی ہے۔
LQA (لسانی معیار کی یقین دہانی): یہ وہ پرت ہے جہاں ایک انسانی جائزہ لینے والا معنی، اصطلاحات، اسلوب، گرامر اور مقامی مناسبیت کا جائزہ لیتا ہے۔ خودکار QA "کیا نمبر مماثل ہے؟" سوال کو دیکھتا ہے؛ LQA "کیا معنی درست ہے، کیا لہجہ مناسب ہے، کیا یہ ثقافتی طور پر مناسب ہے؟" وہ سوالیہ نظروں سے دیکھتا ہے۔ دونوں ایک دوسرے کی تکمیل کرتے ہیں۔ ایک دوسرے کی جگہ نہیں لیتا۔
ٹپ: ہمیشہ آٹو QA پہلے چلائیں؛ رسمی غلطیوں کو دور کرنے سے انسانی جائزہ لینے والے کو حقیقی لسانی مسائل پر توجہ دینے کی اجازت ملتی ہے۔ ایک جائزہ لینے والا جو نمبر کی غلطی سے پریشان ہوتا ہے وہ ٹون کی غلطی سے محروم ہو جائے گا۔
غلطی کے فریم: ایم کیو ایم اور ڈی کیو ایف
معیاری خامی ٹائپولوجی کا استعمال "اچھے/خراب" کے بجائے معیار کو قابل پیمائش بنانے کے لیے کیا جاتا ہے۔ سب سے عام MQM (کثیر جہتی کوالٹی میٹرکس) ہے: یہ ہر خامی کو ایک زمرہ (درستگی، روانی، اصطلاحات، انداز، مقامیت، شکل) اور ایک وزن (اہم، اہم، معمولی) کو تفویض کرتا ہے۔ ایک اور فریم ورک DQF (ڈائنامک کوالٹی فریم ورک) ہے اور اس کا ذکر ایم کیو ایم کے ساتھ مل کر کیا گیا ہے۔
یہ کیوں ضروری ہے؟ کیونکہ اس فریم ورک کے ساتھ، آپ ترجمے کو غلطی کا سکور دے سکتے ہیں، مختلف مترجموں/انجنوں کا معروضی طور پر موازنہ کریں اور پوچھیں "کیا یہ متن ڈیلیور کیا جا سکتا ہے؟" آپ سوال کا جواب عددی حد کے ساتھ دیں۔ مثال کے طور پر: اہم غلطی = 10 پوائنٹس، بڑے = 5، معمولی = 1؛ ایک مخصوص حد سے نیچے کا متن فی مخصوص لفظ سے گزرتا ہے۔
اہم خرابی: غلطی جو معنی کو الٹ دیتی ہے، سیکورٹی/قانونی خطرہ پیدا کرتی ہے، برانڈ کو نقصان پہنچاتی ہے (غلط خوراک، "ذمہ دار" کی بجائے "ذمہ دار نہیں")۔ میجر: خلل ڈالنے والا لیکن بے ضرر۔ معمولی: قابل توجہ لیکن معنی سے ہٹنے والا نہیں (معمولی انداز/اوقاف)۔
AI کو بطور کنٹرولر استعمال کرنا - اور اس کی حدود
AI غلطی کے فریم ورک کے خلاف ترجمے کو چیک کرنے میں تیز اور مددگار ہے: آپ کہہ سکتے ہیں "اس ترجمے میں ایم کیو ایم کیٹیگریز کے ساتھ درستگی، اصطلاحات، روانی کی غلطیوں کو نشان زد کریں"۔ یہ آپ کے اندھے دھبوں کو کم کرتا ہے اور آپ کو فوری "دوسری آنکھ" دیتا ہے۔
لیکن اس کی تین اہم حدود ہیں: (1) AI اندھا ہو سکتا ہے جب اس کے ترجمے کی جانچ پڑتال ہوتی ہے - ایک ہی غلطی کرنے اور اس کی تصدیق دونوں؛ ایک مختلف ماڈل کے ساتھ کراس چیک کریں یا ماخذ پر واپس جائیں۔ (2) AI فریب کی "غلطیاں" بھی بنا سکتا ہے - ایسی غلطی کی اطلاع دیں جو موجود نہیں ہے۔ ہر انتباہ کی تصدیق کریں۔ (3) AI ایک اہم غلطی کی حقیقی دنیا کی شدت کو پوری طرح سے نہیں سمجھ سکتا ہے (ایک خوراک کی غلطی مہلک ہوسکتی ہے)؛ ماہر وزن کرتا ہے۔ لہذا AI QA کو تیز کرتا ہے، لیکن حتمی معیار کا فیصلہ اور ترسیل کی منظوری انسان پر منحصر ہے۔
احتیاط: یہ کہنا کہ "AI نے QA پاس کر لیا ہے، یہ صاف ہے" اعتماد کا غلط احساس ہے۔ AI آڈیٹنگ انسانی LQA اور ماخذ کے ساتھ موازنہ کا متبادل نہیں ہے۔ یہ اسکریننگ سے پہلے کی ایک پرت ہے جو انہیں تیز رفتار بناتی ہے۔
تین چھوٹے مقدمات
کیس 1 - خودکار QA میں 40 نمبر کی خرابیاں پائی گئیں۔ مالیاتی رپورٹ کے ترجمے میں، خودکار QA نے ماخذ اور ہدف (ہزار الگ کرنے والا، اعشاریہ، کرنسی) کے درمیان 40 نمبر/فارمیٹ کی مماثلت پکڑی۔ انسانی آنکھ ان میں سے اکثر کو یاد کرے گی؛ گاڑی سیکنڈوں میں درج ہے۔
کیس 2 - ایم کیو ایم سکور انجن کے انتخاب کا باعث بنا۔ ایک بیورو ایم کیو ایم نے دو مختلف ایم ٹی انجنوں کے آؤٹ پٹ کو 2,000 الفاظ پر درجہ بندی کیا: انجن A 12 ایرر پوائنٹس، انجن B 31۔ معروضی پیمائش نے اسکور کے ساتھ "کون سا بہتر ہے" کی بحث کو طے کیا۔ بیورو نے انجن A کو معیار بنایا اور اس کے مطابق نظر ثانی کے بعد کے بجٹ کی منصوبہ بندی کی۔
کیس 3 - AI آڈٹ اپنی غلطی سے چھوٹ گیا۔ ایک مترجم کے پاس LLM کا ترجمہ اسی LLM کے زیر نگرانی تھا۔ ماڈل نے کہا "کوئی مسئلہ نہیں"، ایک اصطلاحی غلطی جو اس نے خود کی تھی۔ غلطی کا انکشاف اس وقت ہوا جب مترجم نے مختلف ماڈل اور ماخذ سے کراس چیک کیا۔ ٹیم نے یہ اصول اپنایا کہ "ایک ہی ماڈل کو خود پر قابو نہیں رکھنا چاہئے"۔
چار کاپی کرنے کے قابل ٹیمپلیٹس
1) ایم کیو ایم کی بنیاد پر غلطی کی جانچ:
آپ کا کردار: LQA جائزہ لینے والا۔ ذیل میں ماخذ اور ترجمہ کا موازنہ کریں۔ ہر ایک غلطی جو آپ کو درج ذیل فارمیٹ میں ملتی ہے فراہم کریں: [زمرہ: درستگی/ اصطلاحات/ روانی/ طرز/ فارمیٹ] [ وزن: اہم/ اہم/ معمولی] [ مقام] [ تبصرہ] [ تصحیح]۔ اس انتباہ کو نشان زد کریں جس کے بارے میں آپ کو یقین نہیں ہے کہ "تصدیق درکار ہے"؛ errorfabrication.Source: [...] | ترجمہ: [...]
2) اہم غلطی سکیننگ (زیادہ خطرہ):
صرف ذیل میں ترجمہ میں اہم غلطیوں کو تلاش کریں: معنی الٹا، نمبر/خوراک/تاریخ کی غلطی، نفی کا نقصان، قانونی ذمہ داری کا متبادل، حفاظتی وارننگ کی غلطی۔ اسٹائل کے معمولی مسائل کو نظر انداز کریں۔ ہر ایک اہم تلاش کے لیے ماخذ کا حوالہ دیں۔ ماخذ: [...] | ترجمہ: [...]
3) خودکار QA ضمنی کنٹرول:
درج ذیل سورس ٹارگٹ جوڑوں میں رسمی تضادات کی فہرست بنائیں: نمبر کی مماثلت، غائب/اضافی پلیس ہولڈر یا ٹیگ، متضاد اصطلاح، غیر ترجمہ شدہ طبقہ، یونٹ/کرنسی کا فرق۔ صرف ان کے مقام کے ساتھ مسائل دیں۔ جوڑے: [...]
4) آزاد دوسری آنکھ (کراس چیک):
بغیر کسی تعصب کے اس ترجمہ کا اندازہ لگائیں۔ یہ مت سمجھو کہ آپ نے لکھا ہے۔ وفاداری، اصطلاحات اور فطرت کے لیے ماخذ کو معیار کی درجہ بندی (1-5) دیں، اور سرفہرست 3 مسائل کی فہرست بنائیں۔ یہ فیصلہ کرنا میرے اختیار میں ہے۔ ماخذ: [...] | ترجمہ: [...]
کمزور فوری / مضبوط اشارہ
کمزور: "کیا یہ ترجمہ اچھا ہے؟" (کوئی معیار نہیں؛ AI ایک بیکار جواب دیتا ہے جیسے "عام طور پر اچھا")
مضبوط: "اس ترجمے کو ماخذ کے خلاف چیک کریں۔ ہر خامی کو زمرہ (درستگی/اصطلاحات/ روانی) اور شدت (اہم/بڑی/معمولی) کے ساتھ لیبل کریں۔ خاص طور پر نمبر، نفی، اور اصطلاحی غلطیوں پر توجہ دیں۔ غلطیاں مت گھڑیں؛ اگر آپ کو یقین نہیں ہے تو 'تصدیق درکار' پر نشان لگائیں۔"
فرق: مضبوط پرامپٹ غلطی کا فریم اور فوکس دیتا ہے۔ آؤٹ پٹ ایک موازنہ اور قابل عمل معیار کی رپورٹ ہے۔
معیار کی تہوں کی میز
پرت
کیا پکڑتا ہے
کون/کیا کرتا ہے۔
آٹو QA
نمبر، لیبل، مستقل مزاجی۔
ٹول/اسکرپٹ
AI کنٹرول
ممکنہ معنی/ اصطلاحی غلطیاں
ایل ایل ایم (تصدیق کے ساتھ)
انسانی LQA
معنی، لہجہ، ثقافت، وزن
ماہر تشخیص کار
MQM/DQF سکور
مقصدی غلطی کا اسکور
فریم کے ساتھ انسان
ترسیل کی تصدیق
حتمی ذمہ داری
قابل مترجم
عام غلطیاں
- خودکار QA کو چھوڑنا اور سیدھے پڑھنے میں جانا۔ اسٹائلسٹک غلطیاں توجہ ہٹاتی ہیں۔
- AI معائنہ کو انسانی LQA سے تبدیل کرنا۔ AI پری اسکرین، منظور نہیں کرتا۔
- ایک ہی ماڈل کا اپنا ترجمہ چیک کریں۔ نابینا جگہ؛ کراس چیکنگ کی ضرورت ہے.
- وزن کی غلطیاں نہیں۔ تنقیدی اور معمولی کو ایک جیسا دیکھنا ترجیح میں خلل ڈالتا ہے۔
- AI کی طرف سے بنائی گئی "غلطیوں" کو درست کیے بغیر ان کی تصدیق کرنا۔ آپ صحیح جملے کو بگاڑ سکتے ہیں۔
خودکار میٹرکس: BLEU، COMET اور حدود
معیار کی پیمائش میں خودکار میٹرکس کی دنیا بھی ہے۔ BLEU (Bilingual Evaluation Understudy) مشینی ترجمہ کا انسانی حوالہ کے ترجمے سے موازنہ کرتا ہے اور لفظ اوورلیپ کی بنیاد پر 0-100 کا سکور دیتا ہے۔ یہ ایک طویل عرصے سے MT سسٹمز کا موازنہ کرنے کا معیار تھا۔ ایک نیا میٹرک، COMET، نیورل نیٹ ورک پر مبنی ہے اور BLEU سے بہتر سیمنٹک مماثلت حاصل کرتا ہے۔ یہ میٹرکس بڑے ڈیٹا پر دو انجنوں کا فوری اور خود بخود موازنہ کرنے کے لیے قیمتی ہیں۔
لیکن اس کی حدود واضح ہیں: BLEU جیسے میٹرکس لفظ کے اوورلیپ کو دیکھتے ہیں، واقعی معنی کو نہیں سمجھتے۔ ایک ترجمہ جو حوالہ سے مختلف ہو لیکن درست ہو اسے کم سکور مل سکتا ہے۔ ایک ترجمہ جو حوالہ سے ملتا جلتا ہے لیکن غلط ہو سکتا ہے کہ وہ زیادہ اسکور حاصل کرے۔ ایک اہم منفی غلطی ایک واحد لفظ ہے لہذا اس کا میٹرک پر بہت کم اثر پڑتا ہے، لیکن حقیقت میں یہ تباہ کن ہے۔ اسی لیے خودکار میٹرکس سسٹم کی سطح پر رجحانات کی پیمائش کرتی ہیں، نہ کہ انفرادی متن کی فراہمی کا فیصلہ۔ ایم کیو ایم کی بنیاد پر انسانی تشخیص اور ماہرین کا فیصلہ فیصلہ کرتا ہے کہ آیا ترجمہ کلائنٹ کو جاتا ہے، خودکار اسکور نہیں۔ میٹرکس کو بطور کمپاس استعمال کریں، جج نہیں۔
خلاصہ میں
ترجمہ کا معیار کوئی ساپیکش احساس نہیں ہے، یہ ایک قابل پیمائش چیز ہے۔ خودکار QA رسمی غلطیوں کے لیے اچھی طرح اسکین کرتا ہے۔ انسانی LQA معنی، لہجے اور ثقافت کا جائزہ لیتا ہے۔ خامی کے فریم ورک جیسے ایم کیو ایم معیار کو زمرہ اور وزن کے لحاظ سے درست کرتے ہیں، معروضی موازنہ کو قابل بناتے ہیں۔ AI ایک طاقتور دوسری آنکھ ہے جو اس کنٹرول کو تیز کرتی ہے، لیکن یہ اپنے ہی ترجمے سے اندھی ہو سکتی ہے، غلطیاں کر سکتی ہے اور حقیقی دنیا کے وزن کو پوری طرح سمجھنے میں ناکام ہو سکتی ہے۔ لہذا، حتمی معیار کے فیصلے، وزن اور ترسیل کی منظوری قابل مترجم کی ہے.
درخواست کا کام
مشین کا ترجمہ آؤٹ پٹ حاصل کریں۔ پہلے "خودکار QA سپلیمنٹری چیکنگ" کے ساتھ رسمی غلطیوں کی فہرست بنائیں، پھر "MQM-based error checking" کے ساتھ زمرہ اور وزن کے لحاظ سے لسانی غلطیوں کی فہرست بنائیں۔ میں ہر ایک خامی (تنقیدی 10، اہم 5، معمولی 1) کو فی لفظ ایک حد کے ساتھ درجہ بندی کرتا ہوں اور پوچھتا ہوں کہ "کیا اسے پہنچایا جا سکتا ہے؟" سوال کا جواب دیں۔ آخر میں، ذریعہ سے تصدیق کریں کہ AI کی طرف سے جھنڈا لگائی گئی کتنی غلطیاں اصلی ہیں اور کتنی من گھڑت ہیں۔
چیک لسٹ
- میں نے خودکار QA چلایا اور کسی بھی رسمی غلطی کو صاف کیا۔
- میں نے لسانی غلطیوں کو ایک خانے (زمرہ + وزن) سے نشان زد کیا۔
- میں نے ایک الگ، ترجیحی راؤنڈ میں اہم غلطیوں کو اسکین کیا۔
- [ ] میں نے AI کنٹرول حاصل کیا اور اگر ضروری ہو تو اسے مختلف ماڈل کے ساتھ کراس چیک کیا۔
- میں نے ڈیلیوری کا فیصلہ عددی حد اور اپنے ماہرانہ فیصلے کی بنیاد پر کیا۔