کنترل کیفیت (QA)، معیارهای ارزیابی و LQA

سود:

• امکان تمایز بین لایه های QA خودکار و LQA زبانی و اعمال هر دو به ترتیب صحیح
• امکان ارزیابی عینی ترجمه با توجه به دسته بندی و وزن (بسیار بحرانی / اصلی / جزئی) با چارچوب خطا مانند MQM
• توانایی تصمیم گیری نهایی هنگام استفاده از هوش مصنوعی به عنوان حسابرس، آگاهی از نابینایی آن نسبت به ترجمه خود، خطر اشتباه، و محدودیت های معیارهای خودکار

لحظه ای که می گویید ترجمه «انجام شد»، این نیمی از کار است. نیم دیگر این است که ثابت کنیم آن ترجمه واقعا قابل اعتماد است. در این بخش، روش‌های سیستماتیک اندازه‌گیری کیفیت ترجمه را خواهید آموخت: بررسی خودکار QA، چارچوب‌های خطای LQA مبتنی بر انسان، معیارهای کیفیت، و نحوه استفاده از هوش مصنوعی به‌عنوان «بازرس» - و محدودیت‌های آن. هدف این است که از ذهنیت "به نظر من خوب است" دور شویم و به متخصصی تبدیل شویم که کیفیت را تعریف، اندازه گیری و اثبات کند.

دو نوع کنترل کیفیت: خودکار و زبانی

QA (تضمین کیفیت) در ترجمه در دو لایه کار می کند:

QA خودکار: خطاهای سبکی که ابزارها و اسکریپت‌های CAT می‌گیرند - عدم تطابق اعداد، فضای خالی/زیاد، عبارت ناسازگار، بخش ترجمه نشده، مکان‌نما/برچسب بد، فاصله دوتایی، نقطه‌گذاری. اینها به سرعت و به طور کامل توسط دستگاه اسکن می شوند. از چشم انسان فرار می کند، اما وسیله نقلیه آن را می گیرد.

LQA (تضمین کیفیت زبانی): این لایه ای است که یک ارزیاب انسانی معنا، اصطلاحات، سبک، دستور زبان و تناسب محلی را بررسی می کند. QA خودکار "آیا عدد مطابقت دارد؟" به سوال نگاه می کند؛ LQA "آیا معنی درست است، آیا لحن مناسب است، آیا از نظر فرهنگی مناسب است؟" به سوال نگاه می کند. این دو مکمل یکدیگر هستند. یکی جایگزین دیگری نمی شود.

نکته: همیشه ابتدا Auto QA را اجرا کنید. پاک کردن خطاهای رسمی به ارزیاب انسانی اجازه می دهد تا توجه خود را به مشکلات واقعی زبانی معطوف کند. داوری که با خطای شماره اذیت می‌کند، خطای لحن را از دست می‌دهد.

فریم های خطا: MQM و DQF

گونه‌شناسی خطای استاندارد به جای «خوب/بد» برای قابل اندازه‌گیری کیفیت استفاده می‌شود. متداول ترین آنها MQM (معیارهای کیفیت چند بعدی) است: هر خطا را به یک دسته (دقت، روان، اصطلاح، سبک، محل، قالب) و یک وزن (بحرانی، اصلی، جزئی) اختصاص می دهد. چارچوب دیگر DQF (چارچوب کیفیت پویا) است و همراه با MQM ذکر شده است.

چرا مهم است؟ زیرا با این چارچوب می توانید به ترجمه نمره خطا بدهید، مترجمان/موتورهای مختلف را به طور عینی با هم مقایسه کنید و بپرسید "آیا این متن قابل تحویل است؟" شما سوال را با یک آستانه عددی پاسخ می دهید. به عنوان مثال: خطای بحرانی = 10 امتیاز، عمده = 5، جزئی = 1. متن زیر یک آستانه خاص برای هر کلمه خاص عبور می کند.

خطای بحرانی: خطایی که معنا را وارونه می کند، خطر امنیتی/قانونی ایجاد می کند، به برند آسیب می زند (دوز اشتباه، «مسئول نیست» به جای «مسئول»). عمده: مخرب اما بی ضرر. جزئی: قابل توجه است اما از معنی کم نمی کند (سبک جزئی / نقطه گذاری).

استفاده از هوش مصنوعی به عنوان یک کنترل کننده - و محدودیت های آن

هوش مصنوعی در بررسی یک ترجمه در برابر چارچوب خطا سریع و مفید است: می‌توانید بگویید «صحت، اصطلاح، خطاهای روانی در این ترجمه را با دسته‌های MQM علامت‌گذاری کنید». نقاط کور شما را کاهش می دهد و به شما یک "چشم دوم" سریع می دهد.

اما سه محدودیت حیاتی وجود دارد: (1) هوش مصنوعی می‌تواند هنگام بررسی ترجمه‌ای که تولید می‌کند کور باشد - هم اشتباه را انجام می‌دهد و هم تأیید می‌کند. با مدل دیگری بررسی کنید یا به منبع برگردید. (2) هوش مصنوعی همچنین می‌تواند «خطاهای» توهم‌آمیز را ایجاد کند - خطایی را گزارش کند که وجود ندارد. هر هشدار را تایید کنید. (3) ممکن است هوش مصنوعی شدت واقعی یک خطای بحرانی را به طور کامل درک نکند (یک خطای دوز می تواند کشنده باشد). کارشناس وزن گیری را انجام می دهد. بنابراین هوش مصنوعی QA را سرعت می بخشد، اما تصمیم نهایی کیفیت و تایید تحویل با انسان است.

احتیاط: گفتن "هوش مصنوعی QA را گذرانده است، تمیز است" یک حس اعتماد به نفس کاذب است. حسابرسی هوش مصنوعی جایگزینی برای LQA انسانی و مقایسه با منبع نیست. این یک لایه پیش غربالگری است که آنها را به سرعت می رساند.

سه کیف کوچک

مورد 1 - QA خودکار 40 خطای عددی را پیدا کرد. در یک ترجمه گزارش مالی، QA خودکار 40 عدم تطابق شماره/فرمت بین منبع و هدف (جداکننده هزار، اعشاری، ارز) را نشان داد. چشم انسان بیشتر این موارد را از دست می دهد. وسیله نقلیه در ثانیه فهرست شده است.

مورد 2 - امتیاز MQM منجر به انتخاب موتور شد. یک دفتر MQM خروجی دو موتور مختلف MT را با 2000 کلمه رتبه‌بندی کرد: موتور A 12 نقطه خطا، موتور B 31. اندازه‌گیری عینی بحث "کدام بهتر است" را با یک امتیاز حل کرد. این دفتر موتور A را استاندارد کرد و بودجه پس از بازنگری خود را بر این اساس برنامه ریزی کرد.

مورد 3 - ممیزی هوش مصنوعی اشتباه خود را نادیده گرفت. مترجمی بر ترجمه LLM توسط همان LLM نظارت داشت. مدل گفت "مشکلی نیست"، یک اشتباه اصطلاحی که خودش مرتکب شد. این خطا زمانی آشکار شد که مترجم مدل و منبع دیگری را بررسی کرد. این تیم این قانون را اتخاذ کرد که "همان مدل نباید خودش را کنترل کند".

چهار قالب قابل کپی

1) بررسی خطای مبتنی بر MQM:

نقش شما: ارزیاب LQA. منبع و ترجمه را در زیر مقایسه کنید. هر خطایی را که پیدا می‌کنید در قالب زیر ارائه دهید: [دسته: دقت/اصطلاحات/تسلط/سبک/قالب][وزن: بحرانی/عمده/فرعی] [مکان] [نظر] [تصحیح]. هشداری را که از آن مطمئن نیستید به عنوان "تایید مورد نیاز" علامت گذاری کنید. errorfabrication.منبع: [...] | ترجمه: [...]

2) اسکن خطای بحرانی (خطر بالا):

خطاهای مهم را فقط در ترجمه زیر جستجو کنید: به معنای وارونگی، خطای شماره/دوز/تاریخ، از بین رفتن نفی، جایگزینی تعهد قانونی، خطای هشدار ایمنی. مسائل جزئی استایل را نادیده بگیرید. منبع را برای هر یافته مهم ذکر کنید. منبع: [...] | ترجمه: [...]

3) کنترل تکمیلی QA خودکار:

ناسازگاری های رسمی را در جفت های منبع-هدف زیر فهرست کنید: عدم تطابق عدد، مکان یا برچسب گمشده/اضافی، عبارت ناسازگار، بخش ترجمه نشده، تفاوت واحد/ارز. فقط مشکلات مربوط به مکان آنها را بیان کنید. جفت: [...]

4) چشم دوم مستقل (چک متقاطع):

این ترجمه را بدون پیش داوری ارزیابی کنید. فکر نکن تو نوشتی به منبع رتبه بندی کیفیت (1-5) برای وفاداری، اصطلاحات و طبیعی بودن بدهید و 3 مشکل اصلی را فهرست کنید. این به من بستگی دارد که تصمیم بگیرم. منبع: [...] | ترجمه: [...]

اعلان ضعیف / اعلان قوی

ضعیف: "این ترجمه خوب است؟" (بدون معیار؛ هوش مصنوعی پاسخ بی فایده ای مانند «به طور کلی خوب» را برمی گرداند.)

قوی: "این ترجمه را با منبع بررسی کنید. هر خطا را با دسته بندی (دقت/اصطلاح/ روان) و شدت (بحرانی/عمده/فرعی) برچسب بزنید. به خصوص روی اشتباهات عددی، نفی و اصطلاحی تمرکز کنید. اشتباهات را جعل نکنید؛ اگر مطمئن نیستید "تأیید لازم است" را علامت بزنید."

تفاوت: اعلان قوی یک قاب خطا و فوکوس می دهد. خروجی یک گزارش کیفی قابل مقایسه و عملی است.

جدول لایه های کیفی

لایه

چه چیزی را می گیرد

چه کسی / چه می کند

خودکار QA

تعداد، برچسب، قوام

ابزار/اسکریپت

کنترل هوش مصنوعی

اشتباهات احتمالی معنی/اصطلاحات

LLM (با تایید)

LQA انسانی

معنی، لحن، فرهنگ، وزن

ارزیاب خبره

امتیاز MQM/DQF

نمره خطای عینی

انسان با قاب

تاییدیه تحویل

مسئولیت نهایی

مترجم توانا

اشتباهات رایج

• رد شدن از QA خودکار و شروع مستقیم به خواندن. اشتباهات سبکی توجه را منحرف می کند.
• جایگزینی بازرسی هوش مصنوعی با LQA انسانی. AI پیش نمایشگر، تایید نمی کند.
• داشتن همان مدل ترجمه خودش را بررسی کنید. نقطه کور؛ بررسی متقابل مورد نیاز است
• خطاهای وزنی نیست. یکسان دیدن انتقادی و جزئی، اولویت را مختل می کند.
• تصحیح "خطاهای" ایجاد شده توسط هوش مصنوعی بدون تایید آنها. می توانید جمله صحیح را تحریف کنید.

معیارهای خودکار: BLEU، COMET و محدودیت ها

همچنین دنیایی از معیارهای خودکار در اندازه گیری کیفیت وجود دارد. BLEU (دو زبانه ارزیابی زیرمجموعه) ترجمه ماشینی را با ترجمه مرجع انسانی مقایسه می کند و بر اساس همپوشانی کلمات امتیاز 0-100 می دهد. این استاندارد برای مدت طولانی برای مقایسه سیستم های MT بود. متریک جدیدتر، COMET، مبتنی بر شبکه عصبی است و شباهت معنایی را بهتر از BLEU نشان می‌دهد. این معیارها برای مقایسه سریع و خودکار دو موتور در کلان داده ارزشمند هستند.

اما محدودیت‌های آن واضح است: معیارهایی مانند BLEU به همپوشانی کلمات نگاه می‌کنند، نه واقعاً معنی را درک می‌کنند. ترجمه ای که با مرجع متفاوت است اما دقیق است ممکن است نمره پایینی دریافت کند. ترجمه ای که مشابه مرجع است اما نادرست است ممکن است نمره بالایی دریافت کند. یک خطای منفی منفی یک کلمه واحد است، بنابراین تأثیر کمی بر متریک دارد، اما در واقع فاجعه بار است. به همین دلیل است که معیارهای خودکار روندها را در سطح سیستم اندازه گیری می کنند، نه اینکه در مورد قابلیت تحویل یک متن جداگانه تصمیم گیری کنند. ارزیابی انسانی مبتنی بر MQM و قضاوت متخصص تصمیم می‌گیرد که آیا ترجمه به مشتری می‌رسد، نه نمره خودکار. از معیارها به عنوان قطب نما استفاده کنید، نه یک قاضی.

به طور خلاصه

کیفیت ترجمه یک احساس ذهنی نیست، چیزی قابل اندازه گیری است. QA خودکار به طور کامل برای خطاهای رسمی اسکن می کند. LQA انسانی معنا، لحن و فرهنگ را ارزیابی می کند. چارچوب های خطا مانند MQM کیفیت را بر اساس دسته و وزن کمی می کند و امکان مقایسه عینی را فراهم می کند. هوش مصنوعی چشم دوم قدرتمندی است که این کنترل را تسریع می‌کند، اما می‌تواند نسبت به ترجمه خود کور باشد، اشتباه کند و وزن واقعی را به طور کامل درک نکند. بنابراین تصمیم نهایی کیفیت، وزن دهی و تایید تحویل متعلق به مترجم ذیصلاح است.

وظیفه کاربردی

خروجی ترجمه ماشینی دریافت کنید. ابتدا خطاهای رسمی را با «بررسی تکمیلی QA خودکار» فهرست کنید، سپس خطاهای زبانی را بر اساس دسته و وزن با «بررسی خطای مبتنی بر MQM» فهرست کنید. من به هر خطا (بحرانی 10، عمده 5، جزئی 1) با یک آستانه برای هر کلمه رتبه می دهم و می پرسم "آیا می توان آن را تحویل داد؟" به سوال پاسخ دهید. در نهایت، با منبع تأیید کنید که چه تعداد از خطاهای پرچم‌گذاری شده توسط هوش مصنوعی واقعی و چه تعداد از آنها ساختگی هستند.

چک لیست

• [ ] من QA خودکار را اجرا کردم و هر گونه خطای رسمی را پاک کردم.
• [ ] من خطاهای زبانی را با یک کادر (دسته + وزن) مشخص کردم.
• [ ] من خطاهای مهم را در یک دور جداگانه و اولویت بندی شده اسکن کردم.
• [ ] من منبع کنترل AI را تهیه کردم و در صورت لزوم آن را با مدل دیگری بررسی کردم.
• [ ] من تصمیم تحویل را بر اساس آستانه عددی و قضاوت تخصصی خودم گرفتم.