Keuntungan:
- Kemampuan untuk membedakan antara lapisan QA otomatis dan LQA linguistik dan menerapkan keduanya dalam urutan yang benar
- Kemampuan mengevaluasi terjemahan secara objektif sesuai kategori dan bobot (kritis/mayor/minor) dengan kerangka kesalahan seperti MQM
- Mampu membuat keputusan akhir saat menggunakan AI sebagai auditor, mengetahui kebutaannya terhadap terjemahannya sendiri, risiko membuat kesalahan, dan batasan metrik otomatis
Saat Anda mengatakan terjemahan sudah "selesai", itu setengah dari pekerjaan; Separuh lainnya adalah untuk membuktikan bahwa terjemahan tersebut benar-benar dapat diandalkan. Dalam unit ini, Anda akan mempelajari cara sistematis untuk mengukur kualitas terjemahan: pemeriksaan QA otomatis, kerangka kerja kesalahan LQA berbasis manusia, metrik kualitas, dan cara menggunakan AI sebagai “pemeriksa” — dan batasannya. Tujuannya adalah untuk menjauh dari subjektivitas “Saya pikir itu baik” dan menjadi ahli yang mendefinisikan, mengukur dan membuktikan kualitas.
Dua jenis kontrol kualitas: otomatis dan linguistik
QA (Quality Assurance) bekerja dalam dua lapisan dalam terjemahan:
QA otomatis: Kesalahan gaya yang ditangkap oleh alat dan skrip CAT — nomor tidak cocok, spasi hilang/berlebih, istilah tidak konsisten, segmen tidak diterjemahkan, placeholder/tag buruk, spasi ganda, tanda baca. Ini dipindai dengan cepat dan lengkap oleh mesin; Ia luput dari pandangan manusia, namun kendaraan menangkapnya.
LQA (Jaminan Kualitas Linguistik): Ini adalah lapisan di mana evaluator manusia memeriksa makna, terminologi, gaya, tata bahasa, dan kesesuaian lokal. QA otomatis "apakah nomornya cocok?" melihat pertanyaannya; LQA “apakah maknanya benar, apakah nadanya sesuai, apakah sesuai budaya?” Dia melihat pertanyaan itu. Keduanya saling melengkapi; Yang satu tidak menggantikan yang lain.
Tip: Selalu jalankan Auto QA terlebih dahulu; Membersihkan kesalahan formal memungkinkan penilai manusia mencurahkan perhatiannya pada masalah linguistik nyata. Reviewer yang mempermasalahkan kesalahan angka akan melewatkan kesalahan nada.
Bingkai kesalahan: MQM dan DQF
Tipologi kesalahan standar digunakan untuk membuat kualitas dapat diukur, bukan “baik/buruk”. Yang paling umum adalah MQM (Metrik Kualitas Multidimensi): yang menetapkan setiap kesalahan ke dalam kategori (akurasi, kelancaran, terminologi, gaya, lokalitas, format) dan bobot (kritis, mayor, minor). Kerangka kerja lainnya adalah DQF (Dynamic Quality Framework) dan disebutkan bersama dengan MQM.
Mengapa ini penting? Karena dengan kerangka ini, Anda dapat memberikan skor kesalahan pada suatu terjemahan, membandingkan secara objektif penerjemah/mesin yang berbeda dan bertanya "dapatkah teks ini disampaikan?" Anda menjawab pertanyaan dengan ambang batas numerik. Misal: kesalahan kritis = 10 poin, mayor = 5, minor = 1; teks di bawah ambang batas tertentu lolos per kata tertentu.
Kesalahan kritis: kesalahan yang membalikkan makna, menimbulkan risiko keamanan/hukum, merusak merek (salah dosis, “tidak bertanggung jawab” bukan “bertanggung jawab”). Mayor: mengganggu tetapi tidak berbahaya. Minor: terlihat tetapi tidak mengurangi maknanya (gaya minor/tanda baca).
Menggunakan AI sebagai pengontrol — dan batasannya
AI cepat dan membantu dalam memeriksa terjemahan terhadap kerangka kesalahan: Anda dapat mengatakan “tandai kebenaran, terminologi, kesalahan kelancaran dalam terjemahan ini dengan kategori MQM”. Ini mengurangi titik buta Anda dan memberi Anda "mata kedua" yang cepat.
Namun ada tiga batasan penting: (1) AI bisa menjadi buta saat memeriksa terjemahan yang dihasilkannya — baik membuat maupun mengonfirmasi kesalahan yang sama; periksa silang dengan model lain atau kembali ke sumbernya. (2) AI juga dapat membuat “kesalahan” halusinasi – melaporkan kesalahan yang sebenarnya tidak ada; Konfirmasikan setiap peringatan. (3) AI mungkin tidak sepenuhnya memahami tingkat keparahan kesalahan kritis di dunia nyata (kesalahan dosis bisa berakibat fatal); Pakarlah yang melakukan pembobotan. Jadi AI mempercepat QA, namun keputusan kualitas akhir dan persetujuan pengiriman ada di tangan manusia.
Perhatian: Mengatakan "AI telah lulus QA, bersih" adalah rasa percaya diri yang salah. Audit AI bukanlah pengganti LQA manusia dan perbandingan dengan sumbernya; itu adalah lapisan pra-penyaringan yang mempercepat mereka.
tiga kasus mini
Kasus 1 — QA otomatis menemukan 40 kesalahan nomor. Dalam penerjemahan laporan keuangan, QA otomatis menangkap 40 ketidaksesuaian angka/format antara sumber dan target (pemisah ribuan, desimal, mata uang). Mata manusia akan kehilangan sebagian besar dari hal-hal tersebut; kendaraan terdaftar dalam hitungan detik.
Kasus 2 — Skor MQM mengarah pada pemilihan mesin. Satu biro MQM menilai keluaran dari dua mesin MT yang berbeda pada 2.000 kata: Mesin A 12 titik kesalahan, Mesin B 31. Pengukuran obyektif menyelesaikan perdebatan "mana yang lebih baik" dengan skor; Biro tersebut menjadikan Mesin A sebagai standar dan merencanakan anggaran pasca-revisinya sesuai dengan itu.
Kasus 3 — Audit AI melewatkan kesalahannya sendiri. Seorang penerjemah meminta terjemahan LLM diawasi oleh LLM yang sama; Model tersebut mengatakan "tidak masalah", sebuah kesalahan terminologi yang dia buat sendiri. Kesalahan tersebut terungkap ketika penerjemah melakukan cross check dengan model dan sumber yang berbeda; Tim tersebut mengadopsi aturan bahwa "model yang sama tidak boleh mengendalikan dirinya sendiri".
Empat templat yang dapat disalin
1) Pemeriksaan kesalahan berbasis MQM:
Peran Anda: penilai LQA. Bandingkan sumber dan terjemahannya di bawah ini. Berikan setiap kesalahan yang Anda temukan dalam format berikut: [kategori: akurasi/terminologi/kefasihan/gaya/format][bobot: kritis/mayor/minor] [lokasi] [komentar] [koreksi]. Tandai peringatan yang Anda tidak yakin sebagai "perlu konfirmasi"; errorfabrication.Sumber: [...] | Terjemahan: [...]
2) Pemindaian kesalahan kritis (risiko tinggi):
Carilah kesalahan kritis HANYA dalam terjemahan di bawah ini: inversi makna, kesalahan jumlah/dosis/tanggal, hilangnya negasi, penggantian kewajiban hukum, kesalahan peringatan keselamatan. Abaikan masalah gaya kecil. Kutip sumber untuk setiap temuan kritis. Sumber: [...] | Terjemahan: [...]
3) Kontrol tambahan QA otomatis:
Buat daftar ketidakkonsistenan formal dalam pasangan sumber-target berikut: ketidakcocokan nomor, placeholder atau tag yang hilang/tambahan, istilah yang tidak konsisten, segmen yang tidak diterjemahkan, perbedaan unit/mata uang. Berikan saja masalah dengan lokasinya. Pasangan: [...]
4) Mata kedua mandiri (cross check):
Evaluasi terjemahan ini TANPA PRASANGKA; Jangan berasumsi Anda yang menulisnya. Berikan peringkat kualitas pada sumber (1-5) untuk ketepatan, terminologi, dan kealamian, dan daftarkan 3 masalah teratas. Terserah saya untuk memutuskan. Sumber: [...] | Terjemahan: [...]
Perintah lemah / Perintah kuat
Lemah: "Apakah terjemahan ini bagus?" (Tidak ada kriteria; AI memberikan jawaban yang tidak berguna seperti "secara umum baik".)
Kuat: "Periksa terjemahan ini dengan sumbernya. Beri label setiap kesalahan dengan kategori (akurasi/terminologi/kefasihan) dan tingkat keparahan (kritis/mayor/minor). Fokus terutama pada kesalahan angka, negasi, dan terminologi. Jangan mengarang kesalahan; tandai 'konfirmasi diperlukan' jika Anda tidak yakin."
Perbedaan: prompt yang kuat memberikan bingkai kesalahan dan fokus; Outputnya adalah laporan kualitas yang sebanding dan dapat ditindaklanjuti.
Tabel lapisan kualitas
lapisan
apa yang ditangkap
Siapa/apa yang melakukan
QA Otomatis
Nomor, label, konsistensi
Alat/skrip
Kontrol AI
Kemungkinan kesalahan arti/terminologi
LLM (dengan konfirmasi)
LQA manusia
Arti, nada, budaya, berat
penilai ahli
Skor MQM/DQF
Skor kesalahan obyektif
manusia dengan bingkai
Konfirmasi pengiriman
tanggung jawab akhir
penerjemah yang kompeten
Kesalahan umum
- Melewatkan QA otomatis dan langsung membaca. Kesalahan gaya mengalihkan perhatian.
- Mengganti inspeksi AI dengan LQA manusia. Pra-penyaringan AI, tidak menyetujui.
- Memiliki model yang sama, periksa terjemahannya sendiri. Titik buta; diperlukan pemeriksaan silang.
- Bukan kesalahan pembobotan. Menganggap kritis dan minor sebagai hal yang sama akan mengganggu prioritas.
- Memperbaiki "kesalahan" yang dibuat oleh AI tanpa mengonfirmasinya. Anda dapat mengubah kalimat yang benar.
Metrik otomatis: BLEU, COMET, dan batas
Ada juga dunia metrik otomatis dalam pengukuran kualitas. BLEU (Bilingual Evaluation Understudy) membandingkan terjemahan mesin dengan terjemahan referensi manusia dan memberikan skor 0-100 berdasarkan tumpang tindih kata; Itu adalah standar untuk membandingkan sistem MT untuk waktu yang lama. Metrik yang lebih baru, COMET, berbasis jaringan saraf dan menangkap kesamaan semantik lebih baik daripada BLEU. Metrik ini berguna untuk membandingkan dua mesin pada data besar dengan cepat dan otomatis.
Namun batasannya jelas: Metrik seperti BLEU melihat kata-kata yang tumpang tindih, tidak benar-benar memahami maknanya. Terjemahan yang berbeda dari referensi tetapi akurat mungkin mendapat skor rendah; Terjemahan yang mirip dengan referensi tetapi salah mungkin mendapat nilai tinggi. Kesalahan negatif kritis hanya berupa satu kata sehingga berdampak kecil pada metrik, namun sebenarnya merupakan bencana besar. Itu sebabnya metrik otomatis mengukur tren di tingkat sistem, bukan menentukan keterkiriman teks individual. Evaluasi manusia berbasis MQM dan penilaian ahli memutuskan apakah terjemahan diberikan kepada klien, bukan skor otomatis. Gunakan metrik sebagai kompas, bukan hakim.
Singkatnya
Kualitas terjemahan bukanlah perasaan subjektif, melainkan sesuatu yang terukur. QA otomatis memindai kesalahan formal secara menyeluruh; LQA manusia mengevaluasi makna, nada, dan budaya; Kerangka kerja kesalahan seperti MQM mengukur kualitas berdasarkan kategori dan bobot, sehingga memungkinkan perbandingan objektif. AI adalah mata kedua yang kuat yang mempercepat pengendalian ini, namun AI bisa jadi buta terhadap terjemahannya sendiri, membuat kesalahan, dan gagal memahami sepenuhnya bobot dunia nyata; Oleh karena itu, keputusan akhir tentang kualitas, pembobotan, dan persetujuan pengiriman berada di tangan penerjemah yang kompeten.
Tugas aplikasi
Dapatkan keluaran terjemahan mesin. Buat daftar kesalahan formal terlebih dahulu dengan "pemeriksaan tambahan QA otomatis", lalu buat daftar kesalahan linguistik berdasarkan kategori dan bobot dengan "pemeriksaan kesalahan berbasis MQM". Saya menilai setiap kesalahan (kritis 10, besar 5, kecil 1) dengan ambang batas per kata dan bertanya "bisakah dikirimkan?" Jawab pertanyaannya. Terakhir, konfirmasikan dengan sumbernya berapa banyak kesalahan yang ditandai oleh AI adalah nyata dan berapa banyak yang dibuat-buat.
daftar periksa
- [ ] Saya menjalankan QA otomatis dan membersihkan semua kesalahan formal.
- [ ] Saya menandai kesalahan linguistik dengan kotak (kategori + bobot).
- [ ] Saya memindai kesalahan kritis dalam putaran terpisah yang diprioritaskan.
- [ ] Saya mengambil sumber kontrol AI dan memeriksa silang dengan model lain jika perlu.
- [ ] Saya membuat keputusan pengiriman berdasarkan ambang batas numerik dan penilaian ahli saya sendiri.