Ganhos:
- Capacidade de distinguir entre camadas automáticas de controle de qualidade e LQA linguística e aplicar ambas na ordem correta
- Capacidade de avaliar objetivamente a tradução de acordo com categoria e peso (crítico/maior/menor) com uma estrutura de erro como MQM
- Ser capaz de tomar a decisão final ao usar a IA como auditor, sabendo da sua cegueira à sua própria tradução, do risco de cometer erros e dos limites das métricas automatizadas
No momento em que você diz que uma tradução está “concluída”, isso é metade do trabalho; A outra metade é provar que essa tradução é realmente confiável. Nesta unidade, você aprenderá maneiras sistemáticas de medir a qualidade da tradução: verificações automatizadas de controle de qualidade, estruturas de erro de LQA baseadas em humanos, métricas de qualidade e como usar a IA como um “inspetor” — e seus limites. O objetivo é fugir da subjetividade do “acho bom” e tornar-se um especialista que define, mede e comprova qualidade.
Dois tipos de controle de qualidade: automático e linguístico
O QA (Garantia de Qualidade) funciona em duas camadas na tradução:
Controle de qualidade automatizado: erros estilísticos que as ferramentas e scripts CAT detectam – incompatibilidade de números, espaço ausente/excesso, termo inconsistente, segmento não traduzido, marcador/tag incorreto, espaço duplo, pontuação. Estes são digitalizados rápida e completamente por máquina; Ela escapa ao olho humano, mas o veículo a captura.
LQA (Garantia de Qualidade Linguística): Esta é a camada onde um avaliador humano examina o significado, a terminologia, o estilo, a gramática e a adequação local. Controle de qualidade automatizado "o número corresponde?" olha para a pergunta; LQA “o significado está correto, o tom é apropriado, é culturalmente apropriado?” Ele olha para a pergunta. Os dois se complementam; Um não substitui o outro.
Dica: sempre execute o controle de qualidade automático primeiro; A limpeza de erros formais permite ao avaliador humano dedicar atenção a problemas linguísticos reais. Um revisor que se incomoda com o erro numérico não perceberá o erro tom.
Quadros de erro: MQM e DQF
Tipologias de erro padrão são usadas para tornar a qualidade mensurável em vez de “boa/ruim”. O mais comum é o MQM (Métrica de Qualidade Multidimensional): atribui a cada erro uma categoria (precisão, fluência, terminologia, estilo, localidade, formato) e um peso (crítico, maior, menor). Outra estrutura é DQF (Dynamic Quality Framework) e é mencionada juntamente com MQM.
Por que isso é importante? Porque com esta estrutura, você pode atribuir uma pontuação de erro a uma tradução, comparar objetivamente diferentes tradutores/mecanismos e perguntar "este texto pode ser entregue?" Você responde à pergunta com um limite numérico. Por exemplo: erro crítico = 10 pontos, maior = 5, menor = 1; o texto abaixo de um determinado limite passa por determinada palavra.
Erro crítico: erro que inverte significado, cria risco de segurança/jurídico, prejudica marca (dose errada, “não responsável” em vez de “responsável”). Maior: perturbador, mas inofensivo. Menor: perceptível, mas não prejudica o significado (estilo/pontuação menor).
Usando IA como controlador – e seus limites
A IA é rápida e útil na verificação de uma tradução em relação à estrutura de erros: você pode dizer “marque a correção, a terminologia e os erros de fluência nesta tradução com categorias MQM”. Reduz os pontos cegos e oferece um rápido "segundo olho".
Mas existem três limites críticos: (1) a IA pode ser cega ao verificar a tradução que produz – cometendo e confirmando o mesmo erro; verifique com um modelo diferente ou retorne à fonte. (2) A IA também pode cometer “erros” alucinatórios – reportar um erro que não existe; Confirme cada aviso. (3) a IA pode não compreender totalmente a gravidade real de um erro crítico (um erro de dose pode ser fatal); O especialista faz a ponderação. Portanto, a IA acelera o controle de qualidade, mas a decisão final sobre a qualidade e a aprovação da entrega cabe ao ser humano.
Cuidado: Dizer "A IA passou no controle de qualidade, está limpa" é uma falsa sensação de confiança. A auditoria de IA não substitui o LQA humano e a comparação com a fonte; é uma camada de pré-seleção que os deixa atualizados.
três mini cases
Caso 1 – O controle de qualidade automatizado encontrou 40 erros numéricos. Em uma tradução de relatório financeiro, o controle de qualidade automatizado detectou 40 incompatibilidades de número/formato entre a origem e o destino (separador de milhar, decimal, moeda). O olho humano sentiria falta da maioria deles; veículo listado em segundos.
Caso 2 — A pontuação MQM levou à seleção do motor. Uma agência MQM avaliou a produção de dois mecanismos MT diferentes em 2.000 palavras: Motor A 12 pontos de erro, Motor B 31. A medição objetiva resolveu o debate "o que é melhor" com uma pontuação; A agência tornou o Motor A o padrão e planejou seu orçamento pós-revisão de acordo.
Caso 3 — A auditoria de IA não percebeu seu próprio erro. Um tradutor teve a tradução do LLM supervisionada pelo mesmo LLM; A modelo disse “sem problemas”, um erro de terminologia que ela mesma cometeu. O erro foi revelado quando o tradutor cruzou com um modelo e fonte diferentes; A equipe adotou a regra de que “o mesmo modelo não deve se controlar”.
Quatro modelos copiáveis
1) Verificação de erros baseada em MQM:
Sua função: Avaliador de LQA. Compare a fonte e a tradução abaixo. Forneça cada erro encontrado no seguinte formato: [categoria: precisão/terminologia/fluência/estilo/formato][peso: crítico/maior/menor] [localização] [comentário] [correção]. Marque o aviso sobre o qual você não tem certeza como “confirmação necessária”; fabricação de erros.Fonte: [...] | Tradução: [...]
2) Verificação de erros críticos (alto risco):
Procure erros críticos SOMENTE na tradução abaixo: inversão de significado, erro de número/dose/data, perda de negação, substituição de obrigação legal, erro de aviso de segurança. Ignore pequenos problemas de estilo. Cite a fonte de cada constatação crítica.Fonte: [...] | Tradução: [...]
3) Controle suplementar automático de controle de qualidade:
Liste as inconsistências formais nos seguintes pares origem-destino: incompatibilidade de número, espaço reservado ou tag ausente/extra, termo inconsistente, segmento não traduzido, diferença de unidade/moeda. Basta indicar os problemas com sua localização. Pares: [...]
4) Segundo olho independente (verificação cruzada):
Avalie esta tradução SEM PRECONCEITO; Não presuma que você escreveu isso. Dê à fonte uma classificação de qualidade (1-5) para fidelidade, terminologia e naturalidade e liste os 3 principais problemas. Cabe a mim decidir. Fonte: [...] | Tradução: [...]
Alerta fraco / Alerta forte
Fraco: “Esta tradução é boa?” (Sem critérios; a IA retorna uma resposta inútil como "geralmente bom".)
Forte: "Verifique esta tradução em relação à fonte. Rotule cada erro com categoria (precisão/terminologia/fluência) e gravidade (crítico/maior/menor). Concentre-se especialmente em erros de número, negação e terminologia. Não fabrique erros; marque 'confirmação necessária' se não tiver certeza."
Diferença: prompt forte fornece quadro de erro e foco; O resultado é um relatório de qualidade comparável e acionável.
Tabela de camadas de qualidade
camada
o que pega
Quem/o que faz
Controle de qualidade automático
Número, rótulo, consistência
Ferramenta/script
Controle de IA
Possíveis erros de significado/terminologia
LLM (com confirmação)
LQA humano
Significado, tom, cultura, peso
avaliador especialista
Pontuação MQM/DQF
Pontuação de erro objetivo
humano com moldura
Confirmação de entrega
responsabilidade final
tradutor competente
Erros comuns
- Ignorando o controle de qualidade automatizado e indo direto para a leitura. Erros estilísticos distraem a atenção.
- Substituindo a inspeção de IA por LQA humano. Pré-telas de IA, não aprova.
- Fazer com que o mesmo modelo verifique sua própria tradução. Ponto cego; verificação cruzada necessária.
- Não erros de ponderação. Ver o crítico e o secundário como iguais perturba a prioridade.
- Corrigir “erros” cometidos pela IA sem confirmá-los. Você pode distorcer a frase correta.
Métricas automáticas: BLEU, COMET e limites
Existe também um mundo de métricas automatizadas na medição da qualidade. BLEU (Bilingual Evaluation Understudy) compara uma tradução automática com uma tradução de referência humana e dá uma pontuação de 0 a 100 com base na sobreposição de palavras; Foi o padrão para comparar sistemas MT por muito tempo. Uma métrica mais recente, COMET, é baseada em redes neurais e captura melhor a similaridade semântica do que BLEU. Essas métricas são valiosas para comparar rápida e automaticamente dois mecanismos em big data.
Mas os seus limites são claros: métricas como a BLEU analisam a sobreposição de palavras, não compreendendo realmente o significado. Uma tradução diferente da referência, mas precisa, pode receber uma pontuação baixa; Uma tradução semelhante à referência, mas incorreta, pode receber uma pontuação alta. Um erro crítico de negatividade é uma palavra única, portanto tem pouco impacto na métrica, mas na verdade é catastrófico. É por isso que as métricas automatizadas medem tendências no nível do sistema, e não decidem a capacidade de entrega de um texto individual. A avaliação humana baseada em MQM e o julgamento de especialistas decidem se uma tradução vai para o cliente, e não uma pontuação automática. Use as métricas como uma bússola, não como um juiz.
Resumindo
A qualidade da tradução não é um sentimento subjetivo, é algo mensurável. O controle de qualidade automático verifica minuciosamente erros formais; o LQA humano avalia significado, tom e cultura; Estruturas de erro como MQM quantificam a qualidade por categoria e peso, permitindo uma comparação objetiva. A IA é um poderoso segundo olho que acelera este controlo, mas pode ser cega à sua própria tradução, cometer erros e não conseguir compreender totalmente o peso do mundo real; Portanto, a decisão final de qualidade, ponderação e aprovação da entrega cabe ao tradutor competente.
Tarefa de aplicativo
Obtenha um resultado de tradução automática. Liste os erros formais primeiro com "verificação suplementar de controle de qualidade automática" e, em seguida, liste os erros linguísticos por categoria e peso com "verificação de erros baseada em MQM". Eu classifico cada erro (crítico 10, maior 5, menor 1) com um limite por palavra e pergunto "pode ser entregue?" Responda à pergunta. Por fim, confirme com a fonte quantos dos erros sinalizados pela IA são reais e quantos são fabricados.
lista de verificação
- [] Executei o controle de qualidade automático e limpei todos os erros formais.
- [ ] Marquei os erros linguísticos com uma caixa (categoria + peso).
- [] Eu verifiquei erros críticos em uma rodada separada e priorizada.
- [] Eu adquiri o controle de IA e verifiquei-o com um modelo diferente, se necessário.
- [ ] Tomei a decisão de entrega com base no limite numérico e na minha própria opinião especializada.