Gains :
- Capacité à faire la distinction entre les couches automatiques d'assurance qualité et linguistiques de LQA et à appliquer les deux dans le bon ordre.
- Capacité à évaluer objectivement la traduction en fonction de la catégorie et du poids (critique/majeur/mineur) avec un cadre d'erreur tel que MQM
- Être capable de prendre la décision finale lors de l'utilisation de l'IA en tant qu'auditeur, en connaissant son aveuglement face à sa propre traduction, le risque de commettre des erreurs et les limites des métriques automatisées
Dès l’instant où vous dites qu’une traduction est « terminée », cela représente la moitié du travail ; L’autre moitié consiste à prouver que cette traduction est réellement fiable. Dans cette unité, vous apprendrez des méthodes systématiques pour mesurer la qualité des traductions : contrôles d'assurance qualité automatisés, cadres d'erreurs LQA basés sur l'humain, mesures de qualité et comment utiliser l'IA comme « inspecteur » — et ses limites. L’objectif est de s’éloigner de la subjectivité du « je trouve que c’est bien » et de devenir un expert qui définit, mesure et prouve la qualité.
Deux types de contrôle qualité : automatique et linguistique
Le QA (Quality Assurance) fonctionne à deux niveaux en traduction :
Contrôle qualité automatisé : erreurs stylistiques détectées par les outils et scripts de TAO : incompatibilité de nombres, espace manquant/excédentaire, terme incohérent, segment non traduit, espace réservé/balise incorrect, double espace, ponctuation. Ceux-ci sont numérisés rapidement et entièrement par machine ; Il échappe à l’œil humain, mais le véhicule le capte.
LQA (Linguistic Quality Assurance) : Il s'agit du niveau où un évaluateur humain examine le sens, la terminologie, le style, la grammaire et la pertinence locale. Contrôle qualité automatisé : « le numéro correspond-il ? » regarde la question ; LQA « le sens est-il correct, le ton est-il approprié, est-il culturellement approprié ? » Il regarde la question. Les deux se complètent ; L'un ne remplace pas l'autre.
Astuce : exécutez toujours Auto QA en premier ; Nettoyer les erreurs formelles permet à l’évaluateur humain de se concentrer sur les problèmes linguistiques réels. Un critique qui se soucie de l’erreur de numéro manquera l’erreur de ton.
Trames d'erreur : MQM et DQF
Les typologies d'erreur standard sont utilisées pour rendre la qualité mesurable plutôt que « bonne/mauvaise ». Le plus courant est le MQM (Multidimensionnel Quality Metrics) : il attribue à chaque erreur une catégorie (précision, fluidité, terminologie, style, localité, format) et un poids (critique, majeur, mineur). Un autre framework est DQF (Dynamic Quality Framework) et est mentionné avec MQM.
Pourquoi est-ce important ? Car avec ce framework, vous pouvez attribuer un score d'erreur à une traduction, comparer objectivement différents traducteurs/moteurs et vous demander « ce texte peut-il être livré ? Vous répondez à la question avec un seuil numérique. Par exemple : erreur critique = 10 points, majeure = 5, mineure = 1 ; le texte en dessous d'un certain seuil passe par certain mot.
Erreur critique : erreur qui inverse le sens, crée un risque sécuritaire/juridique, porte atteinte à la marque (mauvaise dose, « non responsable » au lieu de « responsable »). Majeur : perturbateur mais inoffensif. Mineur : perceptible mais n’enlève rien au sens (style/ponctuation mineur).
Utiliser l’IA comme contrôleur – et ses limites
L'IA est rapide et utile pour vérifier une traduction par rapport au cadre d'erreurs : vous pouvez dire "marquer l'exactitude, la terminologie et la maîtrise des erreurs dans cette traduction avec les catégories MQM". Il réduit vos angles morts et vous donne un « deuxième œil » rapide.
Mais il existe trois limites critiques : (1) l’IA peut être aveugle lorsqu’elle vérifie la traduction qu’elle produit – en commettant et en confirmant la même erreur ; recoupez-vous avec un modèle différent ou revenez à la source. (2) L’IA peut également inventer des « erreurs » hallucinatoires : signaler une erreur qui n’existe pas ; Confirmez chaque avertissement. (3) l’IA peut ne pas saisir pleinement la gravité réelle d’une erreur critique (une erreur de dose peut être fatale) ; L'expert effectue la pondération. L’IA accélère donc l’assurance qualité, mais la décision finale en matière de qualité et l’approbation de la livraison appartiennent à l’humain.
Attention : Dire « L'IA a réussi le contrôle qualité, elle est propre » est un faux sentiment de confiance. L’audit par l’IA ne remplace pas l’AQL humaine et la comparaison avec la source ; c'est une couche de présélection qui les met au courant.
trois mini-cases
Cas 1 : Le contrôle qualité automatisé a détecté 40 erreurs numériques. Lors de la traduction d'un rapport financier, le contrôle qualité automatisé a détecté 40 incohérences de nombres/formats entre la source et la cible (séparateur de milliers, décimal, devise). L’œil humain manquerait la plupart d’entre eux ; véhicule répertorié en secondes.
Cas 2 — Le score MQM a conduit à la sélection du moteur. Un bureau MQM a évalué la sortie de deux moteurs MT différents à 2 000 mots : le moteur A 12 points d'erreur, le moteur B 31. Une mesure objective a réglé le débat « lequel est le meilleur » avec un score ; Le bureau a fait du moteur A la norme et a planifié son budget post-révision en conséquence.
Cas 3 — L'audit de l'IA a raté sa propre erreur. Un traducteur a fait superviser la traduction du LLM par le même LLM ; Le mannequin a répondu "pas de problème", une erreur de terminologie qu'elle a elle-même commise. L'erreur a été révélée lorsque le traducteur a recoupé avec un modèle et une source différents ; L'équipe a adopté la règle selon laquelle "le même modèle ne doit pas se contrôler".
Quatre modèles copiables
1) Vérification des erreurs basée sur MQM :
Votre rôle : évaluateur LQA. Comparez la source et la traduction ci-dessous. Fournissez chaque erreur que vous trouvez dans le format suivant : [catégorie : exactitude/terminologie/maîtrise/style/format][poids : critique/majeur/mineur] [emplacement] [commentaire] [correction]. Marquez l'avertissement dont vous n'êtes pas sûr comme « confirmation requise » ; erreurfabrication.Source: [...] | Traduction : [...]
2) Analyse des erreurs critiques (risque élevé) :
Recherchez les erreurs critiques UNIQUEMENT dans la traduction ci-dessous : inversion de sens, erreur de numéro/dose/date, perte de négation, substitution d'obligation légale, erreur d'avertissement de sécurité. Ignorez les problèmes de style mineurs. Citez la source de chaque constatation critique. Source : [...] | Traduction : [...]
3) Contrôle supplémentaire automatique d'assurance qualité :
Répertoriez les incohérences formelles dans les paires source-cible suivantes : incompatibilité de nombres, espace réservé ou balise manquant/supplémentaire, terme incohérent, segment non traduit, différence d'unité/devise. Donnez simplement les problèmes liés à leur emplacement. Paires : [...]
4) Deuxième œil indépendant (vérification croisée) :
Évaluez cette traduction SANS PRÉJUDICE ; Ne présumez pas que vous l'avez écrit. Donnez à la source une note de qualité (1-5) pour la fidélité, la terminologie et le naturel, et énumérez les 3 principaux problèmes. C'est à moi de décider. Source : [...] | Traduction : [...]
Invite faible/Invite forte
Faible : « Cette traduction est-elle bonne ? (Aucun critère ; l'IA renvoie une réponse inutile comme "généralement bon".)
Fort : "Vérifiez cette traduction par rapport à la source. Étiquetez chaque erreur avec une catégorie (exactitude/terminologie/maîtrise) et une gravité (critique/majeure/mineure). Concentrez-vous particulièrement sur les erreurs de nombre, de négation et de terminologie. Ne fabriquez pas d'erreurs ; marquez « confirmation nécessaire » si vous n'êtes pas sûr. »
Différence : une invite forte donne un cadre d'erreur et un focus ; Le résultat est un rapport de qualité comparable et exploitable.
Tableau des couches de qualité
couche
qu'est-ce qui attrape
Qui/quoi fait
Contrôle qualité automatique
Numéro, étiquette, consistance
Outil/script
Contrôle de l'IA
Erreurs de signification/terminologie possibles
LLM (avec confirmation)
LQA humaine
Signification, ton, culture, poids
évaluateur expert
Score MQM/DQF
Score d’erreur objectif
humain avec cadre
Confirmation de livraison
responsabilité ultime
traducteur compétent
Erreurs courantes
- Ignorer le contrôle qualité automatisé et passer directement à la lecture. Les erreurs de style détournent l’attention.
- Remplacement de l’inspection par l’IA par une LQA humaine. Les pré-écrans de l'IA n'approuvent pas.
- Faire vérifier par le même modèle sa propre traduction. Tache aveugle ; vérification croisée requise.
- Pas d’erreurs de pondération. Considérer critique et mineur comme la même chose perturbe la priorité.
- Corriger les "erreurs" inventées par l'IA sans les confirmer. Vous pouvez déformer la phrase correcte.
Métriques automatiques : BLEU, COMET et limites
Il existe également un monde de mesures automatisées pour la mesure de la qualité. BLEU (Bilingual Evaluation Understudy) compare une traduction automatique à une traduction humaine de référence et attribue un score de 0 à 100 en fonction du chevauchement des mots ; Cela a longtemps été la norme pour comparer les systèmes MT. Une métrique plus récente, COMET, est basée sur un réseau neuronal et capture mieux la similarité sémantique que BLEU. Ces métriques sont précieuses pour comparer rapidement et automatiquement deux moteurs sur le Big Data.
Mais ses limites sont claires : des mesures comme BLEU examinent le chevauchement des mots, sans vraiment en comprendre le sens. Une traduction qui diffère de la référence mais qui est exacte peut recevoir une note faible ; Une traduction similaire à la référence mais incorrecte peut recevoir un score élevé. Une erreur de négativité critique est constituée d’un seul mot, elle a donc peu d’impact sur la métrique, mais elle est en réalité catastrophique. C'est pourquoi les mesures automatisées mesurent les tendances au niveau du système, et non décident de la délivrabilité d'un texte individuel. L'évaluation humaine basée sur MQM et le jugement d'expert décident si une traduction doit être envoyée au client, et non une note automatique. Utilisez les mesures comme une boussole, pas comme un juge.
En résumé
La qualité d’une traduction n’est pas un sentiment subjectif, c’est quelque chose de mesurable. Le contrôle qualité automatique recherche minutieusement les erreurs formelles ; LQA humaine évalue le sens, le ton et la culture ; Les cadres d'erreur tels que MQM quantifient la qualité par catégorie et par poids, permettant une comparaison objective. L’IA est un puissant deuxième œil qui accélère ce contrôle, mais elle peut être aveugle à sa propre traduction, commettre des erreurs et ne pas saisir pleinement le poids du monde réel ; Par conséquent, la décision finale en matière de qualité, de pondération et d’approbation de livraison appartient au traducteur compétent.
Tâche de candidature
Obtenez une sortie de traduction automatique. Répertoriez d'abord les erreurs formelles avec la « vérification supplémentaire automatique de l'assurance qualité », puis répertoriez les erreurs linguistiques par catégorie et par poids avec la « vérification des erreurs basée sur MQM ». J'évalue chaque erreur (critique 10, majeure 5, mineure 1) avec un seuil par mot et je demande « peut-elle être livrée ? Répondez à la question. Enfin, confirmez auprès de la source combien d’erreurs signalées par l’IA sont réelles et combien sont fabriquées.
liste de contrôle
- [ ] J'ai exécuté un contrôle qualité automatique et nettoyé toutes les erreurs formelles.
- [ ] J'ai marqué les erreurs linguistiques avec une case (catégorie + poids).
- [ ] J'ai analysé les erreurs critiques lors d'un cycle distinct et hiérarchisé.
- [ ] J'ai recherché le contrôle IA et je l'ai recoupé avec un modèle différent si nécessaire.
- [ ] J'ai pris la décision de livraison sur la base du seuil numérique et de mon propre jugement d'expert.