Les grands modèles de langage pour l'annotation de la qualité en traduction automatique : humains et modèles en difficulté
Une étude publiée sous le titre « Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged » examine la fiabilité des grands modèles de langage (LLM) pour évaluer la qualité des traductions automatiques. Les auteurs testent les LLM sur deux schémas d'annotation réputés : les Multidimensional Quality Metrics (MQM) et l'Error Span Annotation (ESA). Ils mesurent leur degré d'accord avec des annotateurs humains. L'évaluation couvre plusieurs paires de langues, plusieurs domaines et différents niveaux de granularité d'annotation.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
Ce travail touche un enjeu pratique pour toute la filière de la traduction automatique. Les LLM sont présentés comme une alternative plus rapide et moins coûteuse au jugement humain, qui reste lent et onéreux à grande échelle. Mais cette substitution n'a de sens que si les modèles se comportent de façon fiable dans des conditions variées. Le titre suggère un constat nuancé : les modèles ont des difficultés, mais les humains aussi, ce qui oblige à relativiser le jugement humain comme référence absolue.
Le contexte est celui d'une évaluation de la traduction qui s'éloigne des simples scores globaux. Le MQM repose sur une typologie détaillée des erreurs, classées par catégorie et par gravité. L'ESA est plus léger : les annotateurs repèrent les segments fautifs directement dans le texte. Ces méthodes servent de base aux comparaisons de systèmes et aux campagnes d'évaluation du domaine. Si les LLM s'avéraient peu fiables sur certaines langues ou certains types d'erreurs, leur usage généralisé comme juges risquerait de biaiser le classement des systèmes. L'étude invite donc à valider ces modèles dimension par dimension avant de leur confier l'évaluation.
Pas d'impact direct sur la France/UE