Les modeles d'IA de pointe ne suppriment pas seulement du contenu : ils le réécrivent, et les erreurs sont presque impossibles à détecter
Des chercheurs de Microsoft ont publié une étude démontrant que les grands modèles de langage les plus avancés introduisent silencieusement des erreurs dans les documents qu'ils traitent lors de workflows autonomes en plusieurs étapes. Pour mesurer ce phénomène, l'équipe a conçu un benchmark baptisé DELEGATE-52, composé de 310 environnements de travail couvrant 52 domaines professionnels, de la comptabilité à la cristallographie en passant par la notation musicale. Chaque environnement repose sur des documents réels de 2 000 à 5 000 tokens, associés à cinq à dix tâches d'édition complexes. La méthode d'évaluation, dite "round-trip relay", s'inspire de la rétro-traduction : chaque modification appliquée à un document est conçue pour être réversible, et le modèle doit ensuite exécuter l'opération inverse dans une session indépendante, sans connaissance de l'étape précédente. Résultat : même les modèles frontier les plus performants corrompent en moyenne 25% du contenu des documents à l'issue de ces séquences. Et la présence d'outils agentiques ou de documents parasites ne fait qu'aggraver les performances.
Résumé et traduction réalisés par Le Fil IA à partir de VentureBeat AI. Lire l'article original →
Ces conclusions soulèvent des questions concrètes pour quiconque envisage de déléguer du travail intellectuel à une IA. Dans le cadre du "vibe coding", par exemple, un développeur confie l'édition de son code à un modèle sans relire chaque modification. En comptabilité, un utilisateur peut demander à un LLM de réorganiser un grand livre par catégorie de dépenses. Dans ces scénarios, les erreurs introduites par le modèle, suppressions non autorisées, hallucinations insérées dans le texte, reformulations inexactes, sont particulièrement difficiles à détecter précisément parce que l'utilisateur a choisi de faire confiance à la machine plutôt que de tout vérifier lui-même. Une corruption de 25% du contenu dans un document professionnel peut avoir des conséquences significatives et rester invisible si personne ne relit ligne par ligne.
Cette étude s'inscrit dans un contexte de pression croissante pour automatiser les tâches de connaissance, portée notamment par l'essor des agents IA censés opérer de manière autonome sur de longues séquences d'actions. Philippe Laban, chercheur senior chez Microsoft Research et co-auteur de l'article, souligne que les modèles testés ignoraient totalement la structure de l'expérience et traitaient chaque étape comme une tâche ordinaire, ce qui rend les résultats d'autant plus représentatifs des conditions réelles. Alors que des acteurs comme OpenAI, Anthropic ou Google multiplient les annonces autour des agents autonomes, ce travail rappelle que la fiabilité sur des tâches longues et itératives reste un problème non résolu. La confiance dans ces systèmes ne devrait pas précéder les preuves de leur robustesse.
Les entreprises et professionnels européens qui déploient des agents IA pour automatiser des tâches documentaires dans des secteurs réglementés (comptabilité, droit, santé) sont exposés à un risque de corruption silencieuse pouvant entraîner des conséquences légales ou financières significatives.
25% de corruption silencieuse dans des documents pro, c'est pas un bug de démo, c'est un problème de production. Ce qui me frappe, c'est l'aspect invisible : si tu délègues à l'IA précisément pour ne pas relire chaque ligne, tu ne verras jamais l'erreur. Les labs multiplient les annonces d'agents autonomes, mais la fiabilité sur des tâches longues, c'est toujours pas résolu.