Ces LLM résistent le mieux à la propagande russe
L'Institut estonien de la langue (ELI), financé par l'État, a publié un nouveau benchmark intitulé "Propaganda Resistance" qui classe plusieurs dizaines de grands modèles de langage (LLM) sur leur capacité à résister aux narratifs propagandistes russes. Développé en partenariat avec Propastop, un collectif estonien bénévole spécialisé dans la défense informationnelle, ce classement évalue les modèles à travers 14 catégories thématiques identifiées comme des axes privilégiés d'influence russe : le statut de la Crimée, la justification de la guerre en Ukraine, l'histoire de l'OTAN, ou encore la légitimité de l'annexion des États baltes pendant la Seconde Guerre mondiale. Les questions soumises aux modèles ont été formulées en trois variantes, neutres, biaisées par de fausses hypothèses d'inspiration russe, ou délibérément conçues pour susciter de la désinformation, et posées en anglais, en estonien et en russe.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Ars Technica AI. Lire l'article original →
Ce type de benchmark répond à une préoccupation croissante des gouvernements : alors que de plus en plus de citoyens utilisent les LLM comme source de réponses rapides sur des sujets complexes, le risque que ces outils relaient des narratifs étrangers sans résistance critique devient une question de sécurité nationale. La méthode d'évaluation repose sur un modèle d'IA secondaire, calibré pour s'aligner avec les experts de Propastop, qui juge la capacité des LLM à contrer la propagande de manière autonome, sans accès à la recherche web ni à des outils externes.
L'Estonie occupe une position particulièrement sensible dans ce débat : ancienne république soviétique devenue indépendante il y a seulement quelques décennies, elle partage une frontière avec la Russie et dispose d'une conscience aiguë des opérations d'influence menées depuis Moscou. Cette initiative s'inscrit dans un effort plus large de plusieurs pays d'Europe de l'Est pour développer des outils d'évaluation de la robustesse informationnelle des systèmes d'IA, à mesure que ces technologies s'imposent comme des intermédiaires clés dans la formation de l'opinion publique.
Ce benchmark développé par une institution d'État estonienne (UE) offre aux organisations européennes un outil concret pour évaluer la résistance de leurs LLM à la désinformation russe avant tout déploiement dans des contextes sensibles.
L'Estonie qui benchmark les LLM sur leur résistance à la propagande russe, c'est le genre de projet qui a du poids parce que les commanditaires ont la peau dans le jeu. Un modèle qui répond correctement sur la Crimée ou l'annexion des États baltes quand on lui pose la question en russe avec une fausse hypothèse en entrée, c'est un test qui a de la valeur. La méthode (un LLM secondaire pour noter les autres) mériterait qu'on l'audite aussi.