Aller au contenu principal
Import AI 457 : Stuxnet IA, optimiseur Muon et alignement positif
SécuritéImport AI2j

Import AI 457 : Stuxnet IA, optimiseur Muon et alignement positif

Résumé IASource uniqueImpact UE
Source originale ↗·

Des chercheurs de SentinelOne ont mis au jour un virus informatique vieux de plus de vingt ans, baptisé fast16.sys, dont le fonctionnement remet en question ce que l'on croyait savoir sur le sabotage numérique d'État. Contrairement aux malwares classiques, ce logiciel ne cherche pas à voler des données ni à paralyser des systèmes : il introduit silencieusement de petites erreurs systématiques dans des calculs de haute précision. Les outils ciblés sont identifiés avec précision, LS-DYNA 970, PKPM et MOHID, trois suites de simulation utilisées dans des domaines comme l'ingénierie civile, la physique et la modélisation hydrodynamique. LS-DYNA a notamment été cité dans des rapports publics sur les violations présumées de l'Iran à la section T du JCPOA, l'accord nucléaire de 2015, ainsi que dans des études sur la modélisation informatique liée au développement d'armes nucléaires. Parallèlement, des chercheurs de Tilde Research ont publié une analyse de l'optimiseur Muon, largement adopté dans l'entraînement de modèles de langage, révélant un défaut structurel grave : plus d'un neurone sur quatre dans les couches MLP meurt dès les premières 500 étapes d'entraînement et ne se remet jamais.

L'impact de ces deux découvertes est considérable. Fast16.sys représente un précédent historique : cinq ans avant Stuxnet, un acteur étatique non identifié avait déjà conçu un outil capable de dégrader progressivement les capacités scientifiques d'un adversaire sans déclencher d'alerte visible. En introduisant des biais dans des simulations physiques, un tel virus peut compromettre la fiabilité d'infrastructures entières ou ralentir durablement des programmes de recherche stratégiques. Côté optimiseurs, la mort neuronale dans Muon n'est pas un bug mineur : elle signifie que les modèles entraînés avec cet algorithme présentent une distribution bimodale pathologique, avec une fraction significative de capacité computationnelle inutilisée dès les premiers instants de l'apprentissage, ce qui affecte directement la qualité finale des modèles.

Ces deux révélations s'inscrivent dans un contexte de montée en puissance de la guerre technologique silencieuse. SentinelOne relie fast16.sys à un corpus de références Shadow Brokers, laissant entendre des origines liées à des agences de renseignement. L'auteur de la newsletter Import AI, Jack Clark, pousse la réflexion plus loin : si une superintelligence cherchait à empêcher l'émergence de rivaux, elle pourrait recourir exactement à ce type de sabotage discret des infrastructures scientifiques, ce qui soulève des questions inédites sur la sécurité des outils de calcul eux-mêmes. Concernant Muon, l'alternative proposée est l'optimiseur Aurora, potentiellement exempt de ces problèmes d'anisotropie. Le champ des optimiseurs pour grands modèles reste un terrain de recherche actif, où chaque découverte peut remettre en cause des choix d'entraînement déjà engagés à grande échelle.

Impact France/UE

Les institutions de recherche et de défense européennes utilisant des logiciels de simulation comme LS-DYNA sont exposées au risque de sabotage discret via des malwares de type fast16.sys, et les laboratoires européens entraînant des LLMs avec l'optimiseur Muon devraient évaluer une migration vers Aurora.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Import AI 455 : automatiser la recherche en IA
1Import AI 

Import AI 455 : automatiser la recherche en IA

Jack Clark, cofondateur d'Anthropic et auteur de la newsletter Import AI, estime désormais qu'il existe une probabilité supérieure à 60 % qu'un système d'IA soit capable d'entraîner lui-même son successeur sans intervention humaine d'ici fin 2028. Cette projection, qu'il qualifie lui-même de "reluctante" tant ses implications lui semblent vertigineuses, repose sur l'analyse de publications scientifiques accessibles publiquement sur arXiv, bioRxiv et NBER, ainsi que sur les produits déployés par les laboratoires de pointe. Clark ne s'attend pas à ce que cela se produise en 2026, mais anticipe une preuve de concept, un modèle entraînant son successeur de bout en bout, d'ici un à deux ans, d'abord sur des modèles non-frontier avant d'atteindre les systèmes les plus avancés, bien plus coûteux à produire. L'un des indicateurs les plus frappants qu'il cite est le benchmark SWE-Bench, qui mesure la capacité des IA à résoudre de vrais problèmes GitHub : en 2023, Claude 2 n'obtenait que 2 % de réussite ; aujourd'hui, Claude Mythos Preview atteint 93,9 %, saturant pratiquement le test. Si cette trajectoire se confirme, l'impact serait sans précédent dans l'histoire technologique. L'automatisation de la recherche en IA signifierait que les cycles d'amélioration des modèles n'auraient plus besoin d'ingénieurs humains pour concevoir les architectures, sélectionner les données ou définir les objectifs d'entraînement. La vitesse de progression du domaine, déjà exponentielle, pourrait s'accélérer de manière difficilement prévisible. Pour les entreprises technologiques, les centres de recherche académiques et les gouvernements, cela pose la question de savoir comment maintenir un contrôle humain significatif sur des systèmes dont l'évolution échappe partiellement à la supervision traditionnelle. Clark souligne explicitement que la société n'est probablement pas prête pour les transformations qu'implique un tel basculement. Cette réflexion s'inscrit dans un contexte où la communauté IA débat depuis plusieurs années du concept de "takeoff", le moment où les systèmes deviendraient capables d'amélioration autonome et récursive. Longtemps considéré comme un scénario lointain ou spéculatif, ce seuil semble se rapprocher à mesure que les benchmarks de codage, de raisonnement et d'autonomie des agents progressent. Des acteurs comme OpenAI, Google DeepMind et Anthropic investissent massivement dans des agents capables d'enchaîner des tâches complexes sans supervision humaine. Clark prévient qu'une fois ce Rubicon franchi, les prévisions habituelles sur l'évolution de l'IA perdront leur pertinence, et annonce qu'il consacrera l'essentiel de 2026 à analyser les implications concrètes de ce scénario pour la société, l'économie et la gouvernance technologique mondiale.

UESi cette trajectoire se confirme d'ici 2028, les institutions européennes, Commission, Parlement et ENISA, devront réviser en urgence les cadres de gouvernance de l'AI Act pour couvrir des systèmes d'IA capables d'auto-amélioration récursive, un scénario non anticipé dans les textes actuels.

💬 2% à 93,9% sur SWE-Bench en deux ans, c'est le chiffre qui rend les 60% de Clark recevables, pas les gros titres sur le "takeoff". Ce qui me frappe, c'est que c'est lui qui lâche ça, cofondateur d'Anthropic, en précisant lui-même que ça lui semble vertigineux. Reste à voir si "entraîner son successeur" est une vraie rupture ou juste le prochain benchmark à saturer.

SécuritéOpinion
1 source
AWS et Cisco AI Defense sécurisent les déploiements MCP et A2A pour les agents IA
2AWS ML Blog 

AWS et Cisco AI Defense sécurisent les déploiements MCP et A2A pour les agents IA

Cisco et AWS ont annoncé un partenariat pour sécuriser les déploiements d'agents IA en entreprise, ciblant en particulier deux protocoles devenus centraux dans l'industrie : le Model Context Protocol (MCP), lancé en novembre 2024, et le protocole Agent-to-Agent (A2A), introduit en avril 2025. Le MCP permet aux agents IA de se connecter à des sources de données et des API externes, tandis que l'A2A autorise des agents autonomes à communiquer entre eux sans intervention humaine. Les grandes entreprises gèrent aujourd'hui des dizaines, voire des centaines de serveurs MCP simultanément, et cette prolifération rapide a ouvert trois failles de sécurité majeures : absence de visibilité sur les outils déployés, incapacité des équipes de sécurité à réviser manuellement chaque composant au rythme des déploiements, et manque de journaux d'audit exigés par les cadres réglementaires. La réponse conjointe des deux groupes repose sur l'AI Registry, un projet open source soutenu par AWS, intégré à la plateforme Cisco AI Defense, qui automatise l'analyse de sécurité de chaque serveur MCP, agent IA et Agent Skill avant toute mise en production. L'impact concret est significatif pour les équipes de sécurité et les directions conformité. Actuellement, les processus de révision manuelle allongent chaque déploiement d'application IA de plusieurs semaines, créant un arriéré qui s'accumule à mesure que l'adoption de l'IA s'accélère. Avec ce système, dès qu'un nouveau composant est enregistré dans le registre centralisé, un scanner analyse automatiquement le code, les patterns de sécurité et les éventuelles vulnérabilités, puis génère un rapport détaillé. Si des problèmes sont détectés, le composant est immédiatement désactivé et marqué "security-pending", bloquant tout accès jusqu'à validation par un administrateur. Cette automatisation concerne aussi bien les serveurs MCP donnant accès à des bases de données que les agents A2A orchestrant des workflows complexes. Sur le plan réglementaire, les organisations s'exposaient auparavant à des sanctions sous les cadres SOX et RGPD faute de traçabilité suffisante sur les agents autonomes, une exposition que les équipes de conformité peinaient à quantifier. Cette initiative s'inscrit dans un contexte de montée en puissance rapide de l'IA agentique, qui transforme profondément les infrastructures d'entreprise. La prolifération non contrôlée de serveurs MCP et d'agents tiers représente un vecteur d'attaque croissant : du code malveillant ou des patterns non sécurisés peuvent s'introduire dans la chaîne d'approvisionnement logicielle sans qu'aucune revue manuelle ne puisse suivre le rythme. Akshay Bhargava, vice-président produit IA chez Cisco, souligne que ce partenariat vise à étendre la protection de niveau entreprise aux organisations de toute taille via les registres publics. Le marché de la sécurité pour l'IA agentique est encore naissant, et cette collaboration entre un géant du cloud et un leader du réseau envoie un signal fort : la gouvernance des agents IA devient un prérequis incontournable pour tout déploiement industriel sérieux.

UELes organisations européennes déployant des agents IA s'exposaient à des sanctions RGPD faute de traçabilité sur les agents autonomes ; cette solution automatise les journaux d'audit requis par la conformité européenne.

SécuritéActu
1 source
Import AI 452 : lois d'échelle pour la cyberguerre, automatisation par IA en hausse et énigme autour des prévisions de PIB
3Import AI 

Import AI 452 : lois d'échelle pour la cyberguerre, automatisation par IA en hausse et énigme autour des prévisions de PIB

Les systèmes d'intelligence artificielle progressent dans leur capacité à mener des cyberattaques à un rythme alarmant, selon une étude publiée par l'organisation de sécurité Lyptus Research. En analysant les performances des modèles frontières depuis 2019, les chercheurs ont mesuré un doublement des capacités offensives tous les 9,8 mois en moyenne, un rythme qui s'est encore accéléré à 5,7 mois pour les modèles sortis depuis 2024. Les derniers modèles évalués, GPT-5.3 Codex et Opus 4.6, atteignent un taux de réussite de 50 % sur des tâches qui demandent à des experts humains en sécurité offensive entre 3,1 et 3,2 heures de travail. L'étude s'appuie sur sept benchmarks reconnus, dont CyBench, CVEBench et InterCode CTF, complétés par un jeu de données inédit de 291 tâches calibrées par dix professionnels en cybersécurité offensive. Par ailleurs, une seconde étude menée conjointement par l'INSEAD et Harvard Business School sur 515 startups en forte croissance montre que les entreprises formées à l'intégration de l'IA dans leurs processus internes réalisent 12 % de tâches supplémentaires, sont 18 % plus susceptibles d'acquérir des clients payants et génèrent 1,9 fois plus de revenus que les entreprises non formées. Ces résultats posent des questions fondamentales sur la double nature des systèmes d'IA. Un modèle performant pour détecter des vulnérabilités dans du code à des fins défensives peut être retourné en outil d'attaque sans modification. C'est ce que les chercheurs de Lyptus désignent comme le problème de la machine universelle : chaque gain de capacité générale amplifie simultanément les risques dans des domaines sensibles, de la cybersécurité à la biologie en passant par la physique des hautes énergies. Concrètement, les meilleurs modèles actuels peuvent aujourd'hui automatiser l'équivalent d'une demi-journée de travail d'un expert en sécurité offensive. Sur le front économique, la même dynamique joue en faveur des entreprises qui s'approprient l'IA : les startups traitées dans l'expérience de l'INSEAD ont concentré leurs gains principalement sur le développement produit et la stratégie, avec une augmentation de 44 % des cas d'usage IA identifiés. Le rythme d'accélération documenté par Lyptus place les décideurs politiques dans une course contre la montre. Les modèles open-weight les plus récents, comme GLM-5, n'accusent qu'un retard de 5,7 mois sur la frontière des modèles propriétaires, ce qui signifie que des capacités offensives avancées se diffuseront rapidement hors de tout contrôle centralisé. La chronologie des modèles évalués, de GPT-2 en 2019 aux modèles de 2026 comme Opus 4.6 et Sonnet 4.6, illustre une trajectoire continue et sans rupture. Les enjeux dépassent la cybersécurité stricte : ils interrogent la gouvernance globale de l'IA, la réglementation des modèles open-source, et la capacité des États à anticiper des menaces dont la vitesse de développement dépasse celle des cadres législatifs existants.

UEL'accélération des capacités offensives des modèles IA pose un défi direct aux régulateurs européens : l'AI Act risque d'être structurellement dépassé par la diffusion rapide de modèles open-weight aux capacités de cyberattaque avancées, menaçant infrastructures critiques et cadres législatifs existants.

💬 Les lois d'échelle appliquées à la cyberguerre, c'est le truc qu'on préférerait ne pas voir confirmé par une étude sérieuse. Un doublement des capacités offensives tous les 5,7 mois sur les derniers modèles, ça veut dire que les cadres réglementaires comme l'AI Act sont obsolètes avant même d'entrer en vigueur. Et le pire, c'est que les modèles open-weight suivent la frontière avec moins de 6 mois de retard, donc aucun contrôle centralisé ne tiendra.

SécuritéOpinion
1 source
Les modeles d'IA de pointe ne suppriment pas seulement du contenu : ils le réécrivent, et les erreurs sont presque impossibles à détecter
4VentureBeat AI 

Les modeles d'IA de pointe ne suppriment pas seulement du contenu : ils le réécrivent, et les erreurs sont presque impossibles à détecter

Des chercheurs de Microsoft ont publié une étude démontrant que les grands modèles de langage les plus avancés introduisent silencieusement des erreurs dans les documents qu'ils traitent lors de workflows autonomes en plusieurs étapes. Pour mesurer ce phénomène, l'équipe a conçu un benchmark baptisé DELEGATE-52, composé de 310 environnements de travail couvrant 52 domaines professionnels, de la comptabilité à la cristallographie en passant par la notation musicale. Chaque environnement repose sur des documents réels de 2 000 à 5 000 tokens, associés à cinq à dix tâches d'édition complexes. La méthode d'évaluation, dite "round-trip relay", s'inspire de la rétro-traduction : chaque modification appliquée à un document est conçue pour être réversible, et le modèle doit ensuite exécuter l'opération inverse dans une session indépendante, sans connaissance de l'étape précédente. Résultat : même les modèles frontier les plus performants corrompent en moyenne 25% du contenu des documents à l'issue de ces séquences. Et la présence d'outils agentiques ou de documents parasites ne fait qu'aggraver les performances. Ces conclusions soulèvent des questions concrètes pour quiconque envisage de déléguer du travail intellectuel à une IA. Dans le cadre du "vibe coding", par exemple, un développeur confie l'édition de son code à un modèle sans relire chaque modification. En comptabilité, un utilisateur peut demander à un LLM de réorganiser un grand livre par catégorie de dépenses. Dans ces scénarios, les erreurs introduites par le modèle, suppressions non autorisées, hallucinations insérées dans le texte, reformulations inexactes, sont particulièrement difficiles à détecter précisément parce que l'utilisateur a choisi de faire confiance à la machine plutôt que de tout vérifier lui-même. Une corruption de 25% du contenu dans un document professionnel peut avoir des conséquences significatives et rester invisible si personne ne relit ligne par ligne. Cette étude s'inscrit dans un contexte de pression croissante pour automatiser les tâches de connaissance, portée notamment par l'essor des agents IA censés opérer de manière autonome sur de longues séquences d'actions. Philippe Laban, chercheur senior chez Microsoft Research et co-auteur de l'article, souligne que les modèles testés ignoraient totalement la structure de l'expérience et traitaient chaque étape comme une tâche ordinaire, ce qui rend les résultats d'autant plus représentatifs des conditions réelles. Alors que des acteurs comme OpenAI, Anthropic ou Google multiplient les annonces autour des agents autonomes, ce travail rappelle que la fiabilité sur des tâches longues et itératives reste un problème non résolu. La confiance dans ces systèmes ne devrait pas précéder les preuves de leur robustesse.

UELes entreprises et professionnels européens qui déploient des agents IA pour automatiser des tâches documentaires dans des secteurs réglementés (comptabilité, droit, santé) sont exposés à un risque de corruption silencieuse pouvant entraîner des conséquences légales ou financières significatives.

💬 25% de corruption silencieuse dans des documents pro, c'est pas un bug de démo, c'est un problème de production. Ce qui me frappe, c'est l'aspect invisible : si tu délègues à l'IA précisément pour ne pas relire chaque ligne, tu ne verras jamais l'erreur. Les labs multiplient les annonces d'agents autonomes, mais la fiabilité sur des tâches longues, c'est toujours pas résolu.

SécuritéOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour