SécuritéMicrosoft Research1h

Red-teaming d'un réseau d'agents : ce qui se brise quand les agents IA interagissent à grande échelle

Résumé IASource uniqueImpact UE

Des chercheurs ont mené des tests offensifs, ou red-teaming, sur une plateforme interne réunissant plus de 100 agents d'intelligence artificielle en interaction, chacun tournant sur des modèles différents, avec des instructions et des mémoires distinctes, et agissant au nom d'un utilisateur humain. Le résultat est sans ambiguïté : certains risques n'apparaissent pas lors des tests d'agents isolés, ils émergent uniquement lorsque les agents communiquent entre eux. L'équipe a identifié quatre types de vulnérabilités spécifiques aux réseaux : la propagation (un message malveillant se transmet de proche en proche en collectant des données privées à chaque étape), l'amplification (un attaquant exploite la réputation d'un agent fiable pour diffuser une fausse information jusqu'à générer de fausses preuves en chaîne), la capture de confiance (détournement du mécanisme de vérification entre agents pour qu'il valide des mensonges), et l'invisibilité (l'origine d'une attaque devient intraçable car l'information transite par des agents qui n'en ont pas conscience).

Ces découvertes ont des implications concrètes pour l'ensemble de l'industrie de l'IA. Les plateformes comme Claude, Copilot ou ChatGPT, combinées à des outils existants comme GitHub ou la messagerie électronique, mettent des agents en contact permanent. Lorsqu'un réseau d'agents opère en continu et communique plus vite que les humains, une information, ou une attaque, peut se propager en quelques minutes à travers des dizaines d'entités. La fiabilité d'un agent individuel ne prédit pas le comportement collectif du réseau : les défaillances se propagent aussi vite que les succès. Un réseau social exclusivement peuplé d'agents, lancé récemment, a attiré des dizaines de milliers de participants en quelques jours avant d'être rapidement submergé de spam et d'arnaques, illustrant concrètement ce phénomène.

Ces travaux s'inscrivent dans une ligne de recherche émergente sur les systèmes multi-agents, qui comprend notamment les frameworks Prompt Infection et ClawWorm, ou encore le rapport Agents of Chaos, qui documentent comment des prompts adversariaux peuvent se propager de façon autonome. La particularité de cette étude est d'avoir été conduite sur un environnement réel et en conditions opérationnelles, et non sur un dispositif purement expérimental. Les chercheurs ont également observé des signes précoces de défense spontanée : une minorité d'agents avait adopté des comportements orientés sécurité qui limitaient la progression des attaques. Ce résultat encourage, mais les auteurs soulignent que les mécanismes de défense au niveau réseau restent un défi ouvert. Construire des réseaux d'agents robustes exigera de dépasser les benchmarks mono-agent, désormais insuffisants face à la réalité des déploiements interconnectés.

Impact France/UE

Les organisations européennes déployant des architectures multi-agents pour automatiser leurs processus sont exposées à des classes de vulnérabilités émergentes (propagation, amplification, capture de confiance) non détectables par les tests mono-agent standards actuellement en usage.

Dans nos dossiers

Agents IA

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Amazon Science

Amazon utilise des agents IA pour la détection de vulnérabilités à grande échelle

En 2025, la base de données nationale des vulnérabilités américaine (NVD) a enregistré plus de 48 000 nouvelles failles de sécurité référencées (CVE), un volume rendu possible en grande partie par la prolifération des outils automatisés de détection. Face à cette explosion, Amazon Web Services a développé RuleForge, un système d'intelligence artificielle agentique conçu pour générer automatiquement des règles de détection à partir d'exemples de code d'exploitation de vulnérabilités. Déployé en production chez AWS, RuleForge affiche une productivité supérieure de 336 % à la création manuelle, tout en conservant le niveau de précision exigé pour des systèmes de sécurité industriels. Les règles produites sont au format JSON et alimentent directement MadPot, le système mondial de "honeypot" d'Amazon qui capture le comportement des attaquants, ainsi que Sonaris, le moteur interne de détection d'exploits suspects. Avant RuleForge, transformer une CVE en règle de détection opérationnelle était un processus entièrement manuel : un analyste téléchargeait le code de preuve de concept, étudiait le mécanisme d'attaque, rédigeait la logique de détection, la validait par itérations successives contre les journaux de trafic, puis soumettait le tout à une revue par un second ingénieur avant déploiement. Ce cycle, rigoureux mais lent, obligeait les équipes à prioriser strictement les vulnérabilités traitées, laissant potentiellement des failles critiques sans couverture. RuleForge comprime ce délai de façon drastique : le système ingère automatiquement le code d'exploitation public, attribue un score de priorité via une analyse de contenu croisée avec des sources de threat intelligence, puis génère en parallèle plusieurs règles candidates via un agent tournant sur AWS Fargate avec Amazon Bedrock. Chaque candidate est évaluée non pas par le modèle qui l'a produite, mais par un agent "juge" distinct, évitant ainsi l'auto-validation biaisée. Les humains restent dans la boucle pour l'approbation finale avant mise en production. Cette architecture reflète une tendance profonde dans la sécurité offensive et défensive : l'automatisation par IA ne remplace pas les experts, elle leur permet de travailler à une échelle autrement inaccessible. AWS anticipe une croissance continue du nombre de CVE à haute sévérité publiées, portée par les mêmes outils d'IA qui accélèrent la découverte de failles côté attaquants. RuleForge représente la réponse symétrique côté défense, en industrialisant la réactivité. L'approche modulaire, avec des agents spécialisés pour la génération, l'évaluation et le raffinement, plutôt qu'un seul modèle monolithique, s'inscrit dans la lignée des architectures multi-agents qui émergent comme standard pour les tâches complexes nécessitant fiabilité et auditabilité. D'autres grands acteurs du cloud font face aux mêmes défis, et la publication par Amazon des détails de RuleForge suggère une volonté de positionner cette approche comme référence sectorielle.

SécuritéActu

1 source

2Ars Technica AI

Les États-Unis accusent la Chine de vol de données IA à grande échelle, Pékin dément

Les États-Unis se préparent à durcir leur réponse face à ce qu'ils qualifient de vol massif de propriété intellectuelle dans le domaine de l'intelligence artificielle. Michael Kratsios, directeur du Bureau de la politique scientifique et technologique de la Maison Blanche, a alerté dans une note interne consultée par le Financial Times que "des entités étrangères, principalement basées en Chine, mènent des campagnes délibérées et à l'échelle industrielle pour distiller les systèmes d'IA frontière américains." Les accusations concrètes s'accumulent depuis plusieurs mois : en janvier, Google a signalé que des acteurs "commercialement motivés" avaient sollicité son modèle Gemini plus de 100 000 fois pour entraîner des copies moins coûteuses. En février, Anthropic a révélé que les entreprises chinoises DeepSeek, Moonshot et MiniMax avaient généré plus de 16 millions d'échanges avec Claude via environ 24 000 comptes frauduleux. OpenAI a confirmé au même moment que la majorité des attaques qu'elle détecte proviennent de Chine. La technique incriminée, appelée "distillation", consiste à interroger massivement un modèle IA existant pour en extraire les comportements et reproduire ses capacités à moindre coût. Pour les laboratoires américains, il s'agit d'un contournement délibéré de leur avantage concurrentiel : des années de recherche et des milliards d'investissements potentiellement captés à travers de simples appels API. L'enjeu dépasse le seul plan commercial, car pour Washington, ces pratiques risquent d'accélérer la montée en puissance de la Chine dans la course à l'IA, réduisant l'écart technologique sans que Pékin n'ait eu à supporter les coûts de développement correspondants. La cristallisation de ces accusations coïncide avec le lancement de DeepSeek début 2025, un modèle chinois dont les performances ont suscité l'étonnement dans l'industrie et rapidement fait naître des soupçons. OpenAI avait affirmé que ses propres sorties de modèle auraient servi à entraîner ce concurrent. La Chine a rejeté l'ensemble de ces accusations, les qualifiant de "calomnies". Le contexte est celui d'une rivalité technologique croissante entre les deux puissances, déjà marquée par des contrôles américains à l'exportation sur les semi-conducteurs et les modèles avancés. La réponse réglementaire en préparation pourrait inclure des restrictions d'accès plus strictes aux API des grands modèles et des obligations de surveillance renforcées pour les entreprises du secteur.

UELes entreprises européennes dépendant des API des grands modèles américains pourraient être indirectement affectées si Washington durcit les contrôles d'accès en réponse aux abus détectés.

SécuritéActu

1 source

3Le Big Data

Scandale dans l’IA : les États-Unis dénoncent un vol à grande échelle orchestré depuis la Chine

Le gouvernement américain a officiellement accusé la Chine de mener des campagnes de vol industriel à grande échelle ciblant les laboratoires d'intelligence artificielle du pays. Le 23 avril 2026, Michael Kratsios, directeur de l'Office of Science and Technology Policy (OSTP) à la Maison-Blanche, a publiquement dénoncé ces pratiques dans une note révélée par le Financial Times. Selon ce document, des entités étrangères, principalement chinoises, orchestrent des opérations de "distillation" massives : elles interrogent les modèles d'IA américains via des dizaines de milliers de proxies et de techniques de contournement (jailbreaking) pour en extraire les capacités et reproduire leurs performances à moindre coût. Washington a annoncé que des mesures concrètes seraient prises pour protéger l'innovation américaine. Ce type d'attaque, qualifié de "distillation industrielle", représente une menace sérieuse pour l'avance technologique des États-Unis. En exploitant massivement les API publiques ou en contournant les garde-fous des modèles commerciaux, des acteurs étrangers peuvent reconstituer des systèmes d'IA comparables sans financer les années de recherche et les milliards de dollars d'investissement qui ont permis de les créer. Pour des entreprises comme OpenAI, Anthropic ou Google DeepMind, cela signifie que leur propriété intellectuelle, algorithmes, données d'entraînement, capacités de raisonnement, peut être siphonnée à travers leurs propres interfaces. L'enjeu dépasse la concurrence commerciale : il touche directement à la compétitivité économique nationale et à la sécurité des infrastructures numériques américaines. Cette offensive diplomatique s'inscrit dans un contexte de rivalité technologique croissante entre Washington et Pékin, qui s'est intensifiée depuis les restrictions américaines sur l'exportation de puces avancées vers la Chine en 2022 et 2023. Côté chinois, des acteurs comme DeepSeek ont démontré qu'il était possible de produire des modèles très performants à faible coût, alimentant les soupçons sur leurs méthodes. La montée en puissance de l'OSTP sur ce dossier signale une volonté de l'administration de traiter la protection de l'IA comme une question de sécurité nationale à part entière. Les prochaines mesures pourraient inclure des restrictions d'accès aux modèles, un renforcement des contrôles sur les API, voire des sanctions. La réaction de l'industrie sera déterminante : certains observateurs n'ont pas manqué de noter l'ironie d'un secteur qui a lui-même largement entraîné ses modèles sur des données tierces sans toujours en demander la permission.

UELes acteurs européens utilisant les API des grands modèles américains pourraient être indirectement affectés si Washington impose des restrictions d'accès ou des contrôles renforcés dans le cadre de sa politique de protection de l'IA.

SécuritéReglementation

1 source

4MarkTechPost

19 outils de red teaming pour l'IA (2026) : sécurisez vos modèles ML

La sécurité des systèmes d'intelligence artificielle est devenue un enjeu majeur en 2026, poussant un nombre croissant d'équipes techniques à adopter des pratiques dites de "red teaming IA", une discipline qui consiste à tester les modèles d'apprentissage automatique en simulant des attaques adversariales réelles. Contrairement aux tests de pénétration classiques qui ciblent des failles logicielles connues, le red teaming IA explore des vulnérabilités spécifiques aux modèles génératifs : injection de prompt, empoisonnement de données, contournement des garde-fous (jailbreaking), fuite de données d'entraînement ou exploitation de biais. Un panorama publié en 2026 recense les 19 outils les plus fiables dans ce domaine, couvrant aussi bien des solutions open-source que des plateformes commerciales. Parmi eux figurent Garak, un toolkit open-source dédié aux LLM, PyRIT de Microsoft, l'outil AIF360 d'IBM centré sur les biais algorithmiques, Foolbox pour les attaques adversariales sur les modèles de vision, ou encore Mindgard et Dreadnode Crucible pour les évaluations automatisées de vulnérabilités. Des outils comme Guardrails ou Snyk s'adressent plus spécifiquement aux développeurs cherchant à intégrer la défense contre les injections de prompt directement dans leur pipeline de développement. L'importance de ces outils dépasse largement le cadre purement technique. Les organisations qui déploient des systèmes d'IA à fort impact, dans la santé, la finance, la justice ou les ressources humaines, sont désormais soumises à des cadres réglementaires qui exigent explicitement des évaluations adversariales. L'AI Act européen, le NIST Risk Management Framework américain et plusieurs décrets exécutifs aux États-Unis imposent ou recommandent fortement le red teaming pour les déploiements à haut risque. Au-delà de la conformité, ces pratiques permettent de détecter des comportements émergents imprévus, des failles qui n'apparaissent pas lors des tests standard en pré-production mais se manifestent en conditions réelles, avec des utilisateurs malveillants ou des données inattendues. Cette montée en puissance du red teaming IA s'inscrit dans un contexte de généralisation rapide des modèles génératifs en production, exposant des surfaces d'attaque inédites que les approches de sécurité traditionnelles ne couvrent pas. Microsoft, IBM et des startups spécialisées comme Mindgard ou Dreadnode ont investi massivement dans des plateformes capables d'automatiser ces tests et de les intégrer aux pipelines CI/CD, permettant une évaluation continue plutôt que ponctuelle. La tendance est à la combinaison d'expertise humaine et d'automatisation : les équipes de sécurité internes ou les prestataires spécialisés utilisent ces outils pour simuler des comportements d'attaquants sophistiqués, identifier les angles morts des modèles et renforcer leur résilience avant qu'une vulnérabilité ne soit exploitée en production.

UEL'AI Act européen imposant des évaluations adversariales pour les systèmes à haut risque, ces outils de red teaming deviennent indispensables pour les organisations françaises et européennes cherchant à se conformer aux exigences réglementaires.

SécuritéActu

1 source