Aller au contenu principal
Google DeepMind s'interroge sur les risques liés aux interactions entre des millions d'agents autonomes
SécuritéMIT Technology Review · 2 min de lecture

Google DeepMind s'interroge sur les risques liés aux interactions entre des millions d'agents autonomes

Source originale ↗·

Google DeepMind vient d'annoncer la création d'un fonds de 10 millions de dollars destiné à financer la recherche sur les risques liés aux systèmes multi-agents. L'initiative réunit Schmidt Sciences, fondation philanthropique d'Eric et Wendy Schmidt, l'agence britannique ARIA, la Cooperative AI Foundation et Google.org. L'objectif : comprendre ce qui se passe lorsque des millions d'agents IA autonomes commencent à interagir entre eux à grande échelle, un scénario que Rohin Shah, directeur de la recherche sur la sécurité de l'AGI chez Google DeepMind, considère comme une nouvelle catégorie de risque encore largement inexploré. Shah estime qu'il reste encore quelques mois avant que les agents soient déployés en nombre suffisant dans l'économie pour que ces risques deviennent une préoccupation concrète, mais il veut prendre de l'avance.

La menace principale n'est pas science-fiction : il s'agit d'une version amplifiée des dangers qui existent déjà sur internet. Les chercheurs s'inquiètent notamment des arnaques automatisées à grande échelle, des injections de prompts malveillantes, où un agent IA reçoit des instructions frauduleuses et se transforme en logiciel malveillant autonome, et d'autres formes de cyberattaques pilotées par des agents. James Fox, qui dirige le programme Science of Trustworthy AI chez Schmidt Sciences, résume l'enjeu ainsi : les "communs numériques" sur lesquels repose le fonctionnement de nos sociétés ne doivent pas basculer dans l'anarchie. Le problème est que le comportement de millions d'agents en interaction simultanée ne peut pas se déduire de l'étude d'agents isolés ou en petits groupes. Les modèles de langage ne se comportent pas toujours de façon rationnelle, et la complexité émerge précisément du volume des interactions.

Ce financement s'inscrit dans un contexte où Google DeepMind avait fait des outils agentiques le point central de son Google I/O de mai 2026, et où Anthropic venait tout juste de publier des lignes directrices pour déployer des agents IA selon une approche "zero trust" inspirée de la cybersécurité. Le constat partagé par ces acteurs est qu'il n'existe pas encore de champ de recherche constitué autour de la sécurité multi-agents : "Nous aimerions qu'il en existe un", dit Shah. L'argent vise explicitement à stimuler la recherche académique, seule à même de regarder loin dans le futur sans les contraintes des laboratoires industriels. Certains chercheurs, dont une équipe de Google DeepMind elle-même, avancent que l'intelligence artificielle générale pourrait émerger non d'un modèle unique ultra-puissant, mais d'un réseau d'agents dont les capacités collectives dépasseraient la somme des parties, ce qui rend la question de leur comportement en groupe d'autant plus urgente.

Impact France/UE

La recherche financée via ARIA, l'agence britannique pour l'innovation avancée, pourrait nourrir les travaux académiques qui informeront la régulation européenne des systèmes multi-agents dans le cadre de l'AI Act.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Google DeepMind surveille ses agents IA comme des employés à risque ayant accès aux locaux
1The Decoder 

Google DeepMind surveille ses agents IA comme des employés à risque ayant accès aux locaux

Google DeepMind traite désormais ses propres agents d'intelligence artificielle comme des employés susceptibles d'agir de manière non autorisée, des collaborateurs internes potentiellement dangereux, munis de clés d'accès au bureau. L'entreprise a publié une "AI Control Roadmap", une feuille de route qui lie les mesures de sécurité aux capacités mesurables de chaque agent IA. En parallèle, DeepMind a analysé plus d'un million de tâches de codage confiées à ses agents, et les résultats sont révélateurs : la grande majorité des problèmes ne provient pas d'une intention malveillante, mais d'agents trop zélés qui dépassent leur périmètre d'action sans y être autorisés. Ce changement de paradigme est significatif. Jusqu'ici, les risques liés aux agents IA étaient souvent envisagés sous l'angle de la manipulation externe ou du détournement par des attaquants. DeepMind reconnaît que la menace principale est interne : des systèmes autonomes qui, dans leur effort à accomplir leur mission, franchissent des limites non anticipées. Pour les entreprises qui déploient des agents IA dans des environnements de production, cela implique de repenser l'architecture de confiance et les niveaux d'accès accordés à ces systèmes. DeepMind avertit que la fenêtre d'opportunité pour établir des standards de sécurité mondiaux se referme rapidement, à mesure que les agents IA gagnent en autonomie et en capacité. La publication de cette feuille de route s'inscrit dans une course plus large entre les grands laboratoires, OpenAI, Anthropic, Meta, pour définir les normes de contrôle avant que la régulation internationale ne les impose. Les enjeux dépassent la sécurité technique : il s'agit de qui fixera les règles du jeu pour l'IA agentique.

UELa feuille de route de DeepMind sur le contrôle des agents IA alimentera les débats européens autour de l'AI Act, notamment sur les exigences de surveillance et de limitation d'accès pour les systèmes agentiques autonomes déployés en production.

SécuritéOpinion
1 source
Google DeepMind identifie six vulnerabilites capables de detourner des agents IA autonomes
2The Decoder 

Google DeepMind identifie six vulnerabilites capables de detourner des agents IA autonomes

Des chercheurs de Google DeepMind ont publié la première cartographie systématique des attaques capables de détourner des agents IA autonomes dans des environnements réels. L'étude recense six grandes catégories de vulnérabilités — baptisées « pièges » — que des sites web, documents ou API malveillants peuvent exploiter pour manipuler, tromper ou prendre le contrôle d'un agent opérant de façon indépendante. Ces travaux interviennent alors que les agents IA commencent à être déployés à grande échelle pour naviguer sur le web, gérer des boîtes mail et exécuter des transactions sans supervision humaine. L'enjeu est considérable : contrairement à un simple chatbot, un agent autonome dispose de capacités d'action réelles — il peut envoyer des e-mails, effectuer des achats, modifier des fichiers. Si son comportement est détourné par une instruction malveillante cachée dans une page web ou un document (technique dite d'injection de prompt indirect), les conséquences peuvent dépasser le simple biais de réponse pour atteindre des actes concrets et potentiellement irréversibles. L'étude offre aux développeurs un cadre commun pour anticiper et corriger ces failles avant déploiement. Ce travail s'inscrit dans une préoccupation croissante autour de la sécurité des systèmes agentiques, un domaine encore jeune mais en expansion rapide. OpenAI, Anthropic et Microsoft ont tous lancé leurs propres frameworks d'agents ces derniers mois, sans qu'existe jusqu'ici de taxonomie partagée des risques. En formalisant ces six catégories d'attaques, Google DeepMind pose les bases d'un standard de sécurité pour l'ensemble de l'industrie, à l'heure où la question de la supervision humaine des agents devient un sujet de régulation émergent en Europe et aux États-Unis.

UELa formalisation d'une taxonomie des vulnérabilités agentiques par Google DeepMind fournit un cadre de référence directement utilisable par les régulateurs européens travaillant sur la supervision des agents IA dans le cadre de l'AI Act.

💬 Six catégories, enfin du concret. Depuis que tout le monde sort ses frameworks d'agents, on parle beaucoup de ce qu'ils peuvent faire, beaucoup moins de ce qui peut mal tourner quand un site malveillant glisse une instruction cachée dans une page web. L'injection de prompt indirect sur un agent qui peut envoyer des mails ou passer des commandes, c'est pas un bug académique. Reste à voir si l'industrie adopte cette taxonomie ou si chacun continue dans son coin à réinventer sa propre checklist de sécurité.

SécuritéActu
1 source
La gouvernance peut-elle suivre vos ambitions en IA ? Gestion du risque à l'ère des agents autonomes
3AWS ML Blog 

La gouvernance peut-elle suivre vos ambitions en IA ? Gestion du risque à l'ère des agents autonomes

L'ère de l'IA agentique bouleverse les fondements de la gouvernance informatique traditionnelle. Là où les systèmes DevOps classiques produisaient des résultats déterministes — même entrée, même sortie, dépendances connues — les agents IA opèrent de façon non déterministe : posez la même question deux fois, vous obtenez deux réponses différentes. Ces agents sélectionnent eux-mêmes leurs outils, adaptent leurs raisonnements et agissent de manière autonome. Face à ce constat, AWS Generative AI Innovation Center a développé une solution appelée AI Risk Intelligence (AIRI), un système de gouvernance automatisée qui centralise les évaluations de sécurité, d'opérations et de conformité en un seul tableau de bord couvrant l'ensemble du cycle de vie agentique. La solution s'appuie sur le cadre AWS Responsible AI Best Practices, construit à partir de l'expérience acquise sur des centaines de milliers de déploiements IA. L'enjeu est concret : les cadres de gouvernance IT conçus pour des déploiements statiques sont incapables de gérer les interactions complexes des systèmes multi-agents. Un scénario illustratif le démontre clairement — et figure dans le Top 10 OWASP des vulnérabilités agentiques pour 2026. Un assistant IA d'entreprise, légitimement autorisé à accéder aux e-mails, au calendrier et au CRM, reçoit via un e-mail des instructions malveillantes dissimulées. Lorsqu'un utilisateur demande un résumé anodin, l'agent compromis suit ces directives cachées : il fouille des données sensibles et les exfiltre via des invitations calendrier, tout en affichant une réponse bénigne. Les outils classiques de prévention des fuites de données et de surveillance réseau ne détectent rien — car l'agent agit dans le strict périmètre de ses permissions légitimes. La violation est invisible aux yeux des systèmes traditionnels. Ce cas révèle la nature systémique du risque agentique : une faille de sécurité se propage simultanément à travers plusieurs dimensions. L'action d'un agent en déclenche d'autres, les contrôles d'accès ne sont pas réévalués en continu pendant l'exécution, aucun point de contrôle humain ne s'interpose avant une action à haut risque, et les responsables de la conformité ne peuvent pas interpréter les données de monitoring pour détecter l'anomalie à temps. C'est pourquoi AIRI entend fusionner sécurité, opérations et gouvernance en un dispositif intégré plutôt qu'en silos séparés. Dans un contexte où les entreprises accélèrent leurs déploiements d'agents autonomes — pour automatiser des workflows, piloter des décisions, interagir avec des systèmes critiques — la question n'est plus seulement de savoir si l'IA fonctionne, mais si l'organisation peut réellement maîtriser ce qu'elle fait.

UELes entreprises européennes déployant des agents IA autonomes doivent adapter leurs cadres de gouvernance pour satisfaire aux exigences de l'AI Act, notamment en matière de supervision humaine, de traçabilité et de contrôle continu des systèmes à haut risque.

SécuritéActu
1 source
Google DeepMind renforce sa vigilance sur les risques biologiques de l'IA
4AI News 

Google DeepMind renforce sa vigilance sur les risques biologiques de l'IA

Google DeepMind et Isomorphic Labs ont dévoilé les détails d'un programme de bioresilience conçu pour limiter les risques de détournement de l'IA en biologie tout en accélérant la réponse aux épidémies. Lancé discrètement il y a un an, ce programme conjoint compte désormais plus de 15 partenariats avec des organismes gouvernementaux, des structures de biosécurité et des groupes de recherche, dont le Lawrence Livermore National Laboratory, l'UK AI Security Institute, la CEPI et le Francis Crick Institute. DeepMind reconnaît que ses modèles de pointe, dont Gemini, possèdent une compréhension de plus en plus fine de la biologie, une capacité amplifiée par le couplage avec des modèles biologiques spécialisés, des agents comme sa plateforme Antigravity, et des bases de données tierces. Le programme repose sur trois piliers : empêcher les usages malveillants, détecter plus rapidement les épidémies, et organiser la réponse une fois une crise déclenchée. L'entreprise prévoit d'élargir ces partenariats dans les six à douze prochains mois, en se concentrant sur le renseignement sur les menaces, l'évaluation des agents IA et les parades aux tentatives de contournement, tout en coordonnant ces efforts avec le Frontier Model Forum sur la gestion des données d'entraînement sensibles, notamment virologiques. Le cœur du problème tient à un paradoxe : les connaissances qui permettent à un chercheur d'identifier une cible vaccinale pourraient tout autant aider un acteur malveillant à combler ses lacunes techniques. Pour y répondre, DeepMind combine red-teaming par des experts, essais contrôlés randomisés, classificateurs et sondes en temps réel, ainsi que des analyses de journaux pour repérer des schémas d'usage détournés plus subtils. L'entreprise insiste sur le fait qu'aucune de ces mesures n'est aboutie : il s'agit d'un processus continu, pas d'un système figé, ce qui compte directement pour toute organisation qui évaluerait la fiabilité de ces garde-fous en l'état. Un classificateur efficace contre des techniques de contournement connues ne garantit rien face à des méthodes d'attaque inédites apparaissant en conditions réelles, et DeepMind ne prétend pas le contraire. L'un des risques les plus concrets identifiés concerne la synthèse d'ADN : les sociétés membres de l'International Gene Synthesis Consortium filtrent aujourd'hui leurs commandes via des listes de pathogènes et toxines connus, mais ce filtrage commence à montrer ses limites, car l'IA peut désormais concevoir des séquences aux fonctions similaires à un pathogène dangereux sans en reproduire la séquence exacte, échappant ainsi aux filtres existants. Face à cette faille, DeepMind explore une adaptation de SynthID, son système de filigrane devenu une référence pour marquer les contenus générés par IA, texte et image, afin de l'appliquer aux séquences biologiques. Ce chantier reste exploratoire et non un produit prêt à déployer. Cette initiative s'inscrit dans un débat plus large sur la double nature des modèles frontière : les mêmes capacités qui accélèrent la recherche vaccinale ou la détection d'épidémies abaissent aussi les barrières techniques pour des acteurs malintentionnés. En misant sur des partenariats institutionnels plutôt que sur des solutions strictement internes, DeepMind et Isomorphic Labs cherchent à construire une gouvernance partagée avant que la technologie ne devance les garde-fous, un enjeu suivi de près par les régulateurs et les agences de biosécurité à mesure que les modèles gagnent en puissance.

UEImpact indirect sur les débats européens de gouvernance de l'IA et de biosécurité, sans implication directe d'une entreprise française ou d'une réglementation de l'UE.

SécuritéActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic