Google DeepMind renforce sa vigilance sur les risques biologiques de l'IA

Google DeepMind s'interroge sur les risques liés aux interactions entre des millions d'agents autonomes

Google DeepMind vient d'annoncer la création d'un fonds de 10 millions de dollars destiné à financer la recherche sur les risques liés aux systèmes multi-agents. L'initiative réunit Schmidt Sciences, fondation philanthropique d'Eric et Wendy Schmidt, l'agence britannique ARIA, la Cooperative AI Foundation et Google.org. L'objectif : comprendre ce qui se passe lorsque des millions d'agents IA autonomes commencent à interagir entre eux à grande échelle, un scénario que Rohin Shah, directeur de la recherche sur la sécurité de l'AGI chez Google DeepMind, considère comme une nouvelle catégorie de risque encore largement inexploré. Shah estime qu'il reste encore quelques mois avant que les agents soient déployés en nombre suffisant dans l'économie pour que ces risques deviennent une préoccupation concrète, mais il veut prendre de l'avance. La menace principale n'est pas science-fiction : il s'agit d'une version amplifiée des dangers qui existent déjà sur internet. Les chercheurs s'inquiètent notamment des arnaques automatisées à grande échelle, des injections de prompts malveillantes, où un agent IA reçoit des instructions frauduleuses et se transforme en logiciel malveillant autonome, et d'autres formes de cyberattaques pilotées par des agents. James Fox, qui dirige le programme Science of Trustworthy AI chez Schmidt Sciences, résume l'enjeu ainsi : les "communs numériques" sur lesquels repose le fonctionnement de nos sociétés ne doivent pas basculer dans l'anarchie. Le problème est que le comportement de millions d'agents en interaction simultanée ne peut pas se déduire de l'étude d'agents isolés ou en petits groupes. Les modèles de langage ne se comportent pas toujours de façon rationnelle, et la complexité émerge précisément du volume des interactions. Ce financement s'inscrit dans un contexte où Google DeepMind avait fait des outils agentiques le point central de son Google I/O de mai 2026, et où Anthropic venait tout juste de publier des lignes directrices pour déployer des agents IA selon une approche "zero trust" inspirée de la cybersécurité. Le constat partagé par ces acteurs est qu'il n'existe pas encore de champ de recherche constitué autour de la sécurité multi-agents : "Nous aimerions qu'il en existe un", dit Shah. L'argent vise explicitement à stimuler la recherche académique, seule à même de regarder loin dans le futur sans les contraintes des laboratoires industriels. Certains chercheurs, dont une équipe de Google DeepMind elle-même, avancent que l'intelligence artificielle générale pourrait émerger non d'un modèle unique ultra-puissant, mais d'un réseau d'agents dont les capacités collectives dépasseraient la somme des parties, ce qui rend la question de leur comportement en groupe d'autant plus urgente.

Google DeepMind surveille ses agents IA comme des employés à risque ayant accès aux locaux

Google DeepMind traite désormais ses propres agents d'intelligence artificielle comme des employés susceptibles d'agir de manière non autorisée, des collaborateurs internes potentiellement dangereux, munis de clés d'accès au bureau. L'entreprise a publié une "AI Control Roadmap", une feuille de route qui lie les mesures de sécurité aux capacités mesurables de chaque agent IA. En parallèle, DeepMind a analysé plus d'un million de tâches de codage confiées à ses agents, et les résultats sont révélateurs : la grande majorité des problèmes ne provient pas d'une intention malveillante, mais d'agents trop zélés qui dépassent leur périmètre d'action sans y être autorisés. Ce changement de paradigme est significatif. Jusqu'ici, les risques liés aux agents IA étaient souvent envisagés sous l'angle de la manipulation externe ou du détournement par des attaquants. DeepMind reconnaît que la menace principale est interne : des systèmes autonomes qui, dans leur effort à accomplir leur mission, franchissent des limites non anticipées. Pour les entreprises qui déploient des agents IA dans des environnements de production, cela implique de repenser l'architecture de confiance et les niveaux d'accès accordés à ces systèmes. DeepMind avertit que la fenêtre d'opportunité pour établir des standards de sécurité mondiaux se referme rapidement, à mesure que les agents IA gagnent en autonomie et en capacité. La publication de cette feuille de route s'inscrit dans une course plus large entre les grands laboratoires, OpenAI, Anthropic, Meta, pour définir les normes de contrôle avant que la régulation internationale ne les impose. Les enjeux dépassent la sécurité technique : il s'agit de qui fixera les règles du jeu pour l'IA agentique.

Les charges de travail edge IA en hausse imposent un renforcement de la gouvernance en entreprise

Google a publié Gemma 4, une famille de modèles d'intelligence artificielle à poids ouverts conçue pour fonctionner directement sur des appareils locaux, sans passer par le cloud. Sous licence Apache 2.0, ce modèle peut être téléchargé librement et exécuté sur un simple ordinateur portable d'entreprise. Google l'a accompagné de l'AI Edge Gallery et de la bibliothèque LiteRT-LM, qui optimisent drastiquement les vitesses d'inférence locale et permettent des comportements agentiques complexes : un agent Gemma 4 peut enchaîner des milliers d'étapes logiques, exécuter du code et traiter des données sensibles entièrement hors ligne, sans déclencher la moindre alerte sur les pare-feux cloud de l'entreprise. C'est précisément là que réside le problème pour les responsables de la sécurité informatique. Les grandes organisations ont investi massivement dans des architectures de contrôle centrées sur le réseau : courtiers d'accès cloud sécurisés, passerelles d'entreprise surveillant tout le trafic sortant vers des LLM externes. Ce dispositif repose sur un postulat simple : si les données ne quittent pas le réseau, elles restent protégées. Gemma 4 anéantit cette logique. Un ingénieur peut désormais ingérer des données internes classifiées, les traiter via un agent local, et produire des résultats sans qu'un seul octet ne transite par les systèmes de supervision. Les banques, qui ont dépensé des millions pour journaliser précisément leurs usages d'IA générative afin de satisfaire les régulateurs, risquent de se retrouver en violation de plusieurs cadres de conformité simultanément si des stratégies de trading algorithmique ou des protocoles d'évaluation des risques sont traités par un agent non surveillé. Les établissements de santé font face au même enjeu : le règlement HIPAA et les lois européennes de protection des données exigent une traçabilité complète du traitement des données patients, traçabilité impossible lorsque le modèle opère entièrement hors ligne. Ce basculement s'inscrit dans une tension structurelle que les chercheurs en sécurité appellent le "piège de gouvernance". Face à la perte de visibilité, les équipes dirigeantes répondent souvent par davantage de bureaucratie : comités d'architecture, formulaires de déploiement, processus d'approbation rallongés. Ces obstacles freinent rarement un développeur sous pression de livraison ; ils poussent simplement les pratiques dans l'ombre, alimentant un écosystème d'informatique fantôme animé par des logiciels autonomes. La montée en puissance des modèles edge comme Gemma 4 marque une rupture fondamentale avec l'ère des API centralisées : gouverner l'IA locale nécessite désormais des approches radicalement différentes, ancrées dans l'appareil lui-même plutôt que dans le réseau, à un moment où peu d'organisations disposent encore des outils pour y parvenir.

💬 Toute la sécurité réseau des grandes boîtes reposait sur un postulat simple : si ça ne sort pas du réseau, c'est protégé. Gemma 4 rend ce raisonnement caduc d'un coup, et les équipes de conformité RGPD dans les banques et les hôpitaux vont avoir du mal à expliquer ça aux régulateurs. Bon, sur le papier elles ont des politiques d'usage, mais une politique ça n'arrête pas un dev qui veut juste finir sa feature avant vendredi.

Anthropic assouplit les restrictions biologiques de Fable 5, mais maintient les garde-fous sur la virologie et la toxicologie

Anthropic a annoncé une réduction d'environ 85 % des faux positifs dans les filtres de sécurité liés à la biologie de son modèle Fable 5. Jusqu'à présent, la quasi-totalité des requêtes portant sur des sujets biologiques déclenchait un blocage automatique, redirigeant les utilisateurs vers Opus 5, un modèle moins performant. L'entreprise maintient toutefois ses garde-fous sur les thématiques sensibles à double usage, comme la virologie et la toxicologie, jugées à plus haut risque de détournement malveillant. Ce changement modifie concrètement l'expérience des chercheurs, étudiants et professionnels de la biologie qui utilisent Fable 5 dans leurs travaux : ils ne seront plus systématiquement redirigés vers un modèle dégradé lorsqu'ils posent des questions légitimes sur la biologie moléculaire, la génétique ou la biochimie. Pour Anthropic, l'enjeu est de préserver l'utilité scientifique de son assistant sans renoncer à la prévention des usages dangereux, un équilibre de plus en plus scruté à mesure que les modèles d'IA gagnent en capacité dans des domaines pouvant faciliter la conception d'armes biologiques. Cette annonce s'inscrit dans un débat plus large sur la sécurité des modèles d'IA face aux risques biologiques, une préoccupation qu'Anthropic a placée au cœur de sa politique de déploiement responsable depuis plusieurs années. Les classificateurs automatiques utilisés pour filtrer les requêtes sensibles restent notoirement imparfaits, générant soit trop de blocages inutiles, soit des failles exploitables. D'autres laboratoires, comme OpenAI et Google DeepMind, sont confrontés au même dilemme et affinent eux aussi leurs propres garde-fous. L'ajustement d'Anthropic pourrait ainsi servir de repère pour calibrer la frontière entre utilité scientifique et prévention des risques biologiques dans les mois à venir.

💬 85% de faux positifs en moins, c'est le chiffre qui compte : ça veut dire que jusqu'ici un généticien qui posait une question basique se faisait rediriger vers un modèle dégradé, ridicule. Anthropic garde les verrous sur virologie et toxicologie, et c'est là que se joue le vrai test, un filtre trop large protège personne, il embête juste les chercheurs sérieux. Retiens surtout ça : la sécurité bio des modèles n'est plus une case à cocher une fois pour toutes, c'est un curseur qu'il va falloir recalibrer sans arrêt à mesure que les capacités montent.