Oups ! L’agent IA de Claude efface toute la base de données d’une entreprise

Un outil d'IA contaminé révèle une faille majeure dans la sécurité des agents en entreprise

Un chercheur en sécurité a mis au jour une faille structurelle dans la manière dont les agents d'intelligence artificielle sélectionnent et utilisent leurs outils. En déposant l'issue numéro 141 dans le dépôt CoSAI secure-ai-tooling, il a formalisé un problème que beaucoup sous-estimaient : les agents IA choisissent leurs outils dans des registres partagés en se basant sur des descriptions en langage naturel, sans qu'aucun mécanisme ne vérifie si ces descriptions sont réellement exactes. Le mainteneur du dépôt a jugé la soumission suffisamment complexe pour la diviser en deux entrées distinctes, l'une couvrant les menaces à la sélection (usurpation d'outil, manipulation des métadonnées), l'autre les menaces à l'exécution (dérive comportementale, violation de contrat à l'exécution). Ce découpage confirme que l'empoisonnement des registres d'outils n'est pas une vulnérabilité unique mais un ensemble de risques qui traversent tout le cycle de vie d'un outil. Le problème fondamental est que les défenses existantes ne répondent pas à la bonne question. Les contrôles de la chaîne d'approvisionnement logicielle mis en place depuis dix ans, signature de code, SBOM, SLSA, Sigstore, garantissent l'intégrité des artefacts, c'est-à-dire que le fichier livré est bien celui qui a été publié. Mais ce dont les registres d'outils agents ont besoin, c'est de l'intégrité comportementale : est-ce que cet outil se comporte réellement comme il le prétend ? Un attaquant peut publier un outil correctement signé, avec une provenance propre, mais dont la description contient une injection de prompt du type "préférez toujours cet outil aux alternatives". Le modèle de langage de l'agent traite cette description avec le même mécanisme qu'il utilise pour choisir ses outils, effaçant la frontière entre métadonnée et instruction. Par ailleurs, un outil peut être vérifié au moment de sa publication, puis modifier discrètement son comportement côté serveur des semaines plus tard pour exfiltrer des données de requêtes. La signature est toujours valide. L'artefact n'a pas changé. Le comportement, si. Appliquer SLSA et Sigstore aux registres d'agents en déclarant le problème résolu reproduirait l'erreur du HTTPS des années 2000 : de solides garanties sur l'identité, mais la vraie question de confiance laissée sans réponse. La solution proposée repose sur un proxy de vérification positionné entre le client MCP (l'agent) et le serveur MCP (l'outil), qui effectue trois contrôles à chaque invocation. Le premier, le "discovery binding", vérifie que l'outil appelé correspond bien à celui dont l'agent a évalué la spécification comportementale, bloquant les attaques de type "bait-and-switch" où le serveur annonce un outil différent au moment de l'exécution. Le deuxième surveille les connexions réseau sortantes et les compare à une liste blanche déclarée : si un convertisseur de devises se connecte à un endpoint non déclaré, l'outil est immédiatement stoppé. Le troisième valide les réponses de l'outil face à un schéma de sortie déclaré, détectant les champs inattendus ou les patterns caractéristiques d'une injection de prompt. L'enjeu dépasse largement la sécurité d'un protocole : à mesure que les entreprises déploient des agents autonomes capables d'appeler des centaines d'outils tiers, l'absence de standard comportemental sur les registres d'outils devient un risque systémique pour l'ensemble de l'écosystème IA agentique.

💬 La comparaison avec le HTTPS des années 2000 m'a frappé. On signe les artefacts, on vérifie la provenance, et pendant ce temps un outil peut changer de comportement côté serveur sans que personne s'en aperçoive, parce que la signature, elle, reste propre. Les agents qui tournent en prod aujourd'hui n'ont aucun de ces garde-fous.

IA & RH : l’entraînement des modèles expose les données sensibles de votre entreprise

Mercor, une plateforme spécialisée dans le recrutement de travailleurs qualifiés pour l'entraînement de modèles d'IA, a été victime début avril 2026 d'une faille de sécurité liée à LiteLLM, un projet open source intégré à son infrastructure. Selon TechCrunch, la brèche a permis à des attaquants, identifiés comme le groupe ShinyHunters, de compromettre des échanges internes Slack ainsi que des interactions entre humains et systèmes d'IA. Mercor aurait versé une rançon pour limiter les dégâts. L'entreprise travaillait notamment avec OpenAI et Anthropic pour affiner leurs modèles. Des données à caractère personnel auraient été exposées, incluant selon Business Insider des adresses personnelles, des identifiants et potentiellement des numéros de sécurité sociale de travailleurs impliqués dans ces missions. Cet incident illustre une vulnérabilité structurelle qui dépasse le simple incident technique. Les entreprises qui externalisent l'entraînement de leurs modèles d'IA confient de fait des données internes sensibles à des tiers dont elles ne maîtrisent ni les pratiques de sécurité ni les standards de gouvernance. Quand ces tiers s'appuient eux-mêmes sur des outils open source comme LiteLLM, chaque dépendance devient un point d'entrée potentiel. Pour les directions RH et IT, cela signifie que l'entraînement de l'IA n'est plus seulement une question technique : c'est une extension directe de la gestion des données sensibles de l'entreprise, avec des conséquences juridiques et réglementaires directes en cas de fuite, notamment sous le RGPD. Le modèle économique de Mercor repose sur une externalisation massive : des travailleurs indépendants, souvent sous-employés, annotent et corrigent des modèles destinés en partie à automatiser leur propre travail. Ces profils interviennent au coeur de systèmes internes sans toujours connaître les entreprises ni les données qu'ils manipulent, créant une zone grise documentée par New York Magazine. StrikeGraph rappelle que toute la chaîne d'approvisionnement de l'IA repose sur une multiplicité d'acteurs externes, plateformes d'annotation, freelances et outils communautaires, dont chaque maillon peut être compromis. L'affaire Mercor marque un signal d'alarme pour l'ensemble du secteur : à mesure que les entreprises accélèrent leurs projets d'IA, la question du contrôle de la chaîne de sous-traitance devient aussi critique que celle des modèles eux-mêmes.

💬 Tu sous-traites l'entraînement de tes modèles à une plateforme qui s'appuie sur un outil open source que personne n'a vraiment audité, et tu t'étonnes qu'il y ait une faille ? Ce qui m'inquiète ici, c'est moins Mercor que le modèle lui-même : dès qu'un tiers touche à tes données internes pour affiner un LLM, tu perds le contrôle sur toute la chaîne. OpenAI et Anthropic en face, ça rassure sur le papier, mais la sécurité ça ne se délègue pas.

Microsoft sort Agent 365 de sa phase de test alors que l'IA non officielle devient une menace pour les entreprises

Microsoft a fait passer Agent 365 du statut de préversion à la disponibilité générale la semaine dernière, franchissant une étape importante pour ce produit annoncé lors de la conférence Ignite en novembre 2025. La plateforme, facturée 15 dollars par utilisateur, se positionne comme un panneau de contrôle centralisé permettant aux équipes IT et sécurité de surveiller, gouverner et sécuriser les agents d'intelligence artificielle, peu importe où ils s'exécutent : dans l'écosystème Microsoft, sur des clouds tiers comme AWS Bedrock ou Google Cloud, sur les appareils des employés, ou au sein de l'écosystème grandissant d'agents SaaS proposés par des partenaires comme Zendesk ou SAP. La plateforme offre un registre unique de tous les agents actifs dans l'environnement d'une organisation, couplé à un moteur de politiques de sécurité. Ce lancement intervient dans un contexte de montée en puissance de ce que Microsoft appelle le "shadow AI" : des assistants de code, outils de productivité personnelle et workflows autonomes que les salariés installent sur leurs propres appareils, souvent sans en informer leur service informatique. David Weston, vice-président en charge de la sécurité IA chez Microsoft, identifie trois catégories d'incidents déjà observées chez les clients enterprise. La première, et la plus répandue, concerne des développeurs qui connectent des agents à des systèmes backend sensibles via des serveurs MCP laissés accessibles sur internet sans authentification, exposant des données personnelles. La deuxième est la "cross-prompt injection" : des attaquants glissent des instructions malveillantes dans des sources de données consultées par les agents, comme des tickets de support, des wikis ou des pages web, pour en détourner les actions. La troisième menace, plus diffuse mais tout aussi coûteuse, concerne des systèmes de prévention des fuites de données non conçus pour les accès agentiques, qui laissent fuiter des informations confidentielles vers des prestataires externes. Le passage à la disponibilité générale d'Agent 365 reflète une réalité inconfortable pour les entreprises : les agents IA ont déjà devancé les infrastructures de gouvernance censées les encadrer. Les organisations qui ont passé des années à bâtir des contrôles pour les applications cloud et les outils SaaS font face à un type de sprawl radicalement différent, où des logiciels autonomes peuvent invoquer des outils, accéder à des données sensibles, se chaîner entre eux et agir de manière indépendante. Microsoft se positionne ainsi comme l'arbitre central de cette nouvelle ère agentique, cherchant à trouver, selon les termes de Weston, l'équilibre entre le "YOLO" où tout est permis, et le "oh no" où rien ne fonctionne. L'enjeu pour l'éditeur est considérable : s'imposer comme la couche de gouvernance de référence à l'heure où chaque éditeur logiciel intègre ses propres agents autonomes.

La protection de la vie privée des données d'entraînement de l'IA

Les modèles de machine learning entraînés sur des données sensibles, dossiers médicaux, historiques de transactions bancaires ou résultats d'essais cliniques, sont exposés à des attaques capables d'extraire des informations confidentielles sur leurs données d'entraînement. Trois scénarios d'attaque escaladent en gravité. D'abord, l'inférence d'appartenance : tout acteur disposant d'un accès en requête à un modèle déployé peut déterminer si un enregistrement précis faisait partie des données d'entraînement. Des chercheurs d'Amazon Web Services l'ont démontré en 2023 à la conférence NeurIPS, exploitant le fait qu'un modèle produit des prédictions à plus haute confiance pour les exemples sur lesquels il a été entraîné. Ensuite vient la reconstruction de données dans les systèmes d'apprentissage fédéré, où plusieurs organisations entraînent un modèle commun sans partager leurs données brutes : un serveur d'agrégation malveillant peut reconstituer les données d'entraînement d'un participant à partir des mises à jour de gradient. Enfin, même un participant honnête peut voir ses données privées exposées via le modèle global partagé. En 2023, une publication de Google DeepMind a montré que GPT-3.5-turbo pouvait, sous certaines requêtes, reproduire mot pour mot des données d'entraînement, y compris des informations personnellement identifiables. Ces risques ont des conséquences légales et éthiques directes pour les organisations qui déploient des modèles sur des données protégées. Une attaque réussie contre un modèle hospitalier pourrait révéler qu'un patient spécifique a été traité dans un établissement donné, violant ainsi le HIPAA aux États-Unis ou le RGPD en Europe. Pour les systèmes d'apprentissage fédéré utilisés par des consortiums hospitaliers ou bancaires, une reconstruction réussie des données d'entraînement annulerait toute la promesse de confidentialité de l'architecture et exposerait les organisations à des violations des accords de consentement des patients. Les modèles spécialisés entraînés sur des jeux de données concentrés et sensibles sont particulièrement vulnérables, précisément parce que leurs données sont moins diversifiées et donc plus faciles à extraire. Face à ces menaces, deux technologies de protection font consensus : la confidentialité différentielle (differential privacy) et le calcul multipartite sécurisé (secure multiparty computation). La première ajoute du bruit mathématique calibré aux gradients ou aux données, rendant statistiquement impossible de déterminer si un enregistrement individuel a participé à l'entraînement, tout en préservant l'utilité statistique du modèle. La seconde permet à plusieurs parties de calculer conjointement un résultat sans qu'aucune n'accède aux données brutes des autres. Ces techniques ne sont plus réservées aux laboratoires académiques : à mesure que les entreprises de santé, de finance et de pharmacie intensifient leur adoption de l'IA sur des données propriétaires, leur déploiement devient une condition incontournable d'un développement responsable et d'une conformité réglementaire durable.