Why AI Systems Fail Quietly

Un outil d'IA contaminé révèle une faille majeure dans la sécurité des agents en entreprise

Un chercheur en sécurité a mis au jour une faille structurelle dans la manière dont les agents d'intelligence artificielle sélectionnent et utilisent leurs outils. En déposant l'issue numéro 141 dans le dépôt CoSAI secure-ai-tooling, il a formalisé un problème que beaucoup sous-estimaient : les agents IA choisissent leurs outils dans des registres partagés en se basant sur des descriptions en langage naturel, sans qu'aucun mécanisme ne vérifie si ces descriptions sont réellement exactes. Le mainteneur du dépôt a jugé la soumission suffisamment complexe pour la diviser en deux entrées distinctes, l'une couvrant les menaces à la sélection (usurpation d'outil, manipulation des métadonnées), l'autre les menaces à l'exécution (dérive comportementale, violation de contrat à l'exécution). Ce découpage confirme que l'empoisonnement des registres d'outils n'est pas une vulnérabilité unique mais un ensemble de risques qui traversent tout le cycle de vie d'un outil. Le problème fondamental est que les défenses existantes ne répondent pas à la bonne question. Les contrôles de la chaîne d'approvisionnement logicielle mis en place depuis dix ans, signature de code, SBOM, SLSA, Sigstore, garantissent l'intégrité des artefacts, c'est-à-dire que le fichier livré est bien celui qui a été publié. Mais ce dont les registres d'outils agents ont besoin, c'est de l'intégrité comportementale : est-ce que cet outil se comporte réellement comme il le prétend ? Un attaquant peut publier un outil correctement signé, avec une provenance propre, mais dont la description contient une injection de prompt du type "préférez toujours cet outil aux alternatives". Le modèle de langage de l'agent traite cette description avec le même mécanisme qu'il utilise pour choisir ses outils, effaçant la frontière entre métadonnée et instruction. Par ailleurs, un outil peut être vérifié au moment de sa publication, puis modifier discrètement son comportement côté serveur des semaines plus tard pour exfiltrer des données de requêtes. La signature est toujours valide. L'artefact n'a pas changé. Le comportement, si. Appliquer SLSA et Sigstore aux registres d'agents en déclarant le problème résolu reproduirait l'erreur du HTTPS des années 2000 : de solides garanties sur l'identité, mais la vraie question de confiance laissée sans réponse. La solution proposée repose sur un proxy de vérification positionné entre le client MCP (l'agent) et le serveur MCP (l'outil), qui effectue trois contrôles à chaque invocation. Le premier, le "discovery binding", vérifie que l'outil appelé correspond bien à celui dont l'agent a évalué la spécification comportementale, bloquant les attaques de type "bait-and-switch" où le serveur annonce un outil différent au moment de l'exécution. Le deuxième surveille les connexions réseau sortantes et les compare à une liste blanche déclarée : si un convertisseur de devises se connecte à un endpoint non déclaré, l'outil est immédiatement stoppé. Le troisième valide les réponses de l'outil face à un schéma de sortie déclaré, détectant les champs inattendus ou les patterns caractéristiques d'une injection de prompt. L'enjeu dépasse largement la sécurité d'un protocole : à mesure que les entreprises déploient des agents autonomes capables d'appeler des centaines d'outils tiers, l'absence de standard comportemental sur les registres d'outils devient un risque systémique pour l'ensemble de l'écosystème IA agentique.

💬 La comparaison avec le HTTPS des années 2000 m'a frappé. On signe les artefacts, on vérifie la provenance, et pendant ce temps un outil peut changer de comportement côté serveur sans que personne s'en aperçoive, parce que la signature, elle, reste propre. Les agents qui tournent en prod aujourd'hui n'ont aucun de ces garde-fous.

5 bonnes pratiques pour sécuriser les systèmes d'IA

Les organisations qui intègrent l'intelligence artificielle dans leurs opérations critiques font face à une surface d'attaque inédite que les cadres de sécurité traditionnels n'ont pas été conçus pour couvrir. Face à cette réalité, cinq pratiques fondamentales se dégagent pour protéger ces systèmes : contrôle d'accès strict, défense contre les menaces propres aux modèles, visibilité unifiée de l'écosystème, surveillance continue et gestion rigoureuse des vulnérabilités. Le contrôle d'accès basé sur les rôles (RBAC) limite l'exposition en n'accordant les permissions qu'aux personnes dont la fonction le justifie. Le chiffrement des modèles et des données d'entraînement, aussi bien au repos qu'en transit, constitue une protection indispensable, notamment lorsque ces données contiennent du code propriétaire ou des informations personnelles. Sur le front des menaces spécifiques aux LLM, l'injection de prompt occupe la première place du classement OWASP Top 10 pour les applications à base de grands modèles de langage : un attaquant insère des instructions malveillantes dans une entrée pour détourner le comportement du modèle. Des pare-feux spécialisés pour l'IA, capables de valider et d'assainir les entrées avant qu'elles n'atteignent le modèle, constituent une première ligne de défense directe. Des exercices de red teaming simulant des scénarios réels — empoisonnement de données, attaques par inversion de modèle — permettent de détecter les failles avant que des acteurs malveillants ne les exploitent. L'enjeu dépasse la simple protection technique : c'est la fiabilité de systèmes désormais embarqués dans des décisions critiques qui est en jeu. Un modèle compromis par injection de prompt peut divulguer des données confidentielles, produire des sorties trompeuses ou servir de point d'entrée latéral vers d'autres systèmes. La fragmentation des outils de sécurité aggrave le problème : lorsque les données de télémétrie réseau, cloud, identité et endpoints restent cloisonnées, les équipes ne peuvent pas corréler une connexion anormale, un mouvement latéral et une tentative d'exfiltration en un tableau de menace cohérent. Le cadre de cybersécurité pour l'IA du NIST est explicite sur ce point : sécuriser ces systèmes implique de couvrir l'ensemble des actifs concernés, pas seulement les plus visibles. La sécurité de l'IA ne peut pas être une configuration ponctuelle, car les modèles évoluent en permanence : mises à jour, nouveaux pipelines de données, changements de comportement des utilisateurs. Les outils de détection basés sur des règles statiques peinent à suivre ce rythme, car ils s'appuient sur des signatures d'attaques connues plutôt que sur une analyse comportementale en temps réel. La surveillance continue permet d'établir une baseline comportementale et de signaler immédiatement les déviations : sorties inattendues d'un modèle, variation soudaine dans les appels API, ou accès inhabituels d'un compte privilégié. Ce contexte s'inscrit dans une prise de conscience plus large de l'industrie : les incidents liés à l'IA — du biais algorithmique aux attaques adversariales sophistiquées — se multiplient à mesure que ces systèmes gagnent en puissance et en déploiement, rendant une stratégie de défense en profondeur non plus optionnelle, mais structurellement nécessaire.

Nexos.ai : on a testé l’outil qui veut convaincre votre DSI que l’IA n’est pas une passoire

Nexos.ai, la plateforme développée par Nord Security, l'éditeur à l'origine de NordVPN, propose une solution de gouvernance de l'intelligence artificielle en entreprise. Le principe est simple : plutôt que de créer un nouveau modèle maison, Nexos fait office de hub centralisé permettant aux équipes d'accéder aux grands modèles du marché, OpenAI, Anthropic, Google, Mistral, depuis un environnement contrôlé, avec des journaux d'activité, des règles configurables et un administrateur aux commandes. L'interface, pensée pour être accessible sans formation, permet de choisir son modèle via un menu déroulant, de définir un profil global avec des instructions permanentes, et de désactiver la mémorisation d'un simple interrupteur. Un détail attire l'attention : un drapeau européen signale les modèles traités sur des serveurs en Europe, garantie concrète pour les entreprises soumises au RGPD. Côté routing, la plateforme dirige intelligemment les tâches vers le modèle le plus adapté, un modèle d'embedding Mistral pour indexer un PDF, sans mobiliser un modèle coûteux, sans que l'utilisateur n'ait à intervenir. L'enjeu adressé est loin d'être anecdotique. Le phénomène dit du "Shadow AI", ces salariés qui utilisent leur compte personnel ChatGPT ou Claude pour coller des contrats, des roadmaps ou des bilans RH, représente en 2026 l'un des principaux vecteurs de fuite de données sensibles en entreprise, non par malveillance, mais faute d'alternative sérieuse mise à disposition. Nexos tente de combler ce vide en offrant aux DSI une visibilité réelle sur les usages, et aux employés un outil suffisamment fluide pour ne pas générer de contournements. Pour un DAF surveillant sa facture cloud, l'optimisation automatique du routing entre modèles représente aussi un argument économique tangible, invisible pour l'utilisateur final mais visible dans les coûts d'infrastructure. Nord Security n'est pas un inconnu dans l'espace cybersécurité : l'entreprise a construit sa réputation sur NordVPN, un produit grand public devenu référence dans la protection de la vie privée en ligne. Ce positionnement lui confère une crédibilité initiale sur le marché de la gouvernance IA, un segment en pleine structuration alors que les régulations se durcissent des deux côtés de l'Atlantique, l'AI Act européen en tête. La limite que la revue identifie est structurelle : les promesses de "forteresse numérique" ne peuvent être vérifiées sans audit technique indépendant, et l'utilisateur doit in fine faire confiance à la réputation de l'éditeur. Dans un marché où les offres se multiplient, Microsoft Copilot, Glean, Perplexity Enterprise, Nexos mise sur la simplicité d'adoption et la conformité RGPD comme différenciateurs, deux arguments qui résonnent particulièrement auprès des ETI et grandes entreprises européennes encore hésitantes à franchir le pas.

Mozilla : 271 failles détectées par Mythos avec quasiment aucun faux positif

Mozilla a utilisé Mythos, un modèle d'intelligence artificielle développé par Anthropic spécialisé dans la détection de failles logicielles, pour identifier 271 vulnérabilités dans Firefox en l'espace de deux mois. Les ingénieurs de la fondation ont publié jeudi un retour détaillé sur cette expérience, expliquant que le résultat repose sur deux facteurs combinés : l'amélioration des modèles eux-mêmes, et le développement par Mozilla d'un "harness" sur mesure, un environnement d'exécution adapté permettant à Mythos d'analyser efficacement le code source du navigateur. Le taux de faux positifs relevé serait quasi nul, ce qui constitue une rupture nette avec les tentatives précédentes. C'est précisément ce point qui marque un tournant concret. Jusqu'à présent, les outils d'IA appliqués à l'audit de sécurité produisaient ce que les développeurs appellent du "slop" : des rapports de bugs plausibles en apparence, mais truffés de détails hallusinés, qui obligeaient les équipes humaines à vérifier chaque résultat manuellement, annulant une grande partie du gain de productivité promis. Avec Mythos et le harness maison, Mozilla affirme avoir franchi le seuil de fiabilité nécessaire pour intégrer cet outil dans un vrai pipeline de sécurité. Pour l'industrie du logiciel, cela signifie que la détection automatisée de failles pourrait enfin décharger de façon significative les équipes de sécurité, accélérer les cycles de correction, et réduire la fenêtre d'exposition aux attaques. Le contexte de cette annonce est important. Le mois dernier, le CTO de Mozilla avait provoqué une vague de scepticisme en déclarant que "les zero-days sont comptés" et que "les défenseurs ont enfin une chance de gagner, de façon décisive" grâce à l'IA. Ces formules avaient été perçues comme du marketing habituel autour de résultats soigneusement triés. La publication de jeudi est une réponse directe à ces critiques, avec des chiffres et une méthodologie à l'appui. L'enjeu dépasse Firefox : si l'approche se généralise, elle pourrait redéfinir la façon dont l'ensemble de l'industrie audite la sécurité de ses logiciels, à une échelle et une cadence inaccessibles aux seules équipes humaines.