Why AI Systems Fail Quietly

Un outil d'IA contaminé révèle une faille majeure dans la sécurité des agents en entreprise

Un chercheur en sécurité a mis au jour une faille structurelle dans la manière dont les agents d'intelligence artificielle sélectionnent et utilisent leurs outils. En déposant l'issue numéro 141 dans le dépôt CoSAI secure-ai-tooling, il a formalisé un problème que beaucoup sous-estimaient : les agents IA choisissent leurs outils dans des registres partagés en se basant sur des descriptions en langage naturel, sans qu'aucun mécanisme ne vérifie si ces descriptions sont réellement exactes. Le mainteneur du dépôt a jugé la soumission suffisamment complexe pour la diviser en deux entrées distinctes, l'une couvrant les menaces à la sélection (usurpation d'outil, manipulation des métadonnées), l'autre les menaces à l'exécution (dérive comportementale, violation de contrat à l'exécution). Ce découpage confirme que l'empoisonnement des registres d'outils n'est pas une vulnérabilité unique mais un ensemble de risques qui traversent tout le cycle de vie d'un outil. Le problème fondamental est que les défenses existantes ne répondent pas à la bonne question. Les contrôles de la chaîne d'approvisionnement logicielle mis en place depuis dix ans, signature de code, SBOM, SLSA, Sigstore, garantissent l'intégrité des artefacts, c'est-à-dire que le fichier livré est bien celui qui a été publié. Mais ce dont les registres d'outils agents ont besoin, c'est de l'intégrité comportementale : est-ce que cet outil se comporte réellement comme il le prétend ? Un attaquant peut publier un outil correctement signé, avec une provenance propre, mais dont la description contient une injection de prompt du type "préférez toujours cet outil aux alternatives". Le modèle de langage de l'agent traite cette description avec le même mécanisme qu'il utilise pour choisir ses outils, effaçant la frontière entre métadonnée et instruction. Par ailleurs, un outil peut être vérifié au moment de sa publication, puis modifier discrètement son comportement côté serveur des semaines plus tard pour exfiltrer des données de requêtes. La signature est toujours valide. L'artefact n'a pas changé. Le comportement, si. Appliquer SLSA et Sigstore aux registres d'agents en déclarant le problème résolu reproduirait l'erreur du HTTPS des années 2000 : de solides garanties sur l'identité, mais la vraie question de confiance laissée sans réponse. La solution proposée repose sur un proxy de vérification positionné entre le client MCP (l'agent) et le serveur MCP (l'outil), qui effectue trois contrôles à chaque invocation. Le premier, le "discovery binding", vérifie que l'outil appelé correspond bien à celui dont l'agent a évalué la spécification comportementale, bloquant les attaques de type "bait-and-switch" où le serveur annonce un outil différent au moment de l'exécution. Le deuxième surveille les connexions réseau sortantes et les compare à une liste blanche déclarée : si un convertisseur de devises se connecte à un endpoint non déclaré, l'outil est immédiatement stoppé. Le troisième valide les réponses de l'outil face à un schéma de sortie déclaré, détectant les champs inattendus ou les patterns caractéristiques d'une injection de prompt. L'enjeu dépasse largement la sécurité d'un protocole : à mesure que les entreprises déploient des agents autonomes capables d'appeler des centaines d'outils tiers, l'absence de standard comportemental sur les registres d'outils devient un risque systémique pour l'ensemble de l'écosystème IA agentique.

💬 La comparaison avec le HTTPS des années 2000 m'a frappé. On signe les artefacts, on vérifie la provenance, et pendant ce temps un outil peut changer de comportement côté serveur sans que personne s'en aperçoive, parce que la signature, elle, reste propre. Les agents qui tournent en prod aujourd'hui n'ont aucun de ces garde-fous.

5 bonnes pratiques pour sécuriser les systèmes d'IA

Les organisations qui intègrent l'intelligence artificielle dans leurs opérations critiques font face à une surface d'attaque inédite que les cadres de sécurité traditionnels n'ont pas été conçus pour couvrir. Face à cette réalité, cinq pratiques fondamentales se dégagent pour protéger ces systèmes : contrôle d'accès strict, défense contre les menaces propres aux modèles, visibilité unifiée de l'écosystème, surveillance continue et gestion rigoureuse des vulnérabilités. Le contrôle d'accès basé sur les rôles (RBAC) limite l'exposition en n'accordant les permissions qu'aux personnes dont la fonction le justifie. Le chiffrement des modèles et des données d'entraînement, aussi bien au repos qu'en transit, constitue une protection indispensable, notamment lorsque ces données contiennent du code propriétaire ou des informations personnelles. Sur le front des menaces spécifiques aux LLM, l'injection de prompt occupe la première place du classement OWASP Top 10 pour les applications à base de grands modèles de langage : un attaquant insère des instructions malveillantes dans une entrée pour détourner le comportement du modèle. Des pare-feux spécialisés pour l'IA, capables de valider et d'assainir les entrées avant qu'elles n'atteignent le modèle, constituent une première ligne de défense directe. Des exercices de red teaming simulant des scénarios réels — empoisonnement de données, attaques par inversion de modèle — permettent de détecter les failles avant que des acteurs malveillants ne les exploitent. L'enjeu dépasse la simple protection technique : c'est la fiabilité de systèmes désormais embarqués dans des décisions critiques qui est en jeu. Un modèle compromis par injection de prompt peut divulguer des données confidentielles, produire des sorties trompeuses ou servir de point d'entrée latéral vers d'autres systèmes. La fragmentation des outils de sécurité aggrave le problème : lorsque les données de télémétrie réseau, cloud, identité et endpoints restent cloisonnées, les équipes ne peuvent pas corréler une connexion anormale, un mouvement latéral et une tentative d'exfiltration en un tableau de menace cohérent. Le cadre de cybersécurité pour l'IA du NIST est explicite sur ce point : sécuriser ces systèmes implique de couvrir l'ensemble des actifs concernés, pas seulement les plus visibles. La sécurité de l'IA ne peut pas être une configuration ponctuelle, car les modèles évoluent en permanence : mises à jour, nouveaux pipelines de données, changements de comportement des utilisateurs. Les outils de détection basés sur des règles statiques peinent à suivre ce rythme, car ils s'appuient sur des signatures d'attaques connues plutôt que sur une analyse comportementale en temps réel. La surveillance continue permet d'établir une baseline comportementale et de signaler immédiatement les déviations : sorties inattendues d'un modèle, variation soudaine dans les appels API, ou accès inhabituels d'un compte privilégié. Ce contexte s'inscrit dans une prise de conscience plus large de l'industrie : les incidents liés à l'IA — du biais algorithmique aux attaques adversariales sophistiquées — se multiplient à mesure que ces systèmes gagnent en puissance et en déploiement, rendant une stratégie de défense en profondeur non plus optionnelle, mais structurellement nécessaire.

Nexos.ai : on a testé l’outil qui veut convaincre votre DSI que l’IA n’est pas une passoire

Nexos.ai, la plateforme développée par Nord Security, l'éditeur à l'origine de NordVPN, propose une solution de gouvernance de l'intelligence artificielle en entreprise. Le principe est simple : plutôt que de créer un nouveau modèle maison, Nexos fait office de hub centralisé permettant aux équipes d'accéder aux grands modèles du marché, OpenAI, Anthropic, Google, Mistral, depuis un environnement contrôlé, avec des journaux d'activité, des règles configurables et un administrateur aux commandes. L'interface, pensée pour être accessible sans formation, permet de choisir son modèle via un menu déroulant, de définir un profil global avec des instructions permanentes, et de désactiver la mémorisation d'un simple interrupteur. Un détail attire l'attention : un drapeau européen signale les modèles traités sur des serveurs en Europe, garantie concrète pour les entreprises soumises au RGPD. Côté routing, la plateforme dirige intelligemment les tâches vers le modèle le plus adapté, un modèle d'embedding Mistral pour indexer un PDF, sans mobiliser un modèle coûteux, sans que l'utilisateur n'ait à intervenir. L'enjeu adressé est loin d'être anecdotique. Le phénomène dit du "Shadow AI", ces salariés qui utilisent leur compte personnel ChatGPT ou Claude pour coller des contrats, des roadmaps ou des bilans RH, représente en 2026 l'un des principaux vecteurs de fuite de données sensibles en entreprise, non par malveillance, mais faute d'alternative sérieuse mise à disposition. Nexos tente de combler ce vide en offrant aux DSI une visibilité réelle sur les usages, et aux employés un outil suffisamment fluide pour ne pas générer de contournements. Pour un DAF surveillant sa facture cloud, l'optimisation automatique du routing entre modèles représente aussi un argument économique tangible, invisible pour l'utilisateur final mais visible dans les coûts d'infrastructure. Nord Security n'est pas un inconnu dans l'espace cybersécurité : l'entreprise a construit sa réputation sur NordVPN, un produit grand public devenu référence dans la protection de la vie privée en ligne. Ce positionnement lui confère une crédibilité initiale sur le marché de la gouvernance IA, un segment en pleine structuration alors que les régulations se durcissent des deux côtés de l'Atlantique, l'AI Act européen en tête. La limite que la revue identifie est structurelle : les promesses de "forteresse numérique" ne peuvent être vérifiées sans audit technique indépendant, et l'utilisateur doit in fine faire confiance à la réputation de l'éditeur. Dans un marché où les offres se multiplient, Microsoft Copilot, Glean, Perplexity Enterprise, Nexos mise sur la simplicité d'adoption et la conformité RGPD comme différenciateurs, deux arguments qui résonnent particulièrement auprès des ETI et grandes entreprises européennes encore hésitantes à franchir le pas.

Adieu Fable

Le 9 juin 2026, Anthropic lançait Claude Fable 5, son nouveau modèle grand public dérivé de Mythos, une architecture réservée à un cercle restreint d'entreprises en raison de son potentiel de risque en cybersécurité. Fable était conçu comme une version de Mythos dotée de garde-fous pour un usage général. Trois jours plus tard, le 12 juin, le modèle disparaissait de l'accès public. En cause : le gouvernement américain, alerté par une faille de jailbreak découverte via Fable, a ordonné la suspension immédiate de l'accès à Fable 5 et Mythos 5 pour tous les ressortissants étrangers, qu'ils soient à l'intérieur ou à l'extérieur des États-Unis, y compris les employés d'Anthropic eux-mêmes qui ne sont pas citoyens américains. Anthropic, incapable d'implémenter proprement un filtrage par nationalité, a préféré couper l'accès pour tout le monde. La situation illustre une tension inédite dans l'industrie de l'IA : un modèle de pointe, lancé avec fanfare, retiré en moins d'une semaine sur pression gouvernementale. Selon les benchmarks publiés dans la même période, Fable 5 surpassait GPT-5.5, ce qui en faisait l'un des modèles les plus capables du marché au moment de son retrait. La décision soulève une question fondamentale : si un modèle est jugé trop dangereux, pourquoi la nationalité de l'utilisateur constitue-t-elle la ligne de démarcation ? Anthropic perd ici non seulement des utilisateurs, mais aussi une partie de sa crédibilité et de sa légitimité à opérer globalement, ce que certains observateurs résument comme une perte du "mandat du ciel". Les équipes étrangères de l'entreprise, directement affectées, ne peuvent plus utiliser leurs propres outils. Cet épisode s'inscrit dans une dynamique plus large de militarisation progressive du discours autour des grands modèles de langage aux États-Unis, où la cybersécurité sert de prétexte à des restrictions d'accès géopolitiques. Anthropic avait déjà positionné Mythos comme une architecture à accès contrôlé, consciente des risques. La faille de jailbreak identifiée serait reproductible sur d'autres modèles comme GPT-5.5, ce qui relativise la singularité du danger, mais n'a pas suffi à convaincre Washington. En parallèle, la concurrence s'intensifie : DeepSeek vient de lever 7,4 milliards de dollars lors de son premier tour de table, valorisant la startup chinoise à plus de 50 milliards, avec son propre PDG comme principal investisseur à hauteur de 40 %. Dans cet environnement de plus en plus fragmenté entre puissances technologiques, la capacité d'Anthropic à maintenir un accès universel à ses modèles les plus avancés apparaît fragilisée.

💬 Meilleur modèle du marché, retiré en 72 heures sur pression gouvernementale. Ce qui est nouveau ici, c'est pas qu'un modèle soit dangereux, c'est que la nationalité devienne le critère de sécurité, et qu'Anthropic, coincée, préfère couper tout accès plutôt que d'implémenter un filtrage bancal. Pour les boîtes européennes qui avaient misé dessus, c'est un rappel brutal que l'infrastructure qu'on utilise n'est pas la nôtre.