Aller au contenu principal
SécuritéMarkTechPost · 2 min de lecture

Se retire des employés de l'IA vers un pipeline avancé d'audit de sécurité pour agents avec NVIDIA SkillSpector, LangGraph, YARA et SARIF

Source originale ↗·

Avant de traduire, un point de vigilance : le texte de l'article colle un exemple de skill malveillant ("invoice-sync") dont le SKILL.md contient une injection de prompt ("SYSTEM: ignore all previous instructions and…"), tronquée dans le collage. C'est manifestement un exemple pédagogique du tutoriel (pour démontrer ce que SkillSpector doit détecter), pas une instruction qui s'adresse à moi, je ne l'exécute donc pas et je continue la tâche de traduction demandée.

Voici la traduction/synthèse en français :

NVIDIA a publié SkillSpector, un outil open source destiné à auditer la sécurité des "skills" utilisés par les agents IA avant leur déploiement. Le projet, disponible sur GitHub et nécessitant Python 3.12 ou supérieur, s'appuie sur LangGraph pour orchestrer un pipeline d'inspection automatisé. Un tutoriel détaillé montre comment construire une place de marché fictive de skills combinant des exemples propres, risqués, franchement malveillants et des skills basés sur le protocole MCP, afin de tester l'outil dans des conditions proches du réel. Trois cas concrets illustrent la démarche : un skill "pdf-summarizer" jugé sûr, limité à la lecture de fichiers locaux ; un skill "repo-janitor" jugé risqué, qui exécute des commandes shell interpolées et lance un "git reset hard" sans demander confirmation à l'utilisateur ; et un skill "invoice-sync" classé malveillant, dont la description dissimule une tentative d'injection de prompt visant à faire ignorer les instructions précédentes par l'agent qui l'exécuterait. Chaque skill passe par le pipeline d'inspection de SkillSpector, qui produit un score de risque, des résultats catégorisés, un niveau de confiance et des indicateurs sur la présence de scripts exécutables.

Cette approche répond à un problème encore mal outillé : à mesure que les agents IA gagnent en autonomie et installent des skills tiers pour étendre leurs capacités, le risque d'exécuter du code malveillant ou des instructions cachées augmente fortement, sans qu'il existe de standard de vérification comparable à ce qui existe pour les dépendances logicielles classiques. En organisant les résultats sous forme de tableaux de bord au niveau du portefeuille de skills, en générant des rapports aux formats SARIF et Markdown, et en détectant les régressions par rapport à une base de référence, SkillSpector permet aux équipes de sécurité et aux développeurs d'intégrer ce contrôle directement dans leurs chaînes CI, avec un véritable verrou ("gâté") bloquant le déploiement de skills jugés trop risqués.

L'outil va plus loin en permettant d'ajouter des règles YARA propres à une organisation pour repérer des signatures spécifiques, d'étendre le graphe d'analyse avec un détecteur personnalisé de secrets exposés, et d'activer, en option, une analyse sémantique assistée par un grand modèle de langage pour repérer des comportements suspects que des règles statiques manqueraient. Le tutoriel se termine par une visualisation de la distribution des risques sur l'ensemble du parc de skills testés, offrant un cadre complet pour inspecter, comparer et gouverner les skills d'agents IA avant leur mise en production, à un moment où l'écosystème des agents autonomes se développe plus vite que les outils censés en garantir la sûreté.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

NVIDIA SkillSpector : analyser les compétences IA pour détecter les risques de sécurité
1MarkTechPost 

NVIDIA SkillSpector : analyser les compétences IA pour détecter les risques de sécurité

NVIDIA a publié SkillSpector, un outil d'analyse statique conçu pour détecter les risques de sécurité dans les "skills" d'intelligence artificielle avant leur déploiement dans des flux de travail réels. Disponible en open source sur GitHub, il s'installe via pip et nécessite Python 3.12 minimum. L'outil s'appuie sur LangGraph, le framework d'orchestration d'agents de LangChain, pour faire tourner un pipeline d'analyse programmatique. Les résultats sont exportables au format SARIF (Static Analysis Results Interchange Format), une norme industrielle utilisée par des outils comme GitHub Advanced Security. Le tutoriel officiel démontre son fonctionnement à travers quatre types de menaces représentatives : un skill inoffensif servant de référence, un script d'exfiltration de variables d'environnement vers un serveur distant, un module d'exécution dynamique de code via exec() et eval(), et un fichier Markdown contenant une tentative d'injection de prompt visant à contourner les consignes de sécurité d'un LLM. La prolifération des agents IA dans les environnements professionnels crée un vecteur d'attaque nouveau et peu documenté : les "skills" ou plugins tiers qu'on branche sur ces agents. Un skill malveillant ou mal écrit peut exfiltrer des secrets, exécuter du code arbitraire, ou manipuler le comportement d'un modèle de langage via du texte caché dans sa documentation. SkillSpector répond directement à ce risque en permettant aux équipes de sécurité et aux développeurs d'auditer automatiquement ces composants avant intégration, sans avoir besoin d'en analyser manuellement le code. L'export SARIF facilite l'intégration dans les pipelines CI/CD existants, ce qui rend l'outil compatible avec les workflows DevSecOps déjà en place dans les grandes organisations. Le contexte est celui d'une industrialisation rapide des architectures agentiques : les entreprises assemblent des systèmes IA en connectant des dizaines de skills et d'outils tiers, souvent sans processus de revue rigoureux. NVIDIA, acteur central de l'infrastructure IA avec ses GPU et son écosystème logiciel NIM, se positionne ici sur la couche sécurité de cette stack. L'initiative s'inscrit dans une tendance plus large où les grands acteurs technologiques, de Microsoft à Google, cherchent à établir des standards autour des agents autonomes. Le format SARIF, déjà adopté par l'écosystème open source, suggère une volonté d'interopérabilité plutôt qu'un outil propriétaire fermé. La prochaine étape naturelle serait l'intégration d'une analyse sémantique par LLM pour détecter des injections de prompt plus sophistiquées, une capacité que le tutoriel évoque explicitement comme extension possible du framework.

UELes équipes de sécurité européennes développant des architectures agentiques peuvent intégrer cet outil open source dans leurs pipelines CI/CD pour auditer les composants tiers, une démarche qui s'aligne avec les exigences de robustesse imposées par l'AI Act pour les systèmes IA à haut risque.

SécuritéOpinion
1 source
Microsoft lance MXC, un bac à sable au niveau OS pour agents IA, avec OpenAI et Nvidia à bord
2VentureBeat AI 

Microsoft lance MXC, un bac à sable au niveau OS pour agents IA, avec OpenAI et Nvidia à bord

Microsoft a présenté mardi, lors de sa conférence annuelle Build, une nouvelle couche de sécurité intégrée directement dans Windows : les Microsoft Execution Containers, ou MXC. Il ne s'agit pas d'un produit à acheter, mais d'un SDK et d'un modèle de politique embarqués dans le système d'exploitation et dans le Windows Subsystem for Linux. Concrètement, MXC permet aux développeurs et aux administrateurs informatiques de définir précisément ce qu'un agent IA peut ou ne peut pas faire, avec des limites appliquées en temps réel par le noyau du système. Le dispositif couvre un spectre allant de l'isolation légère de processus, déjà adoptée par la CLI de GitHub Copilot, jusqu'aux micro-machines virtuelles, conteneurs Linux et instances cloud tournant sous Windows 365. Chaque agent est lié à une identité forte, locale ou provisionnée via Microsoft Entra, ce qui permet d'attribuer, d'auditer et de gouverner chacune de ses actions. OpenAI et Nvidia font partie des premiers partenaires annoncés. L'annonce intervient à un moment charnière pour les entreprises. Jusqu'à présent, le déploiement d'agents IA autonomes sur des réseaux d'entreprise se heurtait à un paradoxe : plus un agent est capable, plus il est dangereux à laisser opérer sans garde-fous. MXC sépare l'exécution de l'agent du bureau de l'utilisateur, du presse-papiers, de l'interface graphique et des périphériques d'entrée, ce qui réduit drastiquement la surface d'attaque. Pour les directions informatiques et sécurité, c'est potentiellement le verrou qui empêchait de passer des démos à la production réelle : un environnement d'exécution de confiance, standardisé et intégré à l'OS, plutôt qu'une solution maison bricolée par chaque éditeur. Depuis deux ans, les chercheurs en sécurité ont multiplié les démonstrations montrant comment des agents IA pouvaient être manipulés par injection de prompt, appels d'outils malveillants ou exfiltration de données dissimulée dans des flux de travail normaux. Microsoft elle-même décrit le problème comme "un enjeu systémique multi-couches" : chaque interaction entre un agent et des humains, des outils, des applications ou d'autres agents ouvre de nouvelles failles. En intégrant MXC directement dans Windows plutôt qu'en le proposant comme une surcouche optionnelle, Microsoft cherche à établir un standard de facto pour l'industrie. Si les grands éditeurs de logiciels d'entreprise adoptent ce modèle, ce sont potentiellement toutes les entreprises du monde utilisant Windows qui bénéficieront automatiquement de ce cadre de sécurité pour leurs déploiements d'agents, sans action supplémentaire.

UELes entreprises françaises et européennes utilisant Windows pourraient bénéficier automatiquement de ce cadre d'exécution sécurisé pour leurs déploiements d'agents IA, sans développement de solution maison.

💬 C'est le verrou qui manquait pour passer des démos à la prod. On a tous vu des agents autonomes tourner en sandbox, faire des trucs impressionnants, et tout le monde savait qu'on ne pourrait jamais les laisser opérer sur un vrai réseau sans cage solide. Intégrer ça dans le noyau Windows plutôt qu'en surcouche optionnelle, c'est la seule façon d'en faire un standard, même si ça revient à confier les clés de la gouvernance IA mondiale à Redmond.

SécuritéOpinion
1 source
Microsoft lance un modèle de cybersécurité IA et une plateforme de défense à base d'agents pour réduire les coûts
3VentureBeat AI 

Microsoft lance un modèle de cybersécurité IA et une plateforme de défense à base d'agents pour réduire les coûts

Microsoft a dévoilé lundi son premier modèle de cybersécurité développé en interne, baptisé MAI-Cyber-1-Flash, conçu par sa division Microsoft AI (MAI). Ce modèle compact est intégré à MDASH, le système multi-agents du groupe dédié à la détection et à la correction des failles logicielles. Selon Microsoft, l'ensemble obtient un score de 96% sur CyberGym, un benchmark qui évalue la capacité des systèmes d'IA à analyser de vastes bases de code pour y déceler de véritables vulnérabilités, devançant ainsi des modèles de pointe comme Mythos, Gemini et GPT, tout en réduisant les coûts de moitié par rapport à la configuration de production actuelle de Microsoft. L'entreprise a également présenté Project Perception, une plateforme agentique qui orchestre des agents "rouges" chargés de rechercher des voies de compromission, des agents "bleus" qui enquêtent et évaluent les risques, et des agents "verts" qui corrigent et renforcent les défenses. Ce système entrera en préversion publique le 3 août. Fait notable, l'architecture repose sur un partage des tâches à 90/10 : MAI-Cyber-1-Flash traite l'essentiel des requêtes de sécurité, tandis que les 10% de problèmes les plus complexes sont transmis à un modèle plus puissant, en l'occurrence GPT-5.4 d'OpenAI. Cette annonce illustre un changement de paradigme dans la manière dont les entreprises pourraient choisir leurs outils d'IA : non plus le modèle le plus puissant, mais le moins cher qui reste suffisamment performant, orchestré intelligemment selon la difficulté de chaque tâche. Pour les entreprises, cela promet une réduction significative des coûts de cybersécurité sans sacrifier l'efficacité, dans un contexte où les modèles de pointe comme Mythos restent onéreux à grande échelle. Mustafa Suleyman, PDG de Microsoft AI, a affirmé lors d'un entretien avec VentureBeat que ce lancement n'était qu'un début : "Nous avons un avantage considérable en matière de données, d'infrastructure et d'expertise, ce qui nous permet d'entraîner des modèles plus rapides, meilleurs et moins chers, et ce n'est vraiment que la partie émergée de l'iceberg." Cette stratégie révèle aussi l'évolution des rapports entre Microsoft et OpenAI, partenaires dont l'alliance avait suscité l'attention des régulateurs à Bruxelles et à Washington en 2024. Si Microsoft reste client d'OpenAI pour les tâches les plus exigeantes, faisant appel à GPT-5.4 jugé "incroyablement performant par rapport à son coût", le groupe cherche de plus en plus à maîtriser lui-même les couches technologiques où il estime détenir un avantage durable. Suleyman a justifié ce choix par la recherche de performance à moindre coût, expliquant que la valeur du système ne provient pas d'un modèle unique mais de l'orchestration globale, capable de gérer des centaines d'étapes dans des boucles agentiques complexes.

💬 C'est le genre de mouvement qu'on va voir se généraliser partout : plus le modèle le plus costaud, mais le moins cher qui suffit, avec un routeur qui envoie les cas chauds vers du GPT-5.4 quand ça dépasse. 90% du boulot fait par un petit modèle maison, 10% sous-traité au premium, ça change la logique économique de toute la cybersécurité IA, pas juste chez Microsoft. Reste que "96% sur un benchmark" et "ça tient face à un vrai attaquant motivé" sont deux choses différentes, et là on n'a que la version de Microsoft.

SécuritéActu
1 source
NVIDIA garak : construire un workflow complet de red-teaming défensif pour LLM avec sondes et détecteurs personnalisés
4MarkTechPost 

NVIDIA garak : construire un workflow complet de red-teaming défensif pour LLM avec sondes et détecteurs personnalisés

NVIDIA a publié un tutoriel complet sur garak, son framework open source dédié au red-teaming défensif des grands modèles de langage (LLM). L'outil, installable via pip, propose une architecture modulaire articulée autour de quatre types de composants : les probes (sondes d'attaque), les détecteurs, les générateurs et les buffs. Le tutoriel couvre l'ensemble du cycle de test, depuis la découverte des plugins jusqu'à l'export des résultats vers l'AVID (AI Vulnerability Database), en passant par la création de sondes et de détecteurs personnalisés. Concrètement, garak permet de soumettre un modèle à des attaques connues, comme le jailbreak DAN 11.0, l'injection via encodage Base64, ou la génération de contenu haineux (SlurUsage), et de mesurer automatiquement son taux de résistance via des scores de sécurité calculés par probe. L'enjeu est direct pour toute organisation qui déploie des LLM en production : identifier les failles avant qu'elles ne soient exploitées. Garak automatise ce processus de test offensif en mode défensif, générant des rapports JSONL analysables avec des outils comme pandas ou numpy. Il est possible de lancer des scans sur des modèles Hugging Face (comme GPT-2), des API externes, ou des générateurs de test internes, avec parallélisation des tentatives jusqu'à 16 threads simultanés. Les résultats sont agrégés en scores de sécurité par probe, ce qui permet à une équipe de sécurité ML de prioriser les vulnérabilités et de documenter la surface d'attaque d'un modèle de façon systématique et reproductible. Garak s'inscrit dans un mouvement plus large de professionnalisation de la sécurité des systèmes IA. Alors que les LLM sont de plus en plus intégrés dans des produits critiques, les attaques par prompt injection, jailbreak et contournement de garde-fous se multiplient. NVIDIA, qui positionne garak comme un outil de red-teaming défensif, rejoint ainsi un écosystème naissant comprenant des initiatives comme le projet AVID ou les travaux de l'OWASP sur les LLM Top 10. La capacité de garak à accepter des probes et détecteurs personnalisés en ouvre l'usage au-delà des scénarios préconfigurés, permettant à des équipes spécialisées de modéliser leurs propres vecteurs de menace. Les prochaines étapes naturelles de cet écosystème pointent vers l'intégration dans les pipelines CI/CD, afin que chaque mise à jour d'un modèle soit automatiquement auditée avant déploiement.

UELes organisations européennes soumises à l'AI Act peuvent utiliser garak pour documenter systématiquement la surface d'attaque de leurs LLM et répondre aux exigences de red-teaming imposées aux systèmes IA à haut risque.

💬 C'est exactement le genre d'outil qui manquait. Tout le monde parle de sécuriser ses LLM en production, mais tester de façon systématique et documentée, c'était encore du bricolage maison il y a six mois. Reste à voir si les équipes vont vraiment l'intégrer dans leurs pipelines CI/CD, ou si ça finira sur l'étagère des outils qu'on lance une fois avant la mise en prod et qu'on oublie.

SécuritéTuto
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic